KR20160026323A - 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치 - Google Patents

움직임에 기반하여 알림 정보를 제어하는 방법 및 장치 Download PDF

Info

Publication number
KR20160026323A
KR20160026323A KR1020140114575A KR20140114575A KR20160026323A KR 20160026323 A KR20160026323 A KR 20160026323A KR 1020140114575 A KR1020140114575 A KR 1020140114575A KR 20140114575 A KR20140114575 A KR 20140114575A KR 20160026323 A KR20160026323 A KR 20160026323A
Authority
KR
South Korea
Prior art keywords
notification
displayed
notification information
display
user
Prior art date
Application number
KR1020140114575A
Other languages
English (en)
Inventor
한우정
홍승환
김소라
윤서영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140114575A priority Critical patent/KR20160026323A/ko
Priority to US14/838,664 priority patent/US20160063766A1/en
Publication of KR20160026323A publication Critical patent/KR20160026323A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0143—Head-up displays characterised by optical features the two eyes not being equipped with identical nor symmetrical optical devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

본 발명의 다양한 실시 예는 가상현실 환경에서 사용자의 움직임에 기반하여 알림 정보를 제어하는 방법에 관한 것이다.
본 발명의 실시 예에 따른 알림 정보를 제어하는 방법은 가상 현실(VR) 환경 기반으로 화면을 표시하는 동작, 알림이 발생하면 상기 알림을 화면의 적어도 일부분에 표시하는 동작, 사용자의 시선의 위치로 간주되는 지점이 상기 알림의 표시 위치에 도달함을 판단하는 동작 및 상기 알림에 해당하는 알림 정보를 화면에 표시하는 동작을 포함할 수 있다.
이 외에도 본 발명의 기술적 사상을 기반으로 다양한 실시 예가 도출될 수 있다.

Description

움직임에 기반하여 알림 정보를 제어하는 방법 및 장치{method and apparatus for controlling the notification information based on movement}
본 발명의 다양한 실시 예는 가상현실 환경에서 사용자의 움직임에 기반하여 알림 정보를 제어하는 방법에 관한 것이다.
최근 전자장치의 표시부는 대형화되는 추세이며, 시야에 꽉 찬 화면에 대한 사용자의 욕구가 증가하고 있다. 이러한 추세에 따라 안경 형태로 착용하는 전자장치, 스마트폰 등의 사용자 디바이스와 결합 가능하며 안경 형태를 갖는 프레임 장치 등이 등장하고 있다. 이러한 안경 형태의 착용식 전자장치를 이용하면 사용자의 시력이 미치는 범위 전체에 화면을 표시할 수 있게 되며, 이에 따라 가상 현실(VR; virtual reality) 환경에 기반한 게임, 영화 등의 가상 현실 컨텐츠 활용이 가능하다.
안경 형태를 가지며 머리에 착용하는 전자장치는 헤드 마운트(head mount) 기기로 통칭될 수 있다. 이러한 헤드 마운트 기기는 표시부를 구비하고 있을 수도 있고, 표시부를 구비하는 전자장치와 결합되어 사용될 수도 있다. 상기 헤드 마운트 기기가 표시부를 구비하는 전자장치와 결합되어 사용되는 경우, 상기 전자장치에 메시지 수신, 콜 수신 또는 어플리케이션의 푸시 알림 등 다양한 알림 상황이 발생될 수 있다. 이러한 경우 사용자는 해당 알림에 응답하기 위해 전자장치를 헤드 마운트 기기와 분리시키거나, 착용중인 헤드 마운트 기기를 벗어야 하는 등의 불편함을 겪게 된다.
본 발명의 실시 예는 이와 같은 불편함을 해소하기 위해 고안된 것으로, 전자장치가 헤드 마운트 기기에 연결되어 가상 현실 환경을 제공하는 중 알림 발생 시, 상기 전자장치와 헤드 마운트 기기를 분리시키지 않고도 사용자 움직임에 따라 해당 알림 화면을 제어할 수 있게 한다.
본 발명의 실시 예에 따른 알림 정보를 제어하는 방법은 가상 현실(VR) 환경 기반으로 화면을 표시하는 동작, 알림이 발생하면 상기 알림 을 화면의 적어도 일부분에 표시하는 동작, 사용자의 시선의 위치로 간주되는 지점이 상기 알림이 표시되는 위치에 도달함을 판단하는 동작 및 상기 알림에 해당하는 알림 정보를 화면에 표시하는 동작을 포함할 수 있다.
본 발명의 실시 예에 따른 전자장치는 가상 현실(VR) 환경 기반으로 화면을 표시하며, 알림에 관련된 알림을 화면의 적어도 일부분에 표시하는 표시부, 상기 전자장치의 움직임을 검출하는 센서부, 상기 검출된 움직임에 따라 사용자의 시선의 위치로 간주되는 지점의 좌표를 이동시키고, 상기 지점이 알림이 표시되는 위치에 도달하면 상기 알림에 해당하는 알림 정보를 화면에 표시하도록 제어하는 제어부를 포함할 수 있다.
본 발명의 실시 예는 전자장치가 헤드 마운트 기기에 연결되어 가상 현실(VR) 환경을 제공하는 중 발생된 다양한 알림 상황에서 상기 전자장치를 헤드 마운트 기기와 분리시키지 않고도 알림을 확인하거나 알림에 해당하는 기능을 수행할 수 있도록 한다.
도 1은 본 발명의 실시 예에 따른 전자장치와 헤드 마운트 기기의 연결 모습을 도시한 도면이다.
도 2은 본 발명의 실시 예에 따른 전자장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 동작의 순서를 도시하는 순서도이다.
도 4a 및 도 4b는 본 발명의 실시 예에 따른 VR 환경에서 사용자의 시선 이동에 따른 알림 정보 표시에 대하여 도시하는 도면이다.
도 5는 본 발명의 실시 예에 따른 알림 정보 최소화 동작을 도시하는 도면이다.
도 6은 본 발명의 실시 예에 따른 VR 컨텐츠 실행 중 메시지 확인 방법을 도시하는 도면이다.
도 7은 본 발명의 다양한 실시 예에 따른 메시지 알림 표시 동작에 대하여 도시한 도면이다.
도 8은 본 발명의 다양한 실시 예에 따른 VR컨텐츠 실행 중 알림 정보 표시 동작의 순서를 도시한 순서도이다.
도 9a 내지 도 9c는 본 발명의 실시 예에 따른 통화 수신창을 표시하는 동작에 대하여 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명 (present disclosure)를 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명 가운데 사용될 수 있는“포함한다” 또는 “포함할 수 있다” 등의 표현은 개시된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명에서 “또는” 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, “A 또는 B”는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 발명 가운데 “제 1,”“제2,”“첫째,”또는“둘째,”등의 표현들이 본 발명의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 실시 예에 따른 전자 장치는, 표시 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 중 적어도 하나를 포함할 수 있다.
이하, 첨부된 도면을 참조하여 다양한 실시예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
본 발명의 실시 예에 따른 전자장치는 헤드 마운트 기기에 도킹됨에 따라 사용자에게 가상 현실(이하 VR; Virtual Reality) 환경을 지원할 수 있다.
도 1은 본 발명의 실시 예에 따른 전자장치와 VR 환경을 제공하기 위해 상기 전자장치와 연동되는 주변 기기를 도시한 도면이다.
상기 도 1을 살펴보면, 상기 전자장치 200는 VR 환경을 제공하는 착용 가능한 헤드 마운트 기기 100에 결합될 수 있다. 상기 헤드 마운트 기기 100는 일측에 터치 패드101 또는 기능 키(미도시)를 포함할 수 있다. 상기 헤드 마운트 기기 100는 상기 터치 패드 101 또는 기능 키에서 수신된 사용자 입력을 상기 전자장치 200로 전달할 수 있다. 이 때 상기 헤드 마운트 기기 100와 전자장치 200는 유선 혹은 근거리 무선 통신을 이용한 무선 연결이 가능하다.
먼저, 도 2을 참조하여 본 발명의 다양한 실시 예에 따른 전자장치의 구성을 설명하기로 한다.
도 2은 본 발명의 실시 예에 따른 전자장치의 구성을 도시한 블록도이다.
도 2을 참조하면, 본 발명의 실시 예에 따른 전자장치200는 표시부 210, 입력부 220, 저장부 230, 센서부 240, 통신부 250, 제어부 260를 포함하여 구성될 수 있다.
상기 표시부 210는 액정표시장치(LCD: Liquid Crystal Display), 유기 발광 다이오드(OLED: Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED: Active Matrix Light Emitting Diodes)등으로 형성될 수 있으며, 전자장치의 메뉴, 입력된 데이터, 기능 설정 정보 등 다양한 정보를 사용자에게 시각적으로 제공한다.
본 발명의 실시 예에 따른 상기 표시부 210는 가상 현실(VR; virtual reality) 환경에서 제 1표시 영역과 제 2표시 영역에 좌측이미지 및 우측이미지를 각각 표시할 수 있다. 상기 가상 현실 환경은 전자장치 200와 연동 가능한 헤드 마운트 기기100(예컨대, HMT(head mounted theater) 프레임)에 상기 전자장치 200가 안착되는 경우, 실행될 수 있다. 구체적으로, 상기 전자장치 200가 헤드 마운트 기기에 도킹(docking)되면, 상기 전자장치 200는 표시부 210에서 제 1표시 영역과 제 2표시 영역을 각각 설정할 수 있다. 그리고 상기 제 1표시 영역과 제 2표시 영역은 사용자의 좌측 눈과 우측 눈이 바라볼 이미지를 각각 표시할 수 있다. 이와 같이 전자장치 200가 도킹된 헤드 마운트 기기 100를 사용자의 머리에 착용하게 되면, 사용자는 상기 전자장치200의 표시부 210에서 표시되는 2종류의 이미지를 양측 눈을 통해 바라보게 되고 자체적으로 상기 2개의 이미지를 합성하여 하나의 이미지로 인식하게 될 수 있다.
상기 입력부 220는 사용자의 입력을 감지하기 위한 장치이다. 상기 입력부 220는 키 입력 및 터치 패널을 통한 터치 입력을 감지할 수 있다. 상기 입력부 220는 사용자의 터치 또는 키 입력을 감지하여 제어부 260에 전달할 수 있다. 본 발명의 실시 예에 따른 상기 입력부 220는 VR 환경을 지원할 수 있는 컨텐츠(예컨대, VR 게임 등)의 실행을 요청하는 사용자 입력을 수신할 수 있다. 이 밖에도 상기 입력부 220는 상기 VR 컨텐츠 실행 중 디스플레이 및 사운드 설정에 관련된 세부 사항을 조정하는 데 필요한 사용자 입력을 수신할 수 있다.
상기 저장부 230는 상기 제어부 250 또는 다른 구성요소들로부터 수신되거나 상기 제어부 250 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 본 발명의 실시 예에 따른 저장부 230는 가상 현실 환경을 구현하기 위한 프로그램을 저장할 수 있다. 예컨대, 상기 저장부 230는 전자장치 200가 헤드 마운트 기기 100에 도킹됨을 감지하면, 실행중인 화면을 2가지 표시 영역에 각각 나누어 표시하는 VR 환경을 구현하는데 필요한 프로그램을 저장할 수 있다. 또한, 상기 저장부 230는 VR 환경 지원할 수 있는 컨텐츠(예컨대, VR게임)를 저장할 수 있다.
상기 센서부 240는 전자장치 200의 이동 및 움직임 등의 동작을 감지할 수 있다. 상기 센서부 240에는 예컨대, 가속도 센서, 자이로 센서 등이 포함될 수 있다. 본 발명의 실시 예에 따른 상기 센서부 240는 VR 컨텐츠 실행 중 발생되는 알림에 대한 정보를 확인하기 위한 사용자의 움직임을 검출할 수 있다. 예컨대, 상기 센서부 240는 화면의 일측에 표시된 알림을 선택하기 위한 사용자의 머리 움직임을 검출할 수 있다. 상기 검출된 움직임은 사용자의 시선의 위치로 간주되는 지점이 이동하는 근거로 사용될 수 있다.
상기 통신부 250는 전자장치 200와 타 기기 간의 유무선 통신을 지원할 수 있다. 본 발명의 실시 예에 따른 상기 통신부 250는 전자장치 200와 헤드 마운트 기기 100간의 유무선 통신을 지원할 수 있다. 예컨대, 상기 전자장치 200는 헤드 마운트 기기100의 일 지점에 존재하는 연결 장치에 고정되어 유선 통신을 수행할 수 있다. 혹은 상기 전자장치 200는 헤드 마운트 기기 100와 블루투스, NFC(near field communication)등의 근거리 통신 방식을 이용하여 무선 통신을 수행할 수도 있다. 상기 통신부 250는 상기 헤드 마운트 기기 100와 유선 혹은 무선 통신을 통해 상호 연결되면 제어부 260에 연결 여부에 대한 신호를 전달할 수 있다. 상기 제어부 260는 상기 통신부 250로부터 헤드 마운트 기기100와 연결됨을 확인하면, 화면을 VR(가상현실) 환경에 기반하여 표시할 수 있다.
상기 제어부 260는 전자장치의 전반적인 동작을 제어할 수 있다.
본 발명의 실시 예에 따른 상기 제어부 260는 통신부 250에 의해 전자장치 200가 주변기기(헤드 마운트 기기 100)와 통신 채널이 연결되어 통신 가능한 상태가 된 경우, 2개의 표시영역을 통해 화면을 표시하는 VR(가상 현실)환경을 지원할 수 있다. 또한 상기 제어부 260는 특정 컨텐츠를 VR 환경에 따라 실행시킬 수 있다. 이 때 VR 환경에서 2 개의 표시 영역을 통해 표시되는 컨텐츠를 VR 컨텐츠로 명명할 수 있다. 또한, 사용자가 고개를 들거나 고개를 숙이거나 좌측 또는 우측으로 고개를 돌리는 등의 움직임을 수행할 경우 이러한 움직임은 센서부 240를 통해 감지될 수 있고, 상기 제어부 260는 상기 센서부 240로부터 움직임에 대한 정도, 방향 등의 정보를 수신할 수 있다. 그리고 상기 제어부 260는 상기 센서부 240로부터 수신한 사용자의 움직임 정도, 방향 등의 정보를 기반으로 하여, VR 컨텐츠의 화면 중 사용자가 바라보는 지점으로 여겨지는 곳(이하에서, 설명의 편의상 ‘시선의 위치’로 표현하기로 한다)의 좌표를 결정할 수 있다. 또한 상기 제어부 260는 센서부 240가 전자장치 200의 움직임을 감지하면 감지된 움직임에 대응하여 사용자의 시선의 위치의 좌표를 이동시킬 수 있다. 상기 제어부 260는 상기 사용자의 시선의 위치에 대하여 특정 표식을 이용하여 사용자가 인식할 수 있도록 표시할 수 있다. 상기 제어부 260는 상기 사용자의 시선을 나타내는 표식이 알림이 표시되는 지점에 도달할 경우, 해당 알림 정보를 화면에 표시할 수 있다. 해당 알림 정보는 예컨대, 메시지 표시창, 통화 수신창 등의 팝업창 상에 표시될 수 있다. 제어부 260는 사용자의 시선의 위치가 상기 알림 정보가 표시되는 영역(예컨대, 메시지 표시창) 내부에 머물러 있는 동안에는 상기 알림 정보를 지속해서 표시할 수 있다. 반면, 상기 제어부 260는 사용자의 시선의 위치가 상기 알림 정보가 표시되는 영역 외부로 이동하게 되면, 상기 알림 정보의 표시를 종료시킬 수 있다. 이 밖에도 상기 제어부 260는 헤드 마운트 기기 100의 터치 패드 101에 의해 감지된 터치 동작(예컨대, 탭, 스와이프 등)에 대응하여 메뉴 선택 동작을 수행할 수 있다. 예컨대, 상기 제어부 260는 알림 정보(예컨대, 통화 수신창)를 표시할 경우, 알림 정보 내에 존재하는 선택 메뉴(예컨대, ‘수락’버튼)에 시선의 위치가 머물러있는 상태에서 상기 터치 패드 101를 통해 터치가 입력되면 상기 선택 메뉴에 해당하는 기능(예컨대, 통화 연결)을 실행시킬 수 있다.
이하에서는 도3 내지 7을 참조하여 본 발명의 실시 예에 따른 동작을 설명하기로 한다.
상기 도 3은 본 발명의 실시 예에 따른 동작의 순서를 도시하는 순서도이다.
도 3을 참조하면, 제어부 260는 305동작에서 VR 컨텐츠 실행 화면을 표시할 수 있다. 상기 VR 컨텐츠에는 예컨대, 3D 게임 등이 포함될 수 있다. 상기 VR 컨텐츠는 사용자의 좌측 눈에 표시할 이미지인 좌측 이미지와, 우측 눈에 표시할 우측 이미지를 별도로 생성하여 2개의 표시 영역에 각각 표시할 수 있다. 또는 동일한 이미지를 2개의 표시 영역에 표시할 수도 있다. 이에 따라 사용자는 2개의 표시 영역에 각각 표시된 이미지를 좌측 눈 및 우측눈을 통해 각각 바라봄으로써, 시야 전체에 표시되는 하나의 중첩된 화상을 볼 수 있게 된다.
상기 VR 컨텐츠가 실행되는 중 상기 제어부 260는 310동작에서 알림이 수신됨을 감지할 수 있다. 상기 알림은 예컨대, 메시지 수신 또는 콜(call) 수신에 대한 알림을 포함할 수 있다. 또한 상기 알림은 예컨대, 어플리케이션과 관련된 푸시 알림, 메시지 도착 알림 등을 포함할 수 있다.
상기 제어부 260는 상기 알림 수신이 발생되지 않은 경우에는 305동작에서 VR 컨텐츠 실행화면을 계속해서 표시할 수 있다. 그러나, 상기 제어부 260는 상기 알림을 수신함을 확인한 경우 315동작에서 알림을 컨텐츠 실행화면 일측에 표시할 수 있다. 상기 알림은 알리고자 하는 컨텐츠 종류에 따라 다르게 표시될 수 있다. 예컨대, 메시지가 수신된 경우, 상기 제어부 260는 메시지 모양의 알림을 컨텐츠 실행 화면을 가리지 않는 일측에 표시할 수 있다. 이 때 VR 컨텐츠를 시청 중인 사용자에게 알림을 효과적으로 표시하기 위해 화면의 적어도 일부분에 표시되는 알림은 깜빡임 등의 효과를 수행할 수도 있다. 이 밖에도 알림 표시 시, 아이콘, 색상 변경, 애니메이션 등의 그래픽 오브젝트를 포함한 표시 방법이 사용될 수 있다. 예컨대, 상기 제어부 260는 콜 수신 시, 전화기 모양의 알림 아이콘을 컨텐츠 실행 화면의 일측에 표시할 수 있다.
이후 제어부 260는 320동작에서 사용자의 시선이 알림이 표시되는 위치에 도달하였는지 여부를 판단할 수 있다. 이 때 상기 제어부 260는 사용자의 시선의 이동을 파악하기 위해 센서부 240로부터 감지된 사용자의 머리 움직임에 관한 데이터를 활용할 수 있다. 상기 제어부 260는 상기 사용자의 머리 움직임에 따라 전체 컨텐츠 표시 영역 중 사용자의 시야에 들어올 영역 및 사용자의 시선 위치에 대응하는 위치를 찾을 수 있다. 상기 사용자의 시선이 특정 알림이 표시되는 위치에 도달되면, 제어부 260는 330동작에서 상기 알림에 해당하는 알림 정보를 화면에 표시할 수 있다. 상기 알림에 시선이 도달함에 따라 알림 정보가 화면에 표시되는 320동작 내지 330동작에 대한 구체적인 설명은 후술하는 도 4a 및 도 4b를 참조하여 설명하기로 한다.
반면, 상기 알림이 표시되는 영역에 시선이 도달하지 않는 경우 제어부 260는 325동작에서 해당 기능을 수행할 수 있다. 상기 325동작은 일정 시간 경과 시 알림 종류에 따라 선택적으로 알림을 종료하는 동작이 될 수 있다. 예컨대, 콜 수신에 따라 콜 수신을 알리는 알림 아이콘이 화면에 표시되었으나 상기 알림 아이콘의 위치에 시선이 일정 시간이 경과하도록 도달하지 않으면, 상기 알림 아이콘의 표시를 종료할 수 있다.
상기 제어부 260가 330동작에서 상기 알림에 해당하는 알림 정보를 화면에 표시할 시, 사용자의 시선은 상기 알림 정보가 표시되는 영역 내에 있을 수 있다. 이 때 사용자의 시선이 알림 정보 표시 영역 내부에 머물러있다고 판단되는 경우, 다시 말해, 알림 정보가 표시된 이후 사용자의 머리의 움직임이 검출되지 않은 경우에 제어부 260는 계속해서 330동작을 수행할 수 있다. 반면, 상기 제어부 260가 335동작에서 사용자의 시선이 알림 정보가 표시되는 영역 밖으로 이동됨을 판단한 경우, 340동작이 수행될 수 있다. 상기 제어부 260는 340동작에서 알림 정보를 최소화하여 표시할 수 있다. 그러나 이에 한정되는 것은 아니며, 상기 제어부 220는 사용자의 시선이 알림 정보가 표시되는 영역 밖으로 이동된 경우, 상기 알림 정보의 표시를 종료시킬 수도 있다. 상기 시선 이동에 따라 알림 정보를 최소화하는 355동작 내지 340동작에 대하여 후술하는 도 5를 참조하여 설명하기로 한다.
도 4a 및 도 4b는 본 발명의 실시 예에 따른 VR 환경에서 사용자의 시선 이동에 따른 알림 정보 표시에 대하여 도시하는 도면이다.
상기 도 4a의 410은 전자장치 200에서 VR 환경에서 두 개의 표시 영역 401, 402에 각각 화면이 표시되는 것을 도시하고 있다. 예컨대, 상기 전자장치 200는 헤드 마운트 기기100(예컨대, HMT; head mounted theater)에 장착되는 경우에 410에서와 같이 두 개의 표시 영역 401, 402에 화면을 표시하는 동작을 수행할 수 있다. 그리고 상기 두 개의 표시 영역 401, 402에서 각각 표시되는 화면은 사용자의 왼쪽 눈 및 오른쪽 눈 각각을 이용해 볼 수 있다. 사용자는 상기 두 개의 표시 영역 401, 402에서 표시되는 화면을 왼쪽 눈 및 오른쪽 눈을 통해 각각 바라볼 때, 420에서 도시되는 것과 같은 하나의 이미지를 인식할 수 있게 된다. 상기 두 개의 표시 영역 401, 402을 통해 표시되는 각 화면은 헤드 마운트 기기100의 좌측 렌즈 및 우측 렌즈를 통해 사용자의 눈에 도달하게 된다. 그러므로 상기 두 개의 표시 영역 401, 402는 단순 분할이 아니라 헤드 마운트 기기 100의 렌즈의 모양에 따라 원형으로 설정될 수 있으며, 상기 표시 영역 401, 402 외부는 아무것도 표시되지 않을 수 있다. 또한, 상기 표시 영역 401, 402의 크기는 헤드 마운트 기기 100의 렌즈 구경의 크기에 맞추어 설정될 수 있다.
그리고 이 때 제어부 260는 사용자 시선의 위치를 사용자가 알아보기 쉽도록 422와 같이 해당 지점을 화면상에 구분하여 표시할 수 있다. 상기 사용자 시선의 위치는 사용자의 시야421의 정중앙의 위치로 결정될 수 있다. 사용자의 시야 421도 전자장치200에서 감지하는 사용자 움직임에 따라 이동될 수 있으며, 전자장치 200에서 표시되는 전체 화면 중 일부 영역으로 할당될 수 있다. 그리고 상기 전자장치 200에서 VR 컨텐츠 실행 중 예컨대 메시지 수신에 대한 알림이 발생한 경우, 상기 메시지 수신을 알리는 알림이 423과 같이 화면의 일측에 표시될 수 있다.
그리고 도 4b를 참조하면, 상기 사용자의 시선을 알리는 표식 422가 상대적으로 화면의 하단에 내려와 있고, 메시지 내용을 표시하는 표시창441이 화면에 표시되고 있음을 볼 수 있다. 상기 전자장치 200는 사용자의 머리 움직임을 감지하고 이에 대응하여 사용자 시선이 이동되었다고 판단할 수 있다. 그리고 이와 같은 방법으로 판단된 사용자 시선의 위치가 상기 알림이 표시되는 영역423의 위치에 도달하게 되면, 제어부 260는 430 및 440에서 도시되는 바와 같이 메시지 내용을 표시하는 표시창 441을 표시할 수 있다. 참고로 사용자가 430에서 도시되는 바와 같이 두 개 표시 영역 401, 402에서 표시되는 화면을 각각 왼쪽 눈과 오른쪽 눈을 통해 바라볼 때 실제 인식하는 이미지는 440과 같다. 그리고 420과 440에서 도시되는 점선 영역 421은 사용자의 시야를 나타낸다. 사용자의 시선 422의 위치는 사용자의 시야 421의 중심지점에 있는 것으로 간주될 수 있다. 즉, 사용자의 시선은 시야의 정중앙에 있는 것으로 간주되고, 고개가 좌우 또는 상하 움직임에 따라 시선이 좌우 또는 상하로 이동된 것으로 간주될 수 있다.
도 5는 본 발명의 실시 예에 따른 알림 정보 최소화 동작을 도시하는 도면이다.
도 5의 510은 VR 컨텐츠가 실행되는 중 메시지 수신에 따라 메시지 알림 511이 화면의 일측에 표시되는 모습을 도시하고 있다. 이 때 사용자의 시선512은 메시지 알림511의 위치보다 상단에 있는 것으로 도시되고 있다. 이와 같이 알림이 화면의 적어도 일부분에 표시되면, 사용자는 시선 512이 메시지 알림 511의 위치에 도달하도록 가할 수 있다. 전자장치 200는 사용자의 시선이 이동함을 판단하기 위해 사용자의 머리의 움직임을 센서부 240를 통해 감지할 수 있다. 사용자가 고개를 숙이는 모션을 취한 경우, 상기 전자장치 200는 사용자의 이러한 움직임을 감지하고 시선의 위치가 화면 하단으로 이동한 것으로 처리할 수 있다. 이와 같이 사용자의 시선이 이동하여 메시지 알림 511에 도달하면 530에서 도시되는 바와 같이 해당 알림에 대한 정보가 화면에 표시될 수 있다. 상기 전자장치 200의 제어부 260는 사용자의 시선512의 위치로 간주되는 지점이 알림에 대한 정보가 표시되는 표시창(예컨대, 메시지 창) 531 내부에 머물러 있는 동안에는 상기 표시창 531을 계속 표시할 수 있다. 그러나 사용자의 시선 512이 530에 도시되는 화살표 방향으로 이동하여 상기 표시창 531의 내부 영역을 벗어나게 되면 상기 표시창 531은 최소화되거나 초기 알림 상태(예컨대, 알림 아이콘)로 화면의 일측에 표시될 수 있다. 이 외에도 본 발명의 다양한 실시 예에 따라 사용자의 시선의 위치가 표시창 531을 벗어나는 것으로 판단될 시, 제어부 260는 화면에 표시되는 알림 정보의 종류에 따라 상기 표시창531이 표시되는 동작을 종료할 수 있다. 예컨대, 상기 표시창이 531이 메시지의 내용을 표시하는 메시지 표시창이고, 수신된 메시지 중 더 이상의 미확인 메시지가 없는 것으로 판단되면, 상기 제어부 260는 사용자의 시선이 상기 표시창을 벗어날 때 상기 표시창을 540에서와 같이 종료시킬 수 있다.
앞서 설명한 바와 같이 VR컨텐츠 표시 중 다양한 종류의 알림이 발생될 수 있다. 이 중 메시지 관련 알림이 발생되는 경우, VR컨텐츠 실행 중 메시지 알림 방법 및 메시지 확인 방법에 대하여 보다 다양한 실시 예가 있을 수 있다. 이하에서는 VR 컨텐츠 실행 중 메시지 알림 및 메시지 확인 방법에 대한 실시 예에 대하여 도 6 및 도 7을 참조하여 설명하기로 한다.
도 6은 본 발명의 실시 예에 따른 VR 컨텐츠 실행 중 메시지 확인 방법을 도시하는 도면이다.
610은 VR 컨텐츠 실행 중 발생된 메시지 수신 알람에 대응하여 사용자의 시선이 메시지 알림 표시 영역에 도달했을 때 보여지는 알림 정보 표시 화면을 도시하고 있다. 상기 알림의 종류가 메시지에 관련된 것이므로 상기 알림 정보는 메시지 표시창611이 될 수 있다. 이 때 사용자의 시선512는 메시지 표시 창 611 내부에 머물러 있으므로 상기 메시지 표시창 611은 계속해서 화면에 표시될 수 있다. 그리고 상기 메시지 표시창의 상단 우측에는 세 개의 수신 메시지 중 현재 표시중인 메시지가 가장 최근에 도착한 첫번째 메시지임을 의미하는 1/3이 표시될 수 있다. 이에 따라 사용자는 상기 상단 우측에 표시된 1/3을 확인하고, 다음 메시지를 화면에 표시하기 위해 기 설정된 사용자 입력을 수행할 수 있다. 예컨대, 사용자는 다음 메시지를 표시하기 위해 헤드 마운트 기기 100의 측면에 부착된 터치 패드101에 스와이프 동작을 수행할 수 있다.
상기 610과 같이 3개의 메시지 중 첫번째 메시지가 표시되는 화면에서 스와이프605 동작이 수행되면 620에서 도시되는 바와 같이 두번째 메시지가 표시될 수 있다. 이 때 사용자의 시선 512는 두번째 메시지가 표시되는 메시지 표시창 612 내에 동일하게 머물러있는 상태일 수 있다. 이후 다시 한번 스와이프 동작 625이 수행되면 630에서 도시되는 바와 같이 세번째 메시지가 표시되는 메시지 표시창 613을 표시할 수 있다. 상기 세번째 메시지가 미확인 메시지 중 마지막 메시지인 경우 상기 메시지 표시창 613의 우측단에 엔드 이펙트(end effect)631가 수행될 수 있다. 상기 엔드 이펙트 631는 예컨대, 메시지 표시창 631의 일측의 색상이 변하는 동작 등이 될 수 있다. 사용자는 다시 스와이프 동작의 방향을 반대로 하여 첫번째 메시지를 표시한 경우, 제어부 260는 더 이상의 이전 메시지가 없다는 엔드 이펙트를 메시지 표시창 631의 좌측단에 표시할 수 있다.
도 7은 본 발명의 다양한 실시 예에 따른 메시지 알림 표시 동작에 대하여 도시한 도면이다.
앞서 메시지 수신을 알리고자 하는 경우, 제어부260는 메시지 알림을 화면의 적어도 일부분에 표시할 수 있음에 대하여 설명하였다. 다양한 실시 예에 따라 수신된 메시지가 다수 개인 경우, 단일 메시지 수신 알림과 구분하여 표시하는 방법이 있을 수 있다. 도 7을 참조하면, 710에서 도시되는 바와 같이 제어부 260는 하나의 메시지 수신 시 메시지 알림 711을 화면의 일측에 표시할 수 있다. 그러나 수신된 메시지를 채 확인하기 전에 또 다른 메시지가 수신된 경우, 다시 말해 다수개의 메시지가 수신된 경우, 제어부 260는 이에 대하여 별도로 720과 같이 다중 메시지 알림을 표시할 수 있다. 720에서 도시되는 다중 메시지 알림721은 메시지 봉투가 겹쳐있는 모양의 아이콘 등으로 표시될 수 있다. 이 밖에도 다중 메시지 알림 아이콘721에 다수개의 미확인 메시지가 존재한다는 사실을 알려줄 수 있는 다양한 모양의 아이콘이 사용될 수 있다.
다수 개의 미확인 메시지가 존재하는 경우, 이를 확인하기 위해 사용자의 시선이 상기 다중 메시지 알림 721의 위치에 머무르게 되면, 제어부 260는 730과 같이 다수 개의 메시지가 존재함을 도시하는 다중 메시지 표시창 731을 표시할 수 있다. 상기 다중 메시지 표시창 731은 예컨대, 단일 메시지 표시창이 여러 개 겹쳐 있는 형태로 표시될 수 있다.
앞서 설명한 바와 같이 전자장치 200에서는 VR컨텐츠 실행 중 다양한 알림 상황이 도래하면 해당 알림에 관련된 아이콘을 화면의 일측에 표시할 수 있고, 알림 종류 및 표시할 알림의 개수에 따라 다른 종류의 알림 아이콘을 표시할 수 있다. 이하에서는 상기 전자장치 200가 VR 컨텐츠 실행 중 알림 정보를 표시에 대한 보다 다양한 실시 예를 도 8 내지 도 9c를 참조하여 설명하기로 한다.
도 8은 본 발명의 다양한 실시 예에 따른 VR컨텐츠 실행 중 알림 정보 표시 동작의 순서를 도시한 순서도이다. 도 8은 도 3의 330동작 이하의 다른 실시 예를 도시한다.
도 8을 참조하면, 제어부 260는 805동작에서 VR 컨텐츠 실행 중 알림 정보를 표시할 수 있다. 이 때 상기 알림 정보는 예컨대, 통화 수신창, 메시지 표시 창 등의 형태로 표시될 수 있다. 이후 상기 제어부 260는 810동작에서 상기 알림 정보 내 선택 메뉴가 존재하는지 여부를 판단할 수 있다. 그리고 상기 제어부 260는 815동작에서 상기 선택 메뉴에 사용자의 시선이 도달한 상태에서 터치가 이루어짐을 확인할 수 있다. 사용자의 시선이 특정 지점에 도달했는지 여부는 전자장치 200의 센서부 240를 통해 감지된 사용자 머리 움직임에 근거하여 파악될 수 있다. 또는 사용자의 시선이 특정 지점에 도달했는지 여부는 사용자의 눈동자의 움직임을 전자장치 200 또는 헤드 마운트 기기 100에 부착된 카메라 등을 통해 센싱하는 방법으로 파악될 수도 있다. 그리고 상기 터치는 예컨대, 헤드 마운트 기기 100의 측면에 존재하는 터치 패드101를 통해 입력되는 탭(tap) 동작이 될 수 있다. 사용자는 자신이 원하는 선택 메뉴에 시선이 도달하였을 경우, 헤드 마운트 기기 100의 측면 터치 패드101를 탭하는 동작을 통해 해당 지점을 클릭하는 효과를 얻을 수 있다.
상기 제어부 260는 자신이 원하는 위치에서 터치 입력을 통해 특정 선택 메뉴를 선택하게 되면 820동작에서 상기 선택 메뉴에 해당하는 기능을 실행할 수 있다.
상기 도 8의 도면에 대한 구체적인 동작에 대한 설명을 위해 도 9a 내지 도 9c를 참조하기로 한다. 도 9a 내지 도 9c는 본 발명의 실시 예에 따른 통화 수신창을 표시하는 동작에 대하여 도시한 도면이다.
도 9a의 910 에서 도시되는 바와 같이, 제어부 260는 VR 컨텐츠 실행 중 콜(call) 수신 시, 콜 수신을 알리는 알림 911(예컨대, 전화기 모양의 아이콘)을 화면 일측에 표시할 수 있다. 이 때의 사용자 시선 912는 상기 알림 이 표시되는 영역 911 에 도달하지 않은 상태일 수 있다. 그러나 920에서 도시되는 바와 같이 상기 시선 912이 상기 알림이 표시되는 영역911에 도달하게 되면 제어부 260는 930과 같이 해당 알림에 관련된 정보를 표시할 수 있다. 이 때 상기 알림이 통화 수신에 관련된 알림이었으므로, 상기 930에서 표시되는 알림 정보는 통화 수신창 931이 될 수 있다. 그리고 사용자의 시선 912는 상기 통화 수신창 931 내 머물러 있는 경우, 제어부 260는 계속해서 상기 통화 수신창 931을 화면에 표시할 수 있다. 그러나 사용자의 시선 912이 화살표 방향으로 움직이면서 상기 통화 수신창 931의 영역 밖으로 벗어나게 되면 상기 알림 정보는 다시 910에서 도시되는 바와 같이 알림 아이콘 911의 형태로 보여질 수 있다.
이 때 상기 통화 수신창 931은 선택 메뉴를 포함하고 있을 수 있다. 상기 선택 메뉴는 예컨대, 통화 수락 또는 거절을 선택할 수 있도록 버튼 형태로 형성되어 있을 수 있다. 이러한 경우 도 9b에서 도시되는 바와 같이 사용자는 통화 수신창 931 내 존재하는 선택 메뉴들(수락 버튼 941, 거절 버튼942 )중 자신이 선택하고자 하는 특정 메뉴(예컨대, 수락 버튼941)에 시선912의 위치를 이동시킨 후 터치 제스처를 입력하여 해당 메뉴를 선택할 수 있다. 상기 터치 제스처는 예컨대, 헤드 마운트 기기 100의 일측에 형성된 터치 패드101에 대한 탭(tap) 동작일 수 있다.
그리고 상기 메뉴 선택에 대응하여 제어부 260는 통화를 연결하거나 종료시키는 동작을 수행할 수 있다. 만약 선택된 메뉴가 수락 버튼 941인 경우, 제어부 260는 통화를 연결하고 상기 통화 수신창 931대신 통화 진행 상황을 알리는 통화 상황 표시창 951을 표시할 수 있다. 이 때 상기 통화 상황 표시창 851의 사이즈는 최소화되어 화면의 일측에 표시될 수 있다.
반면, 도면에 도시되지 않았지만 거절 버튼 942가 선택된 경우, 상기 제어부 260는 화면에서 통화 수신을 거절하고, 상기 통화 수신창 931의 표시를 종료할 수 있다.
9c는 통화 연결 이후의 동작을 도시하고 있다. 960을 살펴보면, 통화가 연결 된 후 통화 상황 표시창951이 최소화된 상태로 화면의 일측에 표시되고 있다. 그리고 이 때 사용자의 시선 912은 상기 통화 상황 표시창 951의 외부에 위치하고 있다. 상기 사용자의 시선 912가 상기 960에서 도시되는 화살표 방향으로 이동하여 상기 통화 상황 표시창 951의 위치에 970과 같이 도달하게 되면, 제어부 260는 980과 같이 최소화되었던 통화 상황 표시창 951을 본래 사이즈로 표시할 수 있다. 931은 본래 사이즈로 표시된 통화 상황 표시창을 도시하고 있으며, 상기 통화 상황 표시창에는 통화 종료를 선택할 수 있는 선택 메뉴 982를 포함할 수 있다. 그리고 사용자의 시선 912이 상기 통화 상황 표시창 931 내에 머물러 있는 동안에 제어부 260는 상기 통화 상황 표시창 931을 계속해서 화면상에 본래 사이즈로 표시할 수 있다. 그러나 사용자의 시선 912가 상기 통화 상황 표시창 931의 외부 지점으로 이동하면 990에서 도시되는 바와 같이 상기 통화 상황 표시창 931은 다시 축소된 사이즈로 표시될 수 있다.
그리고 본 명세서와 도면에 개시된 본 개시의 실시 예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시 예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
　　　　210: 입력부
　　　　220: 표시부
　　　　230: 저장부
　　　　240: 센서부
　　　　250: 통신부
　　　　260: 제어부

Claims (21)

  1. 알림 정보를 제어하는 방법에 있어서,
    가상 현실(VR) 환경 기반으로 화면을 표시하는 동작;
    알림이 발생하면 상기 알림을 화면의 적어도 일부분에 표시하는 동작;
    사용자의 시선의 위치로 간주되는 지점이 상기 알림의 표시 위치에 도달함을 판단하는 동작; 및
    상기 알림에 해당하는 알림 정보를 화면에 표시하는 동작을 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 가상 현실 환경 기반으로 화면을 표시하는 동작은
    하나의 표시 영역을 두 개의 표시 영역으로 나누고, 상기 두 개의 표시 영역에 왼쪽 눈이 바라볼 화면과 오른쪽 눈이 바라볼 화면을 각각 표시하는 동작인 것을 특징으로 하는 방법.
  3. 제 1항에 있어서,
    상기 알림을 화면의 적어도 일부분에 표시하는 동작은
    동일 종류의 알림이 중복되어 발생된 경우, 알림을 중첩하여 표시하는 동작을 포함하는 것을 특징으로 하는 방법.
  4. 제 3항에 있어서,
    상기 중첩되어 표시된 알림에 해당하는 알림 정보를 표시할 시, 알림 정보를 표시하는 팝업창을 중첩하여 표시하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기 판단하는 동작은
    전자장치의 움직임을 검출하는 동작;
    상기 움직임에 대응하여 상기 지점을 이동시키는 동작을 포함하는 것을 특징으로 하는 방법.
  6. 제 5항에 있어서,
    상기 알림이 표시된 시점으로부터 일정 시간 이상 전자장치의 움직임이 검출되지 않으면 상기 알림의 표시를 종료하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  7. 제 1항에 있어서,
    상기 알림은
    메시지 수신, 콜 수신 및 어플리케이션의 푸시 알림 수신을 포함하는 것을 특징으로 하는 방법.
  8. 제 1항에 있어서,
    상기 알림 정보를 화면에 표시하는 동작은
    상기 사용자의 시선의 위치로 간주되는 지점이 상기 알림 정보가 표시되는 영역 내부에 머물러 있는 동안에는 상기 알림 정보를 지속해서 표시하는 것을 특징으로 하는 방법.
  9. 제 8항에 있어서,
    상기 사용자의 시선의 위치로 간주되는 지점이 상기 알림 정보가 표시되는 영역 외부로 이동되면 상기 알림 정보 표시를 종료하는 동작 또는 상기 알림 정보를 최소화하여 표시하는 동작 중 적어도 하나를 수행하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  10. 제 8항에 있어서,
    상기 알림 정보를 화면에 표시하는 동작은
    화면에 표시되는 알림 정보의 종류가 메시지인 경우, 스와이프 동작을 감지하면 다음 차례의 메시지를 표시하는 동작을 포함하는 것을 특징으로 하는 방법.
  11. 제 8항에 있어서,
    상기 알림 정보를 화면에 표시하는 동작은
    화면에 표시되는 알림 정보가 선택 메뉴를 포함하고 있는 경우, 상기 사용자의 시선의 위치로 간주되는 지점이 상기 선택 메뉴가 표시되는 위치에 도달한 상태에서 탭 동작을 감지하면 상기 선택 메뉴에 해당하는 기능을 수행하는 동작을 포함하는 것을 특징으로 하는 방법.
  12. 알림 정보를 제어하는 전자장치에 있어서,
    가상 현실(VR) 환경 기반으로 화면을 표시하며, 알림을 화면의 적어도 일부분에 표시하는 표시부;
    상기 전자장치의 움직임을 검출하는 센서부;
    상기 검출된 움직임에 따라 사용자의 시선의 위치로 간주되는 지점의 좌표를 이동시키고, 상기 지점이 알림 표시 위치에 도달하면 상기 알림에 해당하는 알림 정보를 화면에 표시하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 전자장치.
  13. 제 12항에 있어서,
    상기 표시부는
    상기 가상 현실 환경에서 하나의 표시 영역을 두 개의 표시 영역으로 나누고, 상기 두 개의 표시 영역에 왼쪽 눈이 바라볼 화면과 오른쪽 눈이 바라볼 화면을 각각 표시하는 것을 특징으로 하는 전자장치.
  14. 제 12항에 있어서,
    상기 제어부는
    동일 종류의 알림이 중복되어 발생된 경우, 해당 알림을 중첩하여 표시하도록 제어하는 것을 특징으로 하는 전자장치.
  15. 제 14항에 있어서,
    상기 제어부는
    상기 중첩되어 표시된 알림에 해당하는 알림 정보를 표시할 시, 알림 정보를 표시하는 팝업창을 중첩하여 표시하도록 제어하는 것을 특징으로 하는 전자장치.
  16. 제 12항에 있어서, 상기 제어부는
    상기 알림이 표시된 시점으로부터 일정 시간 이상 전자장치의 움직임이 검출되지 않으면, 상기 알림의 표시를 종료하도록 제어하는 것을 특징으로 하는 전자장치.
  17. 제 12항에 있어서,
    상기 제어부는
    메시지 수신, 콜 수신 및 어플리케이션의 푸시 알림 수신을 상기 알림으로 판단하는 것을 특징으로 하는 전자장치.
  18. 제 12항에 있어서,
    상기 제어부는
    상기 사용자의 시선의 위치로 간주되는 지점이 상기 알림 정보가 표시되는 영역 내부에 머물러 있는 동안에는 상기 알림 정보를 지속해서 표시하도록 제어하는 것을 특징으로 하는 전자장치.
  19. 제 18항에 있어서,
    상기 제어부는
    상기 사용자의 시선의 위치로 간주되는 지점이 상기 알림 정보가 표시되는 영역 외부로 이동되면 상기 알림 정보 표시를 종료 또는 상기 알림 정보를 최소화하여 표시하도록 제어하는 것을 특징으로 하는 전자장치.
  20. 제 18항에 있어서,
    상기 제어부는
    화면에 표시되는 알림 정보의 종류가 메시지인 경우, 스와이프 동작을 감지하면 다음 차례의 메시지를 표시하도록 제어하는 것을 특징으로 하는 전자장치.
  21. 제 18항에 있어서,
    상기 제어부는
    화면에 표시되는 알림 정보가 선택 메뉴를 포함하고 있는 경우, 상기 사용자의 시선의 위치로 간주되는 지점이 상기 선택 메뉴가 표시되는 위치에 도달한 상태에서 탭 동작을 감지하면 상기 선택 메뉴에 해당하는 기능을 수행하도록 제어하는 것을 특징으로 하는 전자장치.

KR1020140114575A 2014-08-29 2014-08-29 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치 KR20160026323A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140114575A KR20160026323A (ko) 2014-08-29 2014-08-29 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치
US14/838,664 US20160063766A1 (en) 2014-08-29 2015-08-28 Method and apparatus for controlling the notification information based on motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140114575A KR20160026323A (ko) 2014-08-29 2014-08-29 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20160026323A true KR20160026323A (ko) 2016-03-09

Family

ID=55403102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140114575A KR20160026323A (ko) 2014-08-29 2014-08-29 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치

Country Status (2)

Country Link
US (1) US20160063766A1 (ko)
KR (1) KR20160026323A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101687174B1 (ko) * 2016-04-29 2016-12-16 주식회사 조이펀 Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
WO2018097683A1 (ko) * 2016-11-25 2018-05-31 삼성전자 주식회사 전자 장치, 외부 전자 장치 및 전자 장치와 외부 전자 장치를 연결하기 위한 방법
KR20180090366A (ko) * 2016-03-31 2018-08-10 구글 엘엘씨 Vr 뷰어에서의 휴대용 사용자 디바이스의 정렬을 위한 전도성 접촉부들

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10108256B2 (en) * 2014-10-30 2018-10-23 Mediatek Inc. Systems and methods for processing incoming events while performing a virtual reality session
US10099134B1 (en) * 2014-12-16 2018-10-16 Kabam, Inc. System and method to better engage passive users of a virtual space by providing panoramic point of views in real time
IL241446B (en) * 2015-09-10 2018-05-31 Elbit Systems Ltd Display adjustments on user screens and guiding users' attention
US10540005B2 (en) * 2015-10-22 2020-01-21 Lg Electronics Inc. Mobile terminal and control method therefor
EP3446839B1 (en) * 2016-04-20 2023-01-18 Sony Interactive Entertainment Inc. Robot and housing
CN105959348A (zh) * 2016-04-21 2016-09-21 乐视控股（北京）有限公司 一种推送提醒消息时的防打扰方法及装置
US10722800B2 (en) 2016-05-16 2020-07-28 Google Llc Co-presence handling in virtual reality
US10592048B2 (en) * 2016-05-17 2020-03-17 Google Llc Auto-aligner for virtual reality display
CN106125946A (zh) * 2016-06-28 2016-11-16 努比亚技术有限公司 一种控制方法、移动终端及头戴设备
CN106200923A (zh) * 2016-06-30 2016-12-07 乐视控股（北京）有限公司 一种虚拟现实系统的控制方法和装置
CN106445160A (zh) * 2016-09-30 2017-02-22 珠海市魅族科技有限公司 一种信息展示的方法以及装置
US20180096505A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
CN106774821B (zh) * 2016-11-08 2020-05-19 广州视源电子科技股份有限公司 基于虚拟现实技术的显示方法和系统
US10595012B2 (en) * 2016-12-02 2020-03-17 Google Llc Representations of event notifications in virtual reality
CN106980500B (zh) * 2017-02-17 2019-12-10 福建天泉教育科技有限公司 一种安卓虚拟现实模式和裸眼模式切换方法和系统
KR102391965B1 (ko) 2017-02-23 2022-04-28 삼성전자주식회사 가상현실 서비스를 위한 화면 제어 방법 및 장치
CN107249030A (zh) * 2017-06-13 2017-10-13 宁波美象信息科技有限公司 一种用电子装置作为vr的控制器体验方法
US11145096B2 (en) 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
EP3553629B1 (en) 2018-04-12 2024-04-10 Nokia Technologies Oy Rendering a message within a volumetric data
US10768426B2 (en) * 2018-05-21 2020-09-08 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
JP6780865B2 (ja) * 2018-07-31 2020-11-04 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
US11011142B2 (en) 2019-02-27 2021-05-18 Nintendo Co., Ltd. Information processing system and goggle apparatus
CN110162170A (zh) * 2019-04-04 2019-08-23 北京七鑫易维信息技术有限公司 基于终端可扩展区域的控制方法及装置
CN110324432B (zh) * 2019-07-30 2021-10-01 网易（杭州）网络有限公司 应用于终端的数据处理方法、装置、介质和计算设备
CN115527015A (zh) * 2022-09-20 2022-12-27 北京字跳网络技术有限公司 通知消息的显示方法、装置、电子设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8464176B2 (en) * 2005-01-19 2013-06-11 Microsoft Corporation Dynamic stacking and expansion of visual items
US8446509B2 (en) * 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
US8812985B2 (en) * 2009-10-30 2014-08-19 Motorola Mobility Llc Method and device for enhancing scrolling operations in a display device
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US20140101608A1 (en) * 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180090366A (ko) * 2016-03-31 2018-08-10 구글 엘엘씨 Vr 뷰어에서의 휴대용 사용자 디바이스의 정렬을 위한 전도성 접촉부들
KR101687174B1 (ko) * 2016-04-29 2016-12-16 주식회사 조이펀 Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
WO2017188637A1 (ko) * 2016-04-29 2017-11-02 주식회사 조이펀 Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
WO2018097683A1 (ko) * 2016-11-25 2018-05-31 삼성전자 주식회사 전자 장치, 외부 전자 장치 및 전자 장치와 외부 전자 장치를 연결하기 위한 방법
US11199709B2 (en) 2016-11-25 2021-12-14 Samsung Electronics Co., Ltd. Electronic device, external electronic device and method for connecting electronic device and external electronic device

Also Published As

Publication number Publication date
US20160063766A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
KR20160026323A (ko) 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치
US11410276B2 (en) Determination of an operation
US10416835B2 (en) Three-dimensional user interface for head-mountable display
US8884874B1 (en) Digital device and control method thereof
CN112218068B (zh) 头戴式显示器中的环境中断以及非视野不动产的利用
EP2883103B1 (en) Head mounted display for adjusting audio output and video output in relation to each other and method for controlling the same
US9886086B2 (en) Gesture-based reorientation and navigation of a virtual reality (VR) interface
WO2015064165A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20230106727A (ko) 시선-기반 사용자 상호작용
US11002974B2 (en) System and method of customizing a user interface panel based on user's physical sizes
US9500867B2 (en) Head-tracking based selection technique for head mounted displays (HMD)
WO2014054211A1 (en) Information processing device, display control method, and program for modifying scrolling of automatically scrolled content
WO2015170520A1 (ja) 情報処理システムおよび情報処理方法
JP7382972B2 (ja) 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置
JP2015133088A (ja) Ｇｕｉシステム、表示処理装置、入力処理装置及びプログラム
WO2013052855A2 (en) Wearable computer with nearby object response
US20190179406A1 (en) Display device and image display method
KR20140115906A (ko) 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법
US11284047B2 (en) Information processing device and information processing method
EP3109734A1 (en) Three-dimensional user interface for head-mountable display
US10901499B2 (en) System and method of instantly previewing immersive content
KR101685430B1 (ko) 게이즈 제스처를 이용한 스마트 안경 인터페이스 시스템 및 방법
US11688148B2 (en) Methods and systems for selection of objects
US20210072827A1 (en) Line-of-sight input device, method of line-of-sight input, and line-of-sight input system
JP2022118501A (ja) 表示システム、表示装置とその制御方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application