KR20150107528A - 사용자 인터페이스를 제공하는 방법과 전자 장치 - Google Patents

사용자 인터페이스를 제공하는 방법과 전자 장치 Download PDF

Info

Publication number
KR20150107528A
KR20150107528A KR1020140030625A KR20140030625A KR20150107528A KR 20150107528 A KR20150107528 A KR 20150107528A KR 1020140030625 A KR1020140030625 A KR 1020140030625A KR 20140030625 A KR20140030625 A KR 20140030625A KR 20150107528 A KR20150107528 A KR 20150107528A
Authority
KR
South Korea
Prior art keywords
input
touch input
touch
menu
user
Prior art date
Application number
KR1020140030625A
Other languages
English (en)
Inventor
그레고리 엑
브라운 폴
메디취 조디
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140030625A priority Critical patent/KR20150107528A/ko
Priority to EP15159044.5A priority patent/EP2919109A1/en
Priority to US14/658,789 priority patent/US9891782B2/en
Publication of KR20150107528A publication Critical patent/KR20150107528A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Abstract

사용자 인터페이스를 제공하는 방법에 따르면, 터치 스크린의 에지로부터 소정 거리 내에서 감지된 소정의 제1 터치 입력에 대응하여, 터치 스크린 상의 제1 터치 입력과 떨어진 위치에 제1 커서를 표시하고, 제1 터치 입력이 발생한 위치에 따라 결정되는 제1 소정의 영역에서 제1 터치 입력의 움직임을 감지하고, 제1 커서를, 제1 터치 입력의 움직임과 동일한 형태로, 터치 스크린 상에서 이동시킬 수 있다.

Description

사용자 인터페이스를 제공하는 방법과 전자 장치{Method for providing user interface}
본 발명의 다양한 실시예들은 사용자 인터페이스를 제공하는 방법과 전자 장치에 관한 것이다.
스마트 폰을 비롯한 휴대용 모바일 기기가 생활의 일부가 되면서, 높은 하드웨어 사양이나 다양한 기능의 제공에 못지않게 사용자 인터페이스(UI, User Interface) 및 사용자 경험(UX, User Experience)의 중요성이 증대되고 있다.
최근에는 UI 및 UX는 사용자와 전자 장치 간의 상호 작용으로 인식되어, 사용자를 배려한, 사용자에 친화적인 사용 환경을 제공할 수 있는 UI 및 UX에 대한 선호가 높아지고 있다.
본 발명의 다양한 실시예들이 이루고자 하는 기술적 과제는 사용자 인터페이스를 제공하는 방법과 전자 장치를 제공하는 데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다. 본 발명의 다양한 실시예들이 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 다양한 실시예에 따른 사용자 인터페이스를 제공하는 방법은 터치 스크린의 에지로부터 소정 거리 내에서 소정의 제1 터치 입력을 감지하는 동작, 상기 제1 터치 입력에 대응하여, 상기 제1 터치 입력과 떨어진 위치에 제1 커서를 표시하는 동작, 상기 터치 스크린의 전체 화면에 맵핑되고, 상기 제1 터치 입력이 발생한 위치에 따라 결정되는 제1 소정의 영역에서 상기 제1 터치 입력의 움직임을 감지하는 동작과 상기 제1 커서를, 상기 제1 소정의 영역에서의 상기 제1 터치 입력의 움직임과 동일한 형태로, 이동시키는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 사용자 인터페이스를 제공하는 방법은 전자 장치의 스크린 상의 입력을 감지하는 동작, 상기 입력이 감지되는 동안, 상기 감지된 입력에 대응하여 사용자의 시선의 방향을 결정하는 동작, 상기 결정된 방향에 해당하는 기능을 결정하는 동작과 상기 결정된 기능을 수행하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 프로세서의 제어 신호에 따라 화면을 표시하고, 터치 입력을 감지하는 터치 스크린과 상기 터치 스크린의 에지로부터 소정 거리 내에서 감지된 소정의 제1 터치 입력에 대응하여, 상기 터치 스크린 상의 상기 제1 터치 입력과 떨어진 위치에 제1 커서를 표시하고, 상기 제1 터치 입력이 발생한 위치에 따라 결정되는 제1 소정의 영역에서 감지된 상기 제1 터치 입력의 움직임에 따라, 상기 제1 커서를 상기 제1 터치 입력의 움직임과 동일한 형태로 이동시키도록 상기 터치 스크린을 제어하는 프로세서를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 입력을 감지하는 스크린과 상기 스크린 상의 입력이 감지되는 동안, 상기 감지된 입력에 대응하여 사용자의 시선의 방향을 결정하고, 상기 결정된 방향에 해당하는 기능을 결정하고, 상기 결정된 기능을 수행하도록 동작하는 프로세서를 포함할 수 있다.
전술한 바와 같은 내용들은 당해 분야 통상의 지식을 가진 자가 후술되는 본 개시의 다양한 실시예의 구체적인 설명으로부터 보다 잘 이해할 수 있도록 하기 위하여 다양한 실시예들의 특징들 및 기술적인 특징들을 다소 넓게 약술한 것이다. 이러한 특징들 이외에도 본 개시의 청구범위의 주제를 형성하는 다양한 실시예들의 추가적인 특징들은 후술되는 구체적인 설명으로부터 잘 이해될 것이다.
터치 스크린의 에지 부근의 작은 영역 상에서의 움직임만으로 전체 터치 스크린을 제어할 수 있으며, 다양한 기능들을 제공할 수 있다. 또한, 사용자가 원하는 위치, 사용자의 조작이 편리한 위치에 터치 스크린의 표시와 관련된 메뉴를 능동적으로 표시할 수 있다. 이에 따라, 사용자의 편의성을 향상시킬 수 있다. 사용자에게 사용자 친화적인 UI, UX를 제공할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 전자 장치를 도시한 블록도이다.
도 2는 본 발명의 다양한 실시예들에 따라 전자 장치에서 커서를 이용하여 터치 스크린을 제어하는 화면이다.
도 3은 본 발명의 다양한 실시예들에 따라 전자 장치에서 멀티 터치로 터치 스크린을 제어하는 화면이다.
도 4는 본 발명의 다양한 실시예들에 따라 전자 장치에서 커서를 이용하여 터치 스크린을 제어하는 화면이다.
도 5는 본 발명의 다양한 실시예들에 따라 전자 장치에서 터치를 이용하여 터치 스크린에 표시된 콘텐트와 관련된 메뉴를 표시하는 화면이다.
도 6은 본 발명의 다양한 실시예들에 따라 전자 장치에서 터치를 이용하여 터치 스크린에 표시된 콘텐트와 관련된 메뉴를 표시하는 화면이다.
도 7은 본 발명의 다양한 실시예들에 따라 전자 장치에서 멀티 터치를 이용하여 터치 스크린의 표시와 관련된 메뉴를 표시하는 화면이다.
도 8은 본 발명의 다양한 실시예들에 따라 전자 장치에서 터치를 이용하여 터치 스크린에 표시된 콘텐트와 관련된 메뉴를 표시하는 화면이다.
도 9는 본 발명의 다양한 실시예들에 따라 전자 장치에서 터치를 이용하여 터치 스크린에 표시된 콘텐트와 관련된 메뉴를 표시하는 화면이다.
도 10은 본 발명의 다양한 실시예들에 따라 전자 장치에서 멀티 터치를 이용하여 터치 스크린에 표시된 콘텐트와 관련된 메뉴를 표시하는 화면이다.
도 11은 본 발명의 다양한 실시예들에 따라 전자 장치에서 멀티 터치와 쇼트 컷(shortcut)을 이용하는 화면이다.
도 12는 본 발명의 다양한 실시예들에 따라 전자 장치에서 터치와 시선을 이용하여 메뉴를 표시하는 화면이다.
도 13은 본 발명의 다양한 실시예들에 따라 전자 장치에서 사용자의 시선을 이용하여 제어 수단을 선택하는 화면이다.
도 14는 본 발명의 다양한 실시예들에 따라 전자 장치에서 사용자의 시선을 이용하여 메인 화면과 서브 화면을 제어하는 화면이다.
도 15는 본 발명의 다양한 실시예들에 따라 전자 장치에서 멀티 터치를 이용하여 사진 촬영를 수행하는 화면이다.
도 16은 본 발명의 다양한 실시예들에 따라 전자 장치에서 근접성과 제스처를 이용하여 터치 스크린을 제어하는 화면이다.
도 17은 본 발명의 다양한 실시예들에 따라 전자 장치에서 사용자 인터페이스를 제공하는 방법을 나타낸 흐름도이다.
도 18은 본 발명의 다양한 실시예들에 따라 전자 장치에서 사용자 인터페이스를 제공하는 방법을 나타낸 흐름도이다.
도 19는 본 발명의 다양한 실시예들에 따라 전자 장치에서 사용자 인터페이스를 제공하는 방법을 나타낸 흐름도이다.
도 20은 본 발명의 다양한 실시예들에 따라 전자 장치에서 사용자 인터페이스를 제공하는 방법을 나타낸 흐름도이다.
이하, 본 발명의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명의 다양한 실시예에서 사용될 수 있는 "포함한다" 또는 "포함할 수 있다"등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 다양한 실시예에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A와 B를 포함할 수도 있다.
본 발명의 다양한 실시예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 다양한 실시예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명의 다양한 실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 다양한 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 다양한 실시예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 다양한 실시예에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명의 다양한 실시예에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 다양한 실시예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시예들에 따른 전자 장치의 블록도를 도시한다.
도 1을 참조하면, 전자 장치(100)는 터치 스크린(110), 프로세서(120) 및 저장부(130)로 구성될 수 있다. 본 명세서에서는 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 본 실시예에 관련된 구성요소들만을 기술하기로 한다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
본 실시예에 따른 전자 장치(100)는 사용자의 싱글 터치 입력, 멀티 터치 입력, 제스처 또는 시선(gaze) 중 적어도 하나를 이용하여, 전자 장치(100)의 기능들을 사용자가 편리하게 수행하고, 제어할 수 있는 사용자 인터페이스를 제공할 수 있다.
터치 스크린(110)은 표시된 화면을 통해서 사용자 입력을 수신하는 장치이다. 터치 스크린(110)은 표시부(112) 및 터치 입력 감지부(114)로 구성될 수 있다.
표시부(112)는 터치 스크린(110) 상에 정보를 표시한다. 표시부(112)는 프로세서(120)의 제어 신호에 따라 화면을 표시할 수 있다.
터치 입력 감지부(114)는 터치 스크린(110)의 표면에 구비된 센서들을 이용하여, 표면에 가해진 압력 변화, 정전 용량의 변화 또는 광량의 변화 등과 같은 센서들의 상태 변화를 전기적인 신호로 변환하여 터치 입력을 감지할 수 있다.
본 실시예에 따른 터치 스크린(110)은 저항막 방식, 정전용량 방식, 초음파 방식, 적외선 방식 등의 다양한 방법으로 구현될 수 있다. 이하에서는 설명의 편의를 위하여, 터치 입력 감지부(114)는 터치 스크린(110)의 표면에 신체 또는 물체의 접촉으로 터치 입력을 감지하는 접촉식의 터치 스크린인 것으로 가정한다.
터치 입력 감지부(114)는 사용자의 싱글 터치 입력, 멀티 터치 입력, 사용자 터치 입력의 움직임 또는 터치 입력 패턴 등을 감지할 수 있다. 나아가, 터치 입력 감지부(114)는 센서들의 상태 변화에 기초하여, 터치 입력의 위치, 터치 입력의 지속 시간, 터치 입력의 이동 및 이동 시의 터치 입력의 시작 위치, 종료 위치, 이동 방향, 이동 거리 또는 이동 속도 등을 더 감지할 수 있다. 예를 들면, 터치 입력 감지부(114)는 드래그, 플릭, 탭, 터치&홀드, 더블 탭, 패닝, 스윕(sweep) 등의 터치 입력을 감지할 수 있다.
터치 입력 감지부(114)는 감지된 터치 입력을 프로세서(120)에 전송할 수 있다. 이에 의해, 전자 장치 (100)는 상기 터치 입력에 대응하는 특정 기능을 처리할 수 있다.
터치 입력 감지부(114)는 소정의 터치 입력을 감지할 수 있다. 소정의 터치 입력에 대응하여, 표시부(112)는 상기 터치 입력과 떨어진 위치에 커서(20)를 표시할 수 있다. 또는, 소정의 터치 입력에 대응하여, 표시부(112)는 상기 터치 입력이 발생한 위치에 메뉴를 표시할 수 있다.
또는, 터치 입력 감지부(114)는 소정의 제1 터치 입력과 제2 터치 입력을 감지하고, 표시부(112)는 터치 스크린(110) 상에 각각의 터치 입력에 대응되는 제1 커서와 제2 커서를 표시할 수 있다. 사용자는 터치 스크린(110) 상의 커서들을 움직임으로써, 전자 장치(100)의 기능들을 제어할 수 있다.
또는, 터치 입력 감지부(114)는 소정의 제1 터치 입력과 제2 터치 입력을 감지하고, 표시부(112)는 각각의 터치 입력에 대응하여, 터치 스크린(110) 상에 표시된 콘텐트(content)와 관련된 제1 메뉴와 제2 메뉴를 표시할 수 있다. 사용자는 제1 메뉴 상에서 상기 제1 터치 입력을 움직이고, 제2 메뉴 상에서 상기 제2 터치 입력을 움직임으로써, 제1 메뉴와 제2 메뉴 각각의 아이템을 선택할 수 있다. 사용자가 상기 제1 메뉴의 제1 아이템을 상기 제2 메뉴를 향하여 소정의 형태로 릴리즈(release)함으로써, 상기 제1 아이템을 상기 제1 메뉴로부터 상기 제2 메뉴로 전달할 수 있다. 제1 메뉴와 제2 메뉴 상의 터치 입력의 움직임에 따라, 사용자는 전자 장치(100)의 기능들을 제어할 수 있다.
또는, 터치 입력 감지부(114)는 제1 커서를 생성시키는 소정의 제1 터치 입력이 유지되는 동안에, 영역 선택(area selection) 기능, 메뉴 활성화, 쇼트 컷(short cut) 등의 다른 기능을 활성화시키는 소정의 제2 터치 입력을 감지할 수 있다. 전자 장치(100)는 상기 제2 터치 입력에 의하여 터치 스크린(110) 상에 표시된 콘텐트와 관련된 메뉴를 표시하거나, 상기 제2 터치 입력에 대응되는 기능을 제공하거나, 터치 스크린(110) 상에 표시된 커서(20)에 상기 제2 터치 입력에 대응되는 기능을 반영할 수 있다. 또는, 전자 장치(100)는 상기 제2 터치 입력에 의하여, 상기 제1 터치 입력에 의해 생성된 커서(20)를 제거하고, 상기 제1 터치 입력의 위치에 상기 터치 스크린(110)에 표시된 콘텐트와 관련된 제1 메뉴를 표시할 수 있다. 또는, 터치 입력 감지부(114)는 드로잉되는 텍스트에 해당하는 상기 제2 터치 입력을 감지할 수 있다. 전자 장치(100)는 상기 터치 스크린(110) 상에 표시된 콘텐트 또는 메뉴와 관련하여 상기 텍스트가 나타내는 쇼트컷을 수행할 수 있다.
이외에도, 전자 장치(100)는 커서(20)와 함께, 멀티 터치에 의한 다양한 기능들을 제공할 수 있다. 이와 관련된 다양한 실시예들은 도 2 내지 도 16을 참조할 수 있다.
일 실시예에 따르면, 소정의 터치 입력은 엄지 입력이 될 수 있다. 터치 입력 감지부(114)는 사용자의 엄지 입력을 다른 터치 입력과 구별할 수 있다.
예를 들면, 터치 입력 감지부(114)는 터치 스크린(110)의 특정된 영역(specified area)에서 제공된 입력의 크기가 기결정된(predetermined) 임계값(threshold) 이상이면, 상기 입력을 엄지 입력(thumb input)으로 감지할 수 있다. 상기 특정된 영역은 상기 터치 스크린의 에지(edge)로부터 소정 거리 내의 영역이 될 수 있다. 다만, 이에 한정되지 않으며, 상기 특정된 영역은 미리 설정된 상기 터치 스크린(110) 상의 일부 영역 또는 사용자에 의해 설정가능한 상기 터치 스크린(110) 상의 일부 영역이 될 수 있다.
또는, 터치 입력 감지부(114)는 트레이닝 모드(training mode)를 통한 학습을 통해서 엄지 입력인지 여부를 결정할 수 있다. 트레이닝 모드에서의 터치 입력에 기초하여, 터치 입력 감지부(114)는 엄지 입력에 해당하는 터치 입력의 크기, 형태 또는 패턴 중 적어도 하나를 결정할 수 있다. 터치 입력 감지부(114)는 사용자별로 해당 사용자의 엄지 입력을 저장할 수 있다. 터치 입력 감지부(114)는 사용자별로 해당 사용자의 왼손 엄지 입력, 오른손 엄지 입력을 각각 저장할 수 있다.
또 다른 예에 따르면, 터치 입력 감지부(114)는 터치 스크린(110)에 구비된 그립 센서(grip sensor)를 이용하여, 엄지 입력인지 여부를 결정할 수 있다. 터치 스크린(110)은 전자 장치(100)의 측면 또는 터치 스크린(110)의 에지(edge)의 적어도 일부에 그립 센서(미도시)를 포함할 수 있다. 터치 입력 감지부(114)는 그립 센서를 통한 그립 입력이 유지되는 동안에 터치 스크린(110)의 특정된 영역 상의 터치 입력을 엄지 입력으로 감지할 수 있다. 특정된 영역은 터치 스크린(110)의 에지로부터 소정 거리 내에서 수신되는 터치 입력일 수 있다. 다만, 이에 한정되지 않으며, 상기 특정된 영역은 미리 설정된 상기 터치 스크린(110) 상의 일부 영역 또는 사용자에 의해 설정가능한 상기 터치 스크린(110) 상의 일부 영역이 될 수 있다.
본 실시예에서는, 전자 장치(100)의 터치 스크린(110)의 사이즈가 크더라도, 사용자는 엄지 입력으로 전자 장치(100)의 기능들을 제어할 수 있다. 예를 들면, 사용자는 터치 스크린(110)의 에지 부근의 작은 영역에서 엄지 손가락을 움직이는 것에 의해, 전자 장치(100)의 기능들을 제어할 수 있다.
프로세서(120)는 터치 스크린(110)의 동작을 비롯하여, 전자 장치(100)의 전반적인 동작을 제어한다. 예를 들면, 프로세서(120)는 터치 스크린(110) 상에 콘텐트를 표시하거나, 터치 입력에 따라 콘텐트를 이동시키는 제어 신호를 출력할 수 있다.
프로세서(120)는 특정된 영역에서 감지된 소정의 제1 터치 입력에 대응하여, 터치 스크린(110) 상의 제1 터치 입력과 떨어진 위치에 제1 커서를 표시하고, 제1 터치 입력이 발생한 위치에 따라 결정되는 제1 소정의 영역에서 감지된 제1 터치 입력의 움직임에 따라, 제1 커서를 제1 터치 입력의 움직임과 동일한 형태로 이동시키도록 터치 스크린(110)을 제어할 수 있다. 특정된 영역은 터치 스크린(110)의 에지로부터 소정 거리 내의 영역이 될 수 있다. 다만, 이에 한정되지 않으며, 상기 특정된 영역은 미리 설정된 상기 터치 스크린(110) 상의 일부 영역 또는 사용자에 의해 설정가능한 상기 터치 스크린(110) 상의 일부 영역이 될 수 있다. 이하에서는 설명의 편의를 위하여, 특정된 영역을 터치 스크린(110)의 에지로부터 소정 거리 내의 영역이라고 설명한다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 제1 터치 입력이 릴리즈(release)되면, 상기 제1 터치 입력이 릴리즈된 시점에 상기 터치 스크린의 상기 제1 커서의 위치에 표시된 아이템을 선택하도록 제어할 수 있다. 예를 들면, 상기 소정의 제1 터치 입력은 스와이프 앤드 홀드(swipe and hold)가 될 수 있다.
다른 실시예에 따르면, 프로세서(120)는 상기 터치 스크린(110)의 에지로부터 소정 거리 내에서 감지된 소정의 제2 터치 입력에 대응하여, 상기 터치 스크린 상의 상기 제2 터치 입력과 떨어진 위치에 제2 커서를 표시하고, 제2 터치 입력이 발생한 위치에 따라 결정되는 제2 소정의 영역에서 감지된 상기 제2 터치 입력의 움직임에 따라, 제2 커서를 제2 터치 입력의 움직임과 동일한 형태로 이동시키도록 터치 스크린(110)을 제어할 수 있다.
또 다른 실시예에 따르면, 프로세서(120)는 상기 제1 커서와 상기 제2 커서가 상기 터치 스크린의 동일한 객체 상에 위치하고, 상기 제1 커서와 상기 제2 커서를 동시에 이동시키는 상기 제1 터치 입력과 상기 제2 터치 입력에 따라, 상기 객체를 회전시킬 수 있다.
또 다른 실시예에 따르면, 프로세서(120)는 영역 선택(area selection) 기능을 활성화시키는 소정의 제2 터치 입력에 대응하여, 상기 제1 터치 입력의 움직임에 의한 상기 제1 커서의 이동에 따라 상기 터치 스크린 상에 선택 영역을 도시할 수 있다.
또 다른 실시예에 따르면, 프로세서(120)는 상기 터치 스크린의 에지로부터 소정 거리 내에서 감지된 소정의 제3 터치 입력에 대응하여, 상기 선택 영역과 관련된 메뉴를 상기 터치 스크린 상에 표시하도록 터치 스크린(110)을 제어할 수 있다.
또 다른 실시예에 따르면, 프로세서(120)는 카메라 모듈(140)을 통해 감지된 사용자의 시선이 향하는 위치가 상기 제1 터치 입력의 위치와 떨어져 있으면, 상기 사용자의 시선이 향하는 위치에 상기 제1 커서를 표시하도록 상기 터치 스크린(110)을 제어할 수 있다. 프로세서(120)는 카메라 모듈(140)을 통해 감지된 사용자의 시선이 향하는 위치와 상기 제1 터치 입력의 위치가 동일하면, 상기 제1 커서를 제거하고, 상기 제1 터치 입력의 위치에, 상기 터치 스크린에 표시된 콘텐트와 관련된 제1 메뉴를 표시하도록 상기 터치 스크린(110)을 제어할 수 있다.
또 다른 실시예에 따르면, 프로세서(120)는 상기 제1 메뉴 상에서 움직이던 상기 제1 터치 입력이 릴리즈되면, 상기 제1 터치 입력이 릴리즈된 위치에 표시된 아이템을 상기 콘텐트에 적용할 수 있다.
또 다른 실시예에 따르면, 상기 제1 메뉴는 멀티 레벨 메뉴이고, 프로세서(120)는 상기 제1 메뉴 상의 아이템의 선택에 의해, 상기 제1 메뉴의 위치에 상기 아이템의 서브 메뉴를 표시하도록 제어할 수 있다.
또 다른 실시예에 따르면, 프로세서(120)는 상기 제1 터치 입력의 이동에 의해 상기 제1 메뉴의 제1 아이템이 선택되면, 상기 제1 메뉴의 위치에 변형된 형태의 상기 제1 메뉴를 표시하도록 제어할 수 있다.
또 다른 실시예에 따르면, 프로세서(120)는 상기 터치 스크린에서 감지된 소정의 제2 터치 입력에 대응하여, 상기 제1 커서를 제거하고, 상기 제1 터치 입력의 위치에, 상기 터치 스크린에 표시된 콘텐트와 관련된 제1 메뉴를 표시하고, 상기 콘텐트와 관련된 제2 메뉴가 존재하면, 상기 제2 터치 입력이 발생한 위치에, 상기 제2 메뉴를 표시하도록 제어할 수 있다. 프로세서(120)는 상기 제1 메뉴의 제1 아이템이 상기 제2 메뉴를 향하여 소정의 형태로 릴리즈되면, 상기 제1 아이템이 상기 제1 메뉴로부터 상기 제2 메뉴에 전달되도록 제어할 수 있다. 상기 소정의 형태의 릴리즈는 플릭(flick)이 될 수 있다. 다만 이에 한정되지 않으며, 소정의 형태의 릴리즈는 탭, 터치&홀드, 더블 탭, 패닝, 스윕(sweep) 등이 될 수 있다.
또 다른 실시예에 따르면, 프로세서(120)는 상기 터치 스크린 상에 텍스트의 드로잉에 해당하는 제2 터치 입력이 감지되면, 상기 제1 메뉴와 관련하여, 상기 텍스트가 나타내는 쇼트컷(short cut)을 수행하도록 제어할 수 있다.
또 다른 실시예에 따르면, 프로세서(120)는 카메라 모듈(140)을 통해 감지된 사용자의 시선이 향하는 위치에 상기 제1 메뉴에 적용 가능한 아이템이 존재하면, 상기 제1 터치 입력이 릴리즈된 위치에 표시된 아이템을 상기 사용자의 시선이 향하는 위치의 아이템에 적용할 수 있다.
프로세서(120)는 터치 스크린(110) 상의 입력이 감지되는 동안, 상기 감지된 입력에 대응하여 사용자의 시선의 방향을 결정하고, 상기 결정된 방향에 해당하는 기능을 결정하고, 상기 결정된 기능을 수행하도록 제어할 수 있다.
일 실시예에 따라, 프로세서(120)는 상기 입력이 터치 스크린(110)의 특정된 영역에 제공되는지를 결정하고, 상기 입력이 상기 특정된 영역에 제공되면, 상기 입력의 크기를 결정할 수 있다. 프로세서(120)는 상기 입력의 크기와 결정된 임계값(threshold)을 비교하고, 상기 특정된 영역에서 상기 입력의 크기가 상기 결정된 임계값보다 크면, 상기 입력을 엄지 입력(thumb input)으로 감지할 수 있다.
다른 실시예에 따라, 프로세서(120)는 상기 사용자의 시선의 방향은 상기 감지된 엄지 입력에 대하여 결정할 수 있다.
또 다른 실시예에 따라, 프로세서(120)는 상기 사용자의 시선의 방향이 상기 감지된 입력의 영역을 향하는지를 결정하고, 상기 사용자의 시선의 방향이 상기 감지된 입력의 영역을 향하는지에 기초하여 상기 기능을 결정할 수 있다.
상기 사용자의 시선의 방향이 상기 감지된 입력의 영역을 향하면, 프로세서(120)는 터치 스크린(110) 상에 상기 감지된 입력의 영역에, 메뉴를 표시하도록 제어할 수 있다. 상기 메뉴는 상기 전자 장치(100) 상에서 실행되는 어플리케이션(application)을 제어하기 위한 옵션들을 제공할 수 있다. 상기 사용자의 시선의 방향이 상기 감지된 입력의 영역과 떨어지면, 프로세서(120)는 터치 스크린(110) 상에 상기 사용자의 시선의 방향에 커서를 표시하고, 상기 감지된 입력의 영역에 트랙패드(trackpad)를 활성화시키도록 제어할 수 있다.
또 다른 실시예에 따라, 프로세서(120)는 상기 사용자의 시선의 방향이 터치 스크린 상에 감지된 제2 입력의 영역을 향하면, 터치 스크린 상의 상기 제2 입력의 영역에, 제2 메뉴를 표시하도록 터치 스크린(110)을 제어할 수 있다. 제2 메뉴는 상기 전자 장치(100) 상에서 실행되는 상기 어플리케이션을 제어하기 위한 추가적인 옵션들을 제공할 수 있다.
또 다른 실시예에 따라, 프로세서(120)는 상기 메뉴의 옵션이 선택되는지를 결정하고, 상기 선택된 옵션에 대한 서브 메뉴가 존재하는지를 결정할 수 있다. 프로세서(120)는 상기 선택된 옵션에 대한 상기 서브 메뉴가 존재하지 않으면, 상기 선택된 옵션에 따라서 작업(operation)을 수행할 수 있다. 또는, 상기 선택된 메뉴에 대한 서브 메뉴가 존재하면, 프로세서(120)는 상기 선택된 옵션에 대한 서브 메뉴를 표시하도록 터치 스크린(110)을 제어할 수 있다.
또 다른 실시예에 따라, 프로세서(120)는 상기 전자 장치로부터 사용자까지의 거리에 비례하여, 상기 스크린 상에 표시된 콘텐트의 크기를 조정할 수 있다.
본 실시예에 따른 프로세서(120)는 하나 이상의 프로세서로 구성될 수 있다.
저장부(130)는 통상적인 저장매체로서, 터치 스크린(110)에 표시하는 정보를 저장한다. 또한, 저장부(130)는 터치 스크린(110)에서 터치 입력을 감지하고, 터치 입력에 따라 터치 스크린(110)을 제어하는데 필요한 데이터 또는 프로그램을 저장할 수 있다. 그 외에, 저장부(130)는 전자 장치(100)의 동작에 필요한 데이터 또는 프로그램을 저장할 수 있다. 본 실시예에 따른 저장부(130)는 하드 디스크 드라이브(Hard Disk Drive, HDD), ROM(Read Only Memory), RAM(Random Access Memory), 플래쉬 메모리(Flash Memory), 메모리 카드(Memory Card), NAND 메모리 및 솔리드 스테이트 드라이브(Solid State Drive, SDD)등으로 구현될 수 있다.
다양한 실시예들에 따라, 전자 장치(100)는 카메라 모듈(140)을 더 포함할 수 있다. 카메라 모듈(140)은 사용자의 시선이 향하는 위치를 감지할 수 있다.
일 실시예에 따르면, 터치 스크린(110) 상에 소정의 터치 입력이 감지되면, 프로세서(120)는 상기 터치 입력에 대응하여 카메라 모듈(140)이 사용자의 시선이 향하는 위치를 감지하도록 제어할 수 있다. 프로세서(120)는 감지된 시선이 향하는 위치에 따라 상기 터치 스크린(110)을 제어할 수 있다. 예를 들면, 터치 스크린(110)에서 터치 입력이 감지되는 동안, 카메라 모듈(140)은 상기 감지된 터치 입력에 대응하여 사용자의 시선의 방향을 결정할 수 있다. 프로세서(120)는 상기 감지된 시선의 방향에 기초하여 기능을 결정하고, 상기 결정된 기능을 수행할 수 있다.
다른 실시예에 따르면, 프로세서(120)는 사용자의 시선을 이용하여, 터치 스크린(110) 상의 제어 모드를 변경할 수 있다. 프로세서(120)는 커서에 의한 제어 대신에 메뉴에 의한 제어로 변경할 수 있다. 예를 들면, 프로세서(120)는 카메라 모듈(140)에서 감지된 시선의 방향이 감지된 터치 입력의 영역을 향하는지를 결정할 수 있다. 사용자의 시선의 방향이 상기 터치 입력의 영역을 향하면, 터치 스크린(110)은 상기 터치 입력의 영역에, 메뉴를 표시할 수 있다. 상기 메뉴는 전자 장치(100) 상에서 실행되는 어플리케이션을 제어하기 위한 옵션들을 제공할 수 있다. 또는, 사용자의 시선의 방향이 상기 터치 입력의 영역과 떨어지면, 터치 스크린(110)은 사용자의 시선의 방향에 커서를 표시하고, 상기 터치 입력의 영역에 트랙패드(trackpad)를 활성화시킬 수 있다.
또 다른 실시예에 따르면, 터치 스크린(110)은 터치 스크린 상의 제2 터치 입력을 더 감지하고, 상기 사용자의 시선의 방향이 상기 제2 터치 입력의 영역을 향하면, 터치 스크린(110) 상의 상기 제2 터치 입력의 영역에, 제2 메뉴를 표시할 수 있다. 예를 들면, 상기 제2 메뉴는 상기 전자 장치(100) 상에서 실행되는 상기 어플리케이션을 제어하기 위한 추가적인 옵션들을 제공할 수 있다.
다양한 실시예들에 따라, 전자 장치(100)는 적어도 하나의 센서를 포함할 수 있다. 전자 장치(100)는 적어도 하나의 센서를 이용하여 사용자의 시선, 제스처, 그립 등을 감지하거나, 전자 장치(100)로부터 사용자까지의 거리를 판단할 수 있다. 적어도 하나의 센서는 제스처 센서, 근접 센서, 자이로 센서, 가속도 센서, 마그네틱 센서, 그립 센서, IR(Infra Red) 센서, 홍채 센서, 지문 센서, 조도 센서, UV(Ultra Violet) 센서, color 센서(240H)(예: RGB(Red, Green, Blue) 센서) 또는 생체 센서 중의 적어도 하나를 포함할 수 있다.
도 2는 본 발명의 다양한 실시예들에 따라 전자 장치에서 커서를 이용하여 터치 스크린을 제어하는 화면이다.
도 2의 (a)를 참조하면, 사용자의 소정의 터치 입력(10)에 의해 터치 스크린(110) 상에 커서(20)가 생성될 수 있다. 본 실시예에서 커서(20)는 원 형태로 도시되어 있지만, 커서(20)는 다양한 크기와 형태를 가질 수 있다. 사용자가 터치 스크린(110)의 에지로부터 소정 거리 내에서 손가락으로 소정의 터치 입력(10)을 수행하면, 터치 스크린(110)은 소정의 터치 입력(10)에 대응하여, 터치 입력(10)과 떨어진 위치에 커서(20)를 표시할 수 있다. 예를 들면, 소정의 터치 입력(10)은 스와이프 앤드 홀드(swipe and hold)가 될 수 있다. 소정의 터치 입력(10)은 이에 한정되지 않으며, 탭, 드래그, 롱 터치 또는 더블 탭 등과 같은 다른 형태의 터치 입력을 포함할 수 있다.
일 실시예에 따르면, 사용자는 전자 장치(100)를 그립한 상태에서 왼손 엄지 손가락으로 터치 스크린(110)의 에지 부근을 터치하여, 상기 왼손 엄지 손가락과 떨어진 위치에 커서(20)를 발생시킬 수 있다. 전자 장치(100)의 터치 스크린(110)의 사이즈가 클수록, 사용자가 전자 장치(100)를 그립한 상태에서는 손가락을 이용하여 터치 스크린(110)을 제어하는 것이 쉽지 않다. 본 실시예에서는 사용자는 터치 스크린(110)에 커서(20)를 생성하여, 전자 장치(100)를 그립한 상태에서 터치 스크린(110)의 에지 부근의 작은 영역 상에서의 움직임만으로 전체 터치 스크린(110)을 제어할 수 있다. 이에 따라, 전자 장치(100)는 사용자에게 사용자 친화적인 UI(User Interface)와 UX(User Experience)를 제공할 수 있다.
사용자가 터치 스크린(110)의 에지로부터 소정 거리 내에서 커서(20)를 생성하는 소정의 터치 입력(10)을 수행하면, 상기 터치 입력(10)이 발생한 위치에 따라 터치 스크린(110) 상에 소정의 영역(30)이 결정될 수 있다. 소정의 영역(30)은 터치 스크린(110)의 전체 화면과 맵핑되는 터치 스크린(110)의 일부 영역을 나타낸다. 소정의 영역(30)은 터치 스크린(110)에 표시되지 않는 가상의 영역에 해당할 수 있다. 본 실시예에서는 소정의 영역(30)이 터치 스크린(110)의 전체 화면에 맵핑됨을 설명하기 위해서, 소정의 영역(30)에 터치 스크린(110)의 전체 화면을 축소한 화면을 도시하였으나, 이에 한정되지 않는다.
사용자가 소정의 영역(30) 상에서 터치 입력(10)을 이동시키면, 터치 입력(10)의 이동에 따라, 커서(20)도 이동할 수 있다. 도 2의 (b)를 참조하면, 터치 입력(10)이 소정의 영역(30) 상에서 화살표 방향으로 이동하면, 터치 스크린(110) 상의 커서(20)도 상기 소정의 영역(30)의 화살표에 대응되는 터치 스크린(110) 상의 위치에서 화살표 방향으로 이동할 수 있다.
이와 같이, 터치 스크린(110)은 소정의 영역(30)에서의 터치 입력의 움직임과 동일한 형태로, 커서(20)를 이동시킬 수 있다. 예를 들면, 사용자가 상기 소정의 영역(30)의 한 모서리에서 반대쪽 모서리로 터치 입력을 이동시키면, 상기 커서(20)는 터치 입력(10)의 움직임에 대응하여 터치 스크린(110)의 한쪽 모서리에서 반대쪽 모서리로 이동할 수 있다. 사용자가 손가락으로 소정의 영역(30)에서 짧은 거리를 이동하더라도, 커서(20)는 터치 스크린(110)에서 상대적으로 더 긴 거리가 이동될 수 있다. 이에 따라, 사용자는 소정의 영역(30)에서 작은 움직임으로, 터치 스크린(110) 전체를 네비게이트(navigate)할 수 있다. 이에 따라, 사용자의 편의성이 향상될 수 있다.
도 2의 (b)에 도시된 같이, 사용자가 소정의 영역(30)에서 상기 터치 입력(10)을 화살표 방향으로 이동하면, 커서(20)도 터치 입력(10)의 이동과 동일한 형태로 터치 스크린(110) 상에서 이동할 수 있다. 예를 들면, 터치 입력(10)이 소정의 영역(30)에서 YouTube 아이콘 위로 이동하면, 커서(20)도 소정의 영역(30)에서의 터치 입력의 위치와 대응되는 터치 스크린(110) 상의 위치로 이동할 수 있다. 커서(20)는, 터치 입력(10)의 이동과 동일한 형태로, 터치 스크린(110) 상에서 YouTube 아이콘의 위치로 이동할 수 있다.
도 2의 (c)를 참조하면, 사용자가 소정의 영역(30)에서 터치 입력(10)을 릴리즈(release)하면, 터치 스크린(30) 상의 커서(20)도 릴리즈된다.
일 실시예에 따르면, 터치 스크린(110)은 터치 입력(10)의 릴리즈를 커서(20)가 위치한 영역 또는 아이템의 선택으로 인식할 수 있다. 이에 따라, 커서(20)가 릴리즈되면, 상기 터치 입력(10)이 릴리즈된 시점에 커서(20)의 위치의 영역 또는 커서(20)의 위치에 표시된 아이템이 선택될 수 있다. 도 2의 (c)에서와 같이, 커서(20)가 YouTube 아이콘에 위치할 때, 사용자가 소정의 영역(30)에서 상기 터치 입력(10)을 릴리즈하면, YouTube 아이콘이 선택될 수 있다.
다른 실시예에 다르면, 사용자가 터치 스크린(110) 상의 영역 또는 아이템을 선택하기 위해서, 클릭 또는 탭 등과 같은 추가적인 터치 입력이 더 필요할 수도 있다.
도 3은 본 발명의 다양한 실시예들에 따라 전자 장치에서 멀티 터치로 터치 스크린을 제어하는 화면이다.
도 2에서 설명한 바와 같이, 사용자의 소정의 제1 터치 입력(11)에 의해 터치 스크린(110) 상에 제1 커서(21)가 생성될 수 있다. 사용자는 동일한 방식으로 반대편 손가락을 터치하여, 터치 스크린(110) 상에 제2 커서(22)를 생성할 수 있다.
일 실시예에 따라, 사용자는 전자 장치(100)를 그립한 상태에서 왼손 엄지 손가락으로 터치 스크린(110)의 에지 부근을 터치하여 제1 커서(21)를 발생시킬 수 있다. 사용자는 오른손 엄지 손가락으로 터치 스크린(110)을 터치하여 제2 커서(22)를 발생시킬 수 있다.
도 2에서 설명한 바와 같이, 제1 터치 입력(11)이 발생한 위치에 따라 터치 스크린(110) 상에 제1 소정의 영역(31)이 결정될 수 있다. 제2 터치 입력(12)이 발생한 위치에 따라 터치 스크린(110) 상에 제2 소정의 영역(32)이 결정될 수 있다.
제1 소정의 영역(31) 및 제2 소정의 영역(32) 각각은 터치 스크린(110)의 전체 화면과 맵핑되는 터치 스크린(110)의 일부 영역을 나타낸다. 제1 소정의 영역(31) 및 제2 소정의 영역(32)은 터치 스크린(110)에 표시되지 않는 가상의 영역에 해당할 수 있다.
도 3을 참조하면, 제1 터치 입력(11)의 위치와 제2 터치 입력(12)의 위치에 각각 제1 소정의 영역(31)과 제2 소정의 영역(32)이 도시되어 있다. 다만, 도 3에 도시된 제1 소정의 영역(31)과 제2 소정의 영역(32)은 각각의 영역이 터치 스크린(110)의 전체 화면에 맵핑됨을 보여주기 위해서 도시한 것으로, 이에 한정되지 않는다.
제1 커서(21)와 제2 커서(22)는 각각 제1 소정의 영역(31)에서 제1 터치 입력(11)의 위치, 제2 소정의 영역(32)에서 제2 터치 입력(12)의 위치와 대응되는 터치 스크린(110) 상의 위치에 표시된다. 사용자가 제1 소정의 영역(31)과 제2 소정의 영역(32) 각각에서 터치 입력을 이동하면, 제1 커서(21), 제2 커서(220)도 각 터치 입력의 이동과 동일한 형태로 터치 스크린(110) 상에서 이동할 수 있다.
도 3에 도시된 바와 같이, 제1 커서(21)와 제2 커서(22)가 터치 스크린(110)의 동일한 객체 상에 위치하고, 터치 스크린(110)이 제1 커서(21)와 제2 커서(22)를 동시에 이동시키는 제1 터치 입력(11)과 제2 터치 입력(12)의 움직임을 감지하면, 상기 움직임에 따라 해당 객체를 회전시킬 수 있다. 도 3에서는 그림의 회전을 예로 들어 설명하였으나, 이에 한정되지 않는다. 사용자는 멀티 터치에 의해 생성된 제1 커서(21)와 제2 커서(22)를 이용하여, 텍스트 회전, 그림 또는 텍스트의 선택, 그림 또는 텍스트의 편집 등과 같은 다양한 기능을 수행할 수 있다.
사용자가 제1 터치 입력(11)과 제2 터치 입력(12)을 동시에 릴리즈(release)하면, 터치 스크린(110) 상의 제1 커서(21)와 제2 커서(22)도 릴리즈된다. 이에 따라, 터치 스크린(110)은 그림 또는 텍스트의 회전, 그림 또는 텍스트의 선택 등과 같은 기능을 적용할 수 있다.
도 4는 본 발명의 다양한 실시예들에 따라 전자 장치에서 커서를 이용하여 터치 스크린을 제어하는 화면이다.
도 4의 (a)에서는 도 2에서 설명한 바와 같이, 사용자의 소정의 제1 터치 입력(11)에 의해 터치 스크린(110) 상에 커서(20)가 생성될 수 있다. 사용자는 소정의 영역(30)에서 제1 터치 입력(11)을 이동시켜, 터치 스크린(110) 상의 원하는 위치에 커서(20)를 이동시킬 수 있다.
도 4의 (b)에서는, 사용자는 커서(20)가 생성된 상태에서, 소정의 제2 터치 입력(12)으로 영역 선택(area selection) 기능을 활성화시킬 수 있다. 예를 들면, 소정의 제2 터치 입력(12)은 롱 터치가 될 수 있다. 이에 한정되지 않으며, 사용자는 소정의 제2 터치 입력(12)으로 더블탭, 드래그, 플릭(flick), 터치&홀드, 패닝, 스윕(sweep) 등을 이용할 수 있다.
제2 터치 입력(12)에 의해 영역 선택 기능이 활성화되면, 제1 터치 입력의 움직임에 의한 제1 커서의 이동에 따라 터치 스크린(110) 상에 선택 영역(40)이 그려진다. 예를 들면, 사용자가 도 4의 (b)의 화살표와 같이 제1 터치 입력(11)을 이동시키면, 터치 스크린(110) 상에는 제1 터치 입력의 움직임과 동일한 형태로 커서(20)가 대응되는 위치에서 이동한다. 그리고, 제1 커서의 이동에 따라 터치 스크린 상에 선택 영역(40)이 그려진다. 사용자는 터치 스크린(110) 상에서 선택을 원하는 영역과 동일한 형태로 제1 터치 입력(11)을 이동시켜서, 터치 스크린(110) 상에서 텍스트나 그림 등의 전체 또는 일부 영역을 선택할 수 있다.
터치 스크린(110) 상에서 선택할 영역이 표시되면, 사용자는 4의 (c)에서와 같이, 제1 터치 입력(11)과 제2 터치 입력을 릴리즈한다. 이에 따라, 터치 스크린(110) 상에서 커서(20)의 이동에 따라 그려진 영역이 선택 영역(40)으로 결정될 수 있다. 일 실시예에 따라, 프로세서(110)는 제1 터치 입력(11)과 제2 터치 입력의 릴리즈에 의해 선택된 영역(40)을 클립보드에 자동으로 복사할 수 있다.
이와 같은 방식으로, 사용자는 텍스트나 그림 등의 일부 영역을 선택할 수 있다. 도 4에서는 그림의 선택을 예로 들어 설명하였으나, 이에 한정되지 않는다. 사용자는 제1 터치 입력(11)에 의해 생성된 커서(20)와 제2 터치 입력(12)을 활용하여, 텍스트 회전, 그림 또는 텍스트의 선택, 그림 또는 텍스트의 편집 등과 같은 다양한 기능을 수행할 수 있다.
도 5는 본 발명의 다양한 실시예들에 따라 전자 장치에서 터치를 이용하여 터치 스크린에 표시된 콘텐트와 관련된 메뉴를 표시하는 화면이다.
도 5의 (a)를 참조하면, 사용자의 소정의 터치 입력에 의해 메뉴(50)가 생성될 수 있다. 터치 스크린(110)이 에지로부터 소정 거리 내에서 상기 소정의 터치 입력을 감지하면, 터치 스크린(110)은 터치 입력이 발생한 위치에, 터치 스크린(110)에 표시된 콘텐트와 관련된 메뉴(50)를 표시할 수 있다. 예를 들면, 소정의 터치 입력은 롱 터치(long touch) 또는 홀드 다운(hold down)이 될 수 있다. 소정의 터치 입력(10)은 이에 한정되지 않으며, 탭, 드래그, 롱 터치 또는 더블 탭 등과 같은 다른 터치 입력을 포함할 수 있다.
일 실시예에 따라, 사용자는 전자 장치(100)를 그립한 상태에서 왼손 엄지 손가락으로 터치 스크린(110)의 에지 부근을 터치하여 터치 스크린(110)에 표시된 콘텐트와 관련된 메뉴(50)를 생성할 수 있다. 사용자가 전자 장치(100)를 그립한 상태에서 손가락을 이용하여 넓은 터치 스크린(110)을 제어하는 것이 쉽지 않으므로, 터치 스크린(110)은 표시된 콘텐트에 따라 메뉴(50)를 능동적으로 제공하여, 공간 활용도를 높일 수 있다. 이에 따라, 사용자는 작은 영역 상에서의 움직임만으로 터치 스크린(150)의 다양한 기능들을 제어할 수 있다.
또한, 터치 스크린(110)은 고정된 위치에 고정된 형태의 메뉴를 표시하던 종래의 메뉴와 달리, 터치 입력(10)이 발생한 위치에 콘텐트에 따라 변경 가능한 메뉴(50)를 표시할 수 있다. 터치 스크린(110)은 사용자가 원하는 위치 또는 사용자의 조작이 편리한 위치에 메뉴를 표시할 수 있다. 이에 따라, 전자 장치(100)는 사용자에게 사용자 친화적인 UI, UX를 제공할 수 있다.
사용자가 메뉴(50)를 생성하는 소정의 터치 입력(10)을 수행하면, 터치 입력(10)이 발생한 위치에, 터치 스크린에 표시된 콘텐트와 관련된 메뉴(50)가 표시될 수 있다. 메뉴(50)는 터치 스크린(110)이 표시하는 콘텐트에 따라 달라질 수 있다. 예를 들면, 터치 스크린(110)에서 영화가 재생되고 있으면, 상기 터치 입력(10)에 의해, 터치 입력(10)이 발생한 위치에, 재생, 일시정지, 빨리감기, 되돌리기 등과 같은 영화 재생과 관련된 메뉴가 표시될 수 있다. 또 다른 예로, 터치 스크린(110)에서 카메라 모듈이 실행되고 있으면, 상기 터치 입력(10)에 의해, 상기 터치 입력(10)이 발생한 위치에, 초점, 노출, 화이트 밸런스, 줌 등과 같은 사진 촬영과 관련된 메뉴가 표시될 수 있다.
도 5의 (b)는 도 5의 (a)와 다른 위치에 터치 입력이 발생한 것을 나타낸다. 도 5의 (b)에 도시된 바와 같이, 터치 스크린(110)은 터치 입력(10)이 발생한 위치에 메뉴(50)를 표시할 수 있다. 따라서, 사용자는 터치 스크린(110)에서 사용자가 원하는 위치 또는 사용자의 조작이 편리한 위치에 터치 스크린(110)의 콘텐트와 관련된 메뉴를 표시할 수 있다.
도 6은 본 발명의 다양한 실시예들에 따라 전자 장치에서 터치를 이용하여 터치 스크린에 표시된 콘텐트와 관련된 메뉴를 표시하는 화면이다.
도 6의 (a)를 참조하면, 터치 스크린(110)은 영역 선택 기능에 의해 선택된 선택 영역(40)을 표시하고 있다.
도 6의 (b)를 참조하면, 사용자는 도 6의 (a)의 선택 영역(40)이 표시된 화면에 메뉴(60)를 생성하는 소정의 터치 입력(10)을 수행한다. 이에 따라, 터치 입력(10)이 발생한 위치에, 터치 스크린(110)에 표시된 콘텐트와 관련된 메뉴(60)가 표시될 수 있다. 본 실시예에서, 터치 스크린(110)은 터치 스크린에 표시된 선택 영역(40)과 관련된 메뉴를 표시할 수 있다. 도 6의 (b)을 참조하면, 메뉴(60)는 복사(copy), 공유(share), 축소(zoom-), 확대(zoom+), 이동(Move) 등과 같은 선택 영역(40)을 편집할 수 있는 기능들을 포함할 수 있다.
도 6의 (c)를 참조하면, 터치 스크린(110)은 메뉴(60) 상에서 터치 입력의 움직임을 감지하고, 터치 입력이 릴리즈된 위치에 표시된 아이템을 선택할 수 있다. 사용자가 메뉴(60)에 표시된 복수의 아이템들 중 복사(copy)로 터치 입력(10)을 이동한 상태에서 터치 입력(10)을 릴리즈하면, 릴리즈된 위치에 표시된 복사가 선택될 수 있다. 이에 따라, 프로세서(110)은 선택 영역(40)을 복사할 수 있다. 또는, 사용자가 메뉴 (60)의 아이템들 중 확대(zoom+)로 터치 입력(10)을 이동한 상태에서 터치 입력(10)을 릴리즈하면, 릴리즈된 위치에 표시된 아이템인 확대가 선택 영역(40)에 적용될 수 있다.
도 7은 본 발명의 다양한 실시예들에 따라 전자 장치에서 멀티 터치를 이용하여 터치 스크린에 표시된 콘텐트와 관련된 메뉴를 표시하는 화면이다.
도 5에서 설명한 바와 같이, 터치 스크린(110)은 사용자의 소정의 제1 터치 입력(11)에 의해, 제1 터치 입력(11)이 발생한 위치에, 터치 스크린(110)에 표시된 콘텐트와 관련된 제1 메뉴(71)를 표시할 수 있다. 사용자는 동일한 방식으로 반대편 손가락을 터치하여, 제2 터치 입력(12)이 발생한 위치에, 상기 콘텐트와 관련된 제2 메뉴(72)를 표시할 수 있다.
터치 스크린(110)은 현재 영화를 재생하고 있으므로, 본 실시예에서 멀티 터치로 생성된 제1 메뉴(71)와 제2 메뉴(72)는 각각 서로 다른 "영화"와 관련된 메뉴를 표시할 수 있다.
도 7을 참조하면, 제1 메뉴(71)는 제1 터치 입력(11)이 발생한 위치에, 재생, 일시정지, 빨리감기, 되돌리기 등과 같은 영화 재생과 관련된 기능들을 포함할 수 있다. 제2 메뉴(72)는 제2 터치 입력(12)이 발생한 위치에, 볼륨 증가(volume+), 볼륨 감소(volume-), 캡쳐(capture), 자막(caption) 등과 같은 영화 재생과 관련된 또 다른 기능들을 포함할 수 있다.
일 실시예에 따라, 사용자가 전자 장치(100)를 그립한 상태에서 왼손 엄지 손가락으로 터치 스크린(110)의 에지 부근을 터치하면, 제1 터치 입력(11)이 발생한 위치에 영화 재생과 관련된 제1 메뉴(71)가 표시될 수 있다. 그리고, 사용자가 오른손 엄지 손가락으로 터치 스크린(110)의 에지 부근을 터치하면, 제2 터치 입력(12)이 발생한 위치에 영화 재생과 관련된 제2 메뉴(72)가 표시될 수 있다.
도 8은 본 발명의 다양한 실시예들에 따라 전자 장치에서 터치를 이용하여 터치 스크린에 표시된 콘텐트와 관련된 메뉴를 표시하는 화면이다.
본 실시예에 따르면, 전자 장치(100)는 상기 터치 스크린(110) 상에 표시된 메뉴의 옵션(또는 아이템)이 선택되는지를 결정하고, 상기 선택된 옵션(또는 아이템)에 대한 서브 메뉴가 존재하는지를 결정할 수 있다. 상기 선택된 옵션(또는 아이템)에 대한 서브 메뉴가 존재하지 않으면, 프로세서(120)는 상기 선택된 옵션에 따라서 작업(operation)을 수행할 수 있다. 상기 선택된 옵션(또는 아이템)에 대한 서브 메뉴가 존재하면, 프로세서(120)는 상기 선택된 옵션에 대한 서브 메뉴를 표시하도록 터치 스크린(110)을 제어할 수 있다.
도 8의 (a)를 참조하면, 도 5에서 설명한 바와 같이, 사용자의 소정의 터치 입력(10)에 의해, 터치 입력(10)이 발생한 위치에, 터치 스크린(110)에 표시된 콘텐트와 관련된 제1 메뉴(50)가 생성될 수 있다. 본 실시예에 따르면, 터치 스크린(110)은 바탕 화면을 표시하고 있으므로, 터치 스크린(110)은 터치 입력(10)이 발생한 위치에 바탕 화면과 관련된 제1 메뉴(50)를 표시할 수 있다.
도 8의 (b)를 참조하면, 사용자는 터치 입력(10)을 해제하지 않은 상태에서 터치 입력(10)을 제1 메뉴(50) 상에서 이동시킬 수 있다. 터치 스크린(110)은 제1 메뉴(50) 상에서 터치 입력의 움직임을 감지할 수 있다.
도 8의 (c)에 도시된 바와 같이, 터치 입력(10)이 제1 메뉴(50)에 표시된 어느 하나의 아이템으로 이동하고, 터치 입력이 이동한 위치에 표시된 아이템이 해당 아이템과 관련된 서브 메뉴를 포함하면, 터치 스크린(110)은 제1 메뉴(50)를 해당 아이템과 관련된 제2 서브 메뉴(51)로 변형하여 표시할 수 있다.
예를 들면, 제1 메뉴(50)는 도 8의 (a)에 도시된 바와 같이, 영화 재생, 음악 재생, 뉴스 보기, 검색(Search), 스케쥴링, 연락처와 같은 바탕화면과 관련된 콘텐트를 포함할 수 있다. 터치 입력(10)이 영화 재생의 아이템으로 이동하면, 터치 스크린(10)은 제1 메뉴(50)를 변형하여, 재생할 수 있는 영화 목록들을 포함하는 제2 서브 메뉴(51)를 표시할 수 있다.
이와 같은 방식으로, 터치 입력(10)에 의해 표시되는 제1 메뉴는 제1 아이템의 선택에 의해 해당 아이템의 제2 서브 메뉴를 표시하고, 제2 서브 메뉴에서의 제2 아이템의 선택에 의해 제3 서브 메뉴를 표시할 수 있다. 이와 같이, 터치 스크린(110)은 터치 입력(10)에 의해 생성된 제1 메뉴를 제2 서브 메뉴, 제3 서브 메뉴 등과 같이 단계적으로 메뉴를 표시하는 형태의 멀티 레벨 메뉴를 표시할 수 있다.
도 9는 본 발명의 다양한 실시예들에 따라 전자 장치에서 터치를 이용하여 터치 스크린에 표시된 콘텐트와 관련된 메뉴를 표시하는 화면이다.
본 실시예에 따르면, 전자 장치(100)는 상기 터치 스크린(110) 상의 상기 제1 터치 입력의 이동에 의해 상기 제1 메뉴의 제1 아이템이 선택되면, 상기 제1 메뉴의 위치에 변형된 형태의 상기 제1 메뉴를 표시할 수 있다.
도 9의 (a)는 도 8의 (c)에 도시된 제1 메뉴(50)의 제2 서브 메뉴(51)가 도시되어 있다.
도 9의 (b)를 참조하면, 터치 입력(10)이 제2 서브 메뉴(51) 상에 표시된 어느 하나의 아이템으로 이동하면, 터치 스크린(110)은 사용자가 선택한 아이템이 잘 보이도록, 터치 입력이 이동한 위치에 표시된 아이템을 확대 등과 같이 형태를 변형하여 표시할 수 있다. 도 9의 (b)에 도시된 제2 서브 메뉴는 제2 서브 메뉴(51)의 변형된 형태(52)를 나타낸다.
또는, 제2 서브 메뉴(51)는 제2 서브 메뉴(51)의 아이템들을 다른 아이템으로 변경할 수 있는 제2 메뉴를 함께 표시할 수 있다. 예를 들면, 도 9의 (b)에 도시된 바와 같이, 제2 서브 메뉴(51)의 바깥쪽에 장르(genres), 히스토리(history), 패이보릿(favorite), 최신(newest), 큐(queue), 추천(recommended)의 제2 메뉴를 표시할 수 있다. 사용자가 제2 서브 메뉴(51)에 표시된 아이템들 이외의 다른 아이템을 선택하려고 할 때, 터치 입력(10)을 제2 메뉴 상으로 이동시켜, 제2 서브 메뉴(51) 상에 다른 아이템들이 표시되도록 할 수 있다.
또는, 도 9의 (c)에 도시된 바와 같이, 터치 입력(10)이 제2 서브 메뉴(51)를 지나, 제2 메뉴에 표시된 어느 하나의 아이템으로 이동하면, 터치 스크린(110)은 제2 메뉴가 잘 보이도록, 제2 서브 메뉴(51)를 제2 메뉴로 변형하여 표시할 수 있다. 도 9의 (c)에 도시된 제2 메뉴는 제2 메뉴가 잘 보이도록 제2 메뉴의 변형된 형태(53)를 나타낸다.
예를 들면, 터치 스크린(110)은 제2 서브 메뉴(51)의 바깥쪽에 포함된 장르(genres), 히스토리(history), 패이보릿(favorite), 최신(newest), 큐(queue), 추천(recommended)의 제2 메뉴를 도 9의 (c)에 도시된 바와 같이, 제2 서브메뉴(51)의 위치에 변형하여 표시할 수 있다.
이와 같이, 사용자는 터치 입력(10)을 해제하지 않은 상태에서, 멀티 레벨(multi-level) 메뉴를 활용하여, 한번의 터치로 다양한 메뉴들을 선택할 수 있다.
도 10은 본 발명의 다양한 실시예들에 따라 전자 장치에서 멀티 터치를 이용하여 터치 스크린에 표시된 콘텐트와 관련된 메뉴를 표시하는 화면이다.
도 10의 (a)에서, 터치 스크린(110)은 사용자의 제1 터치 입력(11)에 의해 생성된 메뉴 또는 상기 메뉴의 서브 메뉴에 해당하는 제1 메뉴(81)를 표시할 수 있다. 예를 들면, 제1 메뉴(81)는 재생할 수 있는 노래 목록이 될 수 있다.
도 10의 (b)에서는 사용자의 소정의 제2 터치 입력(12)에 의해, 터치 스크린(110) 상의 제2 터치 입력(12)이 발생한 위치에, 새로운 제2 메뉴(82)가 생성될 수 있다. 제2 메뉴(82)는 제1 메뉴(81)에 표시된 콘텐트와 관련된 아이템들을 표시할 수 있다.
예를 들면, 제2 메뉴(82)는 제2 터치 입력(12)에 의해 표시되는 메뉴로써, 제1 메뉴(81)에 표시된 노래를 재생할 수 있는 노래 재생기의 재생 리스트(play list)가 될 수 있다.
도 10의 (c)는, 제1 메뉴(81)에서 터치 입력(11)을 원하는 아이템으로 이동시켜, 원하는 아이템을 선택할 수 있다.
도 10의 (d)에 도시된 바와 같이, 터치 스크린(110)은 제1 메뉴(81)와 제2 메뉴(82) 사이에 아이템을 이동시킬 수 있다. 사용자는 제1 터치 입력(11)을 제1 메뉴(81)의 제1 아이템 위로 이동시키고, 제2 메뉴(82)를 향하여 제1 아이템을 소정의 형태로 릴리즈할 수 있다. 이에 따라, 제1 메뉴(81)에 표시된 제1 아이템이 제2 메뉴(82)의 아이템으로 포함될 수 있다. 예를 들면, 제1 터치 입력의 소정의 형태의 릴리즈는 플릭(flick)이 될 수 있다. 이에 한정되지 않으며, 사용자는 제2 터치 입력(11)의 소정의 형태의 릴리즈로 더블탭, 패닝, 스윕(sweep) 등을 이용할 수 있다.
예를 들면, 사용자가 제1 메뉴(81)에 표시된 노래를 제2 메뉴(82)를 향하여 소정의 형태로 릴리즈하여, 제2 메뉴(82)의 재생 리스트(play list)에 상기 노래를 포함시킬 수 있다.
도 11은 본 발명의 다양한 실시예들에 따라 전자 장치에서 멀티 터치와 쇼트컷(shortcut)을 이용하는 화면이다.
본 실시예에 따르면, 전자 장치(100)는 상기 터치 스크린 상에서 텍스트의 드로잉에 해당하는 제2 터치 입력을 감지하고, 상기 터치 스크린 상에 도시된 상기 제1 메뉴와 관련하여, 상기 텍스트가 나타내는 쇼트컷(short cut)을 수행할 수 있다.
도 11의 (a)에서, 사용자의 소정의 제1 터치 입력(11)에 의해, 제1 터치 입력(11)이 발생한 위치에, 터치 스크린(110)에 표시된 콘텐트와 관련된 제1 메뉴(50)가 표시될 수 있다.
도 11의 (b)를 참조하면, 사용자가 터치 스크린(50) 상에서 제1 메뉴(50)를 표시하는 제1 터치 입력을 유지한 상태로, 소정의 제2 터치 입력(90)을 수행할 수 있다. 소정의 제2 터치 입력은 미리 정의된 그림, 숫자 또는 글자의 드로잉(drawing) 또는 소정의 제스처가 될 수 있다. 예를 들면, 도 11의 (b)에서와 같이 제1 메뉴(50)가 표시된 상태에서, 사용자가 제2 터치 입력(12)을 이용하여 알파벳 B를 드로잉하면, 터치 스크린(110)은 알파벳 B에 미리 할당된 메뉴를 표시할 수 있다.
도 11의 (c)을 참조하면, 터치 스크린(110)은 알파벳 B가 나타내는 쇼트컷에 해당하는 웹 브라우저를 터치 스크린(110) 상에 띄울 수 있다.
도 12는 본 발명의 다양한 실시예들에 따라 전자 장치에서 사용자의 터치와 시선(gaze)을 이용하여 메뉴를 표시하는 화면이다.
본 실시예에 따르면, 전자 장치(100)는 사용자의 시선이 향하는 위치를 감지하고, 상기 사용자의 시선이 향하는 위치에 상기 제1 메뉴에 적용 가능한 아이템이 존재하면, 상기 제1 터치 입력이 릴리즈된 위치에 표시된 아이템을 상기 사용자의 시선이 향하는 위치의 아이템에 적용할 수 있다.
도 12의 (a)에서, 사용자는 터치 스크린(110) 상에 표시된 목록 중 소정의 아이템을 응시할 수 있다. 터치 스크린(130)은 카메라 모듈을 이용하여 사용자의 시선이 향하는 아이템을 식별할 수 있다.
예를 들면, 도 12의 (a)에서 터치 스크린(110)은 연락처 목록(contact list)에 등록된 이름들을 표시하고 있다. 사용자는 연락처의 목록에서 연락하고자 하는 이름을 응시함으로써, 상기 연락처 목록에서 해당 이름을 선택할 수 있다.
도 11의 (b)를 참조하면, 사용자가 시선으로 소정의 아이템을 가리키고 있는 상태에서, 손가락으로 소정의 제1 터치 입력(11)을 수행할 수 있다. 터치 스크린(110)은 제1 터치 입력(11)에 의해, 제1 터치 입력(11)이 발생한 위치에, 터치 스크린(110)에 표시된 콘텐트와 관련된 제1 메뉴(61)를 표시할 수 있다. 제1 터치 입력(11)이 제1 메뉴(61)의 아이템들 중 하나의 아이템 상으로 이동한 후 릴리즈되면, 전자 장치(100)는 제1 메뉴(61)에서 선택된 아이템을 상기 사용자의 시선이 향하는 아이템에 적용할 수 있다.
예를 들면, 제1 메뉴(61)는 터치 스크린(110) 상에 표시된 연락처(contact list)와 관련된 전화 걸기, 블루투스 연결, 메일 등의 기능을 포함할 수 있다. 사용자가 제1 메뉴(61) 상에서 제1 터치 입력(11)을 이동시켜 전화 걸기라는 기능을 선택하면, 전자 장치(100)는 사용자의 시선이 향하는 상기 연락처의 이름으로 통화 연결을 수행할 수 있다.
이와 같이, 사용자의 시선이 특정 아이템을 가리키고 있는 상태에서 메뉴를 활성화시키는 소정의 터치 입력이 수신되면, 전자 장치(100)는 상기 아이템과 관련된 메뉴를 터치 스크린 상에 표시하고, 상기 메뉴에서 선택된 아이템을 상기 시선이 향하는 아이템에 적용할 수 있다.
도 13은 본 발명의 다양한 실시예들에 따라 전자 장치에서 사용자의 시선을 이용하여 제어 수단을 선택하는 화면이다.
카메라 모듈(140)은 터치 입력에 대응하여 사용자의 시선이 향하는 위치를 감지할 수 있다. 프로세서(120)는 사용자의 시선이 향하는 위치에 기초하여, 터치 스크린(110)을 제어할 수 있다.
도 13의 (a)를 참조하면, 사용자의 시선이 향하는 위치와 터치 입력의 위치가 동일하면, 터치 스크린(110)은 상기 터치 입력의 위치에, 터치 스크린(110)에 표시된 콘텐트와 관련된 메뉴(50)를 표시할 수 있다.
도 13의 (b)를 참조하면, 사용자의 시선이 향하는 위치가 상기 터치 입력의 위치와 떨어져있으면, 터치 스크린(110) 상의 상기 시선이 향하는 위치에 커서(20)를 표시할 수 있다.
도 14는 본 발명의 다양한 실시예들에 따라 전자 장치에서 사용자의 시선을 이용하여 메인 화면과 서브 화면을 제어하는 화면이다.
도 14의 (a)를 참조하면, 터치 스크린(110)은 메인 화면과 서브 화면의 두 개의 화면을 표시하고 있다. 터치 스크린(110)은 메인 화면으로 화면 전체에 웹 페이지를 표시하고, 서브 화면으로 좌측 하단에 동영상을 플레이하고 있다.
도 14의 (b)를 참조하면, 카메라 모듈을 이용하여 메인 화면과 서브 화면 중 사용자의 시선이 향하는 곳을 감지하여, 메인 화면과 서브 화면을 제어할 수 있다. 예를 들면, 카메라 모듈이 사용자의 시선이 좌측 하단의 서브 화면에 기설정된 시간 이상으로 유지되는 것을 감지하면, 프로세서는 서브 화면의 동영상을 메인 화면에 표시하고, 메인 화면의 웹 페이지를 서브 화면으로 표시하도록 터치 스크린(110)을 제어할 수 있다.
도 15는 본 발명의 다양한 실시예들에 따라 전자 장치에서 멀티 터치를 이용하여 사진 촬영을 수행하는 화면이다.
도 15의 (a)를 참조하면, 터치 스크린(110)에서 사진 촬영 모드가 실행되고 있다.
도 15의 (b)를 참조하면, 터치 스크린(110)에서 소정의 제1 터치 입력을 감지하면, 터치 스크린(110)에 표시된 사진 촬영 모드와 관련된 제1 메뉴를 표시할 수 있다. 예를 들면, 제1 메뉴는 초점(Focus), 노출(Exposure), 줌인(zoom+), 줌아웃(zoom-) 등과 같은 사진 촬영과 관련된 메뉴를 표시할 수 있다.
사용자는 제1 터치 입력을 제1 메뉴에 표시된 아이템들 중 어느 하나로 이동한 후, 릴리즈할 수 있다. 이에 따라, 터치 스크린(110) 상에서 릴리즈된 위치에 표시된 아이템이 선택될 수 있다. 예를 들면, 사용자는 사진 촬영 모드의 제1 메뉴에서 제1 터치 입력을 이동시켜 초점을 선택함으로써, 사진 촬영 모드에서 사용자의 시선을 이용하여 초점을 설정할 수 있다. 또는, 사용자는 사진 촬영 모드의 제1 메뉴에서 제1 터치 입력을 이동시켜 노출을 선택함으로써, 사진 촬영 모드에서 사용자의 시선을 이용하여 노출을 설정할 수 있다.
도 15의 (c)를 참조하면, 카메라 모듈은 터치 스크린(110) 상에 표시된 프리뷰 화면에서 사용자가 응시하는 영역을 판별할 수 있다. 예를 들면, 카메라 모듈은 사용자의 시선이 프리뷰 모드에서 북극곰을 향하고 있음을 감지할 수 있다.
도 15의 (d)를 참조하면, 터치 스크린(110)은 제1 메뉴에서 선택된 기능을 사용자의 시선이 향하는 영역에 적용시킬 수 있다. 예를 들면, 도 15의 (d)에서는 사용자의 시선이 향하는 북극곰에 초점이 맞춰질 수 있다. 사용자가 소정의 제2 터치 입력을 수행하면, 북극곰에 초점을 두고 사진 촬영이 진행될 수 있다.
도 16은 본 발명의 다양한 실시예들에 따라 전자 장치에서 근접성과 제스처를 이용하여 터치 스크린을 제어하는 화면이다.
본 실시예에 따르면, 전자 장치(100)는 전자 장치(100)에 구비된 적어도 하나의 센서를 이용하여 상기 전자 장치(100)로부터 사용자까지의 거리를 감지하고, 상기 거리에 비례하여, 상기 터치 스크린 상에 표시된 콘텐트의 크기 또는 비율을 조정할 수 있다.
도 16의 (a)는 사용자가 전자 장치(100)를 그립하고 있는 경우를 나타낸다. 사용자가 전자 장치(100)와 가까이 있는 경우를 나타낼 수 있다.
도 16의 (b)는 사용자가 전자 장치(100)로부터 조금 멀어진 경우를 나타낸다. 전자 장치(100)는 사용자가 전자 장치(100)로부터 멀어졌음을 감지하고, 터치 스크린(110)에 표시된 화면을 일정 비율로 자동으로 확대할 수 있다.
도 16의 (c)는 사용자가 전자 장치(100)로부터 더 멀어진 경우를 나타낸다. 전자 장치(100)는 사용자와 전자 장치(100) 사이의 거리에 비례하여 터치 스크린(110) 상의 표시 화면을 확대할 수 있다. 터치 스크린 상의 화면이 확대된 상태에서 사용자는 제스쳐를 이용하여 확대된 화면을 스크롤링 할 수 있다.
도 17은 본 발명의 다양한 실시예들에 따라 전자 장치에서 사용자 인터페이스를 제공하는 방법을 나타낸 흐름도이다. 도 17을 참조하면, 도 17에 기재된 방법은 도 1에 도시된 전자 장치(100)에서 처리되는 동작들로 구성된다. 따라서, 본 실시예에서 생략된 내용이라 하더라도 도 1에 도시된 전자 장치(100)에 관하여 이상에서 기술된 내용은 도 17에 기재된 방법에도 적용됨을 알 수 있다.
1710 동작에서 터치 스크린(110)은 터치 스크린(110)의 에지로부터 소정 거리 내에서 소정의 제1 터치 입력을 감지할 수 있다.
1720 동작에서 터치 스크린(110)은 상기 제1 터치 입력에 대응하여, 상기 제1 터치 입력과 떨어진 위치에 제1 커서를 표시할 수 있다.
1730 동작에서 터치 스크린(110)은 상기 터치 스크린의 전체 화면에 맵핑되고, 상기 제1 터치 입력이 발생한 위치에 따라 결정되는 제1 소정의 영역에서 상기 제1 터치 입력의 움직임을 감지할 수 있다.
1740 동작에서 터치 스크린(110)은 상기 제1 커서를, 상기 제1 소정의 영역에서의 상기 제1 터치 입력의 움직임과 동일한 형태로, 이동시킬 수 있다.
다양한 실시예들에 따라, 터치 스크린(110) 상에서 제1 터치 입력이 릴리즈(release)되면, 프로세서(120)는 상기 제1 터치 입력이 릴리즈된 시점에 터치 스크린(110)의 상기 제1 커서의 위치에 표시된 아이템을 선택할 수 있다. 예를 들면, 상기 소정의 제1 터치 입력은 스와이프 앤드 홀드(swipe and hold)가 될 수 있다.
다양한 실시예들에 따라, 터치 스크린(110)은 상기 터치 스크린(110)의 에지로부터 소정 거리 내에서 소정의 제2 터치 입력을 감지하고, 상기 제2 터치 입력에 대응하여, 상기 터치 스크린(110) 상의 상기 제2 터치 입력과 떨어진 위치에 제2 커서를 표시할 수 있다. 상기 터치 스크린(110)의 전체 화면과 맵핑되고, 상기 제2 터치 입력이 발생한 위치에 따라 결정되는 상기 터치 스크린(110) 상의 제2 소정의 영역에서 상기 제2 터치 입력의 움직임을 감지할 수 있다. 상기 터치 스크린(110)은 상기 제2 커서를, 상기 제2 소정의 영역에서의 상기 제2 터치 입력의 움직임과 동일한 형태로, 상기 터치 스크린(110) 상에서 이동시킬 수 있다. 나아가, 프로세서(120)는 상기 제1 커서와 상기 제2 커서가 상기 터치 스크린의 동일한 객체 상에 위치하고, 상기 제1 커서와 상기 제2 커서를 동시에 이동시키는 상기 제1 터치 입력과 상기 제2 터치 입력이 감지되면, 상기 객체를 회전시킬 수 있다.
다양한 실시예들에 따라, 터치 스크린(110)은 영역 선택(area selection) 기능을 활성화시키는 소정의 제2 터치 입력을 감지하고, 상기 제1 터치 입력의 움직임에 의한 상기 제1 커서의 이동에 따라 상기 터치 스크린 상에 선택 영역을 도시할 수 있다. 나아가, 터치 스크린(110)은 터치 스크린(110)의 에지로부터 소정 거리 내에서 소정의 제3 터치 입력을 감지하고, 상기 선택 영역과 관련된 메뉴를 상기 터치 스크린 상에 표시할 수 있다.
다양한 실시예들에 따라, 카메라 모듈(140)은 사용자의 시선이 향하는 위치를 감지하고, 상기 사용자의 시선이 향하는 위치가 상기 제1 터치 입력의 위치와 떨어져있으면, 터치 스크린(110)은 상기 사용자의 시선이 향하는 위치에 상기 제1 커서를 표시할 수 있다. 또는, 상기 사용자의 시선이 향하는 위치와 상기 제1 터치 입력의 위치가 동일하면, 터치 스크린(110)은 상기 제1 커서를 제거하고, 상기 제1 터치 입력의 위치에, 상기 터치 스크린에 표시된 콘텐트와 관련된 제1 메뉴를 표시할 수 있다.
다양한 실시예들에 따라, 터치 스크린(110)은 상기 제1 메뉴 상에서 상기 제1 터치 입력의 움직임을 감지하고, 상기 제1 터치 입력이 릴리즈되면, 상기 제1 터치 입력이 릴리즈된 위치에 표시된 아이템을 상기 콘텐트에 적용할 수 있다.
다양한 실시예들에 따라, 상기 제1 메뉴는 멀티 레벨 메뉴이고, 상기 제1 메뉴 상의 아이템의 선택에 의해, 상기 제1 메뉴의 위치에 상기 아이템의 서브 메뉴를 표시할 수 있다.
다양한 실시예들에 따라, 터치 스크린(110)은 상기 제1 터치 입력의 이동에 의해 상기 제1 메뉴의 제1 아이템이 선택되면, 상기 제1 메뉴의 위치에 변형된 형태의 상기 제1 메뉴를 표시할 수 있다.
다양한 실시예들에 따라, 터치 스크린(110)은 소정의 제2 터치 입력을 감지하고, 상기 제2 터치 입력에 대응하여 상기 제1 커서를 제거하고, 상기 제1 터치 입력의 위치에 상기 터치 스크린에 표시된 콘텐트와 관련된 제1 메뉴를 표시할 수 있다. 상기 콘텐트와 관련된 제2 메뉴가 존재하면, 터치 스크린(110)은 상기 제2 터치 입력이 발생한 위치에, 상기 제2 메뉴를 표시할 수 있다. 나아가, 상기 제1 메뉴의 제1 아이템이 상기 제2 메뉴를 향하여 소정의 형태로 릴리즈되면, 터치 스크린(110)은 상기 제1 아이템을 상기 제1 메뉴로부터 상기 제2 메뉴에 전달할 수 있다. 예를 들면, 상기 소정의 형태의 릴리즈는 플릭(flick)이 될 수 있다. 다만 이에 한정되지 않으며, 소정의 형태의 릴리즈는 탭, 터치&홀드, 더블 탭, 패닝, 스윕(sweep) 등이 될 수 있다.
다양한 실시예들에 따라, 터치 스크린(110)은 상기 터치 스크린 상에 텍스트의 드로잉에 해당하는 제2 터치 입력을 감지하고, 상기 제1 메뉴와 관련하여, 상기 텍스트가 나타내는 쇼트컷(short cut)을 수행할 수 있다.
다양한 실시예들에 따라, 카메라 모듈(140)은 사용자의 시선이 향하는 위치를 감지하고, 상기 사용자의 시선이 향하는 위치에 상기 제1 메뉴에 적용 가능한 아이템이 존재하면, 프로세서(120)는 상기 제1 터치 입력이 릴리즈된 위치에 표시된 아이템을 상기 사용자의 시선이 향하는 위치의 아이템에 적용할 수 있다.
도 18은 본 발명의 다양한 실시예들에 따라 전자 장치에서 사용자 인터페이스를 제공하는 방법을 나타낸 흐름도이다. 도 18을 참조하면, 도 18에 기재된 방법은 도 1에 도시된 전자 장치(100)에서 처리되는 동작들로 구성된다. 따라서, 본 실시예에서 생략된 내용이라 하더라도 도 1에 도시된 전자 장치(100)에 관하여 이상에서 기술된 내용은 도 18에 기재된 방법에도 적용됨을 알 수 있다.
1810 동작에서 터치 스크린(110)은 전자 장치(100)의 입력을 감지할 수 있다.
1820 동작에서 프로세서(120)는 상기 입력이 감지되는 동안, 상기 감지된 입력에 대응하여 사용자의 시선의 방향을 결정할 수 있다.
1830 동작에서 프로세서(120)는 상기 결정된 방향에 해당하는 기능을 결정할 수 있다.
1840 동작에서 프로세서(120)는 상기 결정된 기능을 수행할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(120)는 상기 사용자의 시선의 방향이 상기 감지된 입력의 영역을 향하는지를 결정하고, 상기 사용자의 시선의 방향이 상기 감지된 입력의 영역을 향하는지에 기초하여 상기 기능을 결정할 수 있다.
다양한 실시예들에 따르면, 상기 터치 스크린(110)은 제2 입력을 감지하고, 상기 사용자의 시선의 방향이 상기 제2 입력의 영역을 향하면, 터치 스크린(110) 상의 상기 제2 입력의 영역에, 상기 전자 장치 상에서 실행되는 상기 어플리케이션을 제어하기 위한 추가적인 옵션들을 제공하는 제2 메뉴를 표시할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(120)는 상기 메뉴의 옵션이 선택되는지를 결정하고, 상기 선택된 옵션에 대한 서브 메뉴가 존재하는지를 결정하고, 상기 선택된 옵션에 대한 상기 서브 메뉴가 존재하지 않으면, 상기 선택된 옵션에 따라서 작업(operation)을 수행할 수 있다. 또는, 상기 선택된 메뉴에 대한 서브 메뉴가 존재하면, 상기 프로세서(120)는 상기 선택된 옵션에 대한 서브 메뉴를 표시할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(120)는 상기 전자 장치로부터 사용자까지의 거리에 비례하여, 상기 터치 스크린(110) 상에 표시된 콘텐트의 크기를 조정할 수 있다.
도 19는 본 발명의 다양한 실시예들에 따라 전자 장치에서 사용자 인터페이스를 제공하는 방법을 나타낸 흐름도이다. 도 19를 참조하면, 도 19에 기재된 방법은 도 1에 도시된 전자 장치(100)에서 처리되는 동작들로 구성된다. 따라서, 본 실시예에서 생략된 내용이라 하더라도 도 1에 도시된 전자 장치(100)에 관하여 이상에서 기술된 내용은 도 19에 기재된 방법에도 적용됨을 알 수 있다.
도 18에 도시된 1810 동작은 도 19에 도시된 동작들을 포함할 수 있다.
1910 동작에서 프로세서(120)는 상기 입력이 스크린의 특정된 영역에 제공되는지 여부를 결정할 수 있다. 예를 들면, 특정된 영역은 스크린 상의 에지로부터 소정 거리 내의 영역이 될 수 있다.
상기 입력이 상기 특정된 영역에 제공되면, 프로세서(120)는 1920 동작을 수행할 수 있다. 상기 입력이 상기 특정된 영역에 제공되지 않으면, 프로세서(120)는 사용자 인터페이스를 제공하기 위한 프로세스를 종료한다.
1920 동작에서 프로세서(120)는 상기 입력의 크기를 결정한다.
1930 동작에서 프로세서(120)는 상기 입력의 크기가 결정된 임계값의 크기보다 큰지 여부를 결정할 수 있다. 임계값은 스크린 상의 입력이 엄지 입력인지 여부를 판별하는 기준에 해당하는 값으로, 사용자별로 결정될 수 있다. 예를 들면, 임계값은 사용자의 엄지 손가락의 크기에 기초하여 결정될 수 있다.
상기 특정된 영역에서 상기 입력의 크기가 상기 결정된 임계값보다 크면, 프로세서(120)는 1840 동작을 수행할 수 있다. 상기 입력의 크기가 상기 결정된 임계값보다 작으면, 프로세서(120)는 사용자 인터페이스를 제공하기 위한 프로세스를 종료한다.
1940 동작에서 프로세서(120)는 상기 입력을 엄지 입력으로 감지할 수 있다. 프로세서(120)는 상기 감지된 엄지 입력에 대하여 1820 동작을 수행할 수 있다. 상기 사용자의 시선의 방향은 상기 감지된 엄지 입력에 대하여 결정될 수 있다.
도 20은 본 발명의 다양한 실시예들에 따라 전자 장치에서 사용자 인터페이스를 제공하는 방법을 나타낸 흐름도이다. 도 20을 참조하면, 도 20에 기재된 방법은 도 1에 도시된 전자 장치(100)에서 처리되는 동작들로 구성된다. 따라서, 본 실시예에서 생략된 내용이라 하더라도 도 1에 도시된 전자 장치(100)에 관하여 이상에서 기술된 내용은 도 20에 기재된 방법에도 적용됨을 알 수 있다.
2010 동작에서 프로세서(120)는 터치 스크린(110)은 전자 장치(100)의 입력을 감지할 수 있다.
2020 동작에서 프로세서(120)는 상기 입력이 감지되는 동안, 상기 감지된 입력에 대응하여 사용자의 시선의 방향을 결정할 수 있다.
2030 동작에서 프로세서(120)는 상기 사용자의 시선의 방향이 상기 감지된 입력의 영역을 향하는지 여부를 결정할 수 있다.
상기 사용자의 시선의 방향이 상기 감지된 입력의 영역을 향하면, 프로세서(120)는 2040 동작을 수행할 수 있다. 또는, 상기 사용자의 시선의 방향이 상기 감지된 입력의 영역과 떨어지면, 상기 프로세서(120)는 2050 동작을 수행할 수 있다.
2040 동작에서 터치 스크린(110)은 상기 감지된 입력의 영역에, 메뉴를 표시할 수 있다. 메뉴는 상기 전자 장치 상에서 실행되는 어플리케이션을 제어하기 위한 옵션들을 제공할 수 있다.
2050 동작에서 상기 프로세서(120)는 터치 스크린(110) 상에 상기 사용자의 시선의 방향에 커서를 표시하고, 상기 감지된 입력의 영역에 트랙패드(trackpad)를 활성화시키도록 제어할 수 있다.
본 개시에 사용된 용어 "모듈"은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 개시에 따른 "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(Application-Specific Integrated Circuit) 칩, FPGAs(Field-Programmable Gate Arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 본 개시에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 저장부(130)가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서(120)에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 개시의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 개시에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 개시에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 명세서와 도면에 개시된 본 개시의 실시 예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시 예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
100 ... 전자 장치
110 ... 터치 스크린
112 ... 터치 입력 감지부
114 ... 표시부
120 ... 프로세서
130 ... 저장부
140 ... 카메라 모듈

Claims (28)

  1. 사용자 인터페이스를 제공하는 방법에 있어서,
    터치 스크린의 에지로부터 소정 거리 내에서 소정의 제1 터치 입력을 감지하는 동작;
    상기 제1 터치 입력에 대응하여, 상기 제1 터치 입력과 떨어진 위치에 제1 커서를 표시하는 동작;
    상기 터치 스크린의 전체 화면에 맵핑되고, 상기 제1 터치 입력이 발생한 위치에 따라 결정되는 제1 소정의 영역에서 상기 제1 터치 입력의 움직임을 감지하는 동작; 및
    상기 제1 커서를, 상기 제1 소정의 영역에서의 상기 제1 터치 입력의 움직임과 동일한 형태로, 이동시키는 동작을 포함하는 방법.
  2. 제1 항에 있어서,
    상기 제1 터치 입력이 릴리즈(release)되면, 상기 제1 터치 입력이 릴리즈된 시점에 상기 터치 스크린의 상기 제1 커서의 위치에 표시된 아이템을 선택하는 동작을 포함하는 방법.
  3. 제1 항에 있어서,
    상기 소정의 제1 터치 입력은 스와이프 앤드 홀드(swipe and hold)인 방법.
  4. 제1 항에 있어서,
    상기 터치 스크린의 에지로부터 소정 거리 내에서 소정의 제2 터치 입력을 감지하는 동작;
    상기 제2 터치 입력에 대응하여, 상기 터치 스크린 상의 상기 제2 터치 입력과 떨어진 위치에 제2 커서를 표시하는 동작;
    상기 터치 스크린의 전체 화면과 맵핑되고, 상기 제2 터치 입력이 발생한 위치에 따라 결정되는 상기 터치 스크린 상의 제2 소정의 영역에서 상기 제2 터치 입력의 움직임을 감지하는 동작; 및
    상기 제2 커서를, 상기 제2 소정의 영역에서의 상기 제2 터치 입력의 움직임과 동일한 형태로, 상기 터치 스크린 상에서 이동시키는 동작을 포함하는 방법.
  5. 제4 항에 있어서,
    상기 제1 커서와 상기 제2 커서가 상기 터치 스크린의 동일한 객체 상에 위치하고, 상기 제1 커서와 상기 제2 커서를 동시에 이동시키는 상기 제1 터치 입력과 상기 제2 터치 입력이 감지되면, 상기 객체를 회전시키는 동작을 포함하는 방법.
  6. 제1 항에 있어서,
    영역 선택(area selection) 기능을 활성화시키는 소정의 제2 터치 입력을 감지하는 동작; 및
    상기 제1 터치 입력의 움직임에 의한 상기 제1 커서의 이동에 따라 상기 터치 스크린 상에 선택 영역을 도시하는 동작을 포함하는 방법.
  7. 제6 항에 있어서,
    상기 터치 스크린의 에지로부터 소정 거리 내에서 소정의 제3 터치 입력을 감지하는 동작; 및
    상기 선택 영역과 관련된 메뉴를 상기 터치 스크린 상에 표시하는 동작을 포함하는 방법.
  8. 제1 항에 있어서,
    사용자의 시선이 향하는 위치를 감지하는 동작; 및
    상기 사용자의 시선이 향하는 위치가 상기 제1 터치 입력의 위치와 떨어져있으면, 상기 사용자의 시선이 향하는 위치에 상기 제1 커서를 표시하는 동작을 포함하는 방법.
  9. 제1 항에 있어서,
    사용자의 시선이 향하는 위치를 감지하는 동작; 및
    상기 사용자의 시선이 향하는 위치와 상기 제1 터치 입력의 위치가 동일하면, 상기 제1 커서를 제거하고, 상기 제1 터치 입력의 위치에, 상기 터치 스크린에 표시된 콘텐트와 관련된 제1 메뉴를 표시하는 동작을 포함하는 방법.
  10. 제9 항에 있어서,
    상기 제1 메뉴 상에서 상기 제1 터치 입력의 움직임을 감지하는 동작; 및
    상기 제1 터치 입력이 릴리즈되면, 상기 제1 터치 입력이 릴리즈된 위치에 표시된 아이템을 상기 콘텐트에 적용하는 동작을 포함하는 방법.
  11. 제9 항에 있어서,
    상기 제1 메뉴는 멀티 레벨 메뉴이고,
    상기 제1 메뉴 상의 아이템의 선택에 의해, 상기 제1 메뉴의 위치에 상기 아이템의 서브 메뉴를 표시하는 동작을 포함하는 방법.
  12. 제9 항에 있어서,
    상기 제1 터치 입력의 이동에 의해 상기 제1 메뉴의 제1 아이템이 선택되면, 상기 제1 메뉴의 위치에 변형된 형태의 상기 제1 메뉴를 표시하는 동작을 포함하는 방법.
  13. 제1 항에 있어서,
    상기 터치 스크린에서 소정의 제2 터치 입력을 감지하는 동작;
    상기 제2 터치 입력에 대응하여 상기 제1 커서를 제거하고, 상기 제1 터치 입력의 위치에, 상기 터치 스크린에 표시된 콘텐트와 관련된 제1 메뉴를 표시하는 동작; 및
    상기 콘텐트와 관련된 제2 메뉴가 존재하면, 상기 제2 터치 입력이 발생한 위치에, 상기 제2 메뉴를 표시하는 동작을 포함하는 방법.
  14. 제13 항에 있어서,
    상기 제1 메뉴의 제1 아이템이 상기 제2 메뉴를 향하여 소정의 형태로 릴리즈되면, 상기 제1 아이템이 상기 제1 메뉴로부터 상기 제2 메뉴에 전달되는 방법.
  15. 제14 항에 있어서,
    상기 소정의 형태의 릴리즈는 플릭(flick)인 방법.
  16. 제9 항에 있어서,
    상기 터치 스크린 상에 텍스트의 드로잉에 해당하는 제2 터치 입력을 감지하는 동작; 및
    상기 제1 메뉴와 관련하여, 상기 텍스트가 나타내는 쇼트컷(short cut)을 수행하는 동작을 포함하는 방법.
  17. 제10 항에 있어서,
    사용자의 시선이 향하는 위치를 감지하는 동작;
    상기 사용자의 시선이 향하는 위치에 상기 제1 메뉴에 적용 가능한 아이템이 존재하면, 상기 제1 터치 입력이 릴리즈된 위치에 표시된 아이템을 상기 사용자의 시선이 향하는 위치의 아이템에 적용하는 동작을 포함하는 방법.
  18. 사용자 인터페이스를 제공하는 방법에 있어서,
    전자 장치의 스크린 상의 입력을 감지하는 동작;
    상기 입력이 감지되는 동안, 상기 감지된 입력에 대응하여 사용자의 시선의 방향을 결정하는 동작;
    상기 결정된 방향에 해당하는 기능을 결정하는 동작; 및
    상기 결정된 기능을 수행하는 동작을 포함하는 방법.
  19. 제18 항에 있어서,
    상기 입력을 감지하는 동작은,
    상기 입력이 상기 스크린의 특정된 영역에 제공되는지를 결정하는 동작;
    상기 입력이 상기 특정된 영역에 제공되면, 상기 입력의 크기를 결정하는 동작;
    상기 입력의 크기와 결정된 임계값(threshold)을 비교하는 동작; 및
    상기 특정된 영역에서 상기 입력의 크기가 상기 결정된 임계값보다 크면, 상기 입력을 엄지 입력(thumb input)으로 감지하는 동작을 포함하는 방법.
  20. 제19 항에 있어서,
    상기 사용자의 시선의 방향은 상기 감지된 엄지 입력에 대하여 결정되는 방법.
  21. 제18 항에 있어서,
    상기 사용자의 시선의 방향이 상기 감지된 입력의 영역을 향하는지를 결정하는 동작; 및
    상기 사용자의 시선의 방향이 상기 감지된 입력의 영역을 향하는지에 기초하여 상기 기능을 결정하는 동작을 포함하는 방법.
  22. 제21 항에 있어서,
    상기 사용자의 시선의 방향이 상기 감지된 입력의 영역을 향하면, 상기 스크린 상에 상기 감지된 입력의 영역에, 상기 전자 장치 상에서 실행되는 어플리케이션을 제어하기 위한 옵션들을 제공하는 메뉴를 표시하는 동작; 및
    상기 사용자의 시선의 방향이 상기 감지된 입력의 영역과 떨어지면, 상기 스크린 상에 상기 사용자의 시선의 방향에 커서를 표시하고, 상기 감지된 입력의 영역에 트랙패드(trackpad)를 활성화시키는 동작을 포함하는 방법.
  23. 제22 항에 있어서,
    상기 스크린 상의 제2 입력을 감지하는 동작; 및
    상기 사용자의 시선의 방향이 상기 제2 입력의 영역을 향하면, 상기 스크린 상의 상기 제2 입력의 영역에, 상기 전자 장치 상에서 실행되는 상기 어플리케이션을 제어하기 위한 추가적인 옵션들을 제공하는 제2 메뉴를 표시하는 동작을 포함하는 방법.
  24. 제22 항에 있어서,
    상기 메뉴의 옵션이 선택되는지를 결정하는 동작;
    상기 선택된 옵션에 대한 서브 메뉴가 존재하는지를 결정하는 동작;
    상기 선택된 옵션에 대한 상기 서브 메뉴가 존재하지 않으면, 상기 선택된 옵션에 따라서 작업(operation)을 수행하는 동작; 및
    상기 선택된 메뉴에 대한 서브 메뉴가 존재하면, 상기 선택된 옵션에 대한 서브 메뉴를 표시하는 동작을 포함하는 방법.
  25. 제18 항에 있어서,
    상기 전자 장치로부터 사용자까지의 거리를 감지하는 동작; 및
    상기 거리에 비례하여, 상기 스크린 상에 표시된 콘텐트의 크기를 조정하는 동작을 포함하는 방법.
  26. 전자 장치에 있어서,
    프로세서의 제어 신호에 따라 화면을 표시하고, 터치 입력을 감지하는 터치 스크린;
    상기 터치 스크린의 에지로부터 소정 거리 내에서 감지된 소정의 제1 터치 입력에 대응하여, 상기 터치 스크린 상의 상기 제1 터치 입력과 떨어진 위치에 제1 커서를 표시하고, 상기 제1 터치 입력이 발생한 위치에 따라 결정되는 제1 소정의 영역에서 감지된 상기 제1 터치 입력의 움직임에 따라, 상기 제1 커서를 상기 제1 터치 입력의 움직임과 동일한 형태로 이동시키도록 상기 터치 스크린을 제어하는 프로세서를 포함하는 전자 장치.
  27. 전자 장치에 있어서,
    프로세서의 제어 신호에 따라 화면을 표시하고, 터치 입력을 감지하는 터치 스크린;
    상기 터치 스크린의 에지로부터 소정 거리 내에서 감지된 소정의 제1 터치 입력에 대응하여, 상기 터치 스크린 상의 상기 제1 터치 입력과 떨어진 위치에 제1 커서를 표시하고, 상기 제1 터치 입력이 발생한 위치에 따라 결정되는 제1 소정의 영역에서 감지된 상기 제1 터치 입력의 움직임에 따라, 상기 제1 커서를 상기 제1 터치 입력의 움직임과 동일한 형태로 이동시키도록 상기 터치 스크린을 제어하는 프로세서를 포함하는 전자 장치.
  28. 전자 장치에 있어서,
    입력을 감지하는 스크린; 및
    상기 스크린 상의 입력이 감지되는 동안, 상기 감지된 입력에 대응하여 사용자의 시선의 방향을 결정하고, 상기 결정된 방향에 해당하는 기능을 결정하고, 상기 결정된 기능을 수행하도록 동작하는 프로세서를 포함하는 전자 장치.
KR1020140030625A 2014-03-14 2014-03-14 사용자 인터페이스를 제공하는 방법과 전자 장치 KR20150107528A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140030625A KR20150107528A (ko) 2014-03-14 2014-03-14 사용자 인터페이스를 제공하는 방법과 전자 장치
EP15159044.5A EP2919109A1 (en) 2014-03-14 2015-03-13 Method and electronic device for providing user interface
US14/658,789 US9891782B2 (en) 2014-03-14 2015-03-16 Method and electronic device for providing user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140030625A KR20150107528A (ko) 2014-03-14 2014-03-14 사용자 인터페이스를 제공하는 방법과 전자 장치

Publications (1)

Publication Number Publication Date
KR20150107528A true KR20150107528A (ko) 2015-09-23

Family

ID=52692469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140030625A KR20150107528A (ko) 2014-03-14 2014-03-14 사용자 인터페이스를 제공하는 방법과 전자 장치

Country Status (3)

Country Link
US (1) US9891782B2 (ko)
EP (1) EP2919109A1 (ko)
KR (1) KR20150107528A (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073493B2 (en) * 2014-03-19 2018-09-11 Sony Corporation Device and method for controlling a display panel
WO2016031224A1 (ja) * 2014-08-25 2016-03-03 シャープ株式会社 画像表示装置
CN106528013B (zh) * 2015-09-11 2019-11-22 艾默生电气公司 在控制器显示器上动态显示信息性内容
KR102526860B1 (ko) * 2016-03-18 2023-05-02 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
CN106020678A (zh) * 2016-04-29 2016-10-12 青岛海信移动通信技术股份有限公司 一种在移动设备进行触控操作的方法和装置
US10579234B2 (en) * 2016-09-09 2020-03-03 Merge Healthcare Solutions Inc. Systems and user interfaces for opportunistic presentation of functionality for increasing efficiencies of medical image review
CN106354418B (zh) * 2016-11-16 2019-07-09 腾讯科技（深圳）有限公司 一种基于触摸屏的操控方法和装置
CN106980438B (zh) * 2017-03-20 2020-04-24 联想(北京)有限公司 光标控制方法、装置及系统
JP6610602B2 (ja) * 2017-04-07 2019-11-27 京セラドキュメントソリューションズ株式会社 表示入力装置
JP6719087B2 (ja) * 2017-12-08 2020-07-08 パナソニックＩｐマネジメント株式会社 入力装置、及び、入力方法
JP2019129366A (ja) * 2018-01-23 2019-08-01 セイコーエプソン株式会社 頭部装着型表示装置、音声伝送システム、及び頭部装着型表示装置の制御方法
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
JP7277306B2 (ja) * 2019-07-31 2023-05-18 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
FR3099837A1 (fr) * 2019-08-09 2021-02-12 Orange Etablissement d’une communication par analyse des mouvements oculaires
CN110968247B (zh) * 2019-09-18 2022-05-10 华为技术有限公司 一种电子设备操控方法及电子设备
US10908811B1 (en) * 2019-12-17 2021-02-02 Dell Products, L.P. System and method for improving a graphical menu
US11455078B1 (en) * 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
JP2023005930A (ja) * 2021-06-30 2023-01-18 フォルシアクラリオン・エレクトロニクス株式会社 制御値設定装置及び制御値設定プログラム
US11768536B2 (en) 2021-09-09 2023-09-26 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for user interaction based vehicle feature control

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070238489A1 (en) 2006-03-31 2007-10-11 Research In Motion Limited Edit menu for a mobile communication device
WO2010092993A1 (ja) * 2009-02-13 2010-08-19 株式会社 東芝 情報処理装置
US9542097B2 (en) * 2010-01-13 2017-01-10 Lenovo (Singapore) Pte. Ltd. Virtual touchpad for a touch device
US20120036471A1 (en) 2010-08-04 2012-02-09 Misys Tool bars along lateral edges of a mobile computing device display
US9411509B2 (en) 2010-12-29 2016-08-09 Microsoft Technology Licensing, Llc Virtual controller for touch display
US20130057475A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Split keyboard for thumb typing
US9851889B2 (en) * 2011-09-16 2017-12-26 Kt Corporation Apparatus and method for rotating a displayed image by using multi-point touch inputs
US20130127738A1 (en) * 2011-11-23 2013-05-23 Microsoft Corporation Dynamic scaling of touch sensor
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
CN102591577A (zh) 2011-12-28 2012-07-18 华为技术有限公司 一种弧形菜单索引显示方法及相关装置
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US9182860B2 (en) * 2012-02-08 2015-11-10 Sony Corporation Method for detecting a contact
JP5942586B2 (ja) * 2012-05-18 2016-06-29 富士通株式会社 タブレット端末および操作受付プログラム
JP6131540B2 (ja) * 2012-07-13 2017-05-24 富士通株式会社 タブレット端末、操作受付方法および操作受付プログラム
WO2015071947A1 (ja) * 2013-11-12 2015-05-21 富士通株式会社 表示処理装置、表示処理方法、及び表示処理プログラム

Also Published As

Publication number Publication date
US20150324087A1 (en) 2015-11-12
EP2919109A1 (en) 2015-09-16
US9891782B2 (en) 2018-02-13

Similar Documents

Publication Publication Date Title
KR20150107528A (ko) 사용자 인터페이스를 제공하는 방법과 전자 장치
US10387016B2 (en) Method and terminal for displaying a plurality of pages,method and terminal for displaying a plurality of applications being executed on terminal, and method of executing a plurality of applications
US9733752B2 (en) Mobile terminal and control method thereof
US20200285379A1 (en) System for gaze interaction
US9360965B2 (en) Combined touch input and offset non-touch gesture
US9438713B2 (en) Method and apparatus for operating electronic device with cover
KR102027612B1 (ko) 애플리케이션의 썸네일-이미지 선택 기법
US9092128B2 (en) Method and apparatus for managing visual information
US20230065161A1 (en) Device, Method, and Graphical User Interface for Handling Data Encoded in Machine-Readable Format
US20160139731A1 (en) Electronic device and method of recognizing input in electronic device
KR20150124311A (ko) 오브젝트 운용 방법 및 이를 지원하는 전자 장치
DK201570791A1 (en) Remote camera user interface
US20090096749A1 (en) Portable device input technique
KR20160050682A (ko) 전자장치의 화면 표시 제어 방법 및 장치
WO2015017174A1 (en) Method and apparatus for generating customized menus for accessing application functionality
US20160088060A1 (en) Gesture navigation for secondary user interface
CN103999028A (zh) 不可见控件
US20200236212A1 (en) User interfaces for presenting information about and facilitating application functions
CN106796810B (zh) 在用户界面上从视频选择帧
US9639167B2 (en) Control method of electronic apparatus having non-contact gesture sensitive region
WO2018156912A1 (en) System for gaze interaction
US20160162183A1 (en) Device and method for receiving character input through the same
US20150106714A1 (en) Electronic device and method for providing information thereof
US10599326B2 (en) Eye motion and touchscreen gestures
US20150199007A1 (en) Method and apparatus for processing inputs in an electronic device

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination