KR20150135840A - 사용자 인터페이스 제공 장치 및 방법 - Google Patents

사용자 인터페이스 제공 장치 및 방법 Download PDF

Info

Publication number
KR20150135840A
KR20150135840A KR1020140062869A KR20140062869A KR20150135840A KR 20150135840 A KR20150135840 A KR 20150135840A KR 1020140062869 A KR1020140062869 A KR 1020140062869A KR 20140062869 A KR20140062869 A KR 20140062869A KR 20150135840 A KR20150135840 A KR 20150135840A
Authority
KR
South Korea
Prior art keywords
user interface
interface mode
user
input
application
Prior art date
Application number
KR1020140062869A
Other languages
English (en)
Other versions
KR102302233B1 (ko
Inventor
이규빈
백지인
류현석
이소영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140062869A priority Critical patent/KR102302233B1/ko
Priority to PCT/KR2014/005734 priority patent/WO2015182811A1/ko
Priority to US15/312,045 priority patent/US10739953B2/en
Publication of KR20150135840A publication Critical patent/KR20150135840A/ko
Application granted granted Critical
Publication of KR102302233B1 publication Critical patent/KR102302233B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자 인터페이스 제공 장치 및 방법이 제공된다. 사용자 인터페이스 제공 장치는, 제1 사용자 인터페이스 모드를 제공하고, 상기 제1 사용자 인터페이스 모드와는 사용자 명령 입력 방식이 상이한 제2 사용자 인터페이스 모드로의 모드 전환을 지시하는 사용자 명령이 수신되는 경우, 상기 제2 사용자 인터페이스 모드로 전환할 수 있다. 상기 전환 과정에서, 사용자 인터페이스 제공 장치는 상기 제1 사용자 인터페이스 모드에서 구분되는 사용자 입력의 종류 수 보다 적은 종류의 사용자 입력을 구분하도록 인식 패턴을 재설정할 수 있다.

Description

사용자 인터페이스 제공 장치 및 방법{METHOD AND APPARATUS FOR PROVIDING USER INTERFACE}
사용자 인터페이스 제공 장치 및 방법이 제공된다. 보다 구체적으로, 서로 다른 입력 수단에 대응하는 각 사용자 인터페이스 모드 간 전환을 제공하는 장치 및 방법이 제공된다.
사용자 인터페이스(User Interface)는 사용자와 사물, 시스템, 장치 또는 프로그램 등 사이의 의사소통이 가능하도록 일시적 또는 지속적인 접근을 제공할 수 있다. 일반적으로 사용자 인터페이스를 제공하는 장치에 대한 입력은 스크린상에서 커서를 이동시키거나, 특정 대상을 선택하기 위한 사용자의 조작을 획득하는 입력 장치를 필요로 한다. 이와 더불어, 최근에는 영상 인식 센서에 기반한 제스처 또는 음성 인식 센서에 기반한 음성을 입력으로 사용할 수 있다.
제스처 입력을 지원하는 장치는 영상 인식 센서 등을 통해 사용자의 특정한 제스처를 인식하여 이 제스처를 기반으로 특정 기능을 실행할 수 있게 해준다. 다만, 제스처를 입력으로 사용하더라도, 제스처로만 동작 가능하도록 만든 어플리케이션에서 동작하거나, 사용자 인터페이스의 변화 없이 기존의 입력장치인 마우스나 터치를 대신하여 활용한다.
일 측에 따르면, 제1 사용자 인터페이스 모드를 제공하는 제공부 및 상기 제1 사용자 인터페이스 모드와는 사용자 명령 입력 방식이 상이한 제2 사용자 인터페이스 모드로의 모드 전환을 지시하는 사용자 명령이 수신되는 경우, 상기 제2 사용자 인터페이스 모드로 전환하는 전환부를 포함하고, 상기 전환부는, 상기 제1 사용자 인터페이스 모드에서 구분되는 사용자 입력의 종류 수 보다 적은 종류의 사용자 입력을 구분하도록 인식 패턴을 재설정하는, 사용자 인터페이스 제공 장치를 제공한다.
일실시예에 따르면, 상기 제2 사용자 인터페이스 모드는, 영상 센서, 깊이 센서, 이벤트 기반 비전 센서, 근접 센서 또는 가속도 센서 중 적어도 하나를 통한 제스처 입력을 지원할 수 있다.
또한, 상기 제2 사용자 인터페이스 모드는, 상기 제스처의 입력 패턴에 따라 맵핑된 명령을 수행할 수 있다.
일실시예에 따르면, 상기 전환부는, 상기 제1 사용자 인터페이스 모드에서 제공되는 적어도 하나의 아이콘에 대해, 아이콘 크기, 아이콘 위치 및 아이콘의 배열 중 적어도 하나를 변경할 수 있다.
일실시예에 따르면, 상기 사용자 명령은, 미리 지정된 패턴의 제스처 입력, 미리 지정된 음성 입력 및 무선 장치를 통한 미리 지정된 명령 입력 중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 상기 전환부는, 상기 제2 사용자 인터페이스 모드로 전환하는 경우 상기 사용자에게 시각적 피드백을 제공하라 수 있다.
또한, 상기 전환부는, 상기 제2 사용자 인터페이스 모드 실행 중, 상기 제1 사용자 인터페이스 모드에서 지원하는 입력이 수신되는 경우, 상기 제1 사용자 인터페이스 모드로 전환할 수 있다.
다른 일 측에 따르면, 제1 사용자 인터페이스 모드를 제공하는 제공부 및 상기 제1 사용자 인터페이스 모드와는 사용자 명령 입력 방식이 상이한 제2 사용자 인터페이스 모드에 연관되어 등록된 제1 어플리케이션이 실행되는 경우, 상기 제2 사용자 인터페이스 모드로 전환하는 전환부를 포함하고, 상기 전환부는, 상기 제1 사용자 인터페이스 모드에서 구분되는 사용자 입력의 종류 수 보다 적은 종류의 사용자 입력을 구분하도록 인식 패턴을 재설정하는 것을 포함하는, 사용자 인터페이스 제공 장치를 제공한다.
일실시예에 따르면, 상기 제2 사용자 인터페이스 모드는, 영상 센서, 깊이 센서, 이벤트 기반 비전 센서, 근접 센서 또는 가속도 센서 중 적어도 하나를 통한 제스처 입력을 지원할 수 있다.
일실시예에 따르면, 상기 전환부는, 상기 제1 사용자 인터페이스 모드에서 제공되는 상기 제1 어플레케이션의 메뉴에 대해, 메뉴의 크기, 메뉴의 위치 및 메뉴의 배열 중 적어도 하나를 변경할 수 있다.
또한, 상기 제1 어플리케이션은, 미디어 플레이어 어플리케이션, 이미지 프리뷰 어플리케이션, 이미지 뷰어 어플리케이션, 프레젠테이션 어플리케이션, 카메라 어플리케이션 및 방송 어플리케이션 중 적어도 하나를 포함할 수 있다.
더불어, 상기 전환부는, 상기 제2 사용자 인터페이스를 지원하지 않는 제2 어플리케이션이 포어 그라운드에서 실행되는 경우, 상기 제1 사용자 인터페이스로 전환할 수 있다.
또 다른 일측에 따르면, 사용자가 장치에 제1 임계 거리 미만의 거리에 있는 경우, 상기 장치에 제1 사용자 인터페이스 모드를 제공하는 제공부 및 상기 사용자가 상기 장치로부터 상기 제1 임계 거리 이상으로 이격되는 경우, 상기 제1 사용자 인터페이스 모드와는 사용자 명령 입력 방식이 상이한 제2 사용자 인터페이스 모드로 전환하는 전환부를 포함하고, 상기 전환부는, 상기 제1 사용자 인터페이스 모드에서 구분되는 사용자 입력의 종류 수 보다 적은 종류의 사용자 입력을 구분하도록 인식 패턴을 재설정하는 것을 포함하는, 사용자 인터페이스 제공 장치를 제공한다.
일실시예에 따르면, 상기 제2 사용자 인터페이스 모드는, 영상 센서, 깊이 센서, 이벤트 기반 비전 센서, 근접 센서 또는 가속도 센서 중 적어도 하나를 통한 제스처 입력을 지원할 수 있다.
또한, 상기 전환부는, 상기 제1 사용자 인터페이스 모드에서 제공되는 적어도 하나의 아이콘에 대해, 아이콘 크기, 아이콘 위치 및 아이콘의 배열 중 적어도 하나를 변경할 수 있다.
더불어, 상기 전환부는, 상기 제2 사용자 인터페이스로 전환하는 경우 상기 사용자에게 시각적 피드백을 제공할 수 있다.
또 다른 일측에 따르면, 제1 사용자 인터페이스 모드를 제공하는 단계 및 상기 제1 사용자 인터페이스 모드와는 사용자 명령 입력 방식이 상이한 제2 사용자 인터페이스 모드로의 모드 전환을 지시하는 사용자 명령이 수신되는 경우, 상기 제2 사용자 인터페이스 모드로 전환하는 하는 단계를 포함하고, 상기 전환하는 단계는, 상기 제1 사용자 인터페이스 모드에서 구분되는 사용자 입력의 종류 수 보다 적은 종류의 사용자 입력을 구분하도록 인식 패턴을 재설정하는 단계를 포함하는, 사용자 인터페이스 제공 방법을 제공한다.
일실시예에 따르면, 상기 제2 사용자 인터페이스 모드는, 영상 센서, 깊이 센서, 이벤트 기반 비전 센서, 근접 센서 또는 가속도 센서 중 적어도 하나를 통한 제스처 입력을 지원할 수 있다.
또한, 상기 전환하는 단계는, 상기 제1 사용자 인터페이스 모드에서 제공되는 적어도 하나의 아이콘에 대해, 아이콘 크기, 아이콘 위치 및 아이콘의 배열 중 적어도 하나를 변경하는 단계를 포함할 수 있다.
더불어, 상기 사용자 명령은, 미리 지정된 패턴의 제스처 입력, 미리 지정된 음성 입력 및 무선 장치를 통한 미리 지정된 명령 입력 중 적어도 하나를 포함할 수 있다.
도 1은 일실시예에 따른 사용자 인터페이스 제공 장치의 구성에 대한 블록도이다.
도 2는 일실시예에 따른 아이콘의 크기가 변경되어 제공되는 제2 사용자 인터페이스 모드를 도시한다.
도 3은 일실시예에 따른 아이콘의 위치 및 배열이 변경되어 제공되는 제2 사용자 인터페이스 모드를 도시한다.
도 4는 일실시예에 따른 아이콘 또는 컨텐츠에 대한 사전 선택 모드(Pre-selected Mode)를 도시한다.
도 5는 일실시예에 따른 미리 설정된 기준에 따라 아이콘의 위치 및 배열이 변경되어 제공되는 제2 사용자 인터페이스 모드를 도시한다.
도 6은 일실시예에 따른 어플리케이션 또는 컨텐츠의 속성에 따라 분류된 카테고리가 제공되는 제2 사용자 인터페이스 모드를 도시한다.
도 7은 일실시예에 따른 어플리케이션에서 메뉴의 크기, 위치 및 배열이 변경되어 제공되는 제2 사용자 인터페이스 모드를 도시한다.
도 8은 일실시예에 따른 컨텐츠의 화면 구성이 변경되어 제공되는 제2 사용자 인터페이스 모드를 도시한다.
도 9는 일실시예에 따른 제2 사용자 인터페이스 모드로 전환 시 제공되는 시각적 피드백을 도시한다..
도 10은 일실시예에 따른 제2 사용자 인터페이스 모드에서 실행되는 어플리케이션에 따라 다른 명령으로 맵핑된 제스처 입력 패턴을 도시한다.
도 11은 일실시예에 따른 사용자 인터페이스 제공 장치와 사용자와의 거리 변화를 도시한다.
도 12는 일실시예에 따른 사용자의 명령에 따라 제2 사용자 인터페이스 모드로 전환되는 방법을 나타내는 흐름도이다.
도 13은 일실시예에 따른 실행되는 어플리케이션에 따라 제2 사용자 인터페이스 모드로 전환되는 방법을 나타내는 흐름도이다.
도 14는 일실시예에 따른 사용자의 위치에 따라 사용자 인터페이스 모드 전환 방법을 나타내는 흐름도이다.
이하에서, 일부 실시예들를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 권리범위가 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.
도 1은 일실시예에 따른 사용자 인터페이스 제공 장치의 구성에 대한 블록도이다.
사용자 인터페이스 제공 장치(100)는 센서부(110), 제공부(120) 및 처리부(130)를 포함할 수 있다.
사용자 인터페이스 제공 장치(100)는 외부 입력 장치, 터치 스크린을 통한 터치 입력, 음성 인식 센서를 통한 음성 입력 또는 영상 센서, 깊이 센서(Depth sensor), 이벤트 기반 비전 센서(Event-based vision sensor), 근접 센서 또는 가속도 센서 중 적어도 하나를 통한 제스처 입력 등과 같은 다양한 입력 수단을 제공할 수 있다. 또한, 각 입력 수단에 따른 사용자 인터페이스를 제공할 수 있는 모든 장치가 포함될 수 있다. 예를 들어, 사용자 인터페이스 제공 장치(100)는 휴대폰, 스마트폰, PDA, PMP, TV(Television), 노트북, 태블릿 PC, 디지털 방송용 단말기, 네비게이션(Navigation) 등이 포함될 수 있다.
센서부(110)는 사용자의 제스처 입력을 감지하는 영상 센서, 깊이 센서(Depth Sensor), 이벤트 기반 비전 센서, 근접 센서, 가속도 센서 또는 음성 입력을 감지하는 음성 인식 센서 중 적어도 하나가 포함될 수 있다. 다만, 이에 제한 되는 것은 아니며, 제스처 입력을 감지하거나 음성 입력을 감지하는 모든 센서가 포함될 수 있다.
일실시예에 따른 사용자 인터페이스 제공 장치(100)는 각 입력 수단에 따라 구분되는 사용자 인터페이스 모드를 제공하고, 각 사용자 인터페이스 모드간 전환을 제공할 수 있다. 따라서, 감지된 제스처 입력 또는 음성 입력을 지원하는 사용자 인터페이스 모드 제공 및 상기 사용자 인터페이스 모드로 전환하기 위해, 센서부(110)는 사용자의 제스처 입력 또는 음성 입력을 감지할 수 있다.
상술한 바와 같이 각 입력 수단에 대한 다른 사용자 인터페이스 모드를 제공하는 것은 각 입력 수단에 따라 구분되는 사용자의 입력의 종류 수가 다르기 때문이다.
예를 들어, 키보드 및 마우스와 같은 외부 입력 수단을 통한 입력 또는 터치 스크린을 통한 터치 입력으로 구분되는 사용자의 입력의 종류 수는 영상 인식 센서를 통한 제스처 입력으로 구분되는 사용자의 입력의 종류 수 보다 많을 수 있다.
상기 입력 수단을 통한 입력은 별도의 입력 장치를 통해 사용자의 명령이 입력되기 때문에 사용자의 입력을 세분화하여 구분할 수 있다. 또한, 터치 스크린을 통한 터치 입력은 인터페이스 제공 장치(100)에서 제공하는 디스플레이 화면 내에서 감지되는 터치 입력을 통해 사용자의 명령을 세분화하여 구분할 수 있다.
이에 반하여, 제스처 입력을 감지하는 영상 센서, 깊이 센서, 이벤트 기반 비전 센서, 근접 센서 또는 가속도 센서 등을 통한 제스처 입력은 입력 범위가 사용자 인터페이스 장치(100)에서 제공하는 입력 수단 또는 터치 스크린 등에 국한되지 않고, 공간적 범위에서 발생하는 사용자의 제스처에 기반할 수 있다. 사용자 인터페이스 장치(100)는 상기 영상 센서, 깊이 센서, 이벤트 기반 비전 센서, 근접 센서 또는 가속도 센서를 통해 상기 제스처 입력을 감지하고 인식할 수 있다.
이와 같이 제스처 입력은 입력 범위가 다른 입력 수단에 비해 넓으므로, 제스처 입력은 다른 입력 수단을 통한 사용자의 입력에 비해 구분되어 인식될 수 있는 사용자의 입력이 제한될 수 있다. 따라서, 제스처 입력을 통해 구분되는 사용자의 입력의 종류 수는 다른 입력 수단을 통해 구분되는 사용자의 입력의 종류 수 보다 적을 수 있다.
따라서, 사용자 인터페이스 장치(100)는 입력되는 입력 수단의 특성에 적합한 사용자 인터페이스 모드를 제공할 필요가 있다. 모든 입력 수단에 대해 단일 사용자 인터페이스 모드 만을 제공한다면, 사용자 인터페이스 장치(100)가 사용자의 입력에 따른 명령을 효율적으로 수행하기 어렵다.
예를 들어, 사용자 인터페이스 장치(100)가 제스처를 통한 입력에 있어서도 다른 입력 수단과 동일한 사용자 인터페이스 모드를 제공한다면, 사용자 인터페이스 장치(100)가 사용자가 의도한 동작이 아닌 사용자가 의도하지 않은 동작을 수행할 수 있다. 예를 들어, 사용자는 바로 옆 아이콘으로의 이동을 의도하여 제스처를 통해 입력하였으나, 실제로는 의도하지 않은 다른 아이콘으로의 이동으로 제스처가 인식될 수 있다.
제공부(120)는 각 입력 수단에 따른 사용자 인터페이스 모드를 제공할 수 있다. 상술한 바와 같이 사용자의 입력에 따른 명령을 효율적으로 수행하기 위해서, 사용자 인터페이스 제공 장치(100)가 각 입력 수단에 따라 다른 사용자 인터페이스 모드를 제공할 필요가 있다.
예를 들어, 사용자 인터페이스 모드는 외부 입력 장치를 통한 입력 또는 터치 스크린을 통한 입력을 지원하는 제1 사용자 인터페이스 모드와 영상 센서, 깊이 센서, 이벤트 기반 비전 센서, 근접 센서 또는 가속도 센서를 통한 제스처 입력을 지원하는 제2 사용자 인터페이스 모드로 구분될 수 있다.
제공부(120)는 이와 같이 입력 수단에 따라 사용자 인터페이스 모드를 상기 제1 사용자 인터페이스 모드 및 제2 사용자 인터페이스 모드로 구분하여 제공할 수 있다. 다만, 상기 두 가지의 사용자 인터페이스 모드로 한정되는 것은 아니며, 제공부(120)는 입력 수단에 따라 다른 사용자 인터페이스 모드를 추가적으로 제공할 수 있다.
전환부(130)는 제1 사용자 인터페이스 모드에서 지원하는 입력 수단과 상이한 입력 수단을 지원하는 제2 사용자 인터페이스 모드로의 모드 전환을 지시하는 사용자 명령이 수신되는 경우, 상기 제2 사용자 인터페이스 모드로 전환할 수 있다.
상기 제2 사용자 인터페이스 모드는 영상 센서, 깊이 센서, 이벤트 기반 비전 센서, 근접 센서 또는 가속도 센서를 통한 제스처 입력 모드를 제공할 수 있다. 상술한 바와 같이, 제스처 입력은 다른 입력 수단을 통한 사용자의 입력에 비해 구분되는 사용자 입력의 수가 적으므로, 별도의 사용자 인터페이스 모드가 제공될 수 있다.
제2 사용자 인터페이스 모드는 영상 센서, 깊이 센서, 이벤트 기반 비전 센서, 근접 센서 또는 가속도 센서를 통해 감지되는 제스처 입력의 입력 패턴에 따라 맵핑되는 명령을 수행할 수 있다. 예를 들어, 웨이브 손 제스처에는 선택된 아이콘의 변경 명령이 맵핑될 수 있고, 손을 탭하는 제스처에는 선택된 아이콘의 실행 명령이 맵핑될 수 있으며, 손을 시계 또는 반시계 방향으로 돌리는 제스처에는 선택된 이미지 또는 사진을 시계 또는 반시계 방향으로 전환하는 명령 등이 맵핑될 수 있다.
전환부(130)는 제2 사용자 인터페이스 모드로 전환하기 위한 별도의 사용자 명령을 설정할 수 있다. 제1 사용자 인터페이스 모드 실행 중 제2 사용자 인터페이스 모드에서 지원하는 모든 패턴의 입력에 따라 사용자 인터페이스 모드를 전환하게 되면, 사용자가 의도하지 않게 사용자 인터페이스 모드 간의 전환이 이루어 질 수 있다.
따라서, 상기 사용자의 명령은 미리 지정된 패턴의 제스처 입력, 미리 지정된 음성 입력 및 무선 장치를 통한 미리 지정된 명령 입력 중 적어도 하나를 포함할 수 있다.
예를 들어, 사용자의 웨이브 손 동작 제스처에 따라 사용자 인터페이스 모드가 전환될 수 있고, 미리 설정된 음성 입력을 통해 사용자 인터페이스 모드가 전환될 수 있으며, 무선 장치의 인터페이스 모드 전환 버튼 등을 통해 사용자 인터페이스 모드가 전환될 수 있다.
전환부(130)는 상기 제2 사용자 인터페이스 모드에 연관되어 등록된 제1 어플리케이션이 실행되는 경우, 상기 제2 사용자 인터페이스 모드로 전환할 수 있다. 상기 제1 어플리케이션은 상기 제1 사용자 인터페이스 모드 보다 구분되는 사용자 입력의 수가 적은 상기 제2 사용자 인터페이스 모드를 통해서도 모든 동작이 수행되는 어플리케이션일 수 있다.
예를 들어, 상기 제1 어플리케이션은, 미디어 플레이어 어플리케이션, 이미지 프리뷰 어플리케이션, 이미지 뷰어 어플리케이션, 프레젠테이션 어플리케이션, 카메라 어플리케이션 및 방송 어플리케이션 등을 포함할 수 있다.
상술한 어플리케이션들은 사용자의 제스처 입력을 통해서도 상기 제1 사용자 인터페이스 모드에서와 동일하게 동작이 가능할 수 있다. 또한, 상술한 어플리케이션 들에서 제공하는 컨텐츠는 영상 및 이미지이고, 영상 및 이미지 컨텐츠 특성 상 사용자가 원거리에서 간단한 제스처 만으로 제어할 수 있는 경우, 사용자에게 편리함이 제공될 수 있다.
전환부(130)는 상기 사용자 인터페이스 장치(100)와 사용자와의 거리를 계산하고, 상기 사용자와의 거리에 따라 사용자 인터페이스 모드를 전환할 수 있다.
예를 들어, 사용자가 사용자 인터페이스 장치(100)에 제1 임계 거리 미만의 거리에 있는 경우, 제1 사용자 인터페이스 모드로 전환되고, 사용자가 상기 사용자 인터페이스 장치(100)에 제1 임계 거리 이상으로 이격되는 경우, 상기 제2 사용자 인터페이스 모드로 전환될 수 있다.
제스처 입력은 다른 입력 수단과는 다르게 입력 범위가 넓기 때문에 사용자 인터페이스 제공 장치(100)와 이격되어도 영상 센서, 깊이 센서, 이벤트 기반 비전 센서,근접 센서 또는 가속도 센서를 통해 사용자 인터페이스 제공 장치(100)가 제스처 입력을 인식할 수 있다. 또한, 사용자가 원거리에서 간단한 제스처 만으로 사용자 인터페이스 제공 장치(100)를 제어할 수 있어 사용자에게 편리함이 제공될 수 있다.
상술한 바와 같은 제스처 입력의 특성을 고려하여, 사용자 인터페이스 모드 간 전환의 기준이 되는 제1 임계거리가 설정될 수 있다. 사용자의 편의성을 고려하여 사용자 인터페이스 제공 장치(100)간의 거리가 제1 임계거리 이상인 경우, 별도의 명령 없이 제2 사용자 인터페이스 모드로 전환되고, 제1 임계거리 미만인 경우 제1 사용자 인터페이스 모드로 전환될 수 있다.
이와 같이, 전환부(130)는 사용자의 명령, 실행되는 어플리케이션의 종류 또는 사용자와의 거리에 따라 제1 사용자 인터페이스 모드에서 제2 사용자 인터페이스 모드로 전환할 수 있다.
전환부(130)는 제1 사용자 인터페이스 모드와 사용자 명령 입력 방식이 상이한 제2 사용자 인터페이스 모드로 전환하는 과정에서, 상기 제2 사용자 인터페이스 모드에서 지원하는 입력 수단에 대해 인식 패턴을 재설정할 수 있다. 예를 들어, 제2 사용자 인터페이스 모드에서 제스처 입력을 지원하는 경우, 상기 제스처 입력을 인식하도록 인식 패턴을 재설정할 수 있다.
전환부(130)는 제스처 입력의 입력 범위에 대응하도록 제1 사용자 인터페이스 모드에서 제공되는 적어도 하나의 아이콘에 대해, 아이콘의 크기, 아이콘의 위치 및 아이콘의 배열 중 적어도 하나를 변경할 수 있다. 상기 제2 사용자 인터페이스 모드에서 구분되는 입력 종류의 수는 상기 제1 인터페이스 모드에서 구분되는 입력 종류의 수보다 적으므로, 제2 사용자 인터페이스 모드에 대해 최적화되도록 아이콘을 재배치 할 수 있다.
예를 들어, 제2 사용자 인터페이스 모드에서 제스처 입력을 지원하는 경우, 제스처 입력은 마우스, 키보드 또는 터치 입력과는 다르게 입력이 인식되는 입력 범위가 넓고, 인식되는 입력 패턴이 제한적일 수 있다. 따라서, 제2 사용자 인터페이스 모드는 아이콘의 크기, 아이콘의 위치 및 아이콘의 배열 중 적어도 하나를 변경하여 제스처 입력을 통해 효율적으로 아이콘의 선택 및 이동 등이 가능하도록 할 수 있다.
또한, 전환부(130)는 제2 사용자 인터페이스 모드에 연관되어 등록된 제1 어플리케이션이 실행되어 제2 사용자 인터페이스 모드로 전환하는 경우에도 인식 패턴을 재설정하고, 제1 어플리케이션의 메뉴에 대해 메뉴의 크기, 메뉴의 위치 및 메뉴의 배열 중 적어도 하나를 변경할 수 있다.
제스처 입력을 지원하는 제2 사용자 인터페이스 모드에서도 상기 제1 어플리케이션에서 제공하는 메뉴에 대해 이동 및 선택을 효율적으로 이루어지도록 하기 위해 메뉴의 크기, 위치 및 배열 중 적어도 하나가 변경될 수 있다.
전환부(130)는 제2 사용자 인터페이스 모드로 전환하는 경우, 사용자에게 제2 사용자 인터페이스 모드로의 진입을 나타내기 위해 시각적 피드백을 제공할 수 있다.
예를 들어, 제2 사용자 인터페이스 모드로 전환하는 경우, 화면의 가운데 특정 색 표현, 화면 가장자리의 특정 색 표현 등을 통해 사용자 인터페이스 제공 장치(100)가 인터페이스 모드 전환을 인식하였는지 여부를 사용자가 확인할 수 있다.
전환부(130)는 제2 사용자 인터페이스 모드에서 지원하지 않는 다른 입력 수단을 통한 입력이 인식되는 경우, 상기 입력 수단을 지원하는 사용자 인터페이스 모드로 전환할 수 있다.
예를 들어, 제1 사용자 인터페이스 모드에서 지원하는 마우스, 키보드 또는 터치 입력이 인식되는 경우, 별도의 절차 없이 제1 사용자 인터페이스 모드로 다시 전환될 수 있다. 이를 통해 입력 수단에 따라 사용자 인터페이스 모드 간 전환이 제공될 수 있다.
또한, 제2 사용자 인터페이스 모드 실행 중, 제2 사용자 인터페이스 모드를 지원하지 않는 어플리케이션이 포어 그라운드에서 실행 되는 경우, 제1 사용자 인터페이스 모드로 재 전환되어 입력 수단에 따른 사용자 인터페이스 모드 간 전환이 제공될 수 있다.
도 2는 일실시예에 따른 아이콘의 크기가 변경되어 제공되는 제2 사용자 인터페이스 모드를 도시한다.
일실시예에 따르면, 제1 사용자 인터페이스 모드(210)에서 제2 사용자 인터페이스 모드(220)로의 전환 간 아이콘의 크기가 변경되어 제시되는 화면을 도시한다.
제1 사용자 인터페이스 모드(210)에서는 마우스, 키보드 또는 터치 입력이 지원될 수 있다. 상기 입력들은 사용자 입력의 종류 수가 세분화되어 구분될 수 있으므로, 한 화면에 다수의 아이콘을 표시하더라도 사용자가 의도하는 명령이 수행될 수 있다.
이에 반하여, 제스처 입력은 구분되는 사용자 입력 종류의 수가 상기 입력 수단에 비해 적고, 제스처 입력이 인식되기 위한 입력 범위 또는 반경이 넓기 때문에, 상기 제1 사용자 인터페이스 모드에서는 상기 제스처 입력을 통해 아이콘의 선택 또는 이동 등에 있어서 사용자가 의도하지 않은 명령이 수행되는 등의 제약이 발생할 수 있다.
따라서, 제스처 입력을 지원하는 제2 사용자 인터페이스 모드에서는 아이콘의 크기를 변경하여 제공할 수 있다. 예를 들어, 아이콘(230)을 기준으로 살펴 보면, 제1 사용자 인터페이스 모드(210)에서 제공하는 아이콘(230)에 비해 제2 사용자 인터페이스 모드(220)에서 제공하는 아이콘(230)은 더 크게 표시될 수 있다. 이에 맞추어 아이콘(240, 250, 260, 270) 들 역시 같은 비율로 확대되어 표시될 수 있다.
도시되지는 않았으나, 아이콘(230, 240, 250, 260, 270)의 위치 및 배열 또한 변경될 수 있다. 상술한 바와 같이 제스처 입력은 다른 입력 수단에 비해 아이콘의 선택 또는 이동 등에 있어서, 다른 입력 수단에 비해 사용자 입력이 정밀하게 구분되지 않을 수 있다. 따라서, 사용 빈도가 높은 아이콘 들에 대해 사용자가 선택하기 편하도록 위치 및 배열이 변경될 수 있다.
예를 들어, 화면에 아이콘이 표시되는 라인의 좌우 배열은 어플리케이션 또는 카테고리와 무관한 사용자 추천 컨텐츠로 구성될 수 있다. 상기 추천 컨텐츠는 사용자의 프로파일, 시간 위치 등 센서를 파악된 정보를 통해 구성될 수 있다. 더불어, 사용자의 과거 컨텐츠 사용 빈도 등을 감안하여 설정될 수 있다.
또한, 어플리케이션의 속성을 통해 어플리케이션 아이콘의 위치 및 배열이 변경될 수 있다. 어플리케이션의 내부 컨텐츠 속성으로 비디오, 음악, 사진, 책, 지도 등으로 구분되어 제공될 수 있다.
도 3에서는 아이콘의 배치가 행과 열에 따라 배치된 구성을 제시하고 있으나, 이는 설명의 목적을 위한 일 예일 뿐이며, 사용자의 설정 등으로 자신이 원하는 배치로 아이콘을 위치시킬 수 있다.
아이콘의 위치 및 배열을 제스처 입력에 최적화되도록 변경하기 위해 아이콘 배치 에 의해 정의되는 모멘트 값(Q)의 비가 일정 범위 내에 포함되거나 최적값을 갖도록 설정될 수 있다. 모멘트 값(Q)는 다음과 같이 나타낼 수 있다.
Figure pat00001
여기에서 i는 각 아이콘의 인덱스를 나타내고, x, y는 각 아이콘의 위치를 나타내며, w는 각 아이콘의 사용 빈도를 나타낼 수 있다. 이 경우 각 아이콘의 배치는 Q가 최적값이 되도록 하거나 Q값이 일정 범위에 들도록 할 수 있다. 상기 최적 값 및 일정 범위는 사용자가 선택 가능하며, 필요한 경우 제1 사용자 인터페이스 모드에서 제공하는 아이콘의 일부가 제2 사용자 인터페이스 모드에서는 표시되지 않을 수 있다.
이와 같이 제1 사용자 인터페이스 모드에서 제2 사용자 인터페이스 모드로 전환하는 과정에서 아이콘의 크기, 위치 및 배열 중 적어도 하나를 변경함으로써, 제스처 입력에 대해 최적화된 제2 사용자 인터페이스 모드가 제공될 수 있다. 더불어, 제스처 입력을 통해서도 다른 입력 수단과 마찬가지로 사용자가 의도한 명령이 효율적으로 수행될 수 있다.
도 3은 일실시예에 따른 아이콘의 위치 및 배열이 변경되어 제공되는 제2 사용자 인터페이스 모드를 도시한다.
도 3에서는 제1 사용자 인터페이스 모드의 아이콘의 위치 및 배열이 제2 사용자 인터페이스 모드에서 전환되는 화면을 도시한다.
일실시예에 따르면, 제1 사용자 인터페이스 모드의 홈 화면(310)이 실행 중인 경우, 제2 사용자 인터페이스 모드로의 전환을 지시하는 사용자 명령이 수신되면, 제2 사용자 인터페이스 모드의 홈 화면(320)으로 전환될 수 있다.
또한, 제2 사용자 인터페이스 모드의 홈 화면(320)은 제1 사용자 인터페이스 모드에서 제공하는 아이콘의 크기, 위치 및 배열 중 적어도 하나가 변경되어 제공될 수 있다.
이를 통해 사용자는 간단한 제스처 입력을 통해서도 아이콘 간의 이동 또는 아이콘의 선택 등이 가능하다.
도시되지는 않았으나, 제1 사용자 인터페이스 모드에서 미디어 플레이어와 같은 컨텐츠를 제공하는 어플리케이션이 실행 중인 경우, 제2 사용자 인터페이스 모드로의 전환을 지시하는 사용자 명령이 수신될 수 있다. 이 경우, 제2 사용자 인터페이스 모드로 전환하면서 상기 어플리케이션에서 제공하는 컨텐츠가 표시되는 화면의 크기, 위치 및 배열 중 적어도 하나가 변경될 수 있다.
이를 통해 사용자는 제스처 입력을 통해서도 컨텐츠 간 이동 또는 컨텐츠 선택 등이 가능하다.
도 4는 일실시예에 따른 아이콘 또는 컨텐츠에 대한 사전 선택 모드(Pre-selected Mode)를 도시한다.
일실시예에 따르면, 제스처 입력을 통해 선택 가능한 어플리케이션의 아이콘 또는 컨텐츠 등이 한 화면(410)에 배치될 수 있다. 상기 화면(410)에서 사용자의 특정 제스처가 입력되는 경우, 선택된 하나의 어플리케이션 또는 컨텐츠의 사전 선택 모드 화면(420)으로 변경될 수 있다.
사전 선택 모드는 어플리케이션 또는 컨텐츠가 실행되기 바로 전 단계로서, 어플리케이션을 실행하기에 앞서, 선택한 어플리케이션 또는 컨텐츠의 내용을 미리 제공하는 모드일 수 있다.
상기 사전 선택 모드에서는, 선택된 어플리케이션 또는 컨텐츠의 내용이 표시되는 위치 및 크기가, 제스처 입력 범위에 최적화 되도록 변경되어 제공될 수 있다.
또한, 선택되지 않은 다른 어플리케이션 또는 컨텐츠가 선택된 어플리케이션 또는 컨텐츠를 기준으로 좌우로 배열되며, 상기 다른 어플리케이션 또는 컨텐츠의 내용이 화면에 적어도 일부분 미리 제공될 수 있다.
선택된 어플리케이션 또는 컨텐츠가 아닌 다른 대상의 내용을 미리 제공받기 위하여, 사용자는 웨이브 손 제스처 등과 같은 특정 제스처 입력 패턴을 입력함으로써 상기 좌우로 배열된 다른 어플리케이션 또는 컨텐츠를 선택할 수 있다.
도 5는 일실시예에 따른 미리 설정된 기준에 따라 아이콘의 위치 및 배열이 변경되어 제공되는 제2 사용자 인터페이스 모드를 도시한다.
일실시예에 따르면, 제스처 입력을 지원하는 제2 사용자 인터페이스 모드에서는 미리 설정된 기준에 따라 아이콘의 위치 및 배열이 변경되어 제공될 수 있다. 도 2에서 설명한 바와 같이, 제스처 입력은 구분되는 사용자 입력 종류의 수가 다른 입력 수단에 비해 적다. 사용자 입력 종류가 제한적인 이유로, 제2 사용자 인터페이스 모드에서는 아이콘의 크기가 변경되어 제공될 수 있다.
예를 들어, 제2 사용자 인터페이스 모드로 전환한 뒤 화면에 표시되는 부분의 제1 행(510)에는 사용자 추천 컨텐츠가 배치될 수 있다. 사용자 추천 컨텐츠는 사용자의 현재 상태(사용자 프로파일링, 시간, 위치 등 각종 센서를 통해 파악된 정보)와 과거 컨텐츠 소비 성향(비디오, TV, 음악, 책, 즐겨찾기 사이트, 사이트 방문 빈도, 어플리케이션의 사용 빈도 등)을 감안하여 추천된 컨텐츠일 수 있다.
아울러, 과거 컨텐츠 소비 성향에 기초하여 각 사용자 추천 컨텐츠의 배치 위치가 결정될 수도 있다. 예를 들어, 과거 소비 성향이 높은 컨텐츠가 사용자로 하여금 보다 용이하게 선택할 수 있는 위치에 배치될 수 있다. 더욱 상세하게, 사용 이력에 따라 최다 사용된 사용자 추천 컨텐츠가 제1 행(510)의 중앙부에 위치하도록 설정될 수도 있다. 이를 통하여 사용자는 사용 이력이 많은 어플리케이션 또는 컨텐츠를 쉽게 선택할 수 있다.
제1 행(510)의 상단에 배치되는 제2 행(520)에는, 카테고리 별로 구분된 어플리케이션이 배치될 수 있다. 예를 들어, 제2 행(520)에는 동일 또는 유사한 속성을 가지는 어플리케이션들이 배치될 수 있다. 여기에서, 속성은 어플리케이션의 동작에 대한 것으로, 적어도 하나의 어플리케이션 각각에는 미리 결정된 속성이 부여될 수 있으며, 각각의 속성은 카테고리 별로 구분될 수도 있다. 이에 따라, 동일 또는 유사한 카테고리 별로 어플리케이션이 분류됨으로써, 사용자에게 관련된 어플리케이션을 편리하게 제공할 수 있다.
제1 행(510)의 하단에 배치되는 제3 행(530)에는 최근 이용한 어플리케이션이 배치될 수 있다. 사용자가 최근 이용한 어플리케이션을 분류하여 제 3행(530)에 배치함으로써, 사용자에게 사용 편의성을 제공할 수 있다.
이와 같은 제2 사용자 인터페이스 모드로의 전환 시 아이콘의 재배치를 통하여 사용자는 효율적으로 빈번한 아이콘 선택 전환 없이 실행하고자 하는 아이콘을 선택할 수 있다. 다만, 상술한 아이콘의 배치 변경은 일 예일 뿐이며, 사용자의 설정에 따라 사용자가 원하는 배치로 제2 사용자 인터페이스 모드로 전환 시 변경될 수 있다.
도 6은 일실시예에 따른 어플리케이션 또는 컨텐츠의 속성에 따라 분류된 카테고리가 제공되는 제2 사용자 인터페이스 모드를 도시한다.
일실시예에 따르면, 제스처 입력을 지원하는 제2 사용자 인터페이스 모드에서는 어플리케이션 또는 컨텐츠의 속성에 따라 분류된 카테고리를 제공할 수 있다. 상기 카테고리는 어플리케이션 또는 컨텐츠의 속성에 따라 분류될 수 있다. 예를 들어 카테고리는 비디오, 음악, 사진, 기사, SNS, 책, 지도 또는 게임 등의 속성에 따라 분류될 수 있다. 다만, 카테고리가 분류되는 기준인 속성은 이에 제한되는 것은 아니며, 사용자의 설정에 따라 변경할 수 있다.
상기 카테고리는 제2 사용자 인터페이스 모드(610)에서 카테고리 별로 제공될 수 있다. 사용자는 카테고리를 선택하기 전에 그 내부에 있는 컨텐츠(631, 632, 633, 634)를 미리 확인할 수 있고, 내부의 컨텐츠(631, 632, 633, 634)를 바로 선택하여 실행할 수도 있다.
상기 내부 컨텐츠(631, 632, 633, 634)는 특정 제스처 패턴(예를 들어 손을 들고 호버링하는 제스처 패턴)을 통하여 바로 선택될 수 있다. 또한, 해당 카테고리에 포함되는 내부 컨텐츠가 표시되는 개수는 제스처 입력을 인식하는 영상 센서, 깊이 센서, 이벤트 기반 비전 센서 또는 가속도 센서가 상기 제스처 입력을 구분할 수 있는 분해능을 고려하여 결정될 수 있다, 상기 내부 컨텐츠가 표시되는 개수는 수학식 2를 통하여 결정될 수 있다.
Figure pat00002
여기에서 Q는 바로 선택할 수 있는 내부 컨텐츠의 수를 나타내고, R은 각 센서의 분해능(거리의 단위)을 나타내며, q는 임의의 상수일 수 있다. 이를 통하여 해당 카테고리에 포함되는 내부 컨텐츠가 표시되는 개수가 결정될 수 있다.
일실시예에 따르면, 각 카테고리(621, 622, 623)는 일렬로 배치될 수 있으며, 사용자는 웨이브 손 동작과 같은 특정 제스처 패턴을 통하여 카테고리간 전환을 할 수 있다.
예를 들어, 현재 VIDEO(621) 카테고리가 선택되어 있는 경우, 우측 방향의 웨이브 손 동작을 통해 MUSIC(622) 카테고리로 전환할 수 있으며, 좌측 방향의 웨이브 손 동작을 통해 BOOK(623) 카테고리로 전환할 수 있다. 다만, 이는 설명의 목적을 위한 일실시예일 뿐이며, 사용자는 ㅡ카테고리 배치에 따라 다른 제스처 패턴을 통해 카테고리간 전환을 할 수 있다.
도 7은 일실시예에 따른 어플리케이션에서 메뉴의 크기, 위치 및 배열이 변경되어 제공되는 제2 사용자 인터페이스 모드를 도시한다.
도 7에서는 제1 사용자 인터페이스 모드(710)에서 제2 사용자 인터페이스 모드(720)로 전환 되는 경우, 어플리케이션에서 제공하는 메뉴의 크기, 위치 및 배열 중 적어도 하나가 변경되어 제공되는 화면을 도시한다.
제2 사용자 인터페이스 모드(720)에서는 제스처 입력에 적합하도록 메뉴의 크기가 더 커지고, 위치 또한 변경되어 제공될 수 있다. 또한, 도시되지는 않았으나, 어플리케이션에서 제공되는 플레이 리스트 등의 위치 및 배열이 제스처를 통해 선택하기 쉽도록 변경되어 제공될 수 있다.
예를 들어, 상기 어플리케이션은 미디어 플레이어 어플리케이션, 이미지 프리뷰 어플리케이션, 이미지 뷰어 어플리케이션, 프레젠테이션 어플리케이션, 카메라 어플리케이션 및 방송 어플리케이션 중 적어도 하나를 포함할 수 있다. 제2 사용자 인터페이스 모드(720)에서는 상술한 어플리케이션의 메뉴의 크기가 제스처 입력의 특성에 맞추어 더 커지고, 위치가 변경되어 제공될 수 있어, 사용자가 편리하게 상기 어플리케이션을 동작시킬 수 있다. 또한, 상술한 어플리케이션에서 제공되는 이미지 리스트, 음악 및 영상 플레이 리스트, 프레젠테이션 리스트, 방송 리스트 등에 포함된 컨텐츠 들이 제스처 입력을 통해 쉽게 선택될 수 있다.
상술한 바와 같이, 사용자는 제스처 입력을 통해서도 어플리케이션에서 제공하는 메뉴 또는 플레이 리스트 등에 포함된 컨텐츠 등을 사용자가 의도하는 대로 효율적으로 조작할 수 있다.
도 8은 일실시예에 따른 컨텐츠의 화면 구성이 변경되어 제공되는 제2 사용자 인터페이스 모드를 도시한다.
화면에 표시되는 컨텐츠 내용이 상하로 길게 이어져 있는 경우, 제1 사용자 인터페이스 모드(810)에서는 사용자가 스크롤 바의 조절을 통해 사용자가 보고자 하는 화면으로 이동할 수 있다.
이에 반하여, 제2 사용자 인터페이스 모드(820)에서는 제스처 입력을 지원하기 때문에, 스크롤 바와 같은 입력 방식은 사용자에게 불편함을 줄 수 있다. 이 경우, 제스처 입력의 입력 패턴에 맞게 화면의 구성이 변경되어 제공될 수 있다.
예를 들어, 상기와 같이 컨텐츠 내용이 상하로 길게 이어져 있는 경우, 상기 컨텐츠를 한 화면에 표시되도록 나눌 수 있다. 사용자는 플립-업(Flip-up)과 같은 특정 제스처를 통해 표시되지 않는 나머지 컨텐츠 화면을 불러올 수 있다.
이 과정에서, 사진이나 그림과 같은 이미지 컨텐츠는 글과 분리하여 하나의 단위로 구분하여 나누어 표시될 수 있다. 이를 통해, 사진이나 그림과 같은 이미지 컨텐츠가 중간에 구분되어 나누어 지는 것이 방지될 수 있다.
도 9는 일실시예에 따른 제2 사용자 인터페이스 모드로 전환 시 제공되는 시각적 피드백을 도시한다.
제1 사용자 인터페이스 모드에서 제2 사용자 인터페이스 모드로 전환하는 경우, 화면 상에 특정한 시각적 피드백을 사용자에게 제공할 수 있다. 이를 통해 사용자 인터페이스 제공 장치(100)의 시스템이 제2 사용자 인터페이스 모드로의 전환을 수행하였는지 여부를 사용자가 확인할 수 있다.
상기 시각적 피드백은, 화면(910)과 같이 화면에 컨텐츠가 표시되고 있지 않은 경우에는 화면 가운데 특정 색을 표현하는 방식으로 제공될 수 있다. 화면(920)과 같이 화면에 컨텐츠가 표시되고 있는 경우에는 화면 가장자리에 특정 색을 표현하는 방식으로 제공될 수 있다.
다만, 이는 일실시예일 뿐이고 이에 제한되는 것은 아니며, 사용자가 인식할 수 있도록 화면 일렁임, 화면의 투명도 변화, 전체 화면 축소, 화면 일그러짐, 화면 조각 등의 시각적 피드백도 사용자의 설정 등에 의해 제공될 수 있다.
이를 통해, 사용자는 제2 사용자 인터페이스 모드로의 전환을 확인할 수 있으며, 제2 사용자 인터페이스 모드가 지원하는 입력 방식인 제스처 입력을 통해 사용자 인터페이스 장치(100)를 제어할 수 있다.
도 10은 일실시예에 따른 제2 사용자 인터페이스 모드에서 실행되는 어플리케이션에 따라 다른 명령으로 맵핑된 제스처 입력 패턴을 도시한다.
일실시예에 따르면 제스처 입력은 입력 패턴에 따라 각 명령이 맵핑될 수 있다. 예를 들어 컨텐츠가 표시되는 화면(1010)에서 상하 움직임의 제스처 입력 패턴(1011)은 화면에 표시되는 컨텐츠를 상하로 이동하는 스크롤 명령에 맵핑 될 수 있다. 상하 움직임의 제스처 입력 패턴(1011)에 따라 화면에 표시되는 컨텐츠가 상하로 이동될 수 있다.
탭하는 제스처 입력 패턴(1012)은 현재 컨텐츠를 선택하는 명령에 맵핑될 수 있다. 사용자는 컨텐츠를 탭하는 제스처 입력 패턴(1012)을 통해 상기 그림 또는 이미지를 확대하여 표시하거나, 플레이할 수 있다. 또한, 손을 펼치거나 오므리는 입력 패턴(1013)은 현재 컨텐츠를 확대 또는 축소하는 명령에 맵핑될 수 있다. 손을 펼치거나 오므리는 입력 패턴(1013)을 통해 사용자는 현재 화면에 표시되는 컨텐츠를 확대 또는 축소할 수 있다.
일실시예에 따르면, 제스처 입력 패턴은 상기 제2 사용자 인터페이스 모드에서 실행되고 있는 어플리케이션의 종류에 따라 다른 명령으로 맵핑될 수 있다.
예를 들어, 포토 뷰어와 같은 이미지 뷰어 어플리케이션(1020)에서는 손을 반쯤 펴서 시계 따는 반시계 방향으로 돌리는 입력 패턴(1021)을 통해, 표시되고 있는 이미지를 시계 또는 반시계 방향으로 회전하는 명령과 맵핑될 수 있다. 또한, 손을 펼치거나 오므리는 입력 패턴(1022)은 컨텐츠를 확대 또는 축소하는 명령에 맵핑될 수 있다.
이에 반하여, 미디어 플레이어 어플리케이션(1030)에서는 손을 반쯤 펴서 시계 또는 반시계 방향으로 돌리는 입력 패턴(1031, 1032)을 통해 미디어 플레이어의 볼륨을 조절 명령과 맵핑될 수 있다.
상술한 내용은 제스처 입력 패턴에 따라 맵핑되는 명령들의 일 예일 뿐이며, 이에 제한되는 것은 아니다. 사용자가 제스처 입력 패턴에 대해 수행 될 것으로 직관적으로 인식한 명령과 다양하게 맵핑될 수 있다.
도 11은 일실시예에 따른 사용자 인터페이스 제공 장치와 사용자와의 거리 변화를 도시한다.
제스처 입력은 다른 입력 수단에 비하여 원거리에서 사용자 인터페이스 제공 장치(1110)를 제어하기에 용이하다. 따라서, 사용자 인터페이스 제공 장치(1110)와 사용자와의 거리를 판단하여 사용자 인터페이스 모드 간 전환이 될 수 있다.
제1 임계 거리(D)(1140)를 기준으로 사용자 인터페이스 제공 장치(1110)와 사용자(1120)와의 거리가 제1 임계 거리(1140) 미만인 경우 제1 사용자 인터페이스 모드가 제공될 수 있다. 근거리에서는 제스처 입력이 아닌 다른 입력 수단을 통해 사용자 인터페이스 제공 장치(1110)를 제어하기가 더 용이할 수 있다.
사용자 인터페이스 제공 장치(1110)와 사용자(1130)와의 거리가 제1 임계 거리(1140) 이상인 경우 제2 사용자 인터페이스 모드로 전환될 수 있다. 상술한 바와 같이 원거리에서는 사용자(1130)가 제스처 입력을 통해 사용자 인터페이스 제공 장치(1110)를 제어하는 것이 더 용이할 수 있다.
도 12는 일실시예에 따른 사용자의 명령에 따라 제2 사용자 인터페이스 모드로 전환되는 방법을 나타내는 흐름도이다.
단계(1200)에서는 제1 사용자 인터페이스 모드를 제공할 수 있다. 상기 제1 사용자 인터페이스 모드는 키보드, 마우스와 같은 입력 장치를 통한 입력과 터치 디스플레이를 통한 터치 입력을 지원할 수 있다.
단계(1210)에서는 제1 사용자 인터페이스 모드와 사용자 명령 입력 방식이 상이한 제2 사용자 인터페이스 모드로의 모드 전환을 지시하는 사용자 명령을 수신할 수 있다. 상기 사용자 명령은 미리 지정된 패턴의 제스처 입력, 미리 지정된 음성 입력 및 무선 장치를 통한 미리 지정된 명령 입력 중 적어도 하나를 포함할 수 있다.
단계(1220)에서는 상기 수신된 모드 전환을 지시하는 사용자 명령에 따라 제2 사용자 인터페이스 모드로 전환할 수 있다. 상기 제2 사용자 인터페이스 모드는 영상 인식 센서를 기반으로 제스처 입력을 지원할 수 있다.
상기 제2 사용자 인터페이스 모드로 전환을 하며 제1 사용자 인터페이스 모드에서 구분되는 사용자 입력의 종류 수 보다 적은 종류의 사용자 입력을 구분하도록 인식 패턴이 재설정될 수 있다.
또한, 상기 제2 사용자 인터페이스 모드에서 지원하는 제스처 입력 패턴에 기반하여 아이콘의 크기, 위치 및 배열이 변경될 수 있다.
도 13은 일실시예에 따른 실행되는 어플리케이션에 따라 제2 사용자 인터페이스 모드로 전환되는 방법을 나타내는 흐름도이다.
단계(1310)에서는 제1 사용자 인터페이스 모드와 사용자 명령 입력 방식이 상이한 제2 사용자 인터페이스 모드로의 모드 전환을 지시하는 사용자 명령을 수신할 수 있다. 상기 사용자 명령은 미리 지정된 패턴의 제스처 입력, 미리 지정된 음성 입력 및 무선 장치를 통한 미리 지정된 명령 입력 중 적어도 하나를 포함할 수 있다.
단계(1320)에서는 제2 사용자 인터페이스 모드에 연관되어 등록된 제1 어플리케이션을 실행할 수 있다. 제1 어플리케이션은 제스처 입력 방식을 지원할 수 있으며, 제1 어플리케이션 실행 시 제1 사용자 인터페이스 모드에서 제2 사용자 인터페이스 모드로 전환될 수 있도록 설정될 수 있다.
단계(1330)에서 상기 제1 어플리케이션 실행에 따라 제2 사용자 인터페이스 모드로 전환할 수 있다. 상기 제2 사용자 인터페이스 모드로 전환을 하며 제1 사용자 인터페이스 모드에서 구분되는 사용자 입력의 종류 수 보다 적은 종류의 사용자 입력을 구분하도록 인식 패턴이 재설정될 수 있다.
또한, 상기 제2 사용자 인터페이스 모드에서 지원하는 제스처 입력 패턴에 기반하여 제1 어플레케이션에서 제공하는 메뉴의 크기, 위치 및 배열이 변경될 수 있다.
도 14은 일실시예에 따른 사용자의 위치에 따라 사용자 인터페이스 모드 전환 방법을 나타내는 흐름도이다.
단계(1410)에서 사용자 인터페이스 제공 장치는 사용자와의 거리를 계산할 수 있다. 제스처 입력은 다른 입력 수단에 비하여 원거리에서 사용자 인터페이스 제공 장치를 제어하기에 용이하다. 따라서, 사용자 인터페이스 제공 장치와 사용자와의 거리를 판단하여 사용자 인터페이스 모드 간 전환을 할 수 있다.
단계(1420)에서 상기 계산된 거리가 사용자 인터페이스 모드간 전환의 기준이 되는 제1 임계거리 이상인지 여부를 판단할 수 있다. 상기 제1 임계거리는 사용자가 설정을 통해 조절될 수 있다.
단계(1430)에서 상기 계산된 거리가 제1 임계거리 이상인 경우 제스처 입력을 지원하는 제2 사용자 인터페이스 모드로 전환할 수 있다. 단계(1440)에서는 상기 계산된 거리가 제1 임계거리 미만인 경우 제스처 입력 이외의 입력을 지원하는 제1 사용자 인터페이스 모드로 전환될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 제1 사용자 인터페이스 모드를 제공하는 제공부; 및
    상기 제1 사용자 인터페이스 모드와는 사용자 명령 입력 방식이 상이한 제2 사용자 인터페이스 모드로의 모드 전환을 지시하는 사용자 명령이 수신되는 경우, 상기 제2 사용자 인터페이스 모드로 전환하는 전환부
    를 포함하고,
    상기 전환부는, 상기 제1 사용자 인터페이스 모드에서 구분되는 사용자 입력의 종류 수 보다 적은 종류의 사용자 입력을 구분하도록 인식 패턴을 재설정하는, 사용자 인터페이스 제공 장치.
  2. 제1항에 있어서,
    상기 제2 사용자 인터페이스 모드는, 영상 센서, 깊이 센서, 이벤트 기반 비전 센서, 근접 센서 및 가속도 센서 중 적어도 하나를 통한 제스처 입력을 지원하는 사용자 인터페이스 제공 장치.
  3. 제2항에 있어서,
    상기 제2 사용자 인터페이스 모드는, 상기 제스처의 입력 패턴에 따라 맵핑된 명령을 수행하는, 사용자 인터페이스 제공 장치.
  4. 제1항에 있어서,
    상기 전환부는, 상기 제1 사용자 인터페이스 모드에서 제공되는 적어도 하나의 아이콘에 대해, 아이콘 크기, 아이콘 위치 및 아이콘의 배열 중 적어도 하나를 변경하는, 사용자 인터페이스 제공 장치.
  5. 제1항에 있어서,
    상기 사용자 명령은, 미리 지정된 패턴의 제스처 입력, 미리 지정된 음성 입력 및 무선 장치를 통한 미리 지정된 명령 입력 중 적어도 하나를 포함하는, 사용자 인터페이스 제공 장치.
  6. 제1항에 있어서,
    상기 전환부는, 상기 제2 사용자 인터페이스 모드로 전환하는 경우 사용자에게 시각적 피드백을 제공하는, 사용자 인터페이스 제공 장치.
  7. 제1항에 있어서,
    상기 전환부는, 상기 제2 사용자 인터페이스 모드 실행 중, 상기 제1 사용자 인터페이스 모드에서 지원하는 입력이 수신되는 경우, 상기 제1 사용자 인터페이스 모드로 전환하는, 사용자 인터페이스 제공 장치.
  8. 제1 사용자 인터페이스 모드를 제공하는 제공부; 및
    상기 제1 사용자 인터페이스 모드와는 사용자 명령 입력 방식이 상이한 제2 사용자 인터페이스 모드에 연관되어 등록된 제1 어플리케이션이 실행되는 경우, 상기 제2 사용자 인터페이스 모드로 전환하는 전환부
    를 포함하고,
    상기 전환부는, 상기 제1 사용자 인터페이스 모드에서 구분되는 사용자 입력의 종류 수 보다 적은 종류의 사용자 입력을 구분하도록 인식 패턴을 재설정하는 것을 포함하는, 사용자 인터페이스 제공 장치.
  9. 제8항에 있어서,
    상기 제2 사용자 인터페이스 모드는, 영상 센서, 깊이 센서, 이벤트 기반 비전 센서, 근접 센서 및 가속도 센서 중 적어도 하나를 통한 제스처 입력을 지원하는 사용자 인터페이스 제공 장치.
  10. 제8항에 있어서,
    상기 전환부는, 상기 제1 사용자 인터페이스 모드에서 제공되는 상기 제1 어플레케이션의 메뉴에 대해, 메뉴의 크기, 메뉴의 위치 및 메뉴의 배열 중 적어도 하나를 변경하는, 사용자 인터페이스 제공 장치.
  11. 제8항에 있어서,
    상기 제1 어플리케이션은, 미디어 플레이어 어플리케이션, 이미지 프리뷰 어플리케이션, 이미지 뷰어 어플리케이션, 프레젠테이션 어플리케이션, 카메라 어플리케이션 및 방송 어플리케이션 중 적어도 하나를 포함하는 사용자 인터페이스 제공 장치.
  12. 제8항에 있어서,
    상기 전환부는, 상기 제2 사용자 인터페이스를 지원하지 않는 제2 어플리케이션이 포어 그라운드에서 실행되는 경우, 상기 제1 사용자 인터페이스로 전환하는, 사용자 인터페이스 제공 장치.
  13. 사용자가 장치에 제1 임계 거리 미만의 거리에 있는 경우, 상기 장치에 제1 사용자 인터페이스 모드를 제공하는 제공부; 및
    상기 사용자가 상기 장치로부터 상기 제1 임계 거리 이상으로 이격되는 경우, 상기 제1 사용자 인터페이스 모드와는 사용자 명령 입력 방식이 상이한 제2 사용자 인터페이스 모드로 전환하는 전환부
    를 포함하고,
    상기 전환부는, 상기 제1 사용자 인터페이스 모드에서 구분되는 사용자 입력의 종류 수 보다 적은 종류의 사용자 입력을 구분하도록 인식 패턴을 재설정하는 것을 포함하는, 사용자 인터페이스 제공 장치.
  14. 제13항에 있어서,
    상기 제2 사용자 인터페이스 모드는, 영상 센서, 깊이 센서, 이벤트 기반 비전 센서, 근접 센서 및 가속도 센서 중 적어도 하나를 통한 제스처 입력을 지원하는 사용자 인터페이스 제공 장치.
  15. 제13항에 있어서,
    상기 전환부는, 상기 제1 사용자 인터페이스 모드에서 제공되는 적어도 하나의 아이콘에 대해, 아이콘 크기, 아이콘 위치 및 아이콘의 배열 중 적어도 하나를 변경하는, 사용자 인터페이스 제공 장치.
  16. 제13항에 있어서,
    상기 전환부는, 상기 제2 사용자 인터페이스로 전환하는 경우 상기 사용자에게 시각적 피드백을 제공하는, 사용자 인터페이스 제공 장치.
  17. 제1 사용자 인터페이스 모드를 제공하는 단계; 및
    상기 제1 사용자 인터페이스 모드와는 사용자 명령 입력 방식이 상이한 제2 사용자 인터페이스 모드로의 모드 전환을 지시하는 사용자 명령이 수신되는 경우, 상기 제2 사용자 인터페이스 모드로 전환하는 하는 단계
    를 포함하고,
    상기 전환하는 단계는, 상기 제1 사용자 인터페이스 모드에서 구분되는 사용자 입력의 종류 수 보다 적은 종류의 사용자 입력을 구분하도록 인식 패턴을 재설정하는 단계를 포함하는, 사용자 인터페이스 제공 방법.
  18. 제17항에 있어서,
    상기 제2 사용자 인터페이스 모드는, 영상 센서, 깊이 센서, 이벤트 기반 비전 센서, 근접 센서 및 가속도 센서 중 적어도 하나를 통한 제스처 입력을 지원하는 사용자 인터페이스 제공 방법.
  19. 제17항에 있어서,
    상기 전환하는 단계는, 상기 제1 사용자 인터페이스 모드에서 제공되는 적어도 하나의 아이콘에 대해, 아이콘 크기, 아이콘 위치 및 아이콘의 배열 중 적어도 하나를 변경하는 단계를 포함하는, 사용자 인터페이스 제공 방법.
  20. 제17항에 있어서,
    상기 사용자 명령은, 미리 지정된 패턴의 제스처 입력, 미리 지정된 음성 입력 및 무선 장치를 통한 미리 지정된 명령 입력 중 적어도 하나를 포함하는, 사용자 인터페이스 제공 방법.
KR1020140062869A 2014-05-26 2014-05-26 사용자 인터페이스 제공 장치 및 방법 KR102302233B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140062869A KR102302233B1 (ko) 2014-05-26 2014-05-26 사용자 인터페이스 제공 장치 및 방법
PCT/KR2014/005734 WO2015182811A1 (ko) 2014-05-26 2014-06-27 사용자 인터페이스 제공 장치 및 방법
US15/312,045 US10739953B2 (en) 2014-05-26 2014-06-27 Apparatus and method for providing user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140062869A KR102302233B1 (ko) 2014-05-26 2014-05-26 사용자 인터페이스 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150135840A true KR20150135840A (ko) 2015-12-04
KR102302233B1 KR102302233B1 (ko) 2021-09-14

Family

ID=54699123

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140062869A KR102302233B1 (ko) 2014-05-26 2014-05-26 사용자 인터페이스 제공 장치 및 방법

Country Status (3)

Country Link
US (1) US10739953B2 (ko)
KR (1) KR102302233B1 (ko)
WO (1) WO2015182811A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2896985A1 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
JP6617417B2 (ja) * 2015-03-05 2019-12-11 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
US10466889B2 (en) 2017-05-16 2019-11-05 Apple Inc. Devices, methods, and graphical user interfaces for accessing notifications
KR20190119476A (ko) * 2018-04-12 2019-10-22 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 화상 형성 장치의 사용자 인터페이스를 제공하는 전자 장치
TWI678656B (zh) 2018-05-09 2019-12-01 和碩聯合科技股份有限公司 電腦系統及其介面操作方法
DE102019205097A1 (de) 2019-04-09 2020-10-15 Volkswagen Aktiengesellschaft Verfahren zur Inszenierung eines Bedienmodalitätenwechsels eines Fahrzeugs, System zur Inszenierung eines Bedienmodalitätenwechsels eines Fahrzeugs
US11455085B2 (en) 2020-03-10 2022-09-27 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
WO2021211632A1 (en) * 2020-04-13 2021-10-21 Proxy, Inc. Authorized remote control device gesture control methods and apparatus
EP4273677A1 (en) 2022-05-06 2023-11-08 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
US11842028B2 (en) 2022-05-06 2023-12-12 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120058308A (ko) * 2010-11-29 2012-06-07 삼성전자주식회사 휴대기기 및 이에 적용되는 ｕｉ 모드 제공 방법
KR20130081190A (ko) * 2012-01-06 2013-07-16 삼성전자주식회사 입력장치, 디스플레이장치, 그 제어방법 및 디스플레이 시스템
KR20140027850A (ko) * 2012-08-27 2014-03-07 삼성전자주식회사 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266059B1 (en) * 1997-08-27 2001-07-24 Microsoft Corporation User interface for switching between application modes
KR100931926B1 (ko) 2008-06-16 2009-12-15 주식회사 인프라웨어 자세를 감지하여 메뉴 아이콘이 움직이는 이동통신 단말기
US20100064261A1 (en) * 2008-09-09 2010-03-11 Microsoft Corporation Portable electronic device with relative gesture recognition mode
US8191011B2 (en) 2008-09-18 2012-05-29 Microsoft Corporation Motion activated content control for media system
KR20100136649A (ko) 2009-06-19 2010-12-29 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치
US8972879B2 (en) 2010-07-30 2015-03-03 Apple Inc. Device, method, and graphical user interface for reordering the front-to-back positions of objects
US20120299876A1 (en) * 2010-08-18 2012-11-29 Sony Ericsson Mobile Communications Ab Adaptable projection on occluding object in a projected user interface
US9268431B2 (en) * 2010-08-27 2016-02-23 Apple Inc. Touch and hover switching
US10365819B2 (en) * 2011-01-24 2019-07-30 Apple Inc. Device, method, and graphical user interface for displaying a character input user interface
KR101748668B1 (ko) 2011-04-14 2017-06-19 엘지전자 주식회사 이동 단말기 및 그의 입체영상 제어방법
JP2012247938A (ja) * 2011-05-26 2012-12-13 Sony Corp 情報処理装置、表示制御方法及びプログラム
KR101302638B1 (ko) * 2011-07-08 2013-09-05 더디엔에이 주식회사 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US20130053007A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Gesture-based input mode selection for mobile devices
JP5779064B2 (ja) 2011-09-28 2015-09-16 京セラ株式会社 装置、方法、及びプログラム
KR20130078937A (ko) 2012-01-02 2013-07-10 엘지전자 주식회사 터치 스크린 및 터치 스크린의 제어 방법
EP2613227B1 (en) * 2012-01-06 2020-04-29 Samsung Electronics Co., Ltd Input apparatus and control method thereof
TWI456484B (zh) 2012-01-16 2014-10-11 Acer Inc 電子裝置及控制電子裝置的方法
US9225891B2 (en) * 2012-02-09 2015-12-29 Samsung Electronics Co., Ltd. Display apparatus and method for controlling display apparatus thereof
KR20130092262A (ko) * 2012-02-10 2013-08-20 삼성전자주식회사 방송수신장치 및 이를 이용한 웹페이지 접근 경로 제공방법
KR20130099717A (ko) * 2012-02-29 2013-09-06 주식회사 팬택 터치 스크린 기반의 사용자 인터페이스 제공 장치 및 방법
US8963962B2 (en) * 2012-03-06 2015-02-24 Apple Inc. Display of multiple images
KR101999182B1 (ko) * 2012-04-08 2019-07-11 삼성전자주식회사 사용자 단말 장치 및 그의 제어 방법
EP2972687A4 (en) * 2013-03-13 2016-11-09 Bosch Gmbh Robert SYSTEM AND METHOD FOR PERFORMING A TRANSITION BETWEEN OPERATING MODES OF A DEVICE ON BOARD IN A VEHICLE USING GESTURES
US20140354553A1 (en) * 2013-05-29 2014-12-04 Microsoft Corporation Automatically switching touch input modes
US20140354554A1 (en) * 2013-05-30 2014-12-04 Microsoft Corporation Touch Optimized UI
US9026939B2 (en) * 2013-06-13 2015-05-05 Google Inc. Automatically switching between input modes for a user interface
US20150205358A1 (en) * 2014-01-20 2015-07-23 Philip Scott Lyren Electronic Device with Touchless User Interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120058308A (ko) * 2010-11-29 2012-06-07 삼성전자주식회사 휴대기기 및 이에 적용되는 ｕｉ 모드 제공 방법
KR20130081190A (ko) * 2012-01-06 2013-07-16 삼성전자주식회사 입력장치, 디스플레이장치, 그 제어방법 및 디스플레이 시스템
KR20140027850A (ko) * 2012-08-27 2014-03-07 삼성전자주식회사 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말

Also Published As

Publication number Publication date
KR102302233B1 (ko) 2021-09-14
WO2015182811A1 (ko) 2015-12-03
US10739953B2 (en) 2020-08-11
US20170083197A1 (en) 2017-03-23

Similar Documents

Publication Publication Date Title
KR102302233B1 (ko) 사용자 인터페이스 제공 장치 및 방법
US10768806B2 (en) Information processing device, information processing method, and program for displaying list items and changing hierarchical level of display
US9880727B2 (en) Gesture manipulations for configuring system settings
US11042287B2 (en) Information processing device, information processing method, and program for displaying of coupling and decoupling of lists
US8443302B2 (en) Systems and methods of touchless interaction
RU2689412C2 (ru) Устройство отображения и способ отображения
EP3057312A2 (en) Image display apparatus and method
US20160004373A1 (en) Method for providing auxiliary information and touch control display apparatus using the same
US10175880B2 (en) Display apparatus and displaying method thereof
KR101998941B1 (ko) 사용자 인터페이스 및 타일의 의미 스케일을 조정하기 위한 방법
KR102337216B1 (ko) 영상 표시 장치 및 영상 표시 방법
KR20150066129A (ko) 디스플레이 장치 및 그의 제어 방법
KR20120140291A (ko) 단말기 및 그 단말기에서 데이터 표시 방법
KR101459447B1 (ko) 터치스크린을 이용한 항목 선택 방법 및 시스템
US9632613B2 (en) Display control apparatus and control method of display control apparatus for reducing a number of touch times in a case where a guidance is not displayed as compared with a case where the guidance is displayed
KR20160083723A (ko) 디스플레이 장치 및 이의 디스플레이 방법
KR20160083724A (ko) 디스플레이 장치 및 이의 디스플레이 방법
KR20160053144A (ko) 디스플레이 장치, 시스템 및 그 제어 방법
KR20140140759A (ko) 터치스크린을 구비하는 디바이스에서 화면 표시 방법 및 장치
US11073974B2 (en) Electronic device and operation method of parameter selection thereof
KR101553119B1 (ko) 연속적인 터치를 이용한 사용자 인터페이스 방법 및 장치
JP6251072B2 (ja) 表示装置及び表示方法
KR20170103378A (ko) 모바일 게임에서의 화면 제어 방법
US20240036701A1 (en) A computer a software module arrangement, a circuitry arrangement, a user equipment and a method for an improved and extended user interface
US20240103630A1 (en) A computer a software module arrangement, a circuitry arrangement, a user equipment and a method for an improved and extended user interface

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant