KR20160073359A - 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체 - Google Patents

유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
KR20160073359A
KR20160073359A KR1020160069196A KR20160069196A KR20160073359A KR 20160073359 A KR20160073359 A KR 20160073359A KR 1020160069196 A KR1020160069196 A KR 1020160069196A KR 20160069196 A KR20160069196 A KR 20160069196A KR 20160073359 A KR20160073359 A KR 20160073359A
Authority
KR
South Korea
Prior art keywords
finger
touch
user input
contact
area
Prior art date
Application number
KR1020160069196A
Other languages
English (en)
Inventor
박용국
김현진
박민규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20160073359A publication Critical patent/KR20160073359A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

본 발명은 유저인터페이스 제공 장치, 제공 방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체에 관한 것이다. 본 발명의 유저인터페이스 제공 장치는 적어도 하나의 GUI(Graphic User Interface)를 표시하는 표시부, 사용자 핑거의 터치 입력에 대해 센서 신호를 생성하는 센서부 및 센서부에 의해 생성된 센서 신호를 수신하고, 상기 수신된 센서 신호에 근거하여 핑거 접촉 영역과 근접 영역을 결정하고, 상기 결정된 핑거 접촉 영역과 근접 영역에 근거하여 핑거 형태 기반 정보를 생성하고, 상기 표시부를 제어하여 상기 생성된 핑거 형태 기반 정보에 따라 상기 GUI를 변경하여 표시하는 제어부를 포함하는 것을 특징으로 한다.

Description

유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체 {Apparatus and method for providing user interface, and computer-readable recording medium recording the same}
본 발명은 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체에 관한 것으로, 더욱 상세하게는 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체에 관한 것이다.
최근, 센서 및 소프트웨어 관련 기술의 눈부신 발전에 따라, 데스크 탑, 랩 탑, 팜 탑, PDA(personal digital assistant), PMP(Portable Multimedia Player), 휴대폰 등의 각종 전자기기의 유저인터페이스(User interface, UI)에 있어서, 사용하기 편리하고 디자인적인 측면에서보다 인간친화적인 인터페이스를 선호하는 경향이 강해졌다. 이러한 인간친화적인 인터페이스의 하나로서, 터치를 기반으로 한 유저인터페이스가 널리 보급되고 있으며, 이는 디스플레이 장치의 스크린 상에 사용자가 터치를 하면, 사용자의 터치를 감지하여 이에 대응하는 기능을 수행하는 방식에 해당한다.
그러나 사용자가 어느 하나의 아이콘에 터치 입력 시, 현재 기술로는 터치된 아이콘에 대하여 하나의 명령만을 실행하기 때문에, 유저인터페이스를 통한 입력에 있어서 다양성에 한계가 있었다.
본 발명의 목적은 다양한 입력을 유발하여 더욱 인간친화적인 유저인터페이스를 제공하는데 있다.
본 발명의 다른 목적은 소형 디스플레이 장치에서 빠른 입력을 수행하는 지능적 유저인터페이스를 제공하는데 있다.
상기 목적을 달성하기 위해, 본 발명의 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치는 적어도 하나의 GUI(Graphic User Interface)를 표시하는 표시부, 사용자 핑거의 터치 입력에 대해 센서 신호를 생성하는 센서부 및 센서부에 의해 생성된 센서 신호를 수신하고, 상기 수신된 센서 신호에 근거하여 핑거 접촉 영역과 근접 영역을 결정하고, 상기 결정된 핑거 접촉 영역과 근접 영역에 근거하여 핑거 형태 기반 정보를 생성하고, 상기 표시부를 제어하여 상기 생성된 핑거 형태 기반 정보에 따라 상기 GUI를 변경하여 표시하는 제어부를 포함한다.
또한, 본 발명의 디스플레이 장치의 유저인터페이스 제공 방법은 화면에 적어도 하나의 GUI(Graphic User Interface)를 표시하는 단계, 화면에 사용자 핑거의 터치 입력 시, 상기 장치에 포함되는 적어도 하나의 센서에 의해 생성된 센서 신호에 근거하여 상기 핑거의 상기 화면에 대한 접촉 영역 및 근접 영역을 결정하는 단계, 상기 결정된 접촉 영역 및 근접 영역에 근거하여 핑거 형태 기반 정보를 생성하는 단계 및 상기 생성된 핑거 형태 기반 정보에 따라 상기 GUI를 변경하여 표시하는 단계를 포함한다.
본 발명의 유저인터페이스를 제공하도록 하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체에서, 상기 프로그램은 화면에 적어도 하나의 GUI를 표시하도록 하는 명령, 상기 화면에 사용자 핑거의 터치 입력 시, 센서에 의해 생성되는 센서 신호에 근거하여 상기 핑거의 상기 화면에 대한 접촉 영역 및 근접 영역을 결정하도록 하는 명령, 상기 결정된 접촉 영역 및 근접 영역에 근거하여 핑거 형태 기반 정보를 생성하도록 하는 명령 및 상기 생성된 핑거 형태 기반 정보에 따라 상기 GUI를 변경하여 표시하도록 하는 명령을 포함한다.
본 발명에 따르면, 다스플레이 장치에 대한 다양하고 인간친화적인 입력을 유발하는 장점이 있다. 또한, 본 발명에 따르면, 소형 디스플레이가 장착된 기기의 유저인터페이스에 있어서 빠른 입력을 가능하게 한다.
도 1은 본 발명의 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 구성도,
도 2는 본 발명의 실시예에 따른 유저인터페이스 제공 방법을 나타내는 순서도,
도 3a 및 3b는 본 발명의 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 핑거 터치에 대한 모식도 및 핑거의 이미지,
도 4는 본 발명의 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 방법의 순서도,
도 5는 본 발명의 제1 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 명령 실행에 대한 제1 예시도,
도 6은 본 발명의 제1 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 명령 실행에 대한 제2 예시도,
도 7은 본 발명의 제1 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 명령 실행에 대한 제3 예시도,
도 8은 본 발명의 제1 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 명령 실행에 대한 제4 예시도,
도 9는 본 발명의 제2 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 핑거 접촉을 나타내는 도면,
도 10은 본 발명의 제2 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 명령 실행에 대한 제1 예시도,
도 11은 본 발명의 제2 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 명령 실행에 대한 제2 예시도,
도 12는 본 발명의 제3 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 핑거 종류를 나타내는 도면, 및
도 13은 본 발명의 제3 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 명령 실행에 대한 예시도이다.
도 14는 제4 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 출력 화면을 나타내는 도면,
도 15는 제4 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 다른 출력 화면을 나타내는 도면,
도 16은 제4 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 다른 출력 화면을 나타내는 도면,
도 17은 제4 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 다른 출력 화면을 나타내는 도면,
도 18은 제4 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 다른 출력 화면을 나타내는 도면,
도 19는 제5 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 출력 화면을 나타내는 도면.
본 발명의 실시예에 따른 'GUI(Graphic User Interface)'는 디스플레이 장치의 화면에 표시되는 그래픽을 통칭하는 개념이다. 본 발명의 GUI는 아이콘(icon), 아이템(item), 썸네일(thumbnail), 풀 스크린 이미지 등 화면에서 표시될 수 있는 모든 그래픽 객체(graphic object)를 포함할 수 있으며, 상기 그래픽 객체들로 구성된 화면 역시 GUI로 분류될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
그리고 본 발명의 상세한 설명에 앞서, 이상 및 이하에서는 설명의 편의를 위해 핑거의 터치에 의해 기능을 수행하기 위한 대상을 아이콘이라고 하여 설명하지만, 이는 각종 프로그램, 명령어, 또는 데이터 파일들을 쉽게 지정할 수 있도록 하기 위해 각각에 해당되는 조그만 그림 또는 기호를 만들어 화면에 표시한 것을 가리킬 뿐만 아니라, 사진이나 영상을 탐색하는 경우 사진이나 영상의 대표 장면을 축소시켜서 아이콘처럼 나타내는 썸네일(thumbnail)을 포함하고, 사진이나 영상 자체를 가리키는 등 화면에 표시되어 터치에 의해 일정한 동작을 수행하는 것을 아우르는 개념으로 사용될 것이다. 즉, 본 발명의 아이콘은 상기 GUI를 대체하는 개념으로 사용될 수 있다.
도 1은 본 발명의 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 구성도이며, 본 발명의 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치(10)는 표시부(11), 센서부(12) 및 제어부(13)를 포함한다. 표시부(11)는 터치에 의해 실행되는 아이콘을 표시하고, 센서부(12)는 표시부(11)로의 핑거 터치에 대해 센서 신호를 생성하여 제어부(13)로 전달한다. 본 발명의 실시예에 따른 센서부(12)는 광 센서(optical sensor) 또는 터치 센서(touch sensor)로 구성될 수 있다. 또한 센서부(12)는 표시부(11)와 접촉된 형태로 구성될 수 있다. 광 센서는 광학 감지 센서로서, 발광소자인 적외선 LED와 수광 소자인 포토 트랜지스터가 서로 마주보게 매트릭스로 배치된 방식과, 적외선을 조사(照射)하여 핑거의 이미지를 측정하는 방식이 사용될 수 있다. 사용자가 핑거로 터치를 입력하면, 광 센서는 핑거에 의해 반사된 빛의 양(광 반사량)을 측정하게 된다. 상기 측정된 광 반사량은 핑거의 접촉 영역 및 근접 영역을 결정하는 데이터로 이용될 수 있다. 광 센서의 검출 방법을 살펴보면, 화면 상에 터치가 입력되면 포토 다이오드(photodiode)를 작동하여 터치한 물체의 이미지를 측정하고, 이를 토대로 화면과 실제로 접촉하고 있는 유효 터치 영역을 검출한다. 이렇게 검출된 유효 터치 영역에 대한 위치 확인을 위하여 유효 터치 영역을 디지털 영상으로 변환하고, 이로부터 좌표를 분석하여 터치된 위치를 확인한다. 이렇게 터치된 위치가 확인되면, 터치된 위치에 해당하는 아이콘과 관련된 다양한 기능을 수행하게 된다.
본 발명의 센서부(12)가 터치 센서로 구성되는 경우, 터치 센서는 정전용량 방식의 터치 센서(capacitive touch sensor)에 해당함이 바람직하다. 터치 센서의 검출 방법을 살펴보면, 화면 상에 터치가 입력되면, 터치된 부분에서 화면 표면에 충전되어 있던 전하(전류의 흐름)가 상실되고, 전하가 상실된 위치 및 양을 검출하여 사용자 핑거의 접촉 영역과 근접 영역을 결정한다.
본 발명의 실시예에 따라 센서부(12)는 광 센서와 터치 센서의 조합으로 구성될 수 있다. 이 경우, 터치 센서는 정전용량 터치 센서 이외에도 저항막 방식(resistive touch sensor)으로 구성될 수도 있다. 센서부(12)는 터치 감지와 이미지 획득을 함께 수행하여 센서 신호를 생성할 수 있으며, 상기 센서 신호는 핑거 접촉 영역 및 근접 영역 결정에 있어서 데이터로 사용될 수 있다.
본 발명의 실시예에 따라 센서부(12)는 아날로그 신호를 디지털 신호로 변경하는 A/D 컨버터(converter)를 더 포함하도록 구성될 수 있다.
사용자가 핑거로 화면에 터치를 입력했을 때, 센서부(12)가 광 센서로 형성되는 경우, 센서부(12)는 광 반사량을 측정하고, 이에 관한 정보를 포함하는 센서 신호를 생성하여 제어부(13)로 전송한다. 이 때, 센서부(12)는 측정된 광 반사량을 통해 핑거의 이미지를 획득하고, 획득된 핑거의 이미지를 포함하는 센서 신호를 생성하여 제어부(13)로 전송할 수 있다. 센서부(12)가 터치 센서로 형성되는 경우, 센서부(12)는 화면 표면의 전하의 변화량(상실량)을 검출하고, 이에 관한 정보를 포함하는 센서 신호를 생성하여 제어부(13)로 전송한다.
제어부(13)에 대해서는 도 2를 참조하여 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 유저인터페이스 제공 방법을 나타내는 순서도이다. 도 2를 설명함에 있어서, 제어부(13)는 표시부(11)를 제어하여 적어도 하나의 GUI를 표시하고 있다고 가정하기로 한다.
201단계에서 제어부(13)는 센서부(12)를 제어하여 사용자에 의해 터치 동작이 입력되는지 판단한다. 사용자가 핑거로 화면에 터치를 입력하면, 센서부(12)는 센서 신호를 생성하여 제어부(13)로 전송한다. 센서부(12)가 광 센서로 형성되는 경우, 상기 센서 신호는 광 반사량에 관한 정보를 포함하며, 센서부(12)가 터치 센서로 형성되는 경우, 상기 센서 신호는 화면 표면의 전하의 변화량(상실량)에 관한 정보를 포함할 수 있다.
202단계에서 제어부(13)는 센서부(12)로부터 센서 신호를 수신한다. 이어 203단계에서 제어부(13)는 핑거의 접촉 영역과 근접 영역을 결정한다. 센서부(12)가 광 센서로 형성되는 경우, 핑거가 화면에 접촉된 부분에서 집중적으로 광 반사가 이루어지며, 화면 상에는 위치하나 화면에 접촉되지 않은 핑거 부분에서는 상기 접촉된 부분보다 광 반사가 덜 이루어진다. 제어부(13)는 광 반사량이 가장 집중적으로 분포된 영역을 핑거의 접촉 영역으로 결정하고, 핑거의 접촉 영역 보다는 광 반사량이 덜 집중된 영역을 핑거의 근접 영역으로 결정할 수 있다. 즉, 제어부(13)는 일정한 기준 광 반사량을 설정하여 상기 기준 광 반사량 이상인 영역을 핑거 접촉 영역, 상기 기준 광 반사량 이하인 영역을 핑거 근접 영역으로 결정할 수 있다. 본 발명의 실시예에 따라 제어부(13)는 제1기준 광 반사량 및 제2기준 광 반사량을 설정하고, 상기 제1기준 광 반사량 이상인 영역을 핑거 접촉 영역, 상기 제1기준 광 반사량 미만 및 상기 제2기준 광 반사량 이상인 영역을 핑거 근접 영역, 상기 제2기준 광 반사량 미만인 영역을 개방 영역으로 결정할 수 있다.
센서부(12)가 터치 센서로 형성되는 경우, 핑거가 화면에 접촉된 부분에서 전하의 상실량이 크고, 화면 상에는 위치하나 화면에 접촉되지 않은 핑거 부분에서는 상기 접촉된 부분보다 전하의 상실량이 작다. 제어부(13)는 전하의 상실량이 가장 큰 영역을 핑거의 접촉 영역으로 결정하고, 핑거의 접촉 영역보다는 전하의 상실량이 작은 영역을 핑거의 근접 영역으로 결정할 수 있다. 즉, 제어부(13)는 일정한 기준 전하 상실량을 설정하여 상기 기준 전하 상실량 이상인 영역을 핑거 접촉 영역, 상기 기준 전하 상실량 이하인 영역을 핑거 근접 영역으로 결정할 수 있다. 본 발명의 실시예에 따라 제어부(13)는 제1기준 전하 상실량 및 제2기준 전하 상실량을 설정하고, 상기 제1기준 전하 상실량 이상인 영역을 핑거 접촉 영역, 상기 제1기준 전하 상실량 미만 및 상기 제2기준 전하 상실량 이상인 영역을 핑거 근접 영역, 상기 제2기준 전하 상실량 미만인 영역을 개방 영역으로 결정할 수 있다.
204단계에서 제어부(13)는 상기 결정된 핑거의 접촉 영역 및 근접 영역에 근거하여 핑거 형태 기반 정보를 생성한다. 본 발명에서 핑거 형태 기반 정보는 사용자의 위치, 핑거의 접촉 형태 및 핑거의 종류를 포함할 수 있다. 제어부(13)는 핑거의 접촉 영역 및 근접 영역에 근거하여 핑거의 방향 벡터를 검출하고, 벡터의 각도를 측정하고, 벡터의 각도로부터 사용자의 위치를 추정하여 사용자의 위치를 생성할 수 있다. 또한 제어부(13)는 핑거의 접촉 영역의 가로 및 세로 길이를 측정하고, 측정된 가로 및 세로 길이에 근거하여 핑거의 접촉 영역의 대/소를 구별하여 핑거의 접촉 정보를 생성할 수 있다. 또한 제어부(13)는 핑거의 접촉 영역 및 근접 영역에 근거하여 핑거의 방향 벡터를 검출하고, 벡터의 각도를 측정하고, 벡터의 각도로부터 오른손/왼손을 구별하여 핑거의 종류 정보를 생성할 수 있다.
205단계에서 제어부(13)는 생성된 핑거 형태 기반 정보에 근거하여 표시부(11)를 제어하여 GUI를 변경하여 표시한다. 본 발명에 따라 제어부(13)는 표시부(11)를 제어하여 GUI를 회전, 이동 또는 확대하여 표시할 수 있다.
도 3a 및 3b에 본 발명의 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치(10)의 핑거 터치의 양상과 핑거의 이미지를 나타내고 있다. 도 3a 및 3b를 참조하면, 화면 상에 핑거(20)의 터치가 행해지면, 센서부(12)는 센서 신호를 생성하게 된다. 센서부(12)가 광 센서로 형성되는 경우, 센서부(12)는 핑거(20)의 이미지를 측정하고, 핑거(20)의 이미지는 화면으로의 접촉 여부에 따라 명암을 다르게 하여 측정될 수 있다.
제어부(13)는 센서 신호를 토대로 화면에 접촉하고 있는 핑거 접촉 영역(31)과 화면 상에는 위치하나 화면에 접촉하지 않은 핑거 근접 영역(32)을 검출한다. 제어부(13)는 상기 핑거 근접 영역(32)과 핑거의 접촉도 근접도 되어 있지 않은 개방 영역(33)을 구별할 수 있다. 또한, 제어부(13)는 이를 토대로 사용자의 위치, 핑거의 접촉 형태, 및 핑거의 종류 등을 나타내는 핑거의 형태 기반 정보를 생성한다. 이 때, 제어부(13)는 상기 핑거 접촉 영역(31)과 핑거 근접 영역(32)을 토대로 방향 벡터(34)를 검출할 수 있다. 본 발명의 실시예에 따라 제어부(13)는 핑거 접촉 영역(31)에 근거하여 터치된 아이콘을 검출할 수 있다. 이렇게 검출된 아이콘과 연관된 명령을 실행시킴에 있어서, 제어부(13)는 생성된 핑거의 형태 기반 정보에 따라 실행시킨다.
도 4는 센서부(12)가 광 센서로 이루어진 경우, 본 발명의 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 방법의 흐름도를 나타낸다. 도 4를 참조하여 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 방법을 살펴보면, 표시부(11)에 대하여 핑거(20)의 터치가 이루어지면(S10), 광 센서부(12)가 핑거의 터치를 감지한다(S20). 이 때, 터치를 감지하지 못하면 광 센서부(12)는 터치를 감지할 때까지 터치 감지 단계(S20)를 반복한다. 광 센서부(12)는 표시부(11)에 터치하고 있는 핑거(20)의 전체 이미지를 측정한다(S30).
제어부(13)는 광 센서부(12)에 의해 측정된 핑거(20)의 이미지를 토대로 핑거 접촉 영역(31)과 핑거 근접 영역(32)을 추출한다(S40). 또한, 핑거 접촉 영역(31)의 좌표를 분석하여 표시부(11)에 배열된 아이콘 중 터치된 아이콘을 검출한다(S50). 단계(S50)에서 검출된 아이콘과 연관된 명령의 종류(S501)에 따라, 핑거 접촉 영역(31) 및 핑거 근접 영역(32)을 토대로 핑거 형태 기반 정보를 생성한다.
구체적으로는, 검출된 아이콘과 연관된 명령이 사용자 위치 정보를 이용하는 명령일 경우(S51), 핑거 접촉 영역(31)과 핑거 근접 영역(32)으로부터 핑거의 방향 벡터를 산출한다(S511). 즉, 핑거 근접 영역(32)에서 핑거 접촉 영역(31)으로 향하는 방향 벡터(34)를 산출한다(도 3b 참조). 이 방향 벡터(34)에 대하여 각도를 측정한다(S512). 이 때, 방향 벡터의 각도는 0°~360° 범위가 될 것이다. 단계(S512)에서 측정된 방향 벡터의 각도에 대하여, 아래 표 1을 참조하여 사용자의 위치를 추정하여 사용자의 위치 정보를 생성한다(S513).
방향 벡터의 각도 사용자의 위치 정보
45°~135° 표시부의 하부
135°~225° 표시부의 우측
225°~315° 표시부의 상부
315°~45° 표시부의 좌측
상기 표 1에 나타낸 바와 같이, 핑거의 방향 벡터의 각도가 45°~135°의 범위 내라면 사용자의 위치 정보는 표시부의 하부이고, 135°~225°의 범위 내라면 표시부의 우측, 225°~315°의 범위 내라면 표시부의 상부, 그리고 315°~45°의 범위 내라면 표시부의 좌측이 된다.
단계(S513)에서 생성된 사용자의 위치 정보를 토대로, 검출된 아이콘에 해당하는 이미지의 회전, 이동, 확대를 실행시킨다(S61). 예를 들어, 사용자의 위치 정보가 표시부(11)의 하부일 경우, 검출된 아이콘에 해당하는 이미지를 표시부(11)의 하부에 위치한 사용자의 방향으로 회전시키고, 표시부(11)의 하부 측으로 이동시켜서, 확대하여 표시한다.
단계(50)에서 검출된 아이콘과 연관된 명령이 핑거의 접촉 형태를 이용하는 명령일 경우(S52), 제어부(13)는 핑거 접촉 영역(31)의 가로 길이(a) 및 세로 길이(b)를 측정한다(S521). 아래 식 1에 나타난 바와 같이, 가로 길이(a)에 대한 세로 길이(b)의 비(c)를 구한다.
Figure pat00001
수학식 1에서 구해진 값 c가 1보다 큰지 작은지에 따라 핑거 접촉 영역(31)의 대/소를 구별하여 핑거 접촉 형태 정보를 생성한다(S522). 아래 표 2를 참조하면, 값 c가 1보다 크면, 핑거 접촉 영역이 '대'임을 나타내고, 1보다 작으면 '소'임을 나타낸다.
C 핑거 접촉 영역
C > 1 대
C < 1 소
제어부(13)는 검출된 아이콘과 연관된 명령에 대하여 단계(S522)에서 생성된 핑거 접촉 형태에 따라, 다른 명령을 실행시킨다(S62). 예로서 아이콘이 메뉴 바인 경우, 핑거 접촉 영역(31)이 '대'이면 하위 개념 메뉴들을표시하고 '소'이면 상위 개념 메뉴들을 표시할 수 있다.
단계(50)에서 검출된 아이콘과 연관된 명령이 핑거의 종류 정보를 이용하는 명령일 경우(S53), 제어부(13)는 단계(S40)에서 핑거 접촉 영역(31)뿐만 아니라, 핑거 근접 영역(32)이 검출되었는지를 판단한다(S530). 핑거 근접 영역(32)이 검출되었다면, 핑거 근접 영역(32)에서 핑거 접촉 영역(31)으로 향하는 핑거 방향 벡터(34)를 산출한다(S531). 이 핑거 방향 벡터(34)에 대하여 각도를 측정한다(S532).
핑거의 종류에 따라 다른 명령을 실행시키는 경우는 빠른 입력을 하기 위한 것으로, 일반적으로 표시부(11)가 상대적으로 소형인 휴대용 단말기에서 이루어진다고 보아, 사용자가 표시부(11)의 하부에 위치한다고 가정한다. 따라서 핑거 방향 벡터(34)의 각도는 0°~180° 범위가 될 것이다. 단계(S532)에서 측정된 핑거 방향 벡터(34)의 각도에 대하여, 아래 표 3을 참조하여 오른손/왼손을 구별하여 핑거의 종류 정보를 생성한다(S535).
벡터의 각도 핑거의 종류 정보
0°~90° 왼손
90°~180° 오른손
상기 표 3에 나타낸 바와 같이, 핑거 방향 벡터(34)의 각도가 0°~90°의 범위 내라면 핑거의 종류 정보는 왼손 핑거이고, 90°~180°의 범위 내라면 오른손 핑거가 된다.
또한, 단계(40)에서 핑거 근접 영역(32)이 검출되지 않은 것으로 단계(530)에서 판단되면, 제어부(13)는 핑거 접촉 영역(31)의 위치가 표시부(11)에서 좌측인지 우측인지를 구별한다(S533). 이에 따라 표시부(11)의 좌측이면 왼손 핑거, 우측이면 오른손 핑거로 판별한다(S535).
제어부(13)는 검출된 아이콘과 연관된 명령에 대하여 단계(S535)에서 생성된 핑거의 종류 정보에 따라, 다른 명령을 실행시킨다(S63). 예로서 아이콘이 문자 키인 경우, 핑거의 종류가 오른손 핑거이면 오른쪽 문자를 입력시키고, 왼손 핑거이면 왼쪽 문자를 입력시킬 수 있다.
이와 같이, 터치된 아이콘과 연관된 명령의 종류에 따라 생성된 핑거 형태 기반 정보를 토대로 다양한 명령이 실행될 수 있으며, 이와 관련한 구체적인 태양에 대해서는 이하에서 본 발명의 실시예들을 통하여 살펴보기로 한다.
제1 실시예
본 실시예는 본 발명의 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치에서 핑거 형태 기반 정보로서 사용자의 위치에 따른 명령 실행에 관한 것으로, 도 5 내지 도 8에서 명령 실행의 예시를 나타내고 있다.
도 5는 사용자의 위치에 맞게 터치된 아이콘에 해당하는 사진을 회전, 이동 및 확대하여 표시하는 제1 예시를 나타낸다. 도 5의 제1 예시도를 참조하면, (a)에서와 같이 사진의 축소판인 썸네일 등의 아이콘이 무작위로 배열된 표시부(11)에 대하여 사용자(35)가 아이콘(40)을 터치하면, 제어부(13)가 핑거의 이미지로부터 핑거 방향 벡터(34)를 산출하고 벡터의 각도를 측정하여 사용자(35)의 위치를 추정한다. 즉, 도 5의 (a)에서와 같이, 핑거(20)의 방향 벡터가 45ㅀ ~135ㅀ 의 범위 내이면, 사용자(35)의 위치는 표시부(11)의 하부로 검출된다. 이렇게, 제어부(13)가 핑거의 형태 기반 정보로서 사용자(35)의 위치를 검출하면, 도 5의 (b)에 도시된 바와 같이, 터치된 아이콘(40)에 해당하는 사진을 사용자(35)의 위치에 맞게 회전 및 이동시킨 후, 확대하여 표시한다.
이로써, 본 실시예는 종래의 터치 식 유저인터페이스에서 이와 같은 명령을 수행할 경우, 아이콘을 선택하여 이를 사용자의 위치까지 드래그한 후, 회전시켜야 했던 것을 한 번의 터치에 의해 실행될 수 있도록 한 것이다. 또한, 본 실시예는 핑거 형태 기반 정보로서 사용자의 위치를 이용하기 때문에, 하나의 표시부에 대하여 다수의 사용자가 터치를 하는 경우에 유용하며, 특히 테이블 탑(table top) 컴퓨터에 적용하는 경우 더욱 유용할 것이다.
도 6은 도 5에 따른 제1 예시에서 아이콘이 썸네일 대신 메뉴인 경우를 나타내는 제2 예시도이다. 도 6을 참조하면, (a)에 도시된 바와 같이, 사용자(35)가 일정관리를 나타내는 아이콘(50)을 터치하면, (b)에 도시된 바와 같이, 제어부(13)에 의해 검출된 사용자(35)의 위치에 맞게 일정 관리를 위한 달력을 확대하여 표시한다.
도 7은 아이콘의 회전을 나타내는 제4 예시도이다. 도 7의 (a)에 도시된 바와 같이, 사용자(35)가 아이콘(60)을 터치하면, 제어부(13)에 의해 검출된 사용자의 위치 정보에 따라 도 6의 (b)에 도시된 바와 같이, 아이콘(60)을 회전시켜 표시한다. 다만, 제 4 예시에서는, 제어부(13)에 의해 검출되는 사용자의 위치는 제1 예시에서와 같이 표시부(11)를 기준으로 상, 하, 좌, 우로 나뉘는 것이 아니라, 핑거 방향 벡터(34) 자체가 된다. 따라서 사용자의 위치는 핑거 방향 벡터(34)의 시작점이 되며, 사용자의 위치에 맞게, 즉 벡터의 방향에 맞게 아이콘(60)이 회전된다.
도 8은 표시부(11)에 일정한 방향으로 표시된 화면에 대하여 사용자의 위치에 맞게 화면을 회전시키는 것을 나타내는 제4 예시도이다. 도 7의 (a)에서 화면(70)은 사용자가 표시부(11)의 우측에 위치한 것에 맞게 배열되어 있다. 이 때, 도 7의 (a)에 도시된 핑거(20)의 방향으로 터치하면, 제어부(13)에 의하여 사용자의 위치가 표시부(11)의 하부라는 정보가 생성되고, 도 7의 (b)에 도시된 바와 같이, 화면(70)은 표시부의 하부에 위치한 사용자에 맞게 회전되어 표시된다.
제2 실시예
본 실시예는 본 발명의 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치에서 핑거 형태 기반 정보로서 핑거의 접촉 형태를 이용한 명령 실행에 관한 것으로, 도 9 내지 도 11을 참조하여 설명한다.
도 9는 본 발명의 제2 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 핑거 접촉을 나타내는 도면이다. 도 9의 (a)는 핑거(20)의 마디가 표시부(11)에 접촉한 경우로, 핑거 접촉 영역(81)이 '대'이고, (b)는 핑거(20)의 끝부분을 접촉한 경우로, 핑거 접촉 영역(82)이 '소'이다. 이렇게, 핑거의 접촉에 따라 다른 명령을 실행하도록 할 수 있다.
도 10은 핑거 접촉 형태에 따라 상위 또는 하위 개념의 메뉴를 표시하는 명령을 실행하는 경우를 나타내는 제1 예시도이다. 도 10에 도시된 바와 같이, 핑거 접촉 영역(81)이 '대'에 해당하는 경우, 해당 아이콘에 대한 하위 개념의 메뉴를 표시한다. 도시되지는 않았지만, 제1 예시에 의할 경우, 핑거 접촉 영역이 '소'라면, 해당 아이콘에 대한 상위 개념의 메뉴를 표시할 것이다.
도 11은 핑거 접촉 형태에 따라 마우스의 오른쪽 버튼/왼쪽 버튼 입력의 명령을 실행하는 경우를 나타내는 제2 예시도이다. 도 11에 도시된 바와 같이, 핑거 접촉 영역(82)이 '소'에 해당하는 경우, 해당 아이콘에 대하여 마우스 오른쪽 버튼을 클릭했을 때와 마찬가지로 메뉴를 표시한다. 도시되지는 않았지만, 제2 예시에 의할 경우, 핑거 접촉 영역이 '대'라면, 터치된 아이콘에 해당하는 명령을 실행할 것이다.
도 10 및 도 11은 핑거의 접촉 형태에 따라 상위/하위 메뉴의 표시 및 마우스의 오른쪽/왼쪽 버튼 클릭한 경우의 표시에 대하여 예시하였으나, 본 실시예는 이에 한정되지 않으며, 이하에서 설명하는 제3 실시예에서와 같이, 문자 입력에도 적용될 수 있다. 즉, 핑거 접촉 영역(81)이 '대'일 경우, 해당 아이콘의 오른쪽 문자가 입력되고, '소'일 경우, 왼쪽 문자가 입력되도록 할 수 있다.
제3 실시예
본 실시예는 본 발명의 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치에서 핑거 형태 기반 정보로서 핑거의 종류에 따른 명령 실행에 관한 것으로, 도 12 및 도 13을 참조하여 설명한다.
도 12는 제3 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 핑거 종류를 나타내는 도면이다. 도 12를 참조하면, 제어부(13)는 핑거의 방향 벡터로부터 오른손 핑거(111)인지 왼손 핑거(112)인지를 검출한다. 또한, 터치가 표시부(11)의 끝부분에서 이루어졌을 경우, 즉 핑거의 비접촉 영역(32)이 검출되지 않은 경우는, 핑거 접촉 영역(31)이 표시부(11)에서 좌측인지 우측인지를 구별하여 핑거의 종류 정보를 검출할 수 있다. 제어부(13)는 이렇게 검출된 핑거의 종류에 따라 다른 명령을 수행하도록 한다.
도 13은 표시부(11)에 문자 입력을 위한 문자 배열이 표시된 경우, 핑거의 종류에 따라 다른 명령을 실행하는 경우를 나타내는 예시도이다. 도 13을 참조하면, 제어부(13)에 의해 아이콘(123)을 오른손 핑거(111)로 터치한 것으로 검출되면, '+'가 입력되고, 왼손 핑거(112)로 터치한 것으로 검출되면, '-'가 입력된다. 마찬가지로, 제어부(13)에 의해 아이콘(121)을 오른손 핑거(111)로 터치한 것으로 검출되면, '['가 입력되고, 왼손 핑거(112)로 터치한 것으로 검출되면, ']'가 입력된다.
따라서 본 실시예에 의하면, 한 번의 터치로 핑거의 종류를 판별하여 이에 따라 명령을 다르게 실행시키므로, 종래에 휴대 단말기 등의 소형 디스플레이를 갖는 장치에서 문자 입력 시 터치를 한 번하면 왼쪽 문자, 두 번하면 오른쪽 문자가 입력되는 방식으로 하는 등의 번거로움이 없으며, 그 결과 빠른 문자 입력이 가능해진다.
도 13은 핑거의 종류에 따라 해당 아이콘의 오른쪽/왼쪽 문자 입력을 실행하는 경우를 예로 들어 설명하였지만, 본 실시예는 이에 한정되지 않으며, 상기 제2 실시예에서와 같이, 상위/하위 개념의 메뉴 표시 및 마우스의 오른쪽/왼쪽 버튼 클릭한 경우의 표시에도 적용될 수 있다. 예로서, 터치된 핑거의 종류가 오른손 핑거(111)라면 해당 아이콘에 대하여 마우스 오른쪽 버튼을 클릭했을 때와 마찬가지로 메뉴를 표시하고, 왼손 핑거(112)라면, 터치된 아이콘에 해당하는 명령을 실행할 것이다.
제4실시예
본 실시예는 사용자가 핑거를 표시부(11)에 터치한 후, 핑거를 움직이는 동작을 입력했을 때, 본 발명의 유저인터페이스 장치가 수행하는 기능에 관한 것으로, 도 14 내지 도 18을 참조하여 설명한다. 본 실시예에서 핑거를 움직이는 동작은 사용자가 핑거 접촉 영역을 중점으로 하여 핑거를 회전시키는 2차원적 움직임에 해당할 수 있다.
도 14는 제4 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 출력 화면을 나타내는 도면이다.
도 14의 (a)는 사진 이미지(picture)가 풀 스크린(full screen)으로 표시된 상태에서 사용자가 표시부(11)에 터치 입력 후, 핑거 접촉 부분을 기준으로 핑거를 회전시키는 형태를 도시하고 있다.
센서부(12)는 사용자의 핑거 움직임을 감지하고, 센서 신호를 생성하여 제어부(13)로 전달하며, 제어부(13)는 변경된 핑거 접촉 영역(31)과 핑거 근접 영역(32)을 결정하고, 결정된 핑거 접촉 영역(31)과 핑거 근접 영역(32)을 토대로 변경된 핑거 방향 벡터(34)를 검출하고, 사용자의 핑거 움직임이 입력되기 전의 핑거 방향 벡터와 핑거 움직임이 입력된 후의 핑거 방향 벡터를 비교하여 상기 핑거 방향 벡터의 각도 변화를 측정하고, 측정된 각도 변화에 대응하는 기능을 실행할 수 있다. 이 때, 제어부(13)는 측정된 핑거 방향 벡터의 각도 변화가 기 설정된 임계 각도 이상에 해당하는지 판단하고, 임계 각도 이상에 해당하는 경우에만 이벤트 발생으로 처리하고 해당 기능을 실행할 수 있다. 본 발명의 실시예에 따라, 제어부(13)는 핑거 방향 벡터의 각도 변화 속도를 더 측정할 수 있다. 사용자가 핑거를 빠르게 회전시키면 제어부(13)는 핑거 방향 벡터의 각도 변화 속도를 측정하여 이에 대응하는 기능을 실행할 수 있다.
도 14의 (b)에서는 도 14의 (a)의 사진 이미지가 줌 인(zoomin)되어 표시되어 있다. 본 발명의 실시예에 따라 사용자가 시계 방향으로 핑거를 회전시키면 디스플레이 장치는 이미지를 줌 인하여 표시할 수 있고, 사용자 반시계 방향으로 핑거를 회전시키면 이미지를 줌 아웃(zoomout)하여 표시할 수 있다. 또한 사용자가 핑거를 빠르게 회전시키면 디스플레이 장치는 이미지를 빠르게 줌 인 또는 줌 아웃하여 표시할 수 있다. 또한 사용자가 핑거를 회전 시킨 후 핑거의 위치를 그대로 유지시키면, 디스플레이 장치는 기 설정된 주기로 이미지를 점차적으로 줌 인 또는 줌 아웃하여 표시할 수 있다.
도 15는 제4 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 다른 출력 화면을 나타내는 도면이다.
도 15의 (a)는 선택 가능한 아이템이 표시된 상태에서 사용자가 상기 아이템에 터치 입력 후, 핑거 접촉 부분을 기준으로 핑거를 회전시키는 형태를 도시하고 있다.
도 15의 (a)에서는 상기 아이템이 전체 화면에서 잘라지는 형태로 표시되어 있다. 이 경우, 제어부(13)는 상기 잘라진 아이템을 복사(copy)하는 기능을 실행할 수 있다. 사용자가 멀티미디어 메시지(MMS)를 작성하는 창을 열고, 멀티태스킹으로 웹 페이지를 연 후, 웹 페이지에 포함된 선택 가능한 아이템에 터치 입력 후, 핑거를 회전시키는 동작을 입력하면, 상기 아이템이 자동적으로 복사되어 멀티미디어 메시지의 첨부 파일로 등록되거나 멀티미디어 메시지 내에 붙여 넣기(paste)가 될 수 있다. 도 15의 (b)는 멀티미디어 메시지 작성 창에 사용자가 선택한 아이템이 자동적으로 붙여 넣기가 된 화면을 도시하고 있다.
도 16은 제4 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 다른 출력 화면을 나타내는 도면이다.
도 16의 (a)는 하위 메뉴를 포함하는 상위 메뉴의 아이콘에 사용자가 터치를 입력한 경우의 화면을 도시하고 있다. 사용자는 어느 특정 아이콘에 터치를 입력하였고, 상기 터치된 아이콘의 하위 메뉴의 아이콘들인 'twit', 'blog', 'facebook'이 핑거 형태 기반 정보에 따라 표시된다. 도 16의 (a)에는 손가락 끝이 우측 하단에서 좌측 상단으로 향하는 형태가 도시되어 있으며, 하위 메뉴 아이콘들 역시 우측 하단에서 좌측 상단으로 향하는 방향으로 표시되어 있다. 도 16의 (b)는 사용자가 핑거를 도 16의 (a)에서 시계 방향으로 회전한 경우이며, 도 16의 (b)에는 손가락 끝이 좌측 하단에서 우측 상단으로 향하는 형태가 도시되어 있으며, 하위 메뉴 아이콘들 역시 좌측 하단에서 우측 상단으로 향하는 방향으로 표시되어 있다. 사용자는 손가락을 돌리면서 GUI를 움직이거나 배열 시킬 수 있다.
도 17은 제4 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 다른 출력 화면을 나타내는 도면이다.
도 17의 (a)는 멀티미디어 컨텐츠를 실행하는 화면에서 사용자가 좌측 하단에 있는 재생 아이콘에 터치를 입력한 후, 회전시키는 형태를 도시하고 있다. 이 경우 제어부(13)는 포워드(forward) 또는 리와인드(rewind) 기능을 수행하며, 표시부(11)를 제어하여 재생 정보 스크롤 바(scroll bar)를 표시할 수 있다. 예를 들어, 사용자가 시계 방향으로 회전 입력 시, 제어부(13)는 포워드 기능을 실행할 수 있으며, 반시계 방향으로 회전 입력 시, 리와인드 기능을 수행할 수 있다.
도 17의 (b)는 멀티미디어 컨텐츠를 실행하는 화면에서 사용자가 우측 하단에 있는 볼륨 아이콘에 터치를 입력한 후, 회전시키는 형태를 도시하고 있다. 이 경우 제어부(13)는 볼륨 업(up) 또는 다운(down) 기능을 수행하며, 표시부(11)를 제어하여 볼륨 정보 스크롤 바(scroll bar)를 표시할 수 있다. 예를 들어, 사용자가 시계 방향으로 회전 입력 시, 제어부(13)는 볼륨 업 기능을 실행할 수 있으며, 반시계 방향으로 회전 입력 시, 볼륨 다운 기능을 수행할 수 있다.
도 18은 제4 실시예에 따른 핑거 형태 기반 정보를 이용한 유저인터페이스 제공 장치의 다른 출력 화면을 나타내는 도면이다.
도 18의 (a)는 사용자가 특정 아이콘을 터치한 경우의 화면을 도시하고 있다. 도 18의 (a)에서 제어부(13)는 표시부(11)를 제어하여 터치된 아이콘을 실행하여 출력하고 있다. 즉, 터치만 입력된 경우 제어부(13)는 마우스에서 좌측 클릭과 같은 선택 또는 실행 이벤트로 처리할 수 있다.
도 18의 (b)는 사용자가 특정 아이콘을 터치한 후, 회전시킨 경우의 화면을 도시하고 있다. 도 18의 (b)에서 제어부(13)는 표시부(11)를 제어하여 서브 메뉴 목록을 출력하고 있다. 서브 메뉴 목록에는 복사/붙여 넣기 등이 포함될 수 있다. 즉, 터치 후 회전 동작이 입력된 경우 제어부(13)는 마우스에서 우측 클릭과 같은 메뉴 출력 이벤트로 처리할 수 있다.
이외에도 복수 개의 아이콘들이 화면 상에 표시되어 있고, 사용자가 어느 하나의 아이콘에 터치를 입력하면, 해당 아이콘에 대응하는 기능이 실행되지만, 사용자가 어느 하나의 아이콘에 터치를 입력한 후, 핑거를 회전시키는 동작을 입력하면 여러 개의 아이콘들을 선택하는 모드로 전환될 수 있다.
제5실시예
본 실시예는 사용자가 핑거를 표시부(11)에 터치한 후, 핑거를 움직이는 동작을 입력했을 때, 본 발명의 유저인터페이스 장치가 수행하는 기능에 관한 것으로, 도 19를 참조하여 설명한다. 본 실시예에서 핑거를 움직이는 동작은 사용자가 핑거를 서서히 구부려 핑거 접촉 영역을 변경시키는 3차원적 움직임에 해당할 수 있다.
도 19의 (a)는 도 10과 동일한 도면으로서, 사용자가 핑거의 끝마디를 전체적으로 화면에 접촉시키고 있다. 제어부(13)는 핑거 접촉 영역(81)의 넓이를 판단한 후, 표시부(11)를 제어하여 이에 대응하는 GUI를 출력할 수 있다. 도 19의 (a)에서 제어부(13)는 표시부(11)를 제어하여 하위 메뉴의 아이콘들을 표시하고 있다. 이 때, 사용자가 핑거를 서서히 구부려 끝마디의 끝부분만이 화면에 접촉시키는 동작을 입력한 것으로 가정한다.
도 19의 (a)는 도 11과 동일한 도면으로서, 사용자가 핑거의 끝마디 중 끝부분을 화면에 접촉시키고 있다. 제어부(13)는 핑거 접촉 영역(81)의 넓이를 판단한 후, 표시부(11)를 제어하여 이에 대응하는 GUI를 출력하게 된다. 도 19의 (a)에서 제어부(13)는 표시부(11)를 제어하여 상위 메뉴의 아이콘들을 표시하고 있다.
즉, 제어부(13)는 핑거 접촉 영역의 넓이 변화를 인식하고 표시부(11)를 제어하여 GUI를 변경하여 표시할 수 있다.
이상에서 살펴본 광학식 터치센서를 기반으로 하여 핑거 형태 기반 정보에 따른 명령을 실행하도록 하는 방법은, 컴퓨터 판독 가능한 기록매체에 프로그램으로 기록하여 프로그램에 의해 실행되도록 할 수 있다. 즉, 핑거 형상을 인식하여 명령을 실행하도록 하는 프로그램은, 표시부(11)에 적어도 하나의 GUI를 표시하도록 하는 명령, 상기 표시부(11)에 사용자 핑거의 터치 입력 시, 센서부(12)에 의해 생성되는 센서 신호에 근거하여 상기 핑거의 상기 표시부(11)에 대한 핑거 접촉 영역(31) 및 핑거 근접 영역(32)을 결정하도록 하는 명령, 상기 결정된 핑거 접촉 영역(31) 및 핑거 근접 영역(32)에 근거하여 핑거 형태 기반 정보를 생성하도록 하는 명령 및 상기 생성된 핑거 형태 기반 정보에 따라 상기 GUI를 변경하여 표시하도록 하는 명령을 포함할 수 있다.
센서부(12)가 광 센서로 구성되는 경우, 센서부(12)가 표시부(11)로의 핑거(20)의 터치를 감지하고 핑거(20)의 이미지를 측정하도록 하는 명령, 제어부(13)가 센서부(12)에 의해 측정된 핑거의 이미지를 토대로 핑거 접촉 영역(31) 및 핑거 근접 영역(32)을 검출하도록 하는 명령, 제어부(13)가 핑거 접촉 영역(31)에 근거하여 터치된 아이콘을 검출하도록 하는 명령, 제어부(13)가 검출된 아이콘과 연관된 명령의 종류에 따라, 핑거 접촉 영역(31) 및 핑거 근접 영역(32)을 토대로 핑거 형태 기반 정보를 생성하도록 하는 명령, 및 제어부(13)가 검출된 아이콘과 연관된 명령을 핑거의 형태 기반 정보에 따라 실행시키도록 하는 명령을 포함한다. 이때, 핑거의 형태 기반 정보는 사용자의 위치, 핑거의 접촉 형태, 및 핑거의 종류일 수 있으며, 이에 따른 명령 실행은 상기 실시예들에서 살펴본 바와 같다.
상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 행해질 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
10: 유저인터페이스 제공 장치 11: 표시부 12: 센서부
13: 제어부 20: 핑거 31,81,82: 핑거 접촉 영역
32: 핑거 근접 영역 33: 개방 영역 34: 방향 벡터
35: 사용자 40,60: 아이콘 70: 화면 111: 오른손 핑거
112: 왼손 핑거

Claims (22)

  1. 적어도 하나의 객체를 표시하도록 구성된 표시부;
    상기 표시부 상의 터치와 연관된 사용자 입력을 수신하도록 구성되며, 광 센서 및 터치 센서로 구성되는 센서부; 및
    상기 수신된 사용자 입력에 근거하여, 접촉 영역과 근접 영역을 포함하는 사용자 입력 영역을 식별하고,
    상기 접촉 영역에 있는 객체를 터치된 객체로 식별하고,
    상기 사용자 입력 영역에 대응하며, 사용자 위치 정보, 핑거 접촉 형태 정보, 및 핑거 종류 정보 중 적어도 하나를 포함하는 접촉 정보를 생성하고,
    상기 접촉 정보를 사용하여 상기 터치된 객체를 처리하는
    제어부;를 포함하고,
    상기 접촉 영역은 상기 터치와 연관되어 접촉된 상기 사용자 입력 영역의 부분에 대응되고,상기 근접 영역은 상기 터치와 연관되어 접촉되지 않은 상기 사용자 입력 영역의 부분에 대응되며,
    상기 제어부는 상기 접촉 영역과 연관된 가로 및 세로 길이를 결정하고, 상기 가로 및 세로 길이를 토대로 상기 접촉 영역의 크기를 결정하여 접촉 핑거와 연관된 상기 핑거 접촉 형태 정보를 생성하며, 상기 핑거 접촉 정보에 따라 명령을 실행시키는
    것을 특징으로 하는 하는 유저인터페이스(User Interface) 제공 장치.
  2. 제1항에 있어서,
    상기 제어부는
    상기 사용자 입력 영역을 토대로 상기 터치의 방향 벡터를 결정하고, 상기 방향 벡터와 연관된 각도를 획득하며, 상기 각도로부터 사용자 위치를 추정하여 사용자 위치 정보를 생성하도록 추가로 구성되는 것을 특징으로 하는 유저인터페이스 제공 장치.
  3. 제2항에 있어서,
    상기 제어부는
    상기 사용자 위치 정보를 토대로 상기 터치된 객체의 회전, 이동 및 확대 중 적어도 하나를 실행시키도록 추가로 구성되는 것을 특징으로 하는 유저인터페이스 제공 장치.
  4. 제1항에 있어서,
    상기 제어부는
    상기 사용자 입력 영역을 토대로 상기 터치의 방향 벡터를 결정하고, 상기 방향 벡터와 연관된 각도를 획득하며, 상기 각도를 토대로 상기 터치가 오른손 또는 왼손과 연관되는지를 결정하여 상기 핑거 종류 정보를 생성하도록 추가로 구성되는 것을 특징으로 하는 유저인터페이스 제공 장치.
  5. 제4항에 있어서,
    상기 제어부는
    상기 핑거 종류 정보에 따라 명령을 실행시키도록 추가로 구성되는 것을 특징으로 하는 유저인터페이스 제공 장치.
  6. 제1항에 있어서,
    상기 광 센서는 상기 터치와 연관되어 반사된 광량에 따라 상기 사용자 입력을 검출하도록 구성되고, 상기 터치 센서는 상기 터치와 연관되어 변화된 전하량에 따라 상기 사용자 입력을 검출하도록 구성되며,
    상기 사용자 입력 영역을 식별하기 위해, 상기 제어부는 상기 접촉 영역을 디지털 영상으로 변환하도록 구성되는 것을 특징으로 하는 유저인터페이스 제공 장치.
  7. 제1항에 있어서,
    상기 제어부는
    상기 센서부로부터 상기 터치와 연관된 움직임에 대응하는 정보를 수신하고, 상기 사용자 입력 영역을 토대로 상기 터치와 연관된 방향 벡터를 결정하며, 상기 방향 벡터와 연관된 각도 변화를 측정하고, 상기 각도 변화에 대응하는 기능을 실행하도록 추가로 구성되는 것을 특징으로 하는 유저인터페이스 제공 장치.
  8. 제1항에 있어서,
    상기 제어부는
    상기 센서부로부터 상기 터치와 연관된 움직임에 대응하는 정보를 수신하고, 상기 접촉 영역의 변화를 측정하며, 상기 접촉 영역의 변화에 대응하는 기능을 실행하도록 추가로 구성되는 것을 특징으로 하는 유저인터페이스 제공 장치.
  9. 디스플레이 장치의 유저인터페이스(User Interface) 처리 방법으로서,
    표시부 상에 적어도 하나의 객체를 표시하는 단계;
    상기 표시부 상의 터치와 연관되며, 광 센서 및 터치 센서로 구성된 센서부에 의해 검출되는 사용자 입력을 수신하는 단계;
    상기 수신된 사용자 입력에 근거하여, 접촉 영역 및 근접 영역을 포함하는 사용자 입력 영역을 식별하는 단계;
    상기 접촉 영역에 있는 객체를 터치된 객체로 식별하는 단계;
    상기 사용자 입력 영역에 대응하며, 사용자 위치 정보, 핑거 접촉 형태 정보, 및 핑거 종류 정보 중 적어도 하나를 포함하는 접촉 정보를 생성하는 단계; 및
    상기 접촉 정보를 사용하여 상기 터치된 객체를 처리하는 단계
    를 포함하고,
    상기 접촉 영역은 상기 터치와 연관되어 접촉된 상기 사용자 입력 영역의 부분에 대응되고,상기 근접 영역은 상기 터치와 연관되어 접촉되지 않은 상기 사용자 입력 영역의 부분에 대응되며,
    상기 접촉 정보를 생성하는 단계는 상기 접촉 영역과 연관된 가로 및 세로 길이를 결정하고, 상기 가로 및 세로 길이를 토대로 상기 접촉 영역의 크기를 결정하여 접촉 핑거와 연관된 상기 핑거 접촉 형태 정보를 생성하며, 상기 핑거 접촉 정보에 따라 명령을 실행시키는
    것을 특징으로 하는 유저인터페이스 제공 방법.
  10. 제9항에 있어서,
    상기 접촉 정보를 생성하는 단계는
    상기 사용자 입력 영역을 토대로 상기 터치의 방향 벡터를 결정하는 단계;
    상기 방향 벡터와 연관된 각도를 획득하는 단계; 및
    상기 각도를 토대로 사용자 위치를 추정하여 사용자 위치 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 유저인터페이스 제공 방법.
  11. 제10항에 있어서,
    상기 터치된 객체를 처리하는 단계는
    상기 사용자의 위치 정보를 토대로 상기 터치된 객체의 의 회전, 이동 및 확대 중 적어도 하나를 실행시키는 단계를 더 포함하는 것을 특징으로 하는 유저인터페이스 제공 방법.
  12. 제9항에 있어서,
    상기 접촉 정보를 생성하는 단계는
    상기 사용자 입력 영역을 토대로 상기 터치의 방향 벡터를 결정하는 단계;
    상기 방향 벡터와 연관된 각도를 결정하는 단계;
    상기 결정된 각도를 토대로 상기 터치가 오른손 또는 왼손과 연관되는지를 결정하는 단계; 및
    상기 터치가 상기 오른손 또는 상기 왼손과 연관되는지 여부의 결정을 토대로 상기 핑거 종류 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 유저인터페이스 제공 방법.
  13. 제9항에 있어서,
    상기 접촉 정보를 생성하는 단계는
    상기 근접 영역이 식별되지 않은 경우, 상기 접촉 영역과 연관된 위치가 상기 표시부의 좌측 또는 우측에 대응하는지를 결정하는 단계; 및
    상기 결정을 토대로 상기 핑거 종류 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 유저 인터페이스 제공 방법.
  14. 제10항에 있어서,
    상기 표시부 상의 상기 터치의 움직임과 연관된 사용자 입력을 수신하는 단계;
    상기 사용자 입력 영역을 토대로 상기 터치와 연관된 방향 벡터를 결정하는 단계;
    상기 방향 벡터와 연관된 각도 변화를 측정하는 단계; 및
    상기 측정된 각도 변화에 대응하는 기능을 실행하는 단계를 더 포함하는 것을 특징으로 하는 유저 인터페이스 처리 방법.
  15. 제9항에 있어서,
    상기 터치의 움직임과 연관된 사용자 입력을 수신하는 단계;
    상기 사용자 입력을 토대로 상기 접촉 영역의 변화를 측정하는 단계; 및
    사용자 핑거의 움직임이 입력되면, 상기 핑거 접촉 영역의 넓이 변화를 측정하는 단계; 및
    상기 측정된 변화에 대응하는 기능을 실행하는 단계를 더 포함하는 것을 특징으로 하는 유저 인터페이스 제공 방법.
  16. 장치가 실행될 때 적어도 하나의 객체를 제공하도록 구성되는 하나 이상의 실행 가능한 명령을 포함하는 비일시적인 컴퓨터 판독 가능한 기록매체로서,
    실행 시, 적어도 하나의 객체가 표시부 상에 표시되도록 구성된 적어도 하나의 실행 가능한 명령;
    실행 시, 상기 표시부 상의 터치와 연관되며, 광 센서 및 터치 센서로 구성된 센서부에 의해 검출되는 사용자 입력이 수신되도록 구성된 적어도 하나의 명령;
    실행 시, 상기 표시부 상의 터치와 연관되며, 접촉 영역 및 근접 영역을 포함하는 사용자 입력이 상기 사용자 입력을 근거하여 식별되도록 구성된 적어도 하나의 명령;
    실행 시, 상기 접촉 영역에서 상기 적어도 하나의 객체 중 하나의 객체가 터치된 객체로 식별되도록 구성된 적어도 하나의 명령;
    실행 시, 상기 터치된 객체에 대응하는 명령의 종류를 결정하도록 구성된 적어도 하나의 명령;
    실행 시, 사용자 위치 정보, 핑거 접촉 형태 정보, 및 핑거 종류 정보 중 적어도 하나를 포함하는 접촉 정보가 상기 사용자 입력 정보에 대응하여 생성되도록 구성된 적어도 하나의 명령; 및
    실행 시, 상기 터치된 객체가 상기 터치 정보 및 상기 터치된 객체에 대응하는 명령의 결정된 종류를 사용하여 처리되도록 구성된 적어도 하나의 명령
    을 포함하고,
    상기 접촉 영역은 상기 터치와 연관되어 접촉된 상기 사용자 입력 영역의 부분에 대응되고, 상기 근접 영역은 상기 터치와 연관되어 접촉되지 않은 상기 사용자 입력 영역의 부분에 대응되며,
    상기 접촉 정보가 상기 사용자 입력 정보에 대응하여 생성되도록 구성된 적어도 하나의 명령은 상기 접촉 영역과 연관된 가로 및 세로 길이를 결정하고, 상기 가로 및 세로 길이를 토대로 상기 접촉 영역의 크기를 결정하여 접촉 핑거와 연관된 상기 핑거 접촉 형태 정보를 생성하며, 상기 핑거 접촉 형태 정보에 따라 다른 명령을 실행시키는
    것을 특징으로 하는 비일시적인 컴퓨터 판독 가능한 기록매체.
  17. 제1항에 있어서,
    상기 터치가 핑거 터치와 연관되는 유저인터페이스 제공 장치.
  18. 제1항에 있어서,
    상기 제어부는
    상기 사용자 입력과 상이한 개방 영역을 식별하도록 추가로 구성되고, 상기 개방 영역은 비사용자 입력 영역에 대응되는 유저인터페이스 제공 장치.
  19. 제9항에 있어서,
    상기 터치가 핑거 터치와 연관되는 유저인터페이스 처리 방법.
  20. 제9항에 있어서,
    상기 사용자 입력과 상이한 개방 영역을 식별하는 단계를 더 포함하고, 상기 개방 영역은 비사용자 입력 영역에 대응되는 유저인터페이스 처리 방법.
  21. 제9항에 있어서,
    상기 핑거 접촉 형태 정보에 따라 명령을 실행하는 단계를 더 포함하는 유저인터페이스 처리 방법.
  22. 제12항에 있어서,
    상기 핑거 종류 정보에 따라 명령을 실행하는 단계를 더 포함하는 유저인터페이스 처리 방법.
KR1020160069196A 2008-11-25 2016-06-03 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체 KR20160073359A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080117358 2008-11-25
KR1020080117358 2008-11-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020090113076A Division KR20100059698A (ko) 2008-11-25 2009-11-23 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170050473A Division KR20170046624A (ko) 2008-11-25 2017-04-19 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체

Publications (1)

Publication Number Publication Date
KR20160073359A true KR20160073359A (ko) 2016-06-24

Family

ID=42360946

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020090113076A KR20100059698A (ko) 2008-11-25 2009-11-23 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체
KR1020160069196A KR20160073359A (ko) 2008-11-25 2016-06-03 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체
KR1020170050473A KR20170046624A (ko) 2008-11-25 2017-04-19 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020090113076A KR20100059698A (ko) 2008-11-25 2009-11-23 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020170050473A KR20170046624A (ko) 2008-11-25 2017-04-19 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체

Country Status (2)

Country Link
KR (3) KR20100059698A (ko)
CN (2) CN101739208A (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2203865A2 (en) 2007-09-24 2010-07-07 Apple Inc. Embedded authentication systems in an electronic device
KR101694787B1 (ko) * 2010-06-30 2017-01-10 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US20120096349A1 (en) * 2010-10-19 2012-04-19 Microsoft Corporation Scrubbing Touch Infotip
CN102479035A (zh) * 2010-11-23 2012-05-30 汉王科技股份有限公司 具有触摸屏的电子设备及显示左右手控制界面的方法
TWI456509B (zh) * 2010-11-26 2014-10-11 Acer Inc 手指辨識方法及系統，及其電腦程式產品
CN102566858B (zh) * 2010-12-09 2014-12-03 联想(北京)有限公司 触摸控制方法和电子设备
CN102810039A (zh) * 2011-05-31 2012-12-05 中兴通讯股份有限公司 左右手自适应的虚拟键盘显示方法及终端
JP2013117890A (ja) * 2011-12-05 2013-06-13 Sony Corp 電子機器及び電子機器の操作方法
TWI450150B (zh) * 2011-12-21 2014-08-21 Wistron Corp 觸控方法及觸控系統
CN102707878A (zh) * 2012-04-06 2012-10-03 深圳创维数字技术股份有限公司 一种用户界面的操作控制方法及装置
JP5966557B2 (ja) 2012-04-19 2016-08-10 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
BR112014028774B1 (pt) 2012-05-18 2022-05-10 Apple Inc Método, dispositivo eletrônico, meio de armazenamento legível por computador e aparelho de processamento de informações
KR102073601B1 (ko) * 2012-07-25 2020-02-06 삼성전자주식회사 사용자 단말 장치 및 그의 제어 방법
CN103576844B (zh) * 2012-08-01 2017-11-03 联想(北京)有限公司 显示数据的方法以及电子设备
CN103403665B (zh) * 2012-08-29 2016-08-03 华为终端有限公司 一种终端设备获取指令的方法及终端设备
CN103679017B (zh) * 2012-09-05 2017-06-16 腾讯科技（深圳）有限公司 防止用户界面被劫持的装置及方法
CN103838500A (zh) * 2012-11-20 2014-06-04 联想(北京)有限公司 一种操作对象集合显示方法及电子设备
CN103902206B (zh) * 2012-12-25 2017-11-28 广州三星通信技术研究有限公司 操作具有触摸屏的移动终端的方法和设备及移动终端
CN103927105A (zh) * 2013-01-11 2014-07-16 联想(北京)有限公司 一种用户界面显示方法及电子设备
CN105446630B (zh) * 2014-06-16 2019-07-26 联想(北京)有限公司 一种信息处理方法及装置
KR102255143B1 (ko) * 2014-09-02 2021-05-25 삼성전자주식회사 벤디드 디스플레이를 구비한 휴대 단말기의 제어 방법 및 장치
KR102344045B1 (ko) * 2015-04-21 2021-12-28 삼성전자주식회사 화면을 표시하는 전자 장치 및 그 제어 방법
KR102461584B1 (ko) 2015-11-20 2022-11-02 삼성전자주식회사 입력 처리 방법 및 장치
KR102334521B1 (ko) * 2016-05-18 2021-12-03 삼성전자 주식회사 전자 장치 및 이의 입력 처리 방법
CN107589881A (zh) * 2016-07-06 2018-01-16 中兴通讯股份有限公司 一种智能调用桌面布局的方法和装置
CN108109581B (zh) * 2018-01-16 2018-12-25 深圳鑫亿光科技有限公司 交互式led显示装置及其显示方法
KR102123145B1 (ko) * 2018-02-21 2020-06-15 박종환 손가락의 점유 감지를 이용한 입력 방법 및 입력 장치
US11409410B2 (en) 2020-09-14 2022-08-09 Apple Inc. User input interfaces

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4115198B2 (ja) * 2002-08-02 2008-07-09 株式会社日立製作所 タッチパネルを備えた表示装置
AU2003264948A1 (en) * 2002-09-30 2004-04-23 Sanyo Electric Co., Ltd. Mobile digital devices
US7158123B2 (en) * 2003-01-31 2007-01-02 Xerox Corporation Secondary touch contextual sub-menu navigation for touch screen interface
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
KR100606803B1 (ko) * 2005-05-16 2006-08-01 엘지전자 주식회사 스크롤 휠 장치를 이용한 기능 수행 기능을 갖는 이동통신단말기 및 이를 이용한 기능 수행 방법
CN101506760A (zh) * 2005-05-27 2009-08-12 夏普株式会社 显示装置
CN101375235B (zh) * 2006-02-03 2011-04-06 松下电器产业株式会社 信息处理装置
US20070097096A1 (en) * 2006-03-25 2007-05-03 Outland Research, Llc Bimodal user interface paradigm for touch screen devices
US20070262961A1 (en) * 2006-05-10 2007-11-15 E-Lead Electronic Co., Ltd. Method for selecting functional tables through a touch-sensitive button key
US7552402B2 (en) * 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
JP2008009668A (ja) * 2006-06-29 2008-01-17 Syn Sophia Inc タッチパネルの駆動方法及び入力方法
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
KR100894146B1 (ko) * 2007-02-03 2009-04-22 엘지전자 주식회사 이동통신 단말기 및 그 동작 제어방법
PL1988445T3 (pl) * 2007-05-04 2016-08-31 Whirlpool Co Interfejs użytkownika i piekarnik wyposażony w taki interfejs użytkownika

Also Published As

Publication number Publication date
CN101739208A (zh) 2010-06-16
CN107066137B (zh) 2021-04-27
KR20170046624A (ko) 2017-05-02
KR20100059698A (ko) 2010-06-04
CN107066137A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
KR20170046624A (ko) 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체
EP3232315B1 (en) Device and method for providing a user interface
JP6697100B2 (ja) インタラクティブ電子ホワイトボードに基づくタッチ操作方法及びそのシステム
US9477396B2 (en) Device and method for providing a user interface
KR101844366B1 (ko) 터치 제스처 인식 장치 및 방법
JP4800060B2 (ja) グラフィカルユーザインタフェースを操作する方法及びグラフィカルユーザインタフェース装置
US8466934B2 (en) Touchscreen interface
KR101541928B1 (ko) 시각적 피드백 디스플레이
JP5402322B2 (ja) 情報処理装置および情報処理方法
US20100229090A1 (en) Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures
TWI463355B (zh) 多點觸控介面之訊號處理裝置、訊號處理方法及使用者介面圖像選取方法
US20120274550A1 (en) Gesture mapping for display device
US20110227947A1 (en) Multi-Touch User Interface Interaction
JP2010055510A (ja) 情報処理装置及び情報処理方法
TW201108049A (en) Method and apparatus for single touch zoom using spiral rotation
JP2010271940A (ja) 表示制御装置、表示制御方法およびコンピュータプログラム
TWI389014B (zh) Touchpad detection method
CA2862435A1 (en) Method for manipulating a graphical object and an interactive input system employing the same
KR20140033839A (ko) 터치스크린을 구비한 단말에서 한 손을 이용한 사용자 인터페이스 방법 및 장치
TW201115412A (en) Hybrid pointing device
US9477398B2 (en) Terminal and method for processing multi-point input
EP3321791B1 (en) Gesture control and interaction method and device based on touch-sensitive surface and display
KR101436585B1 (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
TWI439922B (zh) 手持式電子裝置及其控制方法
KR20140110262A (ko) 휴대형 장치 및 커서를 이용한 조작 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent