KR101304461B1 - 제스처 기반 사용자 인터페이스 방법 및 장치 - Google Patents

제스처 기반 사용자 인터페이스 방법 및 장치 Download PDF

Info

Publication number
KR101304461B1
KR101304461B1 KR1020060121784A KR20060121784A KR101304461B1 KR 101304461 B1 KR101304461 B1 KR 101304461B1 KR 1020060121784 A KR1020060121784 A KR 1020060121784A KR 20060121784 A KR20060121784 A KR 20060121784A KR 101304461 B1 KR101304461 B1 KR 101304461B1
Authority
KR
South Korea
Prior art keywords
gesture
screen
guide
input
user interface
Prior art date
Application number
KR1020060121784A
Other languages
English (en)
Other versions
KR20080050895A (ko
Inventor
한상준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060121784A priority Critical patent/KR101304461B1/ko
Priority to US11/743,701 priority patent/US20080129686A1/en
Priority to EP07110839A priority patent/EP1944683A1/en
Priority to CN201410126592.1A priority patent/CN103927082A/zh
Priority to CNA2007101268101A priority patent/CN101196793A/zh
Publication of KR20080050895A publication Critical patent/KR20080050895A/ko
Application granted granted Critical
Publication of KR101304461B1 publication Critical patent/KR101304461B1/ko
Priority to US14/249,019 priority patent/US20140223299A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

본 발명에 따라 조작 편의성을 향상시킨 제스처 기반의 사용자 인터페이스 방법 및 장치가 개시된다.
본 발명에 따른 제스처 기반의 사용자 인터페이스 방법은, 입력 위치를 검출하는 단계와, 검출된 위치에서 입력 가능한 적어도 하나의 제스처를 결정하는 단계와, 결정된 적어도 하나의 제스처에 해당하는 적어도 하나의 가이드를 화면에 표시하는 단계를 포함한다.
이상과 같은 본 발명에 의하면, 사용자가 제스처 입력을 시작하려할 때 사용 가능한 제스처에 대한 가이드를 적절히 화면에 표시해 주므로 사용자가 쉽게 제스처 기반 인터페이스에 익숙해질 수 있다.

Description

제스처 기반 사용자 인터페이스 방법 및 장치{Method and apparatus of gesture-based user interface}
도 1은 본 발명의 일 실시예에 따른 제스처 기반 사용자 인터페이스 장치의 구성도,
도 2는 본 발명의 일 실시예에 따른 제스처 기반 사용자 인터페이스 방법의 흐름도,
도 3은 본 발명의 다른 실시예에 따른 제스처 기반 사용자 인터페이스 방법의 흐름도,
도 4는 본 발명의 일 실시예에 따라 가이드 이미지와 제스처의 관계를 예시한 도면,
도 5는 본 발명에 따라 화면을 가상 분할한 예,
도 6은 본 발명에 따라 화면을 가상 분할한 다른 예,
도 7은 본 발명에 따라 가이드 이미지를 화면에 표시한 예,
도 8은 본 발명에 따라 가이드 이미지를 화면에 표시한 다른 예,
도 9는 본 발명에 따라 2개의 가이드 이미지를 화면에 표시한 예,
도 10은 본 발명에 따라 가이드 이미지를 표시한 또 다른 예,
도 11은 도 10의 화면에서 입력 위치의 변경에 따라 가이드 이미지를 변경한 예.
본 발명은 사용자 인터페이스에 대한 것으로, 더욱 상세하게는 조작 편의성을 향상시킨 제스처 기반의 사용자 인터페이스 방법 및 장치에 관한 것이다.
제스처 기반 인터페이스는 사용자가 입력해야 할 제스처에 대한 가이드를 사용자 인터페이스에 사용된 메타포에 의존하거나 도움말을 통해 제공하는 것이 일반적이다. 그러나 이러한 방식의 가이드만으로는 사용법에 익숙하지 사용자가 제스처를 외우기까지 조작에 실수를 반복하기 쉽다.
본 발명은 상기와 같은 문제를 해결하여, 사용자가 쉽게 제스처 기반 사용자 인터페이스를 사용하도록 하는 방법 및 장치, 그 방법을 기록한 컴퓨터 판독 가능한 기록매체를 제공하는 것을 목적으로 한다.
상기와 같은 과제를 해결하기 위한 본 발명의 하나의 특징은, 제스처 기반의 사용자 인터페이스 방법에 있어서, 입력 위치를 검출하는 단계와, 상기 검출된 위치에서 입력 가능한 적어도 하나의 제스처를 결정하는 단계와, 상기 결정된 적어도 하나의 제스처에 해당하는 적어도 하나의 가이드를 화면에 표시하는 단계를 포함하는 것이다.
상기 입력 위치를 검출하는 단계는, 터치 기반 입력 장치를 통한 터치 위치를 소정의 시간 간격으로 검출하는 단계를 포함할 수 있다.
상기 제스처 기반의 사용자 인터페이스 방법은, 상기 화면을 적어도 하나의 영역으로 가상 분할하는 단계와, 상기 가상 분할된 적어도 하나의 영역에 각각 적어도 하나의 입력 가능한 제스처를 할당하는 단계를 더 포함할 수 있다.
상기 적어도 하나의 가이드를 화면에 표시하는 단계는, 상기 결정된 적어도 하나의 제스처를 유도하는 적어도 하나의 이미지를 상기 화면에 표시할 가이드로 결정하는 단계를 더 포함할 수 있다.
상기 제스처 기반의 사용자 인터페이스 방법은, 상기 입력 위치의 변경에 따라 상기 화면에 표시된 가이드를 변경하는 단계를 더 포함할 수 있다.
상기 제스처 기반의 사용자 인터페이스 방법은, 상기 입력 위치가 더 이상 검출되지 않으면 상기 화면에 표시된 가이드를 화면에서 제거하는 단계를 더 포함할 수 있다.
본 발명의 다른 특징은, 제스처 기반의 사용자 인터페이스 장치에 있어서, 입력 위치를 검출하기 위한 제스처 입력부와, 상기 검출된 위치에서 입력 가능한 적어도 하나의 제스처를 결정하는 제스처 처리부와, 상기 결정된 적어도 하나의 제스처에 해당하는 적어도 하나의 가이드를 저장부로부터 독출하여 화면에 표시하는 중앙 처리부를 포함하는 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명의 일 실시예에 따른 제스처 기반 사용자 인터페이스 장치의 구성도이다.
도 1을 참조하면, 사용자 인터페이스 장치는 사용자로부터 제스처를 입력받기 위한 제스처 입력부(101), 저장부(103), 디스플레이부(106), 제스처 입력부(101)를 통해 입력된 제스처를 인식하여 그에 따른 장치의 동작을 결정하고, 제스처 입력부(101)가 검출한 입력 위치에서 입력 가능 또는 유효한 제스처를 예측하는 제스처 처리부(102), 제스처 입력부(101)에 의해 결정된 동작을 수행하고 예측된 제스처에 해당하는 가이드 이미지(104)를 저장부(103)로부터 독출하여 디스플레이부(106)에 표시하는 중앙 처리부(105)를 포함한다. 각 구성요소에 대한 상세한 설명은 도 2 내지 도 11을 참조하여 후술한다.
도 2는 본 발명의 일 실시예에 따른 제스처 기반 사용자 인터페이스 방법의 흐름도이다.
도 2를 참조하면, 제스처 입력부(101)는 사용자로부터 입력이 있을 경우 입력 위치를 검출한다(202). 제스처 입력부(101)는 사용자의 터치 위치를 소정의 시간 간격으로 검출하는 터치 스크린이나 터치 패드 같은 터치 기반 입력 장치일 수 있으나, 이에 한정되는 것은 아니며 마우스 등 다른 종류의 입력 장치가 채용될 수도 있다. 제스처 처리부(102)는 검출된 위치에서 입력 가능한 제스처를 결정한다(204). 즉, 제스처 처리부(102)는 사용자가 제스처 입력을 시작하면 사용자의 입력 위치에 따라 사용자가 의도하는 제스처를 미리 판단하여 결정한다. 중앙 처리부(105)는 제스처 처리부(102)가 예측한 제스처를 유도하는 가이드를 디스플레이부(106)에 오버레이하여 표시한다. 가이드는 이미지로 표현될 수 있으며 각 제스 처에 해당하는 가이드 이미지들(104)이 저장된 저장부(103)부터 표시할 가이드를 독출한다.
도 3은 본 발명의 다른 실시예에 따른 제스처 기반 사용자 인터페이스 방법의 흐름도로, 제스처 입력부(101)로 터치 스크린이 사용되는 경우의 예를 도시한 것이다.
도 3을 참조하면, 제스처 입력부(101)는 사용자의 손가락이나 스타일러스 등에 의해 터치되는 좌표를 검출한다(302). 사용자가 최초로 스크린을 터치하였을 때 제스처 처리부(102)는 검출된 좌표가 속한 영역에서 사용 가능한 제스처를 결정하고, 중앙 처리부(105)는 결정된 제스처에 대한 가이드를 선정한다(304). 선정된 가이드에 해당하는 이미지는 터치가 검출된 좌표 근처에 표시된다(306). 사용자가 스크린과의 접촉을 유지한 채로 이동하여, 즉 드래그하여 터치 좌표가 변경되면(308), 제스처 입력부(101)는 변경되는 터치 좌표를 계속 검출한다(310). 또한, 중앙 처리부(105)는 이동되는 터치 좌표에 따라 가이드 이미지를 변경하여 화면에 표시한다(312). 한편, 사용자가 스크린에서 손가락 또는 스타일러스를 떼어 터치 좌표가 더 이상 검출되지 않으면 가이드 이미지를 화면에서 제거한다(314).
도 4는 본 발명에 일 실시예에 따라 가이드 이미지와 제스처의 관계를 예시한 도면으로, 입력 가능한 제스처와 그에 대응하여 화면에 표시할 수 있는 가이드 이미지를 예시한 것이다.
도 4를 참조하면, "시계 방향으로 회전하기" 제스처가 예측되면 그에 해당하는 회전 이미지(402)가 표시되고, "반시계 방향으로 회전하기" 제스처가 예측되면 상기 회전 이미지(402)와 반대 반향의 회전 이미지(404)가 표시되고, "오른쪽으로 직선 그리기" 제스처가 예측되면 오른쪽 화살표 이미지(406)가 표시되고, "왼쪽으로 직선 그리기" 제스처가 예측되면 왼쪽 화살표 이미지(408)가 표시되고, "위로 직선 그리기" 제스처가 예측되면 위쪽 방향의 화살표 이미지(410)가 표시되며, "아래로 직선 그리기" 제스처가 예측되면 아래 방향의 화살표 이미지(412)가 표시된다. 각 제스처에 의해 각각 위 방향으로의 스크롤 기능, 아래 방향으로의 스크롤 기능, 선택(Enter) 기능, 취소(Back) 기능, 볼륨 업 기능 또는 볼륨 다운 기능이 수행될 수 있다. 상기 각 제스처와 가이드 이미지, 그리고 그에 대응하는 기능은 예시일 뿐이고 이에 한정되는 것은 아니며, 실시예에 따라 다양하게 결정할 수 있음은 자명하다.
본 발명의 일 실시예에 따르면, 제스처 처리부(102)가 검출된 입력 위치에 따라 사용자가 입력 가능한 제스처를 결정하는 방법으로, 화면을 하나 이상의 영역으로 가상 분할하고 각 영역에 사용 가능한 제스처를 할당하는 방법을 사용한다. 즉, 사용자가 제스처 입력을 위해 최초로 터치 스크린이나 터치 패드를 터치하였을 때의 좌표를 기준으로 어떤 영역인지 판단하고, 해당 영역에서 입력 가능한 것으로 예측되는 제스처에 대응하는 가이드를 사용자가 터치한 좌표 근처에 표시한다.
도 5는 본 발명에 따라 화면을 가상 분할한 예이다.
도 5를 참조하면, 화면은 3개의 영역(501 내지 503)으로 분할된다. 각 영역에는 유효한 제스처와 그에 해당하는 가이드 이미지가 할당된다. 예를 들어, 영역 1(501)에는 "오른쪽으로 직선 그리기" 제스처가 할당되고, 사용자가 제스처 입력을 위해 최초로 영역 1(501)을 터치하였을 때 제스처 입력을 안내하는 가이드인 오른쪽 화살표 이미지(406)가 표시될 수 있다. 영역 2(502)에는 "회전하기" 제스처가 할당되고, 사용자가 제스처 입력을 위해 최초로 영역 2(502)를 터치하였을 때 제스처 입력을 안내하는 가이드로 시계 방향 회전 이미지(402)나 반시계 방향 회전 이미지(404)가 표시될 수 있다. 선택적으로, 방향성 없는 원형 이미지를 가이드로 먼저 표시한 후, 사용자가 드래그하기 시작하면 드래그 방향에 따라 시계 방향 회전 이미지(402)나 반시계 방향 회전 이미지(404)로 가이드 이미지를 업데이트하여 표시할 수도 있다. 영역 3(503)에는 "왼쪽으로 직선 그리기" 제스처가 할당되고, 사용자가 제스처 입력을 위해 최초로 영역 3(503)을 터치하였을 때 왼쪽 화살표 이미지(408)가 표시될 수 있다.
도 6은 본 발명에 따라 화면을 가상 분할한 다른 예이다.
도 6을 참조하면, 화면은 8개의 영역(601 내지 608)으로 분할되며 각 영역에는 유효한 제스처와 그에 해당하는 가이드 이미지가 할당된다. 예를 들어, 영역 1(601)에는 "아래로 직선 그리기" 제스처와 그에 해당하는 가이드 이미지(412)가, 영역 2(602)에는 "오른쪽으로 직선 그리기" 제스처와 그에 대응하는 가이드 이미지(406)가, 영역 3(603)에는 "위쪽으로 직선 그리기" 제스처와 그에 대응하는 가이드 이미지(410)가, 영역 4(604)에는 "반시계 방향으로 회전하기" 제스처와 그에 대응하는 가이드 이미지(404)가, 영역 5(605)에는 "시계 방향으로 회전하기" 제스처와 그에 대응하는 가이드 이미지(402)가, 영역 6(606)에는 "아래쪽으로 직선 그리기" 제스처와 그에 대응하는 가이드 이미지(412)가, 영역 7(607)에는 "왼쪽으로 직 선 그리기" 제스처와 그에 대응하는 가이드 이미지(408)가, 영역 8(608)에는 "위쪽으로 직선 그리기" 제스처와 그에 대응하는 가이드 이미지(410)가 할당될 수 있다.
도 7 내지 도 11은 본 발명이 모바일 기기의 컨텐츠 탐색에 적용된 경우를 도시한 것이다.
도 7은 본 발명에 따라 가이드 이미지를 화면에 표시한 예로, 도 5에 도시된 바와 같이 화면이 3개의 영역(501 내지 503)으로 가상 분할된 경우이다. 사용자로부터 입력된 또는 터치된 위치(701)가 가운데 부분인 제2 영역(502)에 해당하므로 스크롤 기능에 해당하는 가이드 이미지(702)가 표시된다. 사용자는 이 가이드 이미지를 참조하여 쉽게 제스처를 입력할 수 있다. 이 실시예에서는 회전 제스처에 대응하는 기능이 "SCROLL"인 점까지 가이드로 표시하므로, 사용자는 자신이 의도한 제스처를 맞게 입력하고 있는지 즉시 확인할 수 있다.
도 8은 본 발명에 따라 가이드 이미지를 화면에 표시한 다른 예로, 도 5의 오른쪽 부분인 영역 3(503)에 해당하는 위치(801)가 터치된 경우이다. "왼쪽으로 직선 그리기" 제스처를 유도하는 가이드 이미지(802)가 표시된다.
하나의 영역에 복수의 제스처가 할당될 수 있다. 결과적으로 하나의 영역에 복수의 가이드 이미지가 할당된다. 도 9는 본 발명에 따라 2개의 가이드 이미지를 화면에 표시한 예로, 최초의 터치 위치(901)가 속한 영역에 "왼쪽으로 직선 그리기" 및 "위로 직선 그리기"라는 2개의 제스처가 할당된 경우이다. 이 경우는 사용자가 901 지점을 터치하면 2개의 가이드 이미지(902, 903)가 표시되므로, 사용자는 자신이 원하는 기능에 해당하는 제스처를 결정하여 그에 대응하는 가이드 이미지에 따라 제스처를 입력하면 된다.
도 10은 본 발명에 따라 가이드 이미지를 표시한 또 다른 예이다. 사용자가 화면의 가운데 부분에 속하는 제1 위치(1001)를 최초로 터치하면 회전 제스처 및 스크롤 기능에 대응하는 조그 셔틀 모양의 가이드 이미지(1002)가 컨텐츠 목록 화면에 오버레이되어 표시된다. 가이드 이미지(1002)는 조그 셔틀이 얼마나 회전되었는지를 나타내는 이미지(1003)를 포함한다.
도 11은 도 10의 화면에서 입력 위치의 변경에 따라 가이드 이미지를 변경한 예이다. 사용자가 제1 위치(1001)로부터 제2 위치(1102)까지 드래그하면, 조그 셔틀도 동시에 회전되는 모양이 표시되며, 결과적으로 회전 정도를 나타내는 이미지(1101)의 위치가 변경되었다.
상술한 바와 같은 본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같은 본 발명의 구성에 의하면, 사용자가 제스처 입력을 시작하려할 때 사용 가능한 제스처에 대한 가이드를 적절히 화면에 표시해 주므로 사용자가 쉽게 제스처 기반 인터페이스에 익숙해질 수 있다.

Claims (13)

  1. 입력 위치를 검출하는 단계와,
    상기 검출된 위치에서 입력 가능한 적어도 하나의 제스처를 결정하는 단계와,
    상기 결정된 적어도 하나의 제스처에 해당하는 적어도 하나의 가이드를 화면에 표시하는 단계를 포함하고,
    상기 적어도 하나의 가이드를 화면에 표시하는 단계는,
    상기 결정된 적어도 하나의 제스처를 유도하는 적어도 하나의 이미지를 상기 화면에 표시할 가이드로 결정하는 단계를 포함하는 제스처 기반의 사용자 인터페이스 방법.
  2. 제1항에 있어서,
    상기 입력 위치를 검출하는 단계는,
    터치 기반 입력 장치를 통한 터치 위치를 소정의 시간 간격으로 검출하는 단계를 포함하는 것을 특징으로 하는 제스처 기반의 사용자 인터페이스 방법.
  3. 제1항에 있어서, 상기 제스처 기반의 사용자 인터페이스 방법은,
    상기 화면을 적어도 하나의 영역으로 가상 분할하는 단계와,
    상기 가상 분할된 적어도 하나의 영역에 각각 적어도 하나의 입력 가능한 제스처를 할당하는 단계를 더 포함하는 것을 특징으로 하는 제스처 기반의 사용자 인터페이스 방법.
  4. 삭제
  5. 제1항에 있어서, 상기 제스처 기반의 사용자 인터페이스 방법은,
    상기 입력 위치의 변경에 따라 상기 화면에 표시된 가이드를 변경하는 단계를 더 포함하는 것을 특징으로 하는 제스처 기반의 사용자 인터페이스 방법.
  6. 제1항에 있어서, 상기 제스처 기반의 사용자 인터페이스 방법은,
    상기 입력 위치가 더 이상 검출되지 않으면 상기 화면에 표시된 가이드를 화면에서 제거하는 단계를 더 포함하는 것을 특징으로 하는 제스처 기반의 사용자 인터페이스 방법.
  7. 제 1 항 내지 제 3 항 및 제 5 항 내지 제 6 항 중 어느 한 항의 제스처 기반 사용자 인터페이스 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
  8. 입력 위치를 검출하기 위한 제스처 입력부와,
    상기 검출된 위치에서 입력 가능한 적어도 하나의 제스처를 결정하는 제스처 처리부와,
    상기 결정된 적어도 하나의 제스처에 해당하는 적어도 하나의 가이드를 저장부로부터 독출하여 화면에 표시하는 중앙 처리부를 포함하고,
    상기 중앙 처리부는,
    상기 결정된 적어도 하나의 제스처를 유도하는 적어도 하나의 이미지를 상기 화면에 표시할 가이드로 결정하는 것을 특징으로 하는 제스처 기반의 사용자 인터페이스 장치.
  9. 제8항에 있어서,
    상기 제스처 입력부는,
    사용자의 터치 위치를 소정의 시간 간격으로 검출하는 터치 기반 입력 장치인 것을 특징으로 하는 제스처 기반의 사용자 인터페이스 장치.
  10. 제8항에 있어서,
    상기 제스처 처리부는,
    상기 화면을 적어도 하나의 영역으로 가상 분할하고, 상기 가상 분할된 적어도 하나의 영역에 각각 적어도 하나의 입력 가능한 제스처를 할당하는 것을 특징으로 하는 제스처 기반의 사용자 인터페이스 장치.
  11. 삭제
  12. 제8항에 있어서,
    상기 중앙 처리부는,
    상기 제스처 입력부를 통해 검출되는 상기 입력 위치의 변경에 따라 상기 화면에 표시된 가이드를 변경하는 것을 특징으로 하는 제스처 기반의 사용자 인터페이스 장치.
  13. 제8항에 있어서,
    상기 중앙 처리부는,
    상기 제스처 입력부를 통해 상기 입력 위치가 더 이상 검출되지 않으면 상기 화면에 표시된 가이드를 화면에서 제거하는 것을 특징으로 하는 제스처 기반의 사용자 인터페이스 장치.
KR1020060121784A 2006-12-04 2006-12-04 제스처 기반 사용자 인터페이스 방법 및 장치 KR101304461B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020060121784A KR101304461B1 (ko) 2006-12-04 2006-12-04 제스처 기반 사용자 인터페이스 방법 및 장치
US11/743,701 US20080129686A1 (en) 2006-12-04 2007-05-03 Gesture-based user interface method and apparatus
EP07110839A EP1944683A1 (en) 2006-12-04 2007-06-22 Gesture-based user interface method and apparatus
CN201410126592.1A CN103927082A (zh) 2006-12-04 2007-06-27 基于手势的用户界面方法和设备
CNA2007101268101A CN101196793A (zh) 2006-12-04 2007-06-27 基于手势的用户界面方法和设备
US14/249,019 US20140223299A1 (en) 2006-12-04 2014-04-09 Gesture-based user interface method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060121784A KR101304461B1 (ko) 2006-12-04 2006-12-04 제스처 기반 사용자 인터페이스 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080050895A KR20080050895A (ko) 2008-06-10
KR101304461B1 true KR101304461B1 (ko) 2013-09-04

Family

ID=39420350

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060121784A KR101304461B1 (ko) 2006-12-04 2006-12-04 제스처 기반 사용자 인터페이스 방법 및 장치

Country Status (4)

Country Link
US (2) US20080129686A1 (ko)
EP (1) EP1944683A1 (ko)
KR (1) KR101304461B1 (ko)
CN (2) CN103927082A (ko)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008138046A1 (en) * 2007-05-11 2008-11-20 Rpo Pty Limited Double touch inputs
US20090136016A1 (en) * 2007-11-08 2009-05-28 Meelik Gornoi Transferring a communication event
CN102016975A (zh) 2008-03-28 2011-04-13 寇平公司 适合用作移动式互联网装置的具有高分辨率显示器的手持式无线显示装置
US8566717B2 (en) * 2008-06-24 2013-10-22 Microsoft Corporation Rendering teaching animations on a user-interface display
JP4957750B2 (ja) * 2008-07-31 2012-06-20 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2010157039A (ja) * 2008-12-26 2010-07-15 Toshiba Corp 電子機器、入力制御方法
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
KR101517742B1 (ko) * 2009-06-10 2015-05-04 닛본 덴끼 가부시끼가이샤 전자 기기, 제스처 처리 방법, 및 제스처 처리 프로그램
US8380225B2 (en) * 2009-09-14 2013-02-19 Microsoft Corporation Content transfer involving a gesture
CN102033684B (zh) * 2009-09-30 2013-01-02 万达光电科技股份有限公司 触控面板的手势侦测方法
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US20110126094A1 (en) * 2009-11-24 2011-05-26 Horodezky Samuel J Method of modifying commands on a touch screen user interface
KR20110088727A (ko) * 2010-01-29 2011-08-04 삼성전자주식회사 휴대용 단말기에서 출력 이미지를 회전시키기 위한 장치 및 방법
US8638371B2 (en) * 2010-02-12 2014-01-28 Honeywell International Inc. Method of manipulating assets shown on a touch-sensitive display
US20110199386A1 (en) * 2010-02-12 2011-08-18 Honeywell International Inc. Overlay feature to provide user assistance in a multi-touch interactive display environment
US8570286B2 (en) * 2010-02-12 2013-10-29 Honeywell International Inc. Gestures on a touch-sensitive display
US8957866B2 (en) * 2010-03-24 2015-02-17 Microsoft Corporation Multi-axis navigation
US20110239149A1 (en) * 2010-03-24 2011-09-29 Microsoft Corporation Timeline control
EP2421252A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
KR101685529B1 (ko) 2010-08-20 2016-12-12 삼성전자주식회사 화면 구성 방법, 그 방법을 수행할 수 있는 유저 디바이스, 및 저장 매체
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US9377862B2 (en) 2010-09-20 2016-06-28 Kopin Corporation Searchlight navigation using headtracker to reveal hidden or extra document data
US9870141B2 (en) * 2010-11-19 2018-01-16 Microsoft Technology Licensing, Llc Gesture recognition
BR112013014287B1 (pt) * 2010-12-30 2020-12-29 Interdigital Ce Patent Holdings Método e aparelho para reconhecimento de gesto
TWI446236B (zh) * 2011-01-04 2014-07-21 Sentelic Corp 電子裝置及其控制方法
CN102654815B (zh) * 2011-03-01 2015-03-04 联想(北京)有限公司 电子设备和用于改变其对象的显示状态的方法
CN102681746B (zh) * 2011-03-08 2016-08-03 腾讯科技（深圳）有限公司 一种操作手持设备中列表的方法及装置
CN102681703A (zh) * 2011-03-10 2012-09-19 联咏科技股份有限公司 单指与多指手势判断方法、触控感应控制芯片及触控系统
JP2012194794A (ja) * 2011-03-16 2012-10-11 Fujitsu Ltd 携帯端末及びコンテンツ表示プログラム
US8836802B2 (en) 2011-03-21 2014-09-16 Honeywell International Inc. Method of defining camera scan movements using gestures
CN102694942B (zh) * 2011-03-23 2015-07-15 株式会社东芝 图像处理装置、操作方法显示方法及画面显示方法
EP2712432A4 (en) 2011-05-10 2014-10-29 Kopin Corp HEADSET COMPUTER WITH MOTION AND LANGUAGE COMMANDS TO CONTROL AN INFORMATION DISPLAY AND REMOTE DEVICES
JP5000776B1 (ja) * 2011-05-31 2012-08-15 楽天株式会社 情報提供システム、情報提供システムの制御方法、情報提供装置、プログラム、及び情報記憶媒体
KR101810884B1 (ko) * 2011-06-07 2017-12-20 삼성전자주식회사 디바이스에서 제스처를 이용한 웹브라우저 인터페이스 제공 장치 및 방법
CN105718192B (zh) * 2011-06-07 2023-05-02 联想(北京)有限公司 移动终端及其触摸输入方法
JP5545497B2 (ja) * 2011-08-22 2014-07-09 富士ゼロックス株式会社 入力表示装置、画像形成装置、撮像装置、及びプログラム
CN103176595B (zh) * 2011-12-23 2016-01-27 联想(北京)有限公司 一种信息提示方法及系统
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
KR102003267B1 (ko) * 2011-12-30 2019-10-02 삼성전자주식회사 전자 장치 및 그의 제어 방법
EP2648086A3 (en) * 2012-04-07 2018-04-11 Samsung Electronics Co., Ltd Object control method performed in device including transparent display, the device, and computer readable recording medium thereof
KR101692252B1 (ko) * 2012-04-08 2017-01-04 삼성전자주식회사 플렉서블 디스플레이 장치 및 제어 방법
CN104303177B (zh) 2012-04-25 2018-08-17 寇平公司 执行即时语音翻译的方法及耳机计算装置
US9619036B2 (en) * 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
US20140006944A1 (en) * 2012-07-02 2014-01-02 Microsoft Corporation Visual UI Guide Triggered by User Actions
CN103577029B (zh) * 2012-07-27 2016-09-28 鸿富锦精密工业(武汉)有限公司 应用程序控制系统及方法
TWI475440B (zh) * 2012-09-10 2015-03-01 Elan Microelectronics Corp 觸控裝置及其手勢判斷方法
JP5999579B2 (ja) * 2012-09-19 2016-09-28 ブラザー工業株式会社 電子機器及び操作端末の操作表示方法
CN103870176B (zh) * 2012-12-11 2016-12-28 联想(北京)有限公司 一种控制方法及电子设备
US20140215382A1 (en) * 2013-01-25 2014-07-31 Agilent Technologies, Inc. Method for Utilizing Projected Gesture Completion to Improve Instrument Performance
US20140281964A1 (en) * 2013-03-14 2014-09-18 Maung Han Method and system for presenting guidance of gesture input on a touch pad
JP6043221B2 (ja) * 2013-03-19 2016-12-14 株式会社Ｎｔｔドコモ 情報端末、操作領域制御方法及び操作領域制御プログラム
KR20140138424A (ko) 2013-05-23 2014-12-04 삼성전자주식회사 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
USD746862S1 (en) * 2013-06-12 2016-01-05 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
KR101511132B1 (ko) * 2013-06-28 2015-04-10 고려대학교 산학협력단 문자 및 캐릭터 제공을 위한 정보 처리 장치 및 방법
US9612736B2 (en) * 2013-07-17 2017-04-04 Korea Advanced Institute Of Science And Technology User interface method and apparatus using successive touches
CN104423825A (zh) * 2013-09-02 2015-03-18 联想(北京)有限公司 电子设备及其信息处理方法
US10466876B2 (en) * 2014-04-17 2019-11-05 Facebook, Inc. Assisting a user of a software application
KR102319530B1 (ko) 2014-08-18 2021-10-29 삼성전자주식회사 사용자 입력 처리 방법 및 장치
US9535495B2 (en) 2014-09-26 2017-01-03 International Business Machines Corporation Interacting with a display positioning system
KR20160051081A (ko) * 2014-10-31 2016-05-11 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP6387825B2 (ja) * 2014-12-26 2018-09-12 セイコーエプソン株式会社 表示システム、及び、情報表示方法
US20160196584A1 (en) * 2015-01-06 2016-07-07 Facebook, Inc. Techniques for context sensitive overlays
KR101650269B1 (ko) * 2015-03-12 2016-08-22 라인 가부시키가이샤 화면 제어를 위한 효율적인 인터페이스를 제공하는 시스템 및 방법
CN104778000A (zh) * 2015-03-20 2015-07-15 广东欧珀移动通信有限公司 方向标记显示方法及方向标记显示系统
US10881713B2 (en) * 2015-10-28 2021-01-05 Atheer, Inc. Method and apparatus for interface control with prompt and feedback
KR20170104819A (ko) * 2016-03-08 2017-09-18 삼성전자주식회사 제스처를 가이드하는 전자 장치 및 그의 제스처 가이드 방법
WO2017185327A1 (zh) * 2016-04-29 2017-11-02 华为技术有限公司 一种用户界面显示方法及终端
CN106125924A (zh) * 2016-06-22 2016-11-16 北京博瑞爱飞科技发展有限公司 遥控方法、装置及系统
US20180090027A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Interactive tutorial support for input options at computing devices
JP6879454B2 (ja) * 2017-01-19 2021-06-02 セイコーエプソン株式会社 電子機器
US10671602B2 (en) 2017-05-09 2020-06-02 Microsoft Technology Licensing, Llc Random factoid generation
CN108520228A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 手势匹配方法及装置
US11150923B2 (en) * 2019-09-16 2021-10-19 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing manual thereof
KR20210101858A (ko) * 2020-02-11 2021-08-19 삼성전자주식회사 제스처 인식 기반의 기능 운용 방법 및 이를 지원하는 전자 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06242885A (ja) * 1993-02-16 1994-09-02 Hitachi Ltd 文書編集方法
KR100251662B1 (ko) * 1996-09-09 2000-04-15 비센트 비.인그라시아 직관적인 제스처-기반 그래픽 사용자 인터페이스

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US5481278A (en) * 1992-10-21 1996-01-02 Sharp Kabushiki Kaisha Information processing apparatus
US5612719A (en) * 1992-12-03 1997-03-18 Apple Computer, Inc. Gesture sensitive buttons for graphical user interfaces
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7840912B2 (en) * 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
EP1148411A3 (en) * 2000-04-21 2005-09-14 Sony Corporation Information processing apparatus and method for recognising user gesture
GB0204652D0 (en) * 2002-02-28 2002-04-10 Koninkl Philips Electronics Nv A method of providing a display gor a gui
GB2386707B (en) * 2002-03-16 2005-11-23 Hewlett Packard Co Display and touch screen
JP2003323259A (ja) * 2002-05-02 2003-11-14 Nec Corp 情報処理装置
US7656393B2 (en) * 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
AU2003295739A1 (en) * 2002-11-18 2004-06-15 United Video Properties, Inc. Systems and methods for providing real-time services in an interactive television program guide application
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20050091604A1 (en) * 2003-10-22 2005-04-28 Scott Davis Systems and methods that track a user-identified point of focus
US7358965B2 (en) * 2004-02-18 2008-04-15 Microsoft Corporation Tapping to create writing
US7173604B2 (en) * 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
JP4855654B2 (ja) * 2004-05-31 2012-01-18 ソニー株式会社 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
US20060007176A1 (en) * 2004-07-06 2006-01-12 Chung-Yi Shen Input method and control module defined with an initial position and moving directions and electronic product thereof
US7653883B2 (en) * 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US20060181519A1 (en) * 2005-02-14 2006-08-17 Vernier Frederic D Method and system for manipulating graphical objects displayed on a touch-sensitive display surface using displaced pop-ups
US7477233B2 (en) * 2005-03-16 2009-01-13 Microsoft Corporation Method and system for providing modifier key behavior through pen gestures
US7487461B2 (en) * 2005-05-04 2009-02-03 International Business Machines Corporation System and method for issuing commands based on pen motions on a graphical keyboard
KR100597798B1 (ko) * 2005-05-12 2006-07-10 삼성전자주식회사 휴대용 단말기에서 동작인식을 위한 정보를 사용자에게제공하기 방법
CN102169415A (zh) * 2005-12-30 2011-08-31 苹果公司 具有多重触摸输入的便携式电子设备
US9311528B2 (en) * 2007-01-03 2016-04-12 Apple Inc. Gesture learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06242885A (ja) * 1993-02-16 1994-09-02 Hitachi Ltd 文書編集方法
KR100251662B1 (ko) * 1996-09-09 2000-04-15 비센트 비.인그라시아 직관적인 제스처-기반 그래픽 사용자 인터페이스

Also Published As

Publication number Publication date
CN103927082A (zh) 2014-07-16
EP1944683A1 (en) 2008-07-16
CN101196793A (zh) 2008-06-11
US20140223299A1 (en) 2014-08-07
KR20080050895A (ko) 2008-06-10
US20080129686A1 (en) 2008-06-05

Similar Documents

Publication Publication Date Title
KR101304461B1 (ko) 제스처 기반 사용자 인터페이스 방법 및 장치
US9996176B2 (en) Multi-touch uses, gestures, and implementation
US10126914B2 (en) Information processing device, display control method, and computer program recording medium
KR100636184B1 (ko) 정보 처리 장치의 표시 화면에 표시되는 표시 윈도우의위치 제어 방법 및 위치 제어 장치
EP2835731B1 (en) Image display apparatus, image display method, and image display program
CN109643210B (zh) 使用悬停的设备操纵
US20080134078A1 (en) Scrolling method and apparatus
US20100149109A1 (en) Multi-Touch Shape Drawing
US20130067397A1 (en) Control area for a touch screen
US20120056831A1 (en) Information processing apparatus, information processing method, and program
US20130246975A1 (en) Gesture group selection
KR20120040970A (ko) 디스플레이에서 제스쳐를 인식하는 방법 및 그 장치
US20190220185A1 (en) Image measurement apparatus and computer readable medium
CN104423836A (zh) 信息处理装置
TWI354223B (ko)
US20150033161A1 (en) Detecting a first and a second touch to associate a data file with a graphical data object
EP2818988A2 (en) Electronic device and touch sensing method thereof
KR20130054990A (ko) 듀얼 터치 경험 필드를 달성하기 위한 싱글 터치 프로세스
WO2013080425A1 (ja) 入力装置、情報端末、入力制御方法、および入力制御プログラム
JP2010204781A (ja) 入力装置
JP2015035045A (ja) 情報処理装置、表示制御プログラム
JP2006085218A (ja) タッチパネル操作装置
US10101905B1 (en) Proximity-based input device
JP2012212318A (ja) ナビゲーション装置
JP6622837B2 (ja) 入力表示装置および入力表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160728

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180806

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 7