KR20090029670A - 제스처를 수행함으로써 사용자 인터페이스 내 오브젝트를 선택하기 위한 방법 및 장치 - Google Patents

제스처를 수행함으로써 사용자 인터페이스 내 오브젝트를 선택하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20090029670A
KR20090029670A KR1020080091462A KR20080091462A KR20090029670A KR 20090029670 A KR20090029670 A KR 20090029670A KR 1020080091462 A KR1020080091462 A KR 1020080091462A KR 20080091462 A KR20080091462 A KR 20080091462A KR 20090029670 A KR20090029670 A KR 20090029670A
Authority
KR
South Korea
Prior art keywords
gesture
user
icon
gestures
determining
Prior art date
Application number
KR1020080091462A
Other languages
English (en)
Other versions
KR101542625B1 (ko
Inventor
커트 패트리지
코지 야타니
마크 더블유. 뉴만
데이비드 골드버그
Original Assignee
팔로 알토 리서치 센터 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 팔로 알토 리서치 센터 인코포레이티드 filed Critical 팔로 알토 리서치 센터 인코포레이티드
Publication of KR20090029670A publication Critical patent/KR20090029670A/ko
Application granted granted Critical
Publication of KR101542625B1 publication Critical patent/KR101542625B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

동작 동안, 시스템은 명령을 호출하기 위하여 사용하기 위한 제스처를 그래픽 엘리먼트로 제안한다. 그 다음 시스템은 장치에서 사용자로부터 제스처를 수신한다. 제스처는 입력 메카니즘을 통하여 수신되고, 또한 제스처는 입력 메카니즘의 미리 결정된 조작임을 유의한다. 그 다음 시스템은 제스처와 관련된 사용자 인터페이스 내의 그래픽 엘리먼트를 결정한다. 마지막으로, 제스처와 연관된 그래픽 엘리먼트를 결정 시, 시스템은 그래픽 엘리먼트와 연관된 명령을 호출한다.
제스처 인식, 사용자 인터페이스, 그래픽 엘리먼트, 거리 측정 기준, 터치 감지형 스크린

Description

제스처를 수행함으로써 사용자 인터페이스 내 오브젝트를 선택하기 위한 방법 및 장치{METHOD AND APPARATUS FOR SELECTING AN OBJECT WITHIN A USER INTERFACE BY PERFORMING A GESTURE}
본 발명은 컴퓨팅 장치에 관한 것이다. 특히, 본 발명은 제스처를 수행함으로써 사용자 인터페이스 내의 명령을 호출하기 위한 방법 및 장치에 관한 것이다.
셀 전화들, 개인 디지털 어시스탄트들(PDA), 및 휴대용 미디어 플레이어들과 같은 많은 자원-제한된 모바일 장치들은 종래 키보드 및/또는 마우스 대신 사용자로부터 입력을 수신하는 터치 감지형 스크린들을 가진다. 그러나, 이들 장치들 상의 스크린들은 종종 매우 작고, 통상적으로 제한된 스크린 공간 내에 가능한 한 많은 정보로서 디스플레이하기 위하여 고해상도를 제공한다. 그러나, 이런 제한된 스크린 공간은 복수의 입력 에러들을 유도할 수 있다.
예를 들어, 몇몇 터치 감지형 장치들은 스타일러스(stylus)가 장착되지 않거나, 스타일러스와 작동하지 않는다. 이들 장치들은 장치에 입력을 제공하기 위하여 엄지손가락 또는 손가락의 사용을 요구한다. 그러나, 사용자가 다른 오브젝트와 근접하여 하나의 오브젝트를 선택하기를 원할 때, 인접한 오브젝트를 우연히 선 택하지 않고 의도된 오브젝트를 선택하기가 매우 어려울 수 있다. 게다가, 이런 문제는 엄지손가락 또는 손가락이 통상적으로 선택하려는 오브젝트를 엄폐(occlusion)한다는 사실에 의해 더 복잡해진다.
이들 문제들을 경감시키기 위하여, 몇몇 장치들은 의도된 오브젝트의 선택을 용이하게 하기 위하여 시프트(shift) 및 확대 윈도우를 사용한다. 사용자가 디스플레이상에 손가락을 배치하고 미리 결정된 시간 양 동안 상기 디스플레이상에 손가락을 유지할 때, 사용자의 손가락 바로 아래 콘텐트들을 디스플레이하는 보다 작은 윈도우가 팝업한다. 몇몇 장치들에서, 이런 윈도우는 또한 손가락 끝 바로 아래 영역을 확대한다. 그러나, 이들 방법들은 문제들을 내포할 수 있다. 예를 들어, 사용자는 시프트 윈도우가 디스플레이되기 전에 미리 결정된 시간 양을 기다려야 한다. 만약 사용자가 복수의 오브젝트들을 선택할 필요가 있다면, 이런 과정은 상당한 시간이 걸릴 수 있다. 게다가, 시프트 윈도우는 스크린상 다른 오브젝트들을 엄폐하게 할 수 있다.
게다가, 이런 방법은 의도된 오브젝트 및 다른 오브젝트들이 디스플레이서 서로의 상부에 적층될 때 의도된 오브젝트를 선택하는 문제를 거의 해결하지 못한다. 예를 들어, 복수의 위치 오브젝트들은 만약 위치들이 동일한 빌딩내의 다른 스위트들을 나타내면 디스플레이 상에서 물리적으로 적층될 수 있다.
본 발명은 명령 호출을 용이하게 하는 시스템을 제공하는 것이다.
동작 동안, 시스템은 명령을 호출하기 위하여 사용하기 위한 제스처를 그래픽 엘리먼트로 제안한다. 그 다음 시스템은 장치에서 사용자로부터 제스처를 수신한다. 제스처는 입력 메카니즘을 통하여 수신되고, 또한 제스처는 입력 메카니즘의 미리 결정된 조작임을 유의한다. 그 다음 시스템은 제스처와 관련된 사용자 인터페이스 내의 그래픽 엘리먼트를 결정한다. 마지막으로, 제스처와 연관된 그래픽 엘리먼트를 결정 시, 시스템은 그래픽 엘리먼트와 연관된 명령을 호출한다.
본 발명의 몇몇 실시예들에서, 그래픽 엘리먼트는 아이콘이고, 그래픽 엘리먼트로 제스처를 제안하는 것은 오브젝트와 연관된 아이콘을 디스플레이하는 것과 관련된다.
본 발명의 몇몇 실시예들에서, 아이콘의 컬러, 모양 및/또는 공간 배열은 제스처 방향, 또는 제스처와 연관된 오브젝트 타입 중 적어도 하나를 가리킬 수 있다.
본 발명의 몇몇 실시예들에서, 제스처와 연관된 그래픽 엘리먼트를 결정하는 것은 제스처 위치를 결정하는 것과 관련된다. 시스템은 또한 제스처가 그래픽 엘리먼트를 나타내는 아이콘의 미리 결정된 거리 내에 만들어지는 지를 결정한다.
본 발명의 몇몇 실시예들에서, 제스처와 연관된 그래픽 엘리먼트를 결정하는 것은 제스처의 위치를 결정하는 것을 포함한다. 시스템은 또한 사용자 인터페이스와 관련하여 제스처의 방향을 결정한다. 다음, 시스템은 일반화된 거리 측정 기준을 계산하고, 여기서 일반화된 거리 측정 기준은: 그래픽 엘리먼트에 의해 결정된 위치, 제스처에 의해 결정된 위치; 제스처에 의해 결정된 방향 및 그래픽 엘리먼트에 의해 제안된 방향을 바탕으로 한다. 상기 시스템은 일반화된 거리 측정 기준을 최적화하는 그래픽 엘리먼트와 연관된 명령을 추가로 호출한다.
본 발명의 몇몇 실시예들에서, 제스처를 수신하는 것은 제스처들의 조합을 수신하는 것과 더 관련된다. 이들 실시예들에서, 제스처와 연관된 그래픽 엘리먼트를 결정하는 것은 제스처들의 조합과 연관된 사용자 인터페이스 내에서 그래픽 엘리먼트를 결정하는 것과 관련된다.
본 발명의 몇몇 실시예들에서, 만약 제스처가 제 1 미리 결정된 임계값을 초과하거나 제스처가 제 2 미리 결정된 임계값을 초과하지 않으면, 시스템은 제스처가 그래픽 엘리먼트를 선택하기 위하여 의도되지 않았다고 결정한다. 제 1 및 제 2 임계값들은 시간 및/또는 거리를 바탕으로 할 수 있다.
본 발명의 몇몇 실시예들에서, 제 2 그래픽 엘리먼트의 미리 결정된 거리내에 있는 그래픽 엘리먼트는 제 2 오브젝트와 연관된 제스처와 다른 제스처와 연관된다.
본 발명의 몇몇 실시예들에서, 사용자로부터 제스처를 수신하는 동안, 시스템은 제스처의 완료 후 선택될 사용자 인터페이스 내 그래픽 엘리먼트를 가리키는 사용자에게 가시적 피드백을 제공한다.
본 발명의 몇몇 실시예들에서, 시스템은 사용자의 이전 제스처 습관을 학습하고, 이에 따라 사용자 제스처 에러들을 감소시킨다.
본 발명의 몇몇 실시예들에서, 입력 메카니즘은 터치 감지형 스크린, 마우스, 트랙볼, 터치 감지형 패드, 광 펜, 조이스틱 및 눈 추적 장치 중 적어도 하나를 포함할 수 있다. 장치는 셀 전화, 개인 디지털 어시스탄트(PDA), 휴대용 미디어 플레이어, 게이밍 시스템, 카메라, 및 테이블릿(tablet) 컴퓨터 중 적어도 하나를 포함할 수 있는 핸드헬드 장치이다.
본 발명의 몇몇 실시예들에서, 시스템은 수신된 제스처가 임의의 그래픽 엘리먼트에 의해 제안된 임의의 가능한 제스처와 충분히 다르다고 결정하여, 사용자가 제스처를 제안한 그래픽 엘리먼트와 연관된 명령을 호출하는 대신 다른 명령을 호출하게 한다.
본 발명의 시스템은 명령 호출을 용이하게 하는 효과를 가진다.
본 발명의 일 실시예는 제스처를 수행함으로써 사용자 인터페이스내 명령 호출을 용이하게 하는 시스템을 제공한다. 동작 동안, 시스템은 사용자에게 장치상 그래픽 엘리먼트를 디스플레이한다. 이런 그래픽 엘리먼트는 명령을 호출하기 위하여 사용하기 위한 제스처를 사용자에게 제안한다. 그 다음 시스템은 장치에서 사용자로부터 제스처를 수신한다. 제스처가 입력 메카니즘을 통하여 수신되고, 또한 제스처가 입력 메카니즘의 미리 결정된 조작인 것에 유의한다. 그 다음 시스템 은 제스처와 연관된 명령을 호출한다.
비록 본 명세서에 개시된 예시적인 실시예들이 오브젝트들을 선택하는 것에 관한 것이지만, 본 발명의 일 실시예들이 오브젝트 선택 애플리케이션으로 제한되지 않는 것에 유의한다. 일반성을 잃지 않고, 본 발명의 일 실시예들은 오브젝트를 선택하는 것을 포함하는 임의의 명령들을 호출하기 위하여 사용될 수 있다.
예를 들어, 사용자는 모바일 폰상 터치 감지형 스크린을 가로질러 상향 모션으로 그 또는 그녀의 손가락을 슬라이드할 수 있다. 그 다음 전화는 사용자로부터 수신된 상향 모션 제스처에 대응하는 터치 감지형 스크린상에 디스플레이되는 오브젝트를 선택한다.
본 발명의 몇몇 실시예들에서, 그래픽 엘리먼트는 오브젝트와 연관된 아이콘이다. 예를 들어, 맵상 레스토랑을 나타내는 아이콘은 디스플레이의 상부쪽으로 가리키는 적색 화살표를 포함한다. 이것은 레스토랑을 선택하기 위하여 아이콘에 인접하여 디스플레이를 가로질러 상향 모션으로 그 또는 그녀의 손가락 또는 엄지손가락을 드래그하도록 사용자에게 가리킨다.
본 발명의 몇몇 실시예들에서, 아이콘의 컬러는: 제스처 방향, 또는 제스처와 연관된 오브젝트의 타입을 가리킬 수 있다. 예를 들어, 본 발명의 일 실시예에서, 모든 상향 모션 제스처는 위쪽으로 가리키는 적색 화살표에 의해 표현되고, 모든 상향 및 우향 제스처는 상향 및 우향을 가리키는 오렌지 화살표로 표현된다.
컬러는 필수적으로 특정 제스처들과 연관될 필요가 없다는 것에 유의한다. 실제로, 본 발명의 일 실시예에서, 컬러는 카테고리들, 또는 오브젝트들과 연관된 몇몇 다른 메타데이터를 나타내기 위하여 사용된다. 예를 들어, 본 발명의 일 실시예에서, 각 아이콘은 맵 상의 레스토랑을 나타내고, 각 아이콘은 대응하는 레스토랑을 선택하기 위한 제스처를 포함한다. 이 실시예에서, 컬러는 각각의 레스토랑에서 서비스되는 요리 타입을 나타낸다. 본 발명의 또 다른 실시예에서, 컬러는 각각의 레스토랑에서 식사의 평균 비용을 나타낸다.
본 발명의 몇몇 실시예들에서, 제스처와 연관된 사용자 인터페이스 내에서 오브젝트를 결정하는 것은 제스처의 위치를 결정하는 것과 관련된다. 이 시스템은 또한 제스처가 오브젝트를 나타내는 아이콘의 미리 결정된 거리 내에서 이루어졌는 지의 여부를 결정한다. 예를 들어, 본 발명의 몇몇 실시예들에서, 복수의 오브젝트가 동일한 제스처와 연관되는 것이 가능하다. 몇몇 실시예들에서, 제스처와 연관된 가장 가까운 오브젝트는 선택된다. 다른 실시예들에서, 만약 제스처가 오브젝트의 미리 결정된 거리내에서 이루어지면, 제스처와 연관된 가장 가까운 오브젝트가 선택된다. 몇몇 실시예들에서, 오브젝트는 만약 제스처가 오브젝트 상에서 발생하고, 오브젝트상에서 끝나거나, 오브젝트를 통하여 교차하면 선택된다.
본 발명의 몇몇 실시예들에서, 제스처와 연관된 오브젝트를 결정하는 것은 제스처의 위치를 결정하는 것과 관련된다. 이 시스템은 또한 사용자 인터페이스와 관련하여 제스처의 방향을 결정한다. 다음, 시스템은 제스처의 위치의 미리 결정된 거리 내에 있고, 연관된 제스처들을 갖는 복수의 오브젝트들을 결정하고, 연관된 제스처들의 방향은 입력 메카니즘으로부터 수신된 제스처의 방향으로부터 미리 결정된 회전 오프셋 내에 있다. 마지막으로, 시스템은 연관된 제스처들의 거리들 및 방향들에서 기능을 수행함으로써 복수의 오브젝트들로부터 오브젝트를 결정한다.
예를 들어, 사용자가 상향 및 우향으로 제스처를 형성하고, 제스처가 두 개의 오브젝트들로부터 대략 등거리인 상황을 고려하자. 또한 하나의 오브젝트를 선택하는 것과 연관된 제스처의 방향이 바로 위쪽이고, 다른 오브젝트를 선택하는 것과 연관된 제스처의 방향이 우향인 것을 고려하자. 이런 상황은 이 두 개의 오브젝트들 중 어느 것을 선택할지 모호함을 유발한다. 이런 상황은 복수의 방식으로 해결된다. 예를 들어, 본 발명의 일 실시예에서, 시스템은 3차원 공간에서 오브젝트들 및 제스처를 맵핑한다. 각각의 오브젝트의 제스처는 x, y 및 θ에 의해 표현될 수 있는 한 세트의 좌표를 가진다. 사용자로부터 수신된 제스처는 x, y 및 θ에 의해 표현될 수 있는 한 세트의 좌표들에 맵핑될 수 있다. 그 다음 수학적 함수는 어느 오브젝트를 선택할지를 결정하기 위하여 이들 좌표 세트들에 적용될 수 있다. 일 실시예에서, 시스템은 일반화된 거리 측정 기준을 최적화하는 오브젝트를 선택한다. 이 거리 측정 기준은 (1) 오브젝트의 위치 및 제스처의 위치; 및 (2) 제스처의 방향 및 오브젝트와 연관된 그래픽 엘리먼트에 의해 제안된 방향 사이의 차를 바탕으로 할 수 있다.
본 발명의 몇몇 실시예들에서, 상기 함수는 거리가 회전 오프셋(θ) 보다 더 무겁게 가중된다. 다른 실시예들에서, θ는 보다 중요하다.
본 발명의 몇몇 실시예들에서, θ에 할당된 가중치는 θ의 값에 따른다. 예를 들어, 만약 사용자가 오른손잡이이고, 그 또는 그녀의 우측 엄지손가락을 사용 하여 터치 감지형 스크린상에 제스처를 형성하면, 시스템은 만약 θ가 제스처 방향이 상향 및 우향을 가리키면 보다 높게 θ를 가중할 것이고, 시스템은 만약 θ가 제스처 방향이 상향 및 좌향을 가리키면 보다 낮게 θ를 가중할 것이다. 이것은 그 또는 그녀의 우측 손에 모바일 장치를 쥐고서 오른손잡이 사람이 그 또는 그녀의 엄지손가락을 모바일 장치의 스크린을 따라 상향 및 우향으로, 동일한 사람이 그의 엄지손가락을 상향 및 좌향으로 이동하는 것보다, 자연스럽게 움직이기 때문이다. 따라서, 제스처를 형성하는데 에러 가능성은 상향 및 좌향으로 이루어진 제스처에 대해 잠재적으로 커진다.
본 발명의 몇몇 실시예들에서, 만약 어느 오브젝트를 선택하지 잠재적인 모호성이 있다면, 시스템은 양쪽 오브젝트들을 선택하고, 다른 실시예들에서 시스템은 어느 오브젝트도 선택하지 않는다. 본 발명의 몇몇 실시예들에서, 시스템은 두 개의 오브젝트들 사이에서 사용자가 선택하게 하는 다이알로그(dialog)를 제공한다.
본 발명의 몇몇 실시예들에서, 제스처를 수신하는 것은 제스처들의 조합을 수신하는 것을 더 포함한다. 이들 실시예들에서, 제스처와 연관된 오브젝트를 결정하는 것은 제스처들의 조합과 연관된 사용자 인터페이스 내 오브젝트를 결정하는 것을 포함한다.
본 발명의 몇몇 실시예들에서, 만약 제스처가 미리 결정된 임계값을 초과하면, 시스템은 제스처가 오브젝트를 선택할 의도가 없다고 결정한다. 이런 임계값은 시간 양, 또는 제스처 길이를 포함할 수 있슴을 유의한다. 예를 들어, 만약 사 용자가 제스처를 오랜 시간 드로우(draw)하면, 제스처는 비의도된 접촉의 결과일 수 있다. 게다가, 만약 제스처가 연속적이고 다양한 움직임들과 관련되면, 사용자는 오브젝트를 선택하기 보다 다른 기능을 수행하기를 시도할 것이다. 예를 들어, 사용자는 맵 상의 오브젝트를 선택하기보다 맵을 우향으로 움직이고자 할 수 있다. 다른 실시예들에서, 시스템은 제스처가 유효화될 제스처를 초과하는 최소 임계값을 사용할 수 있다. 예를 들어, 제스처의 시작 포인트와 끝 포인트가 특정 거리를 초과하지 않거나, 만약 제스처의 기간이 너무 짧으면, 시스템은 사용자에 의해 취소된 것으로 제스처를 고려할 수 있다. 몇몇 실시예들에서, 임계값은 시간 또는 거리 또는 양쪽 모두를 바탕으로 할 수 있다는 것에 유의한다.
본 발명의 몇몇 실시예들에서, 제 2 오브젝트의 미리 결정된 거리내에 있는 오브젝트는 제 2 오브젝트와 연관된 제스처와 다른 제스처와 연관된다. 예를 들어, 만약 두 개의 오브젝트들이 스크린의 반대편 측에 있고 동일한 할당된 제스처를 가지면, 사용자가 디스플레이의 어느 측면에 제스처하는 지를 바탕으로 사용자가 어느 오브젝트를 선택하기 위하여 시도했는 지를 상기 장치가 결정하는 것은 비교적 용이할 것이다. 그러나, 만약 두 개의 오브젝트들이 비교적 가까우면, 잘못된 오브젝트를 선택하기 위한 에러 비율은 만약 동일한 제스처가 할당되면 상당히 증가한다.
본 발명의 몇몇 실시예들에서, 다양한 오브젝트들에 제스처들을 할당하는 것은 잠재적인 선택 에러들을 최소화하는 방식으로 수행된다. 게다가, 본 발명의 몇몇 실시예들에서, 대응 제스처를 디스플레이하는 오브젝트와 연관된 아이콘은 오브 젝트로부터 발생하고 제스처의 방향을 가리킨다. 이들 실시예들에서, 시스템은 연관된 아이콘들의 오버랩을 감소시키기 위한 방식으로 제스처들을 할당할 수 있다.
본 발명의 몇몇 실시예들에서, 사용자로부터 제스처를 수신하면서, 시스템은 제스처의 완료 후 선택될 사용자 인터페이스 내의 오브젝트를 가리키는 사용자에게 가시적 피드백을 제공한다. 만약 사용자가 의도된 오브젝트와 다른 오브젝트를 선택하는 것을 가시적 피드백이 가리키면, 이것은 사용자가 제스처 "중간 스트록(mid-stroke)"을 변화시키게 하는 것에 유의한다.
본 발명의 몇몇 실시예들에서, 오브젝트가 임의의 다른 오브젝트들의 미리 결정된 거리내에 없을 때, 시스템은 입력 메카니즘을 통하여 사용자로부터 오브젝트의 기존 선택을 수신한다. 일반 선택에 응답하여, 시스템은 오브젝트를 선택한다. 예를 들어, 만약 디스플레이상 오브젝트가 임의의 다른 오브젝트들의 한 두개의 엄지손가락 폭들의 결합 내에 없으면, 오브젝트 위를 단순히 탭핑(tapping)하는 것으로 오브젝트를 선택할 것이다. 본 발명의 다른 실시예들에서, 오브젝트 선택의 양쪽 방법들은 다른 오브젝트들과 관련하여 오브젝트들의 근접도와 무관하게 이용할 수 있다.
본 발명의 몇몇 실시예들에서, 입력 메카니즘은 터치 감지형 스크린, 마우스, 트랙볼, 터치 감지형 패드, 광 펜, 조이스틱, 및 눈 추적 장치를 포함할 수 있다. 선행 리스트가 예시적인 목적을 위해서만 제공됨에 유의한다. 본 발명은 이들 입력 장치들로 제한되지 않고 그 보다는 임의 입력 장치가 사용될 수 있다.
본 발명의 몇몇 실시예들에서, 장치는 셀 폰, 개인 디지털 어시스탄트(PDA), 휴대용 미디어 플레이어, 게이밍 시스템, 카메라, 테이블릿 컴퓨터, 또는 디스플레이 및 입력 메카니즘을 포함하는 임의의 다른 장치를 포함할 수 있는 핸드헬드 장치이다.
도 1은 본 발명의 일 실시예에 따른 컴퓨팅 환경(100)을 도시한다. 컴퓨팅 환경(100)은 마이크로프로세서, 메인프레임 컴퓨터, 디지털 신호 처리기, 휴대용 컴퓨팅 장치, 개인 오거나이저, 장치 제어기, 또는 전기 기구내의 계산 엔진을 바탕으로 하는 임의의 타입의 컴퓨터 시스템을 일반적으로 포함할 수 있는 복수의 컴퓨터 시스템들을 포함한다. 특히, 도 1을 참조하여, 컴퓨팅 환경(100)은 클라이언트들(110-112), 사용자들(120 및 121), 서버들(130-150), 네트워크(160), 데이터베이스(170), 및 장치들(180)을 포함한다.
클라이언트들(110-112)은 계산 능력을 포함하고, 네트워크를 통한 통신을 위한 메카니즘을 포함하는 네트워크상 임의의 노드를 포함할 수 있다.
유사하게, 서버들(130-150)은 일반적으로 계산 및/또는 데이터 저장 자원들을 위한 클라이언트로부터의 요구들을 서비스하기 위한 메카니즘을 포함하는 네트워크상 임의의 노드를 포함할 수 있다.
사용자들(120 및 121)은 개인; 개인들의 그룹; 조직; 조직들의 그룹; 컴퓨팅 시스템; 컴퓨팅 시스템들의 그룹; 또는 컴퓨팅 환경(100)과 상호작용할 수 있는 임의의 다른 엔티티를 포함할 수 있다.
네트워크(160)는 컴퓨팅 노드들과 함께 조합할 수 있는 임의의 형태의 유선 또는 무선 통신 채널을 포함할 수 있다. 이것은 로컬 영역 네트워크, 광역 네트워 크, 또는 네트워크들의 조합을 포함하지만, 이것으로 제한되지 않는다. 본 발명의 일 실시예에서, 네트워크(160)는 인터넷을 포함한다. 본 발명의 몇몇 실시예들에서, 네트워크(160)는 폰 및 셀룰러 폰 네트워크들을 포함한다.
데이터베이스(170)는 비휘발성 저장소에 데이터를 저장하기 위한 임의의 형태의 시스템을 포함할 수 있다. 이것은 자기, 광학, 자기광학 저장 장치들뿐 아니라, 플래시 메모리 및/또는 배터리 백업 메모리를 바탕으로 하는 저장 장치들을 포함하지만, 이것으로 제한되지 않는다. 데이터베이스(170)는 서버(서버(150)와 같은), 클라이언트, 또는 직접적으로 네트워크를 통하여 결합될 수 있다.
장치들(180)은 클라이언트(112) 같은 클라이언트에 결합될 수 있는 임의의 타입의 전자 장치를 포함할 수 있다. 이것은 셀 폰들, 개인 디지털 어시스탄트들(PDA), 스마트 폰들, 개인 음악 플레이어들(MP3 플레이어들 같은), 게이밍 시스템들, 디지털 카메라들, 휴대용 저장 미디어 또는 클라이언트에 결합될 수 있는 임의의 다른 장치를 포함하지만, 이것으로 제한되지 않는다. 본 발명의 몇몇 실시예들에서, 장치들(180)은 네트워크(160)에 직접 결합되고 클라이언트들(110-112)로서 동일한 방식으로 기능할 수 있다. 장치들(180)은 장치를 위한 입력 메카니즘뿐 아니라 사용자들(120 및 121)에게 정보를 디스플레이하기 위한 출력 메카니즘을 제공하는 터치 감지형 디스플레이들을 포함할 수 있다.
본 발명의 다른 실시예가 다른 구성들을 사용할 수 있고, 컴퓨팅 환경(100)에 도시된 구성으로 제한되지 않는다는 것에 유의한다.
도 2는 본 발명의 일 실시예에 따른 제스처들을 통한 오브젝트 선택을 도시 한다. 본 발명의 일 실시예들은 직접 포인팅(direct pointing)을 바탕으로 하고, 여기서 사용자(120)는 장치(180) 같은 장치의 스크린상에 오브젝트를 탭핑(tapping)으로써 타켓을 선택할 수 있고, 시스템은 섹션(202)에 도시된 바와 같이 스크린상 접촉 포인트로부터 가장 가까운 항목으로서 타켓을 결정한다. 그러므로, 사용자(120)는 타켓의 정확한 위치를 누를 필요가 없다. 시스템은 또한 간단한 탭(tap)에 의해 선택하기 어려울 때 타켓의 선택을 명확하게 하기 위하여 손가락 제스처를 통합한다. 예를 들어, 사용자(120)는 우선 타켓 주변에 엄지손가락을 배치함으로써 목표된 타켓을 선택할 수 있다. 이 실시예에서, 그 또는 그녀는 타켓의 정확한 위치를 가리킬 필요가 없다. 사용자(120)는 목표된 오브젝트의 아이콘에 의해 가리켜진 제스처를 수행한다. 그 다음 시스템은 섹션(200)에 도시된 바와 같이, 수행된 제스처와 연관되고, 처음 접촉 포인트로부터 가장 가까운 타켓으로서 타켓을 결정한다.
제스처는 아이콘에 의해 가시적으로 큐(cue)되어 사용자(120)는 타켓의 위치뿐 아니라, 그 또는 그녀가 스크린을 터치하기 전에 타켓을 선택하기 위한 제스처를 관찰할 수 있다. 이것은 커서 위치를 조절하기 위한 멘탈(mental) 모델을 생성하기 위한 시간, 및 시스템으로부터 응답을 기다리는 시간(예를 들어 메뉴 또는 콜아웃(callout)을 디스플레잉) 모두를 감소시킨다.
비록 많은 다른 제스처들이 사용자(120)에 의해 가시화될 수 있지만, 만약 차이가 미묘하면, 사용자(120)는 확신을 가지고 구별하게 상기 제스처들을 수행할 수 없다. 본 발명의 몇몇 실시예들에서, 시스템은 사용자(120)가 다른 사용자들로 부터 차별을 쉽게 형성하는 제스처들의 세트를 사용하여야 한다. 단순성 및 확장성(scalability) 사이의 트레이드 오프(trade off)에 유의한다. 즉, 제스처들의 보다 간단한 세트는 물리적 요구 및 학습 능력과 관련하여 보다 바람직하지만, 구별되는 제스처들의 수가 작기 때문에 확장가능하지 않다.
본 발명의 일 실시예에서, 시스템은 상향 스트록 또는 좌향 스트록 같은 방향 제스처들의 세트를 사용하는데, 그 이유는 상기 제스처가 일반적으로 구별 및 수행에 쉽기 때문이다. 예를 들어, 시스템은 8개의 주 방향 제스처들의 세트(N, NE, E, SE, S, SW, W, 및 NW)를 사용한다. 사용자(120)가 사선 방향으로 제스처를 수행하는 어려움을 가질 수 있다는 것을 유의하는 것이 중요하다; 그러나, 8개의 방향 제스처들의 세트는 스크린상에서 선택할 수 있는 오브젝트들의 수를 증가시킨다.
본 발명의 몇몇 실시예들은 다른 특성의 제스처를 사용함으로써 제스처들의 확장성을 증가시킬 수 있다. 예를 들어, 시스템은 두 개의 구별되는 제스처들로서 동일한 방향에서도 짧고 긴 스트록을 사용할 수 있다. 다른 실시예는 제스처의 확장성을 증가시키기 위하여 복수의 제스처를 사용한다. 예를 들어, 시스템은 사용자(120)가 두 개의 연속적인 제스처들(예를 들어, 좌향 스트록에 의해 뒤따르는 상향 스트록)을 수행하게 한다. 그러나, 이것은 작은 아이콘을 사용함으로써 다중 레벨 제스처를 가리키는 것이 보다 어렵다는 문제를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 다양한 아이콘 스타일들을 도시한다. 본 발명의 일 실시예에서, 아이콘들은 위치들 및 연관된 제스처들 모두를 사용 자(120)에 전달하여야 한다. 박스들(300-308)은 이들 위치들 및 제스처들을 전달하는 다양한 아이콘 스타일들을 도시한다. 박스들(300-304 및 308)에서, 컬러는 또한 제스처 방향을 가리키는 것에 유의한다. 예를 들어 적색 아이콘은 북향 제스처를 나타낸다. 스크린의 각각의 에지는 또한 제스처의 방향에 해당하는 컬러를 가질 수 있다. 예를 들어 적색은 상향 제스처를 나타내고 적색 라인은 스크린의 상부에 디스플레이된다. 일반적으로, 컬러 또는 모양 또는 이들의 조합은 하부 오브젝트를 선택하기 위한 제스처를 제안할 수 있다. 추가 실시예에서, 오브젝트의 아이콘은 버튼 같은 통상적인 외관을 가질 수 있고, 제스처는 아이콘(들)의 공간 배열에 의해 제안될 수 있다. 예를 들어, 만약 두 개의 통상적인 버튼들이 디스플레이되면, 사용자는 제스처를 좌향 방향으로 형성함으로써 좌향 버튼을 선택할 수 있고, 제스처를 우측 방향으로 형성함으로써 우향 버튼을 선택할 수 있다.
도 4는 본 발명의 일 실시예에 따른 제스처 위치를 도시한다. 본 발명의 몇몇 실시예들에서, 어떤 제스처가 수행되는가 및 제스처가 수행되는 장소 모두를 유의하는 것은 중요하다. 제스처가 수행되는 장소를 결정하기 위한 두 개의 다른 방법들이 도 4에 도시된다. 하나의 방법은 제스처 발생 위치(제스처 400)로서 초기 접촉 포인트를 고려하는 것이다. 다른 방법은 초기 접촉 포인트 및 해제(release) 포인트 사이의 중간 포인트를 사용하는 것이다(제스처 402). 사용자(120)는 추후 방법에서 제스처 이전에 타켓을 터치하기 보다 타켓을 가로지른다. 본 발명의 몇몇 실시예들에서, 결정 방법은 그 또는 그녀의 선호도에 따라 사용자(120)에 의해 구성된다. 본 발명의 일 실시예들이 이들 두 개의 방법들로 제한되지 않는 것에 유의한다. 일반적으로, 시스템은 제스처의 발생 포인트로서 제스처를 바탕으로 결정될 수 있는 임의의 포인트를 사용할 수 있다.
시스템은 초기 접촉 포인트 및 해제 포인트 사이의 방향을 계산함으로써 사용자에 의해 수행된 제스처의 방향을 결정한다. 본 발명의 몇몇 실시예들에서, 시스템은 보다 복잡한 제스처 인식기를 사용한다.
도 5는 본 발명의 일 실시예에 따른 조합 제스처 아이콘들을 도시한다. 본 발명의 몇몇 실시예들에서, 시스템은 아이콘들(500)에 의해 표현된 부리 모양 아이콘들 같은 두 개의 단일 제스처 아이콘들을 조합함으로써 다중 레벨 제스처들(아이콘들 502)을 나타내는 아이콘들을 사용한다. (이 공개물에서 가리키는 아이콘의 끝은 새부리와 유사하기 때문에 "부리"라 한다는 것에 유의한다). 예를 들어, 전면에 있는 북쪽 부리 및 후면에 있는 서쪽 부리를 가진 아이콘은 사용자(120)가 북향 제스처 다음 서향 제스처를 수행함으로써 연관된 오브젝트를 선택할 수 있다는 것을 나타낸다. 비록 제스처의 복잡성이 이런 다중 레벨 아이콘을 증가시키지만, 다중 레벨 아이콘은 구별 가능한 제스처들을 설계하기 위하여 보다 많은 공간을 제공한다.
도 6은 본 발명의 일 실시예에 따른 다른 제스처 변형들을 가진 선택 해상도를 도시한다. 특히, 도 6은 1 레벨 제스처들 또는 2 레벨 제스처들 하에서 해상도가 얼마나 증가될 수 있는가를 도시한다. 인간 가시 능력의 제한으로 인해, 사용자(120)는 대략 0.3 제곱 밀리미터보다 작은 것은 구별할 수 없다. 따라서, 사용자(120)는 대략 9 제곱 밀리미터인 손가락을 가진 단일 입력부를 위하여 요구된 영 역보다 대략 900배 미세한 해상도로 가시적으로 정보를 처리할 수 있다. 사용자(120)는 대략 24개의 1 레벨 제스처 아이콘들을 쉽게 인식할 수 있다; 그러나, 본 발명의 많은 실시예들에서 통상적인 제스처들의 수는 8개이고, 이것은 주로 공간 제한으로 인한 것이다. 따라서, 제스처들의 수는 입력 해상도 증가를 제한한다. 2 레벨 제스처들에서, 제스처들의 수는 56이지만, 가시도는 단지 16개의 아이콘들이 공간 제한에 의해 정의된 영역내에 있을 수 있다는 것을 의미한다.
도 7은 본 발명의 일 실시예에 따른 아이콘 배열을 도시한다. 본 발명의 몇몇 실시예들은 오버랩핑 및 엄폐를 최소화하기 위하여 자동으로 아이콘들을 배열한다. 다양한 방법들은 아이콘 선택을 최적화하기 위하여 사용될 수 있다. 예를 들어, 몇몇 실시예들에서, 아이콘의 "부리"는 아이콘의 나머지보다 중요하고, 따라서 시스템은 아이콘의 부리가 가능한 한 많이 엄폐되는 것을 회피한다. 이런 엄폐는 선택 가능한 항목들이 서로 밀접하게 배치될 때 발생한다. 게다가, 다른 실시예들은 오브젝트들의 위치를 식별하기 위하여 아이콘의 다른 부분들을 사용할 수 있다. 예를 들어, 아이콘들(700)의 중간은 대응 오브젝트들을 나타내고, 아이콘들(702)의 부리들은 오브젝트들을 나타낸다.
도 8은 본 발명의 일 실시예에 따른 제스처를 가진 오브젝트를 선택하는 과정을 도시하는 흐름도를 도시한다. 동작 동안, 시스템은 사용자(120)에게 장치(180)상 그래픽 엘리먼트를 디스플레이한다(동작 802). 이런 그래픽 엘리먼트가 오브젝트와 연관되고, 오브젝트를 선택하기 위하여 상기 제스처를 사용자(120)에게 제안하는 것에 유의한다. 그 다음 시스템은 장치(180)에서 사용자(120)로부터 제 스처를 수신한다(동작 804). 제스처가 입력 메카니즘을 통하여 수신되고, 또한 제스처가 입력 메카니즘의 미리 결정된 조작인 것에 유의한다. 시스템은 또한 사용자 인터페이스와 관련하여 제스처의 방향을 결정한다(동작 806).
다음, 시스템은 제스처의 위치의 미리 결정된 거리 내에 있는 복수의 오브젝트들을 결정하고, 연관된 제스처들을 가지며, 연관된 제스처의 방향들은 입력 메카니즘으로부터 수신된 제스처의 방향으로부터 미리 결정된 회전 오프셋 내에 있다(동작 808). 그 다음 시스템은 연관된 제스처들의 거리들 및 방향에 대한 기능을 수행함으로써 복수의 오브젝트들로부터 오브젝트를 결정한다(동작 810). 마지막으로, 제스처와 연관된 오브젝트를 결정한 후, 시스템은 오브젝트를 선택한다(동작 812).
본 발명의 시스템의 하나의 중요한 특징은 어느 타켓을 선택하여야 하는 지를 결정하는 것이다. 특히, 그가 둘 또는 그 이상의 아이콘들 중 어느 것을 선택하기를 원하는 지를 사용자의 제스처가 명확하게 가리키지 않는 경우들이 있다.
이것은 예를 들어, 만약 두 개의 아이콘들이 서로 밀접하고 다른 제스처 방향들을 가지며, 사용자가 이들 사이에서 제스처를 시작하고 두 개의 아이콘들의 각도들 사이의 각도 중간 방향으로 제스쳐하면 발생할 수 있다. 이런 특정 경우에서, 동일한 것으로 나타나고, 일 실시예에서 시스템은 임의로 선택할 수 있다. 그럼에도 불구하고, 사용자 제스처는 하나의 아이콘에 약간 밀접하게 배치될 수 있지만, 각도는 다른 아이콘에 의해 표시된 제스처에 밀접한다. 어느 것이 보다 중요한가: "이동거리(translation)"(이 경우, 시작하는 제스처 포인트) 또는 "회전"(각 도)?
이런 질문에 대답하는 하나의 방식은 사용자 데이터 오프라인의 공정한 양을 수집하고 에러들이 얼마나 발생하는가를 측정하는 것이다. 일 실시예에서, 만약 사용자가 위치 에러들을 보다 많이 형성하면, 위치는 보다 많이 가중된다. 만약 사용자가 각도 에러들을 보다 많이 형성하면, 각도는 보다 많이 가중되어야 한다.
사용자가 사용자 인터페이스와 어떻게 상호작용하는가를 관찰함으로써, 시스템은 사용자가 제스처 이동거리 에러를 보다 많이 형성하는 지 제스처 회전을 보다 많이 형성하는 지를 결정할 수 있다. 시스템은 이런 정보를 사용하여 사용자 제스처 에러 또는 모호성을 감소시킨다. 예를 들어, 북쪽 방향으로의 제스처로부터 북동쪽 방향으로 제스처를 쉽게 구별할 수 없는 사용자는 만약 아이콘들이 4개의 제스처들(북쪽, 동쪽, 남쪽 및 서쪽)만을 사용하지만 서로 밀접하게 이격되면 보다 잘 구별할 수 있다.
일 실시예에서, 각각의 아이콘의 방향들은 에러, 및 아이콘 오버랩을 최소화하기 위하여 주의깊게 선택된다. 다른 실시예에서, 시스템은 고정된 수의 제스처 방향들(8 같은) 사이에서 선택하는 것이 아니고 보다 많은 수의 가능한 제스처 방향들(예를 들어, 수백)을 가질 수 있고, 위치들의 특정 로컬 배열을 위한 제스처 선택 에러를 최소화할 수 있는 방향들을 선택한다. 예를 들어, 등변 삼각형의 3개의 위치들은 만약 제스처 방향들이 서로 120도 다르면 가장 잘 구별된다(왜냐하면 3*120=360도이기 때문에, 완전한 원).
다른 쟁점은 제스처로부터 아이콘으로 이동거리를 측정하는 방법이다. 아이 콘은 타켓이 맵 상에 배치되는 장소를 정확하게 가리키기 위하여 몇몇 가시적 특징을 가질 수 있지만(부리의 끝), 이것은 거리 측정 기준들을 계산할 때 사용하기 위한 가장 우수한 포인트가 아닐 수 있다. 사용자가 가시적으로 단일 오브젝트로서 아이콘을 처리하기 때문에, 사용자의 제스처 시작과 아이콘의 "질량 중심" 사이의 거리를 측정하는 것이 보다 적당할 수 있다. 또는 아이콘의 벌브(bulb)의 중심에서 포인트로의 거리를 측정하는 것이 적당할 수 있다.
또한, 시스템은 아이콘과 제스처 사이의 거리를 측정할 때 제스처의 시작 포인트와 다른 포인트를 사용할 수 있다. 예를 들어, 시스템의 제스처의 중간 포인트에 대해 아이콘에 의해 결정된 포인트를 비교할 수 있다. 상기 시스템은 사용자가 주의깊게 시작 포인트의 위치를 결정할 필요가 없기 때문에 약간 빠른 장점을 가진다. 그러나, 상기 시스템은 만약 사용자가 시작 포인트에서 너무 멀리 있다면, 수직에서 아이콘을 통하여 제스처하는 방법이 없기 때문에 - 잘못을 수정하는 것이 불가능하기 때문에 - 보다 높은 에러율을 경험할 수 있다.
모호함을 없애기 위하여 제스처들을 사용하는 기술은 텍스트 엔트리를 위하여 유용할 수 있다. 소프트 키보드는 설계될 수 있어서, 개별 문자들은 제스처 방향을 제안하는 표시기들을 가진다. 이것은 오늘날 이용할 수 있는 것보다 더 작은 스크린상에 소프트 키보드를 허용한다. 특히 제스처가 드래그보다 스크린 상에 엄지손가락을 롤링함으로써 완료될 수 있기 때문에, 매우 작은 제스처들을 지원하기 위한 상기 시스템은 유용하다. 롤링은 표면 마찰력을 포함하지 않기 때문에 사용자들에게 보다 편리하다.
본 발명의 일 실시예들의 하나의 애플리케이션은 풀-다운 메뉴이다. 만약 사용자가 스크린상을 탭핑함으로써 풀-다운 메뉴를 선택하고, 그 다음 메뉴 항목들이 제스처들을 형성하기 위한 추후 방향들을 가리키면, 사용자는 메뉴 항목들 표시 방향들로부터 이동함으로써 메뉴 항목들 사이를 구별할 수 있다.
일 실시예에서, 동작은 제스처의 시작 포인트로 리턴하는 제스처를 형성함으로써 취소될 수 있다.
다른 실시예들에서, 시스템은 임의의 아이콘들에 의해 제안된 임의의 제스처와 충분히 다른 제스처를 구별할 수 있으므로, 사용자는 타켓 오브젝트들과 연관되지 않은 동작을 트리거하도록 제스처를 사용할 수 있다. 예를 들어, 사용자는 임의의 아이콘들로부터 충분히 멀리 떨어진 제스처를 끌어당길 수 있고 맵 배경 드래깅 같은 오브젝트들을 선택하는 것과 다른 동작들을 수행하기 위하여 제스처를 사용한다.
몇몇 실시예들에서, 제스처들은 터치 스크린 표면을 가로질러 엄지손가락을 드래깅하기 보다 오히려 장치를 물리적으로 이동시킴으로써 이루어질 수 있다. 물리적 장치 모션들은 가속도계들 또는 자이로스코프들을 통하여 검출될 수 있고 몇몇 셀 전화들에 이용할 수 있다. 터치 스크린이 "터치하지 않은" 상태로부터 "터치 상태"를 구별하는 자연 메카니즘을 상기 시스템들이 가지지 않기 때문에, 시스템은 이런 구별을 형성하기 위하여 부가적인 메카니즘을 가져야 한다. 이것은 예를 들어 장치상 버튼에 의해 행해진다(사용자가 한손으로 장치를 여전히 잡고있는 동안 사용자가 편안하게 버튼을 누르는 장소에서). 부가적으로, 시스템은 각각의 버튼에 대한 새로운 제스처들의 세트를 인에이블하는 복수의 버튼들을 사용할 수 있다. 아이콘들은 어느 방향으로 제스처를 형성할까뿐 아니라, 어떤 버튼을 누를까하는 것을 가리킨다. 예를 들어, 두 개의 버튼들이 있을 수 있고, 이는 밝은 버튼 및 어두운 버튼이다. 아이콘들은 버튼이 사용되는 것을 가리키기 위하여 밝아지거나 어두워진다.
호출을 바탕으로 하는 복수의 아이콘 세트들을 가지는 것은 또한 만약 올바른 하드웨어를 가진다면 본래 터치 스크린 시스템으로 행해질 수 있는 무언가이다. 압력을 검출할 수 있는 터치 스크린은 제스처가 어느 방향인지 및 얼마나 세게 누를 것인지를 가리키는 아이콘들을 사용할 수 있다. 또는, 통상적인 터치 스크린은 단일 탭 섹션 및 이중 탭 섹션을 지지할 수 있고; 이중 탭 아이콘들은 말하자면 보다 어두운 경계 또는 보다 복잡한 그늘짐을 가짐으로써 단일 탭 아이콘들로부터 몇몇 방식으로 구별된다.
작업 시스템에서, 통상적으로 아이콘들을 타켓들에 할당하는 방법을 결정하기 위한 알고리듬이 있다. 이상적으로, 이런 알고리듬은 두 개의 목표들을 달성하는 것을 목적으로 한다. 첫째, 모든 아이콘들은 잘 분리되는 것이다. 만약 모두가 동일한 제스처를 제안하는 몇몇 아이콘들이 서로 너무 가깝게 배치되어 사용자가 상대적으로 용이하게 하나의 타켓을 선택할 수 없다면, 아이콘들은 잘 분리된 것으로 고려되지 않는다.
일 실시예에서, 시스템은 유사한 제스처들을 제안하는 모든 아이콘들이 적어도 거리(d) 만큼 분리되는 것으로 이 기준을 만족시킬 수 있다. 터치 스크린들에 대해, 이전 연구에서 d가 대략 0.5cm인 것으로 발견되었다.
다른 실시예에서, 시스템은 유사한 제스처를 제안하는 각각의 아이콘이 2d x 2d 정사각형의 제스처를 제안하는 아이콘 이도록 각각의 아이콘 둘레 길이 2d 측면을 가진 정사각형을 드로우하는 것이 가능한 것을 보장하여 이 기준을 만족시킬 수 있다. 이런 방식에서, 시스템은 여전히 아이콘들이 잘 분리되게 하지만, 아이콘 할당시 더 큰 자유도를 허용한다. 두 개의 아이콘들이 서로 바로 인접할 수 있지만, 서로로부터 멀리 연장하는 상기 정사각형들 주위에 상기 정사각형들을 드로우하는 것이 가능하기 때문에, 여전히 잘 분리되게 한다.
제 2 목표는 우수한 아이콘들의 가시성이다. 만약 아이콘들이 오버랩하면, 상기 아이콘들은 보기 어렵고, 아이콘들과 연관된 제스처를 결정하기 어려울 수 있다. 특히 부리들이 제스처들을 식별하기 위하여 유용하기 때문에, "부리들"이 식별될 수 있는 것은 중요하다.
어느 오브젝트가 주어진 제스처를 선택할지를 결정하기 위하여 잘 정의된 알고리듬이 제공되면, 시스템은 에러 및 선택 시간을 최소화하는 방식으로 이상적으로 아이콘들을 타켓들에 할당한다. 일 실시예에서, 시스템은 이런 문제를 해결하기 위한 그래픽 컬러 기술을 사용한다.
최적이지는 않지만 빠르게 운용할 수 있는 휴리스틱(heuristic) 알고리듬의 예는 다음과 같이 작동한다. 아이콘들은 스크린상에 배치되어 부리 끝은 타켓 위치와 정렬된다. 이것은 타켓 포인트가 아이콘의 중앙을 때리도록 아이콘들을 배치하는 메카니즘보다 아이콘들을 배치하는데 큰 자유도의 알고리듬을 제공한다. 용 어 "이웃"은 1cm 반경 내의 모든 타켓들이다. 각각의 타켓은 그래프의 노드로서 표현된다. 각각의 노드는 8개의 가능한 아이콘들을 나타내는 8개의 서브노드들을 가지며, 각각의 서브노드는 아이콘의 대응 선택이 엄폐 또는 공간 제한의 위반을 유발할 가능성을 나타내는 가중치를 가진다. 엄폐 가능성은 동일한 위치에 아이콘을 배치할 수 있는 가까운 타켓이 있을 때 증가된다. 이런 알고리듬은 단지 엄폐들만을 바탕으로 각각의 서브노드의 초기 가중치를 계산한다.
초기 가중치 할당 후, 알고리듬은 이웃에 대부분의 노드들을 가진 노드에 대한 서브노드를 수집함으로써 시작한다. 선택된 서브노드는 최소 가중치를 가진 서브노드이다. 그 다음 이웃 노드들의 가중치들은 동일한 아이콘 선택을 나타내는 서브노드들에 큰 가중치를 부가함으로써 업데이트된다. 따라서, 알고리듬은 이웃 노드에 대해 동일한 아이콘을 사용할 수 없고 공간 제한을 위반한다. 알고리듬은 가장 큰 수의 이웃 노드들을 가진 노드에 대해 최소 가중치 서브노드를 선택하는 각각의 단계에서 이런 그리디(greedy) 방식으로 진행한다. 계산은 모든 선택 가능한 항목들에 대한 아이콘 배열을 마무리할 때 중단한다.
도 9는 본 발명의 일 실시예에 따른 제스처 선택 인터페이스를 가진 일 예시적인 컴퓨터 시스템을 도시한다. 일 실시예에서, 컴퓨터 및 통신 시스템(900)은 입력 및 출력 장치 모두로서 사용하는 터치 스크린 디스플레이(902)에 결합된다. 컴퓨터 및 통신 시스템(900)은 처리기(904), 메모리(906), 및 저장 장치(908)를 포함한다.
저장 장치(908)는 제스처 구동 오브젝트 선택 시스템(916)뿐 아니라, 애플리 케이션들(920 및 922) 같은 다른 애플리케이션들을 저장한다. 일 실시예에서, 제스처 구동 오브젝트 선택 시스템(916)은 한손 동작을 지원하는 사용자 인터페이스(918)를 용이하게 하고 사용자가 하나의 손가락, 바람직하게 엄지손가락으로 컴퓨터 및 통신 시스템(900)을 동작시키게 하는 프로그램을 더 포함한다.
동작 동안, 제스처 구동 오브젝트 선택 시스템(916)은 저장 장치(908)로부터 메모리(906)로 로딩되고 그 다음 처리기(904)에 의해 실행된다. 프로그램을 실행하는 동안, 처리기(904)는 상기된 기능들을 수행한다.
하기 청구항들에서, 용어 "명령 호출"은 일반화된 측면으로서 해석되고 그 의미는 "오브젝트 선택"을 포함한다. "탭핑"은 "제스처에 의해 추후 정련되는 타켓의 근사화 선택을 수행하는 것"을 의미하는 일반적인 용어로서 해석된다. "제스처"는 "빠르게 수행될 수 있고 파라미터가 초기 탭핑의 근사 선택을 명확하게 하기 위하여 사용되는 파라미터화 인터페이스 조작을 수행하는" 일반적인 용어로서 해석된다. "아이콘"은 "가시적으로(예를 들어, 종래 정의된 바와 같은 아이콘), 또는 비가시적으로(예를 들어, 아이콘들의 상대적 공간 배열)을 가리킬 수 있는 제스처를 제안하는 임의의 표시기"를 의미하는 일반적인 용어로서 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 컴퓨팅 환경을 도시한다.
도 2는 본 발명의 일 실시예에 따른 제스처들을 통한 오브젝트 선택을 도시한다.
도 3은 본 발명의 일 실시예에 따른 다양한 아이콘 스타일들을 도시한다.
도 4는 본 발명의 일 실시예에 따른 제스처 위치를 도시한다.
도 5는 본 발명의 일 실시예에 따른 조합 제스처 아이콘들을 도시한다.
도 6은 본 발명의 일 실시예에 따른 다른 제스처 변형들을 가진 선택 해상도를 도시한다.
도 7은 본 발명의 일 실시예에 따른 아이콘 배열을 도시한다.
도 8은 본 발명의 일 실시예에 따른 제스처를 가진 오브젝트를 선택하는 과정을 도시하는 흐름도를 도시한다.
도 9는 본 발명의 일 실시예에 따른 제스처 선택 인터페이스를 가진 일 예시적인 컴퓨터 시스템을 도시한다.

Claims (6)

  1. 명령을 호출하는 방법으로서,
    명령을 호출하기 위해 사용하기 위한 제스처를 그래픽 엘리먼트로 제안하는 단계;
    장치에서 사용자로부터 상기 제스처를 수신하는 단계로서, 상기 제스처는 입력 메카니즘을 통하여 수신되고, 상기 제스처는 상기 입력 메카니즘의 미리결정된 조작인, 상기 수신 단계;
    상기 제스처와 연관된 사용자 인터페이스 내에서 그래픽 엘리먼트를 결정하는 단계; 및
    상기 그래픽 엘리먼트와 연관된 상기 명령을 호출하는 단계를 포함하는, 명령 호출 방법.
  2. 제 1 항에 있어서, 상기 그래픽 엘리먼트는 아이콘이고, 상기 제스처를 상기 그래픽 엘리먼트로 제안하는 단계는 상기 그래픽 엘리먼트와 연관된 아이콘을 디스플레이하는 단계와 관련되는, 명령 호출 방법.
  3. 제 2 항에 있어서, 상기 아이콘의 컬러, 모양, 및/또는 공간 배열은,
    상기 제스처의 방향; 및
    상기 제스처와 연관된 상기 그래픽 엘리먼트의 타입 중 적어도 하나를 가리 킬 수 있는, 명령 호출 방법.
  4. 제 1 항에 있어서, 상기 제스처와 연관된 상기 그래픽 엘리먼트를 결정하는 단계는,
    상기 제스처의 위치를 결정하는 단계; 및
    상기 제스처가 상기 그래픽 엘리먼트를 나타내는 아이콘의 미리 결정된 거리내에서 이루어지는 지의 여부를 결정하는 단계와 관련되는, 명령 호출 방법.
  5. 제 1 항에 있어서, 상기 제스처와 연관된 상기 그래픽 엘리먼트를 결정하는 단계는,
    상기 제스처의 위치를 결정하는 단계;
    상기 사용자 인터페이스에 관련하여 상기 제스처의 방향을 결정하는 단계;
    일반화된 거리 측정 기준을 계산하는 단계로서, 상기 일반화된 거리 측정 기준은,
    그래픽 엘리먼트에 의해 결정된 위치,
    상기 제스처에 의해 결정된 위치,
    상기 제스처에 의해 결정된 방향, 및
    상기 그래픽 엘리먼트에 의해 제안된 방향을 바탕으로 하는, 상기 계산 단계; 및
    상기 일반화된 거리 측정 기준을 최적화하는 상기 그래픽 엘리먼트와 연관된 명령을 호출하는 단계와 관련되는, 명령 호출 방법.
  6. 제 1 항에 있어서,
    상기 제스처를 수신하는 단계는 제스처들의 조합을 수신하는 단계와 더 관련되고,
    상기 제스처와 연관된 상기 그래픽 엘리먼트를 결정하는 단계는 상기 제스처들의 조합과 연관된 상기 사용자 인터페이스 내에서 상기 그래픽 엘리먼트를 결정하는 단계와 더 관련되는, 명령 호출 방법.
KR1020080091462A 2007-09-18 2008-09-18 제스처를 수행함으로써 사용자 인터페이스 내 오브젝트를 선택하기 위한 방법 및 장치 KR101542625B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/901,586 2007-09-18
US11/901,586 US8122384B2 (en) 2007-09-18 2007-09-18 Method and apparatus for selecting an object within a user interface by performing a gesture

Publications (2)

Publication Number Publication Date
KR20090029670A true KR20090029670A (ko) 2009-03-23
KR101542625B1 KR101542625B1 (ko) 2015-08-06

Family

ID=40343646

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080091462A KR101542625B1 (ko) 2007-09-18 2008-09-18 제스처를 수행함으로써 사용자 인터페이스 내 오브젝트를 선택하기 위한 방법 및 장치

Country Status (4)

Country Link
US (1) US8122384B2 (ko)
EP (1) EP2042978B1 (ko)
JP (1) JP5334450B2 (ko)
KR (1) KR101542625B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190022146A (ko) * 2017-08-25 2019-03-06 주식회사 리코시스 복수의 카메라 애플리케이션이 설치된 모바일 디바이스 및 이의 제어 방법

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8302033B2 (en) 2007-06-22 2012-10-30 Apple Inc. Touch screen device, method, and graphical user interface for providing maps, directions, and location-based information
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US8294669B2 (en) * 2007-11-19 2012-10-23 Palo Alto Research Center Incorporated Link target accuracy in touch-screen mobile devices by layout adjustment
US10503376B2 (en) * 2007-12-20 2019-12-10 Samsung Electronics Co., Ltd. Method and apparatus for adjusting an image and control guides displayed on a display
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8237665B2 (en) * 2008-03-11 2012-08-07 Microsoft Corporation Interpreting ambiguous inputs on a touch-screen
US20090284478A1 (en) * 2008-05-15 2009-11-19 Microsoft Corporation Multi-Contact and Single-Contact Input
US8266550B1 (en) * 2008-05-28 2012-09-11 Google Inc. Parallax panning of mobile device desktop
JP4636141B2 (ja) * 2008-08-28 2011-02-23 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
US20100162181A1 (en) * 2008-12-22 2010-06-24 Palm, Inc. Interpreting Gesture Input Including Introduction Or Removal Of A Point Of Contact While A Gesture Is In Progress
US9424578B2 (en) 2009-02-24 2016-08-23 Ebay Inc. System and method to provide gesture functions at a device
US9250788B2 (en) * 2009-03-18 2016-02-02 IdentifyMine, Inc. Gesture handlers of a gesture engine
US20100281435A1 (en) * 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
US8836648B2 (en) 2009-05-27 2014-09-16 Microsoft Corporation Touch pull-in gesture
EP2333651B1 (en) * 2009-12-11 2016-07-20 Dassault Systèmes Method and system for duplicating an object using a touch-sensitive display
US8862576B2 (en) 2010-01-06 2014-10-14 Apple Inc. Device, method, and graphical user interface for mapping directions between search results
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US8239785B2 (en) * 2010-01-27 2012-08-07 Microsoft Corporation Edge gestures
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US9411504B2 (en) 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US20110185299A1 (en) * 2010-01-28 2011-07-28 Microsoft Corporation Stamp Gestures
US20110191719A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Cut, Punch-Out, and Rip Gestures
US20110191704A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Contextual multiplexing gestures
US9519356B2 (en) 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US20110231796A1 (en) * 2010-02-16 2011-09-22 Jose Manuel Vigil Methods for navigating a touch screen device in conjunction with gestures
US9274682B2 (en) * 2010-02-19 2016-03-01 Microsoft Technology Licensing, Llc Off-screen gestures to create on-screen input
US9965165B2 (en) * 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US8799827B2 (en) 2010-02-19 2014-08-05 Microsoft Corporation Page manipulations using on and off-screen gestures
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9310994B2 (en) * 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US20110209058A1 (en) * 2010-02-25 2011-08-25 Microsoft Corporation Multi-screen hold and tap gesture
US20110209101A1 (en) * 2010-02-25 2011-08-25 Hinckley Kenneth P Multi-screen pinch-to-pocket gesture
US8707174B2 (en) * 2010-02-25 2014-04-22 Microsoft Corporation Multi-screen hold and page-flip gesture
US8473870B2 (en) * 2010-02-25 2013-06-25 Microsoft Corporation Multi-screen hold and drag gesture
US8751970B2 (en) * 2010-02-25 2014-06-10 Microsoft Corporation Multi-screen synchronous slide gesture
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
EP2539797B1 (en) 2010-02-25 2019-04-03 Hewlett Packard Development Company, L.P. Representative image
US9075522B2 (en) * 2010-02-25 2015-07-07 Microsoft Technology Licensing, Llc Multi-screen bookmark hold gesture
US8539384B2 (en) * 2010-02-25 2013-09-17 Microsoft Corporation Multi-screen pinch and expand gestures
JP2011192173A (ja) * 2010-03-16 2011-09-29 Ntt Docomo Inc 情報処理装置およびタッチパネル操作方法
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US8881061B2 (en) 2010-04-07 2014-11-04 Apple Inc. Device, method, and graphical user interface for managing folders
US20110279368A1 (en) * 2010-05-12 2011-11-17 Microsoft Corporation Inferring user intent to engage a motion capture system
CN101853133B (zh) * 2010-05-31 2013-03-20 中兴通讯股份有限公司 一种自动识别手势的方法及移动终端
US8966400B2 (en) 2010-06-07 2015-02-24 Empire Technology Development Llc User movement interpretation in computer generated reality
US9164542B2 (en) * 2010-08-31 2015-10-20 Symbol Technologies, Llc Automated controls for sensor enabled user interface
US9021402B1 (en) * 2010-09-24 2015-04-28 Google Inc. Operation of mobile device interface using gestures
EP2434368B1 (en) * 2010-09-24 2018-08-01 BlackBerry Limited Method for conserving power on a portable electronic device and a portable electronic device configured for the same
CN102446032B (zh) * 2010-09-30 2014-09-17 中国移动通信有限公司 基于摄像头的信息输入方法及终端
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US8863040B2 (en) 2011-01-04 2014-10-14 Google Inc. Gesture-based selection
KR101841121B1 (ko) * 2011-02-17 2018-05-04 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어방법
WO2012121433A1 (en) * 2011-03-09 2012-09-13 Lg Electronics Inc. Display device and method for controlling the same
US9104239B2 (en) 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges
US8352639B2 (en) * 2011-05-06 2013-01-08 Research In Motion Limited Method of device selection using sensory input and portable electronic device configured for same
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US8893033B2 (en) 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US9411416B2 (en) * 2011-06-24 2016-08-09 Wenjuan Song Computer device operable with user's eye movement and method for operating the computer device
US9202297B1 (en) 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US10001898B1 (en) 2011-07-12 2018-06-19 Domo, Inc. Automated provisioning of relational information for a summary data visualization
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US9645733B2 (en) * 2011-12-06 2017-05-09 Google Inc. Mechanism for switching between document viewing windows
JP5762944B2 (ja) * 2011-12-28 2015-08-12 京セラ株式会社 装置、方法、及びプログラム
CN103207743A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 便携式设备及其显示处理方法
US8860763B2 (en) 2012-01-31 2014-10-14 Xerox Corporation Reversible user interface component
USD774044S1 (en) * 2013-11-27 2016-12-13 Google Inc. User interface for a display screen
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
AU346719S (en) * 2012-06-08 2013-02-04 Apple Inc Display screen for an electronic device
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
US9223423B2 (en) * 2012-07-30 2015-12-29 Facebook, Inc. Touch gesture offset
TWI476626B (zh) 2012-08-24 2015-03-11 Ind Tech Res Inst 電子裝置之認證方法及密碼設定方法及認證系統
US9696879B2 (en) 2012-09-07 2017-07-04 Google Inc. Tab scrubbing using navigation gestures
US8914751B2 (en) * 2012-10-16 2014-12-16 Google Inc. Character deletion during keyboard gesture
US9557818B2 (en) * 2012-10-16 2017-01-31 Google Inc. Contextually-specific automatic separators
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US20140237401A1 (en) * 2013-02-15 2014-08-21 Flatfrog Laboratories Ab Interpretation of a gesture on a touch sensing device
US9147065B2 (en) 2013-03-01 2015-09-29 Gogo Llc Determining human stimuli at computing devices
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
WO2014168567A1 (en) 2013-04-11 2014-10-16 Flatfrog Laboratories Ab Tomographic processing for touch detection
US9874978B2 (en) 2013-07-12 2018-01-23 Flatfrog Laboratories Ab Partial detect mode
USD745046S1 (en) 2013-10-25 2015-12-08 Microsoft Corporation Display screen with animated graphical user interface
KR102129594B1 (ko) 2013-10-30 2020-07-03 애플 인크. 관련 사용자 인터페이스 객체를 표시
USD753716S1 (en) 2013-11-21 2016-04-12 Microsoft Corporation Display screen with icon
US10146376B2 (en) 2014-01-16 2018-12-04 Flatfrog Laboratories Ab Light coupling in TIR-based optical touch systems
US10126882B2 (en) 2014-01-16 2018-11-13 Flatfrog Laboratories Ab TIR-based optical touch systems of projection-type
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
WO2015199602A1 (en) 2014-06-27 2015-12-30 Flatfrog Laboratories Ab Detection of surface contamination
CN107209608A (zh) 2015-01-28 2017-09-26 平蛙实验室股份公司 动态触摸隔离帧
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
EP3256936A4 (en) 2015-02-09 2018-10-17 FlatFrog Laboratories AB Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel
CN107250855A (zh) 2015-03-02 2017-10-13 平蛙实验室股份公司 用于光耦合的光学部件
US10768773B2 (en) * 2015-11-24 2020-09-08 International Business Machines Corporation Dynamic text scroll control in a user interface
CN108369470B (zh) 2015-12-09 2022-02-08 平蛙实验室股份公司 改进的触控笔识别
US10637933B2 (en) 2016-05-26 2020-04-28 Logitech Europe S.A. Method and apparatus for transferring information between electronic devices
US10298692B2 (en) 2016-06-01 2019-05-21 Gogo Llc Systems and methods for averting unsanctioned access to on-board vehicle networks
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
EP3545392A4 (en) 2016-11-24 2020-07-29 FlatFrog Laboratories AB AUTOMATIC TACTILE SIGNAL OPTIMIZATION
KR102495467B1 (ko) 2016-12-07 2023-02-06 플라트프로그 라보라토리즈 에이비 개선된 터치 장치
US10963104B2 (en) 2017-02-06 2021-03-30 Flatfrog Laboratories Ab Optical coupling in touch-sensing systems
WO2018174786A1 (en) 2017-03-22 2018-09-27 Flatfrog Laboratories Pen differentiation for touch displays
EP4036697A1 (en) 2017-03-28 2022-08-03 FlatFrog Laboratories AB Optical touch sensing apparatus
CN117311543A (zh) 2017-09-01 2023-12-29 平蛙实验室股份公司 触摸感测设备
US11567610B2 (en) 2018-03-05 2023-01-31 Flatfrog Laboratories Ab Detection line broadening
JP7421230B2 (ja) * 2018-07-26 2024-01-24 パットモス ウニペッソアル リミタダ 強化されたタッチセンシング選択
US11048391B2 (en) * 2019-01-03 2021-06-29 International Business Machines Corporation Method, system and computer program for copy and paste operations
US11943563B2 (en) 2019-01-25 2024-03-26 FlatFrog Laboratories, AB Videoconferencing terminal and method of operating the same
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
JP2023512682A (ja) 2020-02-10 2023-03-28 フラットフロッグ ラボラトリーズ アーベー 改良型タッチ検知装置
AU2021102652B4 (en) 2020-05-18 2022-02-24 Apple Inc. User interfaces for viewing and refining the current location of an electronic device
US11562638B2 (en) 2020-08-24 2023-01-24 Logitech Europe S.A. Electronic system and method for improving human interaction and activities
CN114125546B (zh) * 2020-08-27 2023-02-28 荣耀终端有限公司 信息分享的方法、装置、终端设备和存储介质
CN112433661B (zh) * 2020-11-18 2022-02-11 上海幻电信息科技有限公司 交互对象选择方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220649A (en) * 1991-03-20 1993-06-15 Forcier Mitchell D Script/binary-encoded-character processing method and system with moving space insertion mode
US5570113A (en) * 1994-06-29 1996-10-29 International Business Machines Corporation Computer based pen system and method for automatically cancelling unwanted gestures and preventing anomalous signals as inputs to such system
US5745116A (en) * 1996-09-09 1998-04-28 Motorola, Inc. Intuitive gesture-based graphical user interface
US6421453B1 (en) * 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords
JP2005174356A (ja) * 2000-02-01 2005-06-30 Toshiba Corp 方向検出方法
US20050134578A1 (en) * 2001-07-13 2005-06-23 Universal Electronics Inc. System and methods for interacting with a control environment
JP2003099171A (ja) * 2001-09-21 2003-04-04 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びにプログラム
US7036077B2 (en) * 2002-03-22 2006-04-25 Xerox Corporation Method for gestural interpretation in a system for selecting and arranging visible material in document images
US7231609B2 (en) * 2003-02-03 2007-06-12 Microsoft Corporation System and method for accessing remote screen content
US20060242607A1 (en) * 2003-06-13 2006-10-26 University Of Lancaster User interface
DE202005021427U1 (de) 2004-07-30 2008-02-14 Apple Inc., Cupertino Elektronische Vorrichtung mit berührungsempfindlicher Eingabeeinrichtung
US7694231B2 (en) * 2006-01-05 2010-04-06 Apple Inc. Keyboards for portable electronic devices
US7657849B2 (en) * 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US20070159468A1 (en) * 2006-01-10 2007-07-12 Saxby Don T Touchpad control of character actions in a virtual environment using gestures
US20070097096A1 (en) * 2006-03-25 2007-05-03 Outland Research, Llc Bimodal user interface paradigm for touch screen devices
US8316324B2 (en) * 2006-09-05 2012-11-20 Navisense Method and apparatus for touchless control of a device
US7934156B2 (en) * 2006-09-06 2011-04-26 Apple Inc. Deletion gestures on a portable multifunction device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190022146A (ko) * 2017-08-25 2019-03-06 주식회사 리코시스 복수의 카메라 애플리케이션이 설치된 모바일 디바이스 및 이의 제어 방법

Also Published As

Publication number Publication date
EP2042978A2 (en) 2009-04-01
US20090077501A1 (en) 2009-03-19
EP2042978B1 (en) 2020-12-09
EP2042978A3 (en) 2010-01-13
KR101542625B1 (ko) 2015-08-06
US8122384B2 (en) 2012-02-21
JP5334450B2 (ja) 2013-11-06
JP2009076044A (ja) 2009-04-09

Similar Documents

Publication Publication Date Title
KR101542625B1 (ko) 제스처를 수행함으로써 사용자 인터페이스 내 오브젝트를 선택하기 위한 방법 및 장치
US12013996B2 (en) Systems and methods for interacting with multiple applications that are simultaneously displayed on an electronic device with a touch-sensitive display
US11068157B2 (en) Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
US10884591B2 (en) Device, method, and graphical user interface for selecting object within a group of objects
US20230409165A1 (en) User interfaces for widgets
US11481100B2 (en) User interfaces for a compass application
US9965074B2 (en) Device, method, and graphical user interface for transitioning between touch input to display output relationships
US20190258373A1 (en) Scrollable set of content items with locking feature
US9489118B2 (en) Drag and drop operation in a graphical user interface with size alteration of the dragged object
EP2939095B1 (en) Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US9292161B2 (en) Pointer tool with touch-enabled precise placement
US9372590B2 (en) Magnifier panning interface for natural input devices
EP3336672A1 (en) Method and apparatus for providing graphic user interface in mobile terminal
US8704782B2 (en) Electronic device, method for viewing desktop thereof, and computer-readable medium
US11823558B2 (en) Generating tactile output sequences associated with an object
US20100077304A1 (en) Virtual Magnification with Interactive Panning
JP6245334B2 (ja) 表示プログラム
JP2010211697A (ja) タッチパネル入力方法、タッチパネル入力装置及びタッチパネル入力プログラム
KR20120078816A (ko) 가상 터치 포인터 운용 방법 및 이를 지원하는 휴대 단말기

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 4