KR20060051265A - 플릭 제스쳐 - Google Patents

플릭 제스쳐 Download PDF

Info

Publication number
KR20060051265A
KR20060051265A KR1020050085347A KR20050085347A KR20060051265A KR 20060051265 A KR20060051265 A KR 20060051265A KR 1020050085347 A KR1020050085347 A KR 1020050085347A KR 20050085347 A KR20050085347 A KR 20050085347A KR 20060051265 A KR20060051265 A KR 20060051265A
Authority
KR
South Korea
Prior art keywords
gesture
flick
determining
pointing device
gestures
Prior art date
Application number
KR1020050085347A
Other languages
English (en)
Other versions
KR101183381B1 (ko
Inventor
에밀리 케이. 리마스-리비카우스카스
제프리 더블유. 페티로스
레로이 비. 킬리
매튜 루빈 레너
릭 던칸
로버트 제이. 자렛
스리람 비지
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20060051265A publication Critical patent/KR20060051265A/ko
Application granted granted Critical
Publication of KR101183381B1 publication Critical patent/KR101183381B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04807—Pen manipulated menu

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

플릭 제스쳐(flick gesture)가 발생했는지를 판정하는 시스템 및 방법이 기재된다. 플릭 제스쳐는 쉽게 탐지될 수 있는 단순한 제스쳐이고, 다른 응용 프로그램들이나 제스쳐들과의 최소 간섭(interference)에 의해 특성화된다.
플릭 제스쳐, 제스쳐 인식기, 거짓 긍정/거짓 부정, 실시간 스타일러스, 교습 프로세스

Description

플릭 제스쳐{FLICK GESTURE}
도 1은 본 발명의 양태에 따른 범용 컴퓨팅 환경의 일실시예를 나타낸 도면.
도 2는 본 발명의 양태에 따른 태블릿(tablet) 컴퓨터의 일실시예를 나타낸 도면.
도 3은 본 발명의 양태에 따라 플릭 제스쳐(flick gesture)가 발생했다고 판정될 수 있는 다양한 영역들을 나타낸 도면.
도 4는 본 발명의 양태들에 따라 플릭 제스쳐가 발생했는지를 판정하는 프로세스들을 나타낸 도면.
도 5는 본 발명의 양태들에 따라 사용자에게 명령을 제공하는 튜터리얼(tutorial) 프로세스의 일례를 나타낸 도면.
도 6은 본 발명의 양태들에 따라 제스쳐 인식기(gesture recognizer)와 사용될 수 있는 다양한 컴포넌트들의 일례를 나타낸 도면.
<도면의 주요부분에 대한 부호의 설명>
602 동적 랜더러
603 플릭 제스쳐 인식기
604 다른 동기적 플러그인들
601 실시간 스타일러스 컴포넌트
605 제스쳐 인식기
606 다른 비동기적 플러그인들
본 발명은 컴퓨팅 시스템에 관한 것으로서, 특히, 본 발명은 수기(hand-written) 제스쳐가 발생한 경우를 판정하는 프로세스에 관한 것이다.
컴퓨팅 시스템들은 다양한 입력들을 받는다. 일부 컴퓨터 응용 프로그램들은 포인팅 장치들에 의해 형성된 제스쳐들을 받아서 어플리케이션들이 더 쉽게 제어 및 내비게이션 될 수 있게 한다. 그러나, 종래 제스쳐 인식기들에서의 난점은 너무 많은 거짓 긍정(false positives)과 거짓 부정(false negatives)을 제공한다는 점이다. 사용자가 포인팅 장치(예를 들어, 스타일러스-기반(stylus-based) 컴퓨터의 스타일러스나 손가락, 또는 마우스)를 사용할 때, 시스템은 포인팅 장치로부터의 정상적인 액션들을 제스쳐로 해석하여 제스쳐와 연관된 기능들을 구현하여 사용자를 당혹스럽게 할 수 있다. 마찬가지로, 사용자는 제스쳐를 수행하려 하지만 컴퓨팅 시스템이 사용자의 노력을 제스쳐로서 인식하지 않을 때 당황하게 될 것이다. 일부 경우들에서, 제스쳐들은 제스쳐가 인식되기 전에 사용자가 시스템의 모드를 변경하도록 강제되는 별도의 동작으로 격하된다. 예를 들어, 오페라(Opera) 브라우져(노르웨이 오슬로의 오페라 소프트웨어 ASA)는 브라우져 동작을 제어하기 위해 마우스 제스쳐들이 사용되도록 한다. 유사한 마우스 제스쳐들이 Firefox 브라우져(Mozilla Organization, California, Mountain View)의 플러그-인들(plug-ins)을 통해 이용가능하다. 이러한 브라우져들이 제스쳐들을 인식하는 동안, 사용자는 브라우져들에게 제스쳐들이 수행될 것임을 명백하게 통지하기 위해 브라우져들의 동작 모드들을 전환할 것이 요구된다. Opera 브라우져 및 Firefox 브라우져 모두에서, 제스쳐를 수행하기 전에 오른쪽(또는 보조) 마우스 버튼을 사용자가 클릭하여 동작 모드가 전환된다. 여기서, 모든 제스쳐들을 완료하기 위해서는 복수의 단계들, 즉, 오른쪽 마우스 버튼을 누르고 그 후 마우스를 드래그하는 단계들이 수행되어야 한다는 점이 문제가 된다. 스타일러스를 사용하는 경우, 이들 브라우져들은 스타일러스가 다른 입력 모드로 들어갈 것을 요구한다, 즉, 스타일러스 버튼을 누른다(스타일러스가 스타일러스 버튼을 가진다면). 이들 복수 개의 단계들은 제스쳐를 번거롭게 만든다. 또한, 이들 브라우져들이 마우스나 스타일러스 버튼을 누르는 동안 직선으로 구성되는 제스쳐를 인식하는 한편, 브라우져들에서 받을 수 있는 제스쳐들은 일반적으로 읽기전용 환경이 아닌 환경들(예를 들어, 문서 편집 환경)에 적용되는 경우, 너무 많은 거짓 긍정들을 발생시킬 것이므로 더 많은 환경들에서 사용가능하지는 않다.
제스쳐들을 인식하고 기능을 할당하는 컴퓨터 시스템이나 컴퓨터 어플리케이션에 있어서, 형태(shape)만이 일반적으로 사용되어 제스쳐가 발생했는지를 판정한다. 형태만을 사용하는데 있어서의 문제점은, 느린 스타일러스 또는 마우스를 쓰는 사용자들은 제스쳐들로서 인식될 수 있는 액션들 -사용자들은 그 반대의 의도임에도- 을 수행하는 경향이 있을 것이라는 점이다.
마킹(Marking) 메뉴들(또한, 래디얼(radial) 메뉴들이라 함)은 포인팅 장치와의 상호작용을 통해 액세스될 수 있는 메뉴들이다. 에일리어스 시스템사(Alias Systems Corp., Toronto, Ontario, Canada)의 마야(Maya) 어플리케이션 및 에일리어스(Alias) 어플리케이션은 마킹 메뉴의 예들을 제공한다. 시작 및 정지 위치들을 포함하는 점에서 제스쳐들과 유사한 한편, 마킹 메뉴들은 사용자 입력의 관련 부분이 버튼 업(button up) 또는 스타일러스 업(stylus up) 이벤트의 위치이고, 그 위치로의 실제 경로의 형태가 아니라는 점에서 메뉴들로서 고려된다.
따라서, 제스쳐 인식기에 의해 쉽게 인식되고 사용자에 의해 쉽게 수행되는 개선된 제스쳐가 필요하다고 하겠다.
본 발명의 양태들은 전술한 하나 이상의 문제점들을 해결하여, 제스쳐들을 견고하게 인식하는 프로세스를 제공한다.
본 발명은 일례로서 나타낸 것으로, 첨부된 도면들에 제한되지 않으며, 도면들에 있어서 동일한 참조부호는 동일한 구성요소를 지칭한다.
본 발명의 양태들은 플릭 제스쳐를 인식하는 것에 관한 것이다.
본 출원서는 독자를 위해 섹션들로 분리된다. 이러한 섹션들은 다음을 포함한다: 잉크의 특성, 용어들, 범용 컴퓨팅 환경, 제스쳐들, 플릭 제스쳐, 플릭 제스쳐 판정, 트레이닝, 및 바람직한 구현예들.
이하의 설명에 있어서, 다양한 연결들이 앞서 설정된다. 이러한 연결들은 일반적으로, 달리 명시되지 않는 한, 직접적이거나 간접적일 수도 있으며, 본 명세서에서는 이와 관련하여 제한하고자 하는 것은 아님을 상기한다.
<잉크의 특성들>
잉크 펜을 사용하는 사용자에게 알려진 바와 같이, 물리적인 잉크(잉크통이 있는 펜을 사용하여 종이 위에 쓰는 것과 같은 종류)는 선 세그먼트들에 의해 연결된 일련의 좌표들보다 더 많은 정보를 전달할 수도 있다. 예를 들어, 물리적 잉크는 펜 압력(잉크의 굵기로), 펜 각도(선이나 곡선 세그먼트들의 형태, 및 이산 점들 주위의 잉크 움직임으로), 및 펜끝의 속도(직선도(straightness), 선폭, 및 선이나 곡선의 행로에서 선폭의 변화에 의해)를 반영할 수 있다. 또 다른 예들로서, 잉크가 종이의 섬유질에 또는 잉크가 퇴적되는 기타의 표면에 흡수되는 방식을 포함한다. 이들 미묘한 특성들은 또한 위에서 열거한 속성들을 전달하는데 도움을 준다. 이러한 부가적인 속성들로 인하여, 감정, 개성, 강조 등이 점들 간의 일정 선폭 보다는 더욱 즉각적으로 전달될 수 있다.
전자 잉크(또는 잉크)는 사용자가 스타일러스-기반의 입력장치를 사용하는 경우 캡쳐되는 전자 정보의 캡쳐 및 표시에 관한 것이다. 전자 잉크는 일련의 또는 임의의 집합의 스트로크(stroke)들을 참조하며, 여기서 각각의 스트로크는일련의 포인트들로 구성된다. 스트로크들은 동시에 묘화 또는 집합되거나, 독립적 이유들로 독립적 시간과 위치에서 묘화 또는 집합되었을 수도 있다. 점들은 직교 좌표계(X, Y), 극 좌표계(r, θ), 및 당업계에 공지된 다른 기술들을 포함하는 다양한 공지 기술들 사용하여 표현되었을 수도 있다. 전자 잉크는 압력, 각도, 속도, 색, 스타일러스 크기, 및 잉크 투명성을 포함하는 실제 잉크의 속성의 표현들을 포함할 수도 있다. 전자 잉크는, 페이지 위에 어떻게 잉크가 누적되었는지의 순서(대부분 서양 언어들에 있어서 좌에서 우로 그 다음 아래로의 래스터(raster) 패턴), 타임스탬프(잉크가 누적되었던 때를 지시함), 잉크 저자의 표시, 및 필기 도구(잉크가 묘화되었던 기계의 식별(identification) 또는 잉크를 누적하기 위해 사용되는 펜의 신별 중의 적어도 하나)를 포함하는 기타의 속성들을 더 포함할 수도 있다.
용어들(Terms)
잉크: 속성을 갖는 일련의 또는 한 무리의 스트로크들.
일련의 스트로크들은 순서화된 형태의 스트로크들을 포함할 수도 있다. 스트로크들의 시퀀스는, 캡쳐되는 시간에 의해, 또는 페이지의 어디에서 스트로크들이 나타나는지, 또는 공동적(collaborative) 상황에서는 잉크의 주인에 의해, 순서가 정해질 수도 있다. 다른 순서도 가능하다. 한 세트의 스트로크들은, 스트로크들의 시퀀스 또는 순서화되지 않은 스트로크들, 또는 그 임의의 조합을 포함할 수 있다. 또한, 일부 속성들은 각 각의 스트로크 또는 스트로크의 점에 고유할 수 있다 (예를 들어, 압력, 속도, 각도, 등). 이러한 속성들은 잉크 레벨이 아닌, 스트로크 또는 점 레벨에서 저장될 수도 있다.
잉크 객체(Ink Object): 속성과 함께 또는 속성 없이 잉크를 저장하는 데이터 구조.
스트로크(Stroke): 일련의 또는 한 무리의 캡쳐된 점들. 예를 들어, 랜더 링의 경우, 일련의 점들은 선들과 연결될 수 있다. 다른 경우, 스트로크는한 점과 다음 점의 방향으로의 한 벡터로서 표현될 수 있다. 즉, 스트로크는점들의 기본적인 표현 및/또는 무엇으로 점들을 연결하는지에 무관하게, 잉크에 관한 점 또는 분절(segment)들의 임의의 표현을 포괄하고자 하는 것이다.
점(Point): 공간에서 위치를 정의하는 정보. 예를 들어, 점들은 캡쳐링 공간(예컨대, 디지타이져(digitizer)의 점들), 가상 잉크 공간(캡쳐된 잉크가 위치하는 공간의 좌표들), 및/또는 디스플레이 공간(디스플레이 장치의 점들이나 픽셀들)에 대하여 정의될 수 있다.
문서(Document): 일람가능한(viewable) 표현 및 내용(content)을 갖는 임의의 전자 파일. 문서는 웹 페이지, 문서 편집 문서, 노트 페이지 또는 패드, 스프레드시트, 시각적 프레젠테이션, 데이터베이스 레코드, 이미지 파일들, 및 그 조합들을 포함할 수 있다.
플릭(Flick): 컴퓨터 시스템의 포인팅 장치의 짧고 빠른 직선적 이동. 포인팅 장치가 스타일러스나 손가락인 경우, 플릭은 스타일러스가 사용가능한 컴퓨터의 표면상에서 또는 그 표면의 상방에서 발생할 수도 있다. 포인팅 장치가 마우스인 경우, 이동은 마우스 버튼을 누른 상태로 또는 마우스 버튼을 누르지 않은 상태로 발생할 수도 있다. 플릭은 전술한 바와 같이 스트로크를 생성할 수 있다. 포인팅 장치로 묘화 또는 잉크 작업을 포함하여(이에 한하지 않음), 기타의 활동들에 의해 또한 스트로크들이 생성될 수도 있다. 스타일러스를 사용하여 플릭 제스쳐를 수행하는 장점은, 펜이 사용가능한 컴퓨터들(동적(active) 펜 및 정적(static) 펜을 사 용함)과 조합하여 사용자들이 플릭 제스쳐를 사용할 수 있도록 한다는 점이다. 마우스를 사용하여 플릭 제스쳐를 수행하는 장점은, 마우스가 이용하기 쉽고 대부분 컴퓨터들에서 일반적으로 사용된다는 점이다. 손가락 을 사용하여 플릭 제스쳐를 수행하는 장점은 일부 사용자들이 펜-기반 컴퓨터들에서 스타일러스와 비교하여 손가락을 사용하는 것을 선호하고, 사용자들이 손가락을 사용하여 플릭을 수행하도록 함으로써, 추가 하드웨어를 사용하지 않고 플릭 기능을 제공한다는 점이다.
<범용 컴퓨팅 환경>
도 1은 본 발명이 구현될 수 있는 적절한 컴퓨팅 시스템 환경(100)의 일례를 도시한다. 컴퓨팅 시스템 환경(100)은 적절한 컴퓨팅 환경의 일 예일 뿐이고, 본 발명의 용도 또는 기능의 범위를 제한하고자 한 것은 아니다. 컴퓨팅 환경(100)은 운영 환경의 예(100)에 도시된 컴포넌트들 중의 임의의 것 또는 그 조합에 관하여 임의의 종속성 또는 요구사항을 갖는 것으로서 해석되어서도 않된다.
본 발명은 다수의 다른 범용 또는 특수 목적의 컴퓨팅 시스템 환경들 또는 구성들과 동작할 수 있다. 본 발명과 사용하기에 적절할 수 있는 공지된 컴퓨팅 시스템, 환경, 및/또는 구성의 예들은 개인용 컴퓨터, 서버 컴퓨터, 핸드-헬드나 랩톱 디바이스, 멀티프로세서 시스템, 마이크로프로세서-기반 시스템, 셋톱 박스, 프로그램가능한 소비자 전자제품, 통신망 PC, 미니컴퓨터, 메인프레임 컴퓨터, 및 위의 시스템들이나 디바이스들 중의 임의의 것 등을 포함하는 분산 컴퓨팅 환경을 포함하지만, 이에 제한되지는 않는다.
본 발명은 컴퓨터에 의해 실행되는, 프로그램 모듈들과 같은, 컴퓨터-실행가 능 명령들의 일반적인 컨텍스트 내에서 기재될 수 있다. 일반적으로, 프로그램 모듈들은 특정 작업들을 수행하거나 또는 특정 추상 데이터 타입을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 본 발명은 또한, 통신망을 통해 링크된 원격 처리장치들에 의해 작업들이 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장 디바이스들을 포함하는 로컬 및 원격 컴퓨터 저장 매체 모두에 위치될 수 있다.
도 1을 참조하면, 본 발명을 구현하는 시스템의 일례는 컴퓨터(110)의 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(110)의 컴포넌트들은, 이에 한하지 않지만, 처리장치(120), 시스템 메모리(130), 및 처리장치(120)에 시스템 메모리를 포함하는 다양한 시스템 컴포넌트들을 연결시키는 시스템 버스(121)를 포함할 수 있다. 시스템 버스(121)는, 메모리 버스나 메모리 제어기, 주변기기 버스, 및 다양한 버스 아키텍쳐들(architectures) 중의 임의의 것을 사용하는 로컬 버스를 포함하는 여러 유형의 버스 구조들 중의 임의의 것일 수 있다. 예로서, 이에 한하지 않지만, 이러한 아키텍쳐들은 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standards Associatons) 로컬 버스, 및 Mezzanine 버스로서 또한 알려진 PCI(Peripheral Component Interconnect) 버스를 포함한다.
컴퓨터(110)는 통상적으로 다양한 컴퓨터-판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(110)에 의해 액세스 가능한 임의의 이용가능한 매체일 수 있고, 휘발성 및 비휘발성 매체, 소거형 및 비소거형 매체 모두를 포함한다. 일례로서, 이에 한하지 않지만, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 또는 기타 데이터와 같은 정보 저장을 위한 임의의 방법이나 기술로 구현되는 휘발성 및 비휘발성 매체, 및 분리형 및 비분리형 매체 모두를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래쉬 메모리나 다른 메모리 기술, CD-ROM, DVD(digital versatile disks)나 다른 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치나 다른 자기 저장 디바이스, 또는 원하는 정보를 저장하기 위해 사용될 수 있고 컴퓨터(110)에 의해 액세스될 수 있는 임의의 다른 매체를 포함한다. 통신 매체는 통상적으로 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 또는 반송파나 다른 전송 매체와 같은 변조 데이터 신호의 다른 데이터를 구현하고, 임의의 정보 전달 매체를 포함한다. "변조 데이터 신호"라는 용어는 신호에 정보를 인코딩하는 방식에서 한 개 이상의 그것의 특성들이 설정되거나 변경되는 신호를 의미한다. 일례로, 이에 한하지 않지만, 통신 매체는 유선 통신망이나 직접-유선 접속과 같은 유선 매체, 및 음향, RF, 적외선, 및 기타 무선 매체와 같은 무선 매체를 포함한다. 위의 것들 중의 임의의 것의 조합들은 또한 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
시스템 메모리(130)는 ROM(read only memory;131) 및 RAM(random access memory;132)와 같은 휘발성 및/또는 비휘발성 메모리의 형태의 컴퓨터 저장 매체를 포함한다. 시동중과 같이, 컴퓨터(110) 내의 구성요소들 간의 정보 전송을 돕는 기본 루틴들을 포함하는 BIOS(basic input/output system;133)는 통상적으로 ROM(131)에 저장된다. RAM(132)은 통상적으로 즉시 액세스가능하고 및/또는 프로세싱 유닛(120)에 의해 현재 동작되는 데이터 및/또는 프로그램 모듈들을 포함한다. 예컨대, 이에 한하지 않지만, 도 1은 운영 시스템(134), 응용 프로그램들(135), 기타 프로그램 모듈들(136), 및 프로그램 데이터(137)를 나타낸다.
컴퓨터(110)는 또한 다른 소거형/비소거형, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 예컨대, 도 1은 비분리형, 비휘발성 자기 매체에 기입 및 독출하는 하드 디스크 드라이브(141), 분리형, 비휘발성 자기 디스크(152)에 기입 및 독출하는 자기 디스크 드라이브(151), 및 CD-ROM이나 다른 광 매체와 같은 분리형, 비휘발성 광 디스크(156)에 기입 및 독출하는 광 디스크 드라이브(155)를 도시한다. 운영 환경의 예에서 사용될 수 있는 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래쉬 메모리 카드, DVD, 디지털 비디오 테이프, 반도체 RAM, 반도체 ROM 등을 포함하지만, 이에 제한되지는 않는다. 하드 디스크 드라이브(141)는 통상적으로 인터페이스(140)와 같은 비분리형 메모리 인터페이스를 통해 시스템 버스(121)에 접속되고, 자기 디스크 드라이브(151) 및 광 디스크 드라이브(155)는 통상적으로, 인터페이스(150)와 같은, 분리형 메모리 인터페이스에 의해 시스템 버스(121)에 접속된다.
전술한 도 1에 도시된 드라이브들 및 그 관련 컴퓨터 저장 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 및 컴퓨터(110)에 대한 기타 데이터의 저장을 제공한다. 도 1에서, 예컨대, 하드 디스크 드라이브(141)는 운영 시스템(144), 응용 프로그램들(145), 기타 프로그램 모듈들(146), 및 프로그램 데이터 (147)를 저장하는 것으로서 도시되어 있다. 이들 컴포넌트들은 운영체제(134), 어플리케이션 프로그램(135), 기타 프로그램 모듈들(136), 및 프로그램 데이터(137)와 동일하거나 상이할 수 있다. 운영체제(144), 어플리케이션 프로그램들(145), 기타 프로그램 모듈들(146), 및 프로그램 데이터(147)는, 적어도, 그들이 다른 복사본들임을 설명하기 위해 본 명세서에서 다른 부호들을 갖는다. 사용자는 키보드(162) 또는, 일반적으로 마우스, 트랙볼, 또는 터치 패드라고 불리우는, 포인팅 장치(161)와 같은 입력 장치들을 통해 컴퓨터(20)에 커맨드와 정보를 입력할 수 있다. 다른 입력 장치들(도시 생략)로는 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너 등을 포함할 수 있다. 이들과 다른 입력 장치들은 종종 시스템 버스에 결합된 사용자 입력 인터페이스(160)를 통해 처리장치(120)에 접속되지만, 병렬 포트, 게임 포트, 또는 USB(universal serial bus)와 같은, 다른 인터페이스나 버스 구조에 의해 접속될 수 있다. 모니터(191) 또는 다른 유형의 디스플레이 장치는 또한, 비디오 인터페이스(190)와 같은, 인터페이스를 통해 시스템 버스(121)에 접속된다. 모니터에 더하여, 컴퓨터들은 또한 출력 주변기기 인터페이스(198)를 통해 접속될 수 있는, 스피커들(197)과 프린터(196)와 같은 다른 주변 출력 장치들을 포함할 수 있다.
컴퓨터(110)는, 원격 컴퓨터(180)와 같은, 한 개 이상의 원격 컴퓨터들에의 논리 접속들을 사용하여 통신망 환경에서 동작할 수 있다. 원격 컴퓨터(180)는 개인용 컴퓨터, 서버, 라우터, 통신망 PC, 피어(peer) 디바이스, 또는 다른 일반 통신망 노드일 수 있고, 단지 메모리 저장 장치(181)만이 도 1에 도시되어 있지만, 통상적으로 컴퓨터(110)와 관련된 위에 기재된 소자들의 다수 또는 전부를 포함한다. 도 1에 도시된 논리 접속들은 LAN(local area network;171) 및 WAN(wide area network;173)을 포함하지만, 또한 다른 통신망들을 포함할 수도 있다. 그런 통신망 환경들은 사무실, 엔터프라이즈용(enterprise-wide) 컴퓨터 통신망, 인트라넷, 및 인터넷에서 일반적이다.
LAN 통신망 환경에서 사용될 때, 컴퓨터(110)는 통신망 인터페이스 또는 어댑터(170)를 통해 LAN(171)에 접속된다. WAN 통신망 환경에서 사용될 때, 컴퓨터(110)는 통상적으로, 인터넷과 같은, WAN(173)에서 통신을 개설하는 모뎀(172) 또는 다른 수단을 포함한다. 내장이나 외장일 수 있는, 모뎀(172)은 사용자 입력 인터페이스(160), 또는 다른 적절한 메카니즘, 을 통해 시스템 버스(121)에 접속될 수 있다. 통신망 환경에서, 컴퓨터(110), 또는 그것의 일부, 에 관련되어 도시된 프로그램 모듈들은 원격 메모리 저장 장치에 저장될 수 있다. 예컨대, 이에 한하지 않지만, 도 1은 원격 어플리케이션 프로그램들(185)을 메모리 장치(181)에 존재하는 것으로서 나타내었다. 도시된 통신망 접속들은 일례일 뿐이고, 컴퓨터들 간에 통신 링크를 개설하는 다른 수단이 사용될 수 있음을 이해할 것이다.
몇몇 양태에 있어서, 펜 디지타이져(165) 및 동반하는 펜이나 스타일러스(166)는 디지털로 프리핸드(freehand) 입력을 캡쳐하기 위해 제공된다. 펜 디지타이져(165)와 사용자 입력 인터페이스(160) 간의 직접적인 연결이 도시되어 있지만, 실제로, 펜 디지타이져(165)는 처리장치(110)에 직접 연결될 수도 있고, 병렬 포트나 다른 인터페이스 및 시스템 버스(130)는 무선을 포함한 임의의 기술로 연결될 수도 있다. 또한, 펜(166)은 그와 관련된 카메라, 및 버스(130)와 상호작용하는 인터페이스에 카메라에 의해 캡쳐된 이미지 정보를 무선으로 전송하는 송수신기를 가질 수 있다. 또한, 펜은, 카메라를 대신하거나 또는 카메라에 추가하여, 전자 잉크의 스트로크들을 판정하기 위해 속도계, 자기력계, 및 자이로스코프(gyroscope)를 포함하는 다른 센싱 시스템들을 가질 수 있다.
도시된 통신망 연결들은 예시적인 것으로서, 컴퓨터들 간에 통신 링크를 개설하는 다른 기술들이 사용될 수 있다. TCP/IP, Ethernet, FTP, HTTP 등과 같은 다양하게 잘 알려진 프로토콜들 중의 임의의 것이 존재함이 가정하고, 시스템은 사용자가 웹-기반 서버로부터 웹 페이지들을 검색수취(retrieve)하도록 하는 클라이언트-서버 구성에서 동작할 수 있다. 다양한 종래 웹 브라우져들 중의 임의의 것은 웹 페이지들의 데이터를 표시 및 조작하기 위해 사용될 수 있다.
도 2는 본 발명의 다양한 양태들에 따라 사용될 수 있는 일례의 태블릿 PC(201)를 도시한다. 도 1의 시스템의 특징, 서브시스템, 및 기능의 임의의 것 또는 전부는 도 2의 컴퓨터에 포함될 수 있다. 태블릿 PC(201)는, 복수 개의 윈도우들(203)이 디스플레이되는, 예를 들어, 디지타이징 평면 디스플레이 -LCD(liquid crystal display) 스크린이 바람직함- 와 같은 큰 디스플레이 표면(202)을 포함한다. 스타일러스(204)를 사용하여, 사용자는 디지타이징 디스플레이 표면(202)에 선택, 하일라이트(highlight), 및/또는 기입을 행할 수 있다. 적절한 디지타이징 디스플레이 표면들(202)의 예로서, 무토(Mutoh) 또는 와콤(Wacom) 펜 디지타이져들과 같은, 전자기 펜 디지타이져들을 포함한다. 예를 들어, 광 디지타이져들과 같 은, 다른 유형들의 펜 디지타이져들이 또한 사용될 수도 있다. 태블릿 PC(201)는 데이터를 조작하고, 텍스트를 입력하고, 그림(drawings)을 생성하고, 및/또는, 스프레드시트, 문서 편집 프로그램 등과 같은 종래 컴퓨터 응용 프로그램 작업들을 실행하기 위해 스타일러스(204)를 사용하여 만들어진 제스쳐들을 해석한다.
스타일러스(204)는 그 선택 능력을 향상시키기 위해 한 개 이상의 버튼들 또는 다른 특징들이 구비할 수 있다. 일실시예에서, 스타일러스(204)는 한 끝이 쓰기 부분을 구성하고 다른 끝이 "지우개" 부분을 구성하고, 및 디스플레이를 가로질러 이동될 때, 디스플레이 부분들이 지워질 것임을 지시하는, "연필" 또는 "펜"으로서 구현될 수 있다. 마우스, 트랙볼, 등의 기타의 유형들의 입력 장치들이 사용될 수도 있다. 또한, 사용자 자신의 손가락이 스타일러스(204)일 수 있고, 터치-민감형(touch-sensitive) 또는 거리-민감형(proximity-sensitive) 디스플레이에 표시되는 이미지의 부분들을 선택하거나 지시하기 위해 사용될 수 있다. 결과적으로, 본 명세서에 사용되는 바와 같이, "사용자 입력 장치"라는 용어는 넓은 정의를 가지려고 의도한 것으로서, 스타일러스(204)와 같은 공지된 입력 장치들에 대한 다수의 변형예들을 포함한다. 영역(Region)(205)은 스타일러스(204)가 디스플레이 표면(202) 상의 어디에 접촉했는지를 사용자가 판정하도록 하는 피드백 영역 또는 접촉 영역을 나타낸다.
다양한 실시예들에서, 시스템은 어플리케이션이 잉크를 캡쳐하고, 조작하고, 및 저장하기 위해 사용할 수 있는 한 무리의 COM(component object model) 서비스로서 잉크 플랫폼을 제공한다. 한 개의 서비스는 잉크의 드러난 표현들을 사용하 여 어플리케이션이 잉크를 판독 및 기입하도록 한다. 또한, 잉크 플랫폼은 XML(extensible markup language)과 같은 언어를 포함하는 마크업(mark-up) 언어를 포함할 수 있다. 또한, 시스템은 다른 구현예로서 DCOM을 사용할 수 있다. 마이크로소프트사의 Win32 프로그래밍 모델 및 .NET 프로그래밍 모델을 포함하는 추가 구현예들이 사용될 수 있다.
< 제스쳐들(Gestures) >
툴바(toolbar) 버튼을 클릭하는 것이나 키보드 단축키를 타이핑하는 것과 마찬가지로, 제스쳐는 액션을 호출하는 방식이다. 제스쳐는 포인팅 장치(마우스, 스타일러스, 및/또는 손가락을 포함하며, 이에 한하지 않음)로 수행될 수 있다. 제스쳐는 그와 관련된 형태를 갖는다. 형태는 점처럼 단순할 수 있거나(예를 들어, 마우스 버튼을 클릭함) 또는 일련의 이동들처럼 복잡할 수 있다. 제스쳐는 또한 그와 관련된 위치(position)를 갖는다. 위치는 제스쳐의 범위, 타겟, 및/또는 의미를 지시하기 위해 사용될 수도 있다.
< 플릭 제스쳐(Flick Gesture) >
제스쳐들은 여러 해 동안 컴퓨팅 시스템들에서 사용되어 왔다. 그러나, 다수의 개발자들 및 최종 사용자들은 제스쳐들에 의해 생성되는 어려움과 복잡성 때문에 제스쳐들을 금지시켰다. 예컨대, 제스쳐 인식 엔진들은 제스쳐들을 인식하는 경우, 용인할 수 없을 정도로 많은 수의 거짓 긍정들 및 거짓 부정들로 고초를 겪는다. 이러한 거짓 긍정들(사용자 입력이 제스쳐로서 의도되지 않았을 때 사용자 입력이 제스쳐라고 시스템이 판정하는 경우) 및 거짓 부정들(사용자가 제스쳐를 수 행하려고 할 때 사용자 입력이 제스쳐가 아니라고 시스템이 판정하는 경우)은 개발자들과 최종 사용자들을 똑같이 당황스럽게 한다.
본 명세서에 기재된 바와 같이, 플릭 제스쳐는 포인팅 장치의 단일의 이동을 포함하는 단순한 제스쳐이다. 플릭 제스쳐는 사용자가 기억하고 수행하기에 쉽다. 일단 사용자가 플릭 제스쳐를 마스터했을 때, 그것은 다른 작업들을 수행하기 위해 복수 개의 방향에 적용될 수 있다. 또한, 플릭 제스쳐는 다른 액션들(드래그, 선택 등을 포함함)에 대해 시스템이 인식하고 구분하기 쉽다.
개발자 및/또는 사용자는 플릭 제스쳐와 동작들을 연관시킬 수 있다. 이들 동작들은 내비게이션 앞으로, 뒤로, 스크롤링 업이나 다운, 어플리케이션 프로그램 변경, 오른쪽 클릭(스타일러스-기반 시스템에 항상 제공되는 것은 아님), 및 임의의 어플리케이션 프로그램 커맨드들을 포함할 수 있다. 어떠한 어플리케이션 커맨드들은, 이러한 어플리케이션에는 특정적이고, 일반적으로 다른 어플리케이션들에 대하여는 사용될 수 없는 어플리케이션에 속한 커맨드들이다. 또한, 플릭 제스쳐는 소정의 의미를 가질 필요가 없지만, 키 또는 키 조합을 수행하기 위해 개발자나 사용자에 대하여 커스터마이즈 될 수 있어서, 사용자가 키보드 단축키들이나 매크로들(macros)에 빨리 액세스할 수 있도록 한다. 제스쳐들의 기능을 가동하는 한 가지 이점은 사용자가 키보드를 사용하지 않을 때 비생산적이라는 감정을 극복하도록 하고, 더 생산적인 것으로 느끼도록 한다는 점이다.
플릭 제스쳐는 운영체제의 모든 어플리케이션들에서 그와 관련된 기능들이 일관적일 수 있다. 다른 경우, 플릭 제스쳐는 그와 관련된 기능에서 컨텍스트적일 수 있다(플릭 제스쳐으로 묶여진 결과의 동작이 플릭 제스쳐가 발생한 어플리케이션에 따라 변화하는 경우).
또한, 플릭 제스쳐들은 어플리케이션의 위치들(예를 들어, 타이틀 바(title bar))에 특정적일 수도 있으며, 또는 선택이 되어졌는지(예컨대, 제스쳐는 잘라내기, 복사하기, 붙이기, 및/또는 특수한 동작들을 수행할 수 있슴)에 특정적일 수 있다. 이에 더하여 또는 다른 예로서, 컴퓨터의 상태들은 플릭 제스쳐와 연관된 어느 액션이 수행되어야 하는지의 판정에 사용될 수 있다. 예컨대, 현재 선택된 객체의 색, 어느 사용자가 시스템에 로그인했는지, 외부 모니터가 시스템에 접속되었는지 등 - 즉, 컴퓨팅 시스템이나 객체의 임의의 상태 또는 상태들의 조합 - 은 플릭 제스쳐에 응답하여 어느 액션이 수행될 것인지를 판정하기 위해 사용될 수도 있다.
또한, 다른 입력 장치들이 플릭 제스쳐와 연관된 액션들을 변경할 수도 있다. 예를 들어, 액션들의 제1 세트는 스타일러스에 의해 수행되는 경우, 플릭 제스쳐들과 연관될 수도 있다. 액션들의 제2 세트는 또 다른 포인팅 장치에 의해 수행되는 경우, 플릭 제스쳐들과 연관될 수도 있다. 액션들의 세트들의 수는 다른 입력 장치들이 수에 의해 달라질 수도 있다.
또한, 핫 존(hot zone)의 플릭이 또 다른 동작을 가질 수 있는 핫 존들의 기능이 가동될 수도 또는 억제될 수도 있다. 핫 존들은 디스플레이 및/또는 래디얼 메뉴들의 특정 영역들을 포함할 수 있다.
플릭 제스쳐는 방향에 독립적일 수 있거나, 방향에 특정적일 수 있다. 방향 에 특정적이면, 플릭이 묘화된 방향이 결과를 결정하게 된다. 플릭 제스쳐 특성들은 방향에 따라 변할 수도 또는 변하지 않을 수도 있다. 예를 들어, 시스템은 플릭 제스쳐를 인식하기 위해 한 셋트의 파라미터들만을 가질 수 있다. 다른 경우, 시스템은 왼손잡이나 오른손잡이, 스타일러스의 각도 등을 포함하도록 플릭의 방향에 따라 달라지는 임의의 수의 파라미터들을 가질 수 있다. 이러한 파라미터들은 특정 방향에서 플릭 제스쳐를 수행하는 것을 쉽게 하도록 변경될 수도 있다.
일단 사용자가 플릭 제스쳐를 수행하는 방법을 습득하면, 단지 이용가능한 방향들의 각각에 링크된 액션들을 알 것이 요구된다. 방향들의 각각에 연관된 액션들은 커스터마이즈 되어, 사용자가 개개인에 대하여 최적화된 경험을 하도록 한다.
플릭 제스쳐는 단독으로 사용될 수 있다. 대안으로서, 플릭 제스쳐는 추가 액션들을 수행하기 위해 조합될 수 있다. 예를 들어, 상방으로의 한 번의 플릭 제스쳐는 페이지 업(page up) 액션을 수행하는 반면, 상방으로의 두 번의 플릭 제스쳐들은 문서의 최상단으로 이동하는 이동 액션을 수행할 수 있다.
대체 실시예들에 있어서, 플릭 제스쳐는, 어떠한 이동 및 시간 임계치라도 만족시키면서, 스타일러스의 버튼을 누름으로써 또는 마우스의 우측 마우스 버튼(제2 마우스 버튼)을 누름으로써, 인에이블 될 수 있다. 그러나, 플릭 제스쳐의 한 가지 이점은 모드들을 변경하지 않고 좌측 마우스 버튼 클릭 또는 스타일러스나 손가락으로 수행될 수 있다는 점이다. 플릭 제스쳐는 사용자 생산성을 증대시킬 수 있고, 그들이 이전에 이용가능했던 것보다 더 효과적인 레벨에서 그들의 데스크톱 및 어플리케이션과 상호작용 하도록 한다. 사용자가 큰 이득을 얻기 위해 최소 수준의 연습/숙지를 하도록 제스쳐들이 설계된다; 일단 제스쳐가 사용자에 의해 마스터되면, 그들은 단지 방향-액션 연관관계를 습득하도록 요구된다. 일반 마우스나 스타일러스의 동작과 플릭 제스쳐 간의 구별은 플릭 제스쳐에 위치된 다양한 기준과 제한사항에 기초하여 이루어질 수 있다.
플릭 제스쳐들은 사용자들이 타겟팅 스크롤바들 또는 내비게이션 버튼들이 없이 동작할 수 있도록 하게 된다. 이것은 문서들을 판독하는 것 또는 하이퍼링크들을 갖거나 갖지 않고 문서들을 내비게이션 하는 것을 포함할 수도 있다. 이 유형의 문서들을 읽는 것은 온라인(online)과 오프라인(offline)으로 수행될 수 있다. 또한, 잘라내기, 복사하기, 및 붙이기를 포함하는 일반 액션들이 플릭 제스쳐들을 사용하여 수행될 수 있다.
< 플릭 제스쳐 판정>
플릭 제스쳐는 사용자가 스크린에 대해 펜을 단순히 플릭킹하여 수행될 수 있다; 구현예에 따라 펜의 어떠한 활성 부분이이라도(펜 끝 또는 바닥), 사용될 수 있다. 플릭 제스쳐들은 사용자가 임의의 모드로 진입할 것을 요구할 필요없이 자연적인 모드에서 수행될 수 있다 - 예컨대, 사용자가 플릭 제스쳐를 수행하는 동안 펜 버튼을 잡고 있기를 요구하는 등의 모드 요구사항이 이루어질 수도 있다-. 플릭 제스쳐들은 8 방향(예를 들어)으로 수행될 수 있고, 각 플릭은 8 방향 중의 하나에 해당한다. 플릭 제스쳐의 발생은 물리적 또는 논리적 x와 y 좌표들, 및 시간에 대해 도표된 압력(또는 위치)의 프로파일에 기초하여 판정될 수 있다. 즉, 플 릭 제스쳐가 발생했는지를 판정하기 위해 사용될 수 있는 3개의 기본 특성들은 플릭의 방향, 플릭의 이동, 및 플릭의 타이밍을 포함한다. 이동 임계치는, 예컨대, 1cm보다 크고, 시간 임계치는 0.2ms보다 더 길 수 있다. 이러한 값들은 물론 모든 사용자들을 수용하도록 변화될 수 있다. 이들 특성들을 사용하여, 시스템은 임계치와 대하여 더 쉽게 비교될 수 있는 플릭의 다른 양상들을 산정할 수 있다. 예를 들어, 시스템은 속도, 가속도, 곡률, 들림(lift) 등을 계산할 수 있고, 이들 유도된 값들 또는 값들의 세트들을 사용하여 사용자가 플릭 제스쳐를 수행했는지를 판정할 수 있다.
플릭 제스쳐들은 두 번 실행(double actuation)(두 번 탭핑(tap) 또는 클릭), 눌러서 잡고 있기(press and hold), 잡아서 끌고오기(hold and drag), 및 기타의 제스쳐들을 포함하는 다른 액션들과는 달리 판정될 수 있다.
세 개의 기본 특성들로부터 유도되는 입력 특성들의 조합들에 기초하여 플릭 제스쳐들을 분류하고자 신경망(neural networks)과 같은 다른 방법이 또한 사용될 수도 있다.
이러한 기준들을 사용하여 플릭 제스쳐가 발생했는지를 판정하는 장점들 중 하나는, 플릭 제스쳐들의 탐지 시간을 최소화하면서 거짓 부정들 및 거짓 긍정들의 최소화하는 것이다. 조합하여, 이러한 장점들은 전체적으로 개선된 시스템 응답성(responsiveness)을 제공한다. 예컨대, 플릭이 발생했는지를 판정하는 과정은 플릭이 플릭 제스쳐에 대한 자격들을 만족하지 않음을 빨리 판정하고, 입력 장치 이동이 정상 입력 장치 이동으로서 취급되도록 구성될 수도 있다.
본 발명의 양태들은, 플릭이 실제로 플릭 제스쳐인지를 시스템이 판정하는 동안, 플릭 이동 및/또는 정상 입력장치 액션과 관련된 액션을 랜더링하는 것을 포함할 수도 있다. 다른 경우로서, 본 발명의 양태들은, 플릭 제스쳐가 발생했는지를 시스템이 판정할 때까지, 입력 정보(포인팅 장치를 동작시키는 사용자로부터 수신됨)가 처리되고 랜더링되는 것을 방지하는 것을 포함할 수도 있다. 이 후자 접근법이 사용자에게 피드백에서 있어 다소의 시각적인 지연의 원인이 될 수 있는 한편, 정상 입력으로 조작될 수 있는 객체들이 존재하는 가운데, 플릭 제스쳐들을 수행하는 사용자 능력을 향상시킬 수 있다. 예를 들어, 객체 위에 플릭을 수행하는 것은, 플릭 제스쳐가 의도되었지만, 정상 입력으로서 처리되어, 그 객체를 드래그하고 드롭하는 결과를 가져올 수 있다. 따라서, 이러한 본 발명의 대체 실시예들은, 패킷들(플릭 제스쳐일 수도 아닐 수도 있슴)이 플릭 제스쳐인지를 시스템이 판정할 때까지 패킷들을 유지하고 있을 것이다.
도 3은 플릭 제스쳐를 위해 사용될 수 있는 다양한 일례의 방향들을 보인다. 모든 방향들의 그룹은 영역(301)으로 도시되어 있다. 4개의 카디널(Cardinal) 영역들(302 내지 305)이 도시되어 있으며, 4개의 대각선(diagonal) 영역들(306 내지 309)이 또한 도시되어 있다. 시스템은 플릭 제스쳐가 어느 방향으로 진행했는지의 판정에 대해 모든 8개 영역들을 동일하게 취급하게 된다. 다른 경우로서, 일부 영역들(예를 들어, 카디널 방향들)은 대각선 방향들에 대해 이들 방향들 중의 하나에 속하는 것으로서 사용자 입력을 분류하도록 바이어스 될 수도 있다. 상이한 방향들의 수는 고정 또는 변화될 수 있다. 예컨대, 사용자에게 이용가능한 방향들의 수로서, 6이나 12 또는 또는 임의의 수의 방향들을 대안으로 사용할 수도 있다.
플릭 방향을 판정하기 위해, 펜 다운 점은 원의 중심을 나타내고, 예를 들어, 원의 중심을 둘러싸는 8개의 동일한 모양과 크기의 영역들이 있고, 각각은 원의 45도 섹션을 나타낼 수 있다. 이들 영역들이 태블릿의 배향(orientation)에 의존하지 않고, 태블릿이 회전할 때 따라서 회전한다.
영역들은 45도에 제한될 필요가 없고, 어플리케이션에 따라 더 크거나 더 작을 수 있다. 그러나, 시스템을 통해 디폴트(default)로 사용되는 것들은 초기에 45도에 설정될 수도 있다.
펜 다운(또는 좌측 마우스 클릭)의 점이 중심이 되면서, 정의에 의해, 도 3에 도시된 원의 중심에서 플릭 제스쳐가 시작된다; 그리고 플릭(flick)이라고 정의내린, 짧고 빠른 직선의 스트로크가 펜 다운 점에 대해 인출된다. 짧고 곧다는, 플릭의 정의에 의해, 스트로크가 영역들 중의 하나에 속하게 된다. 그것이 그려지는 어떠한 영역이라도 실행되는 액션을 판정하게 된다. 스트로크가 플릭의 속성을 만족시킨다는 가정하에(본 명세서에 기재된 바와 같이, 곧음, 길이, 및 속도 요구사항을 포함하거나 포함하지 않을 수 있슴), 플릭 영역은 스크린과 접촉에 있는 스트로크의 시작점과 끝점을 연결하여 결정된다. 플릭이 영역들을 분리하는 정확한 선위에 속하면, 플릭은 비대각선 영역, 또는 수평적이나 수직적 방향을 나타내는 것들에 디폴트 될 수 있다.
플릭 제스쳐의 성공적인 인식에 따라서, 피드백이 사용자에게 제공되거나 제공되지 않을 수 있다. 여기서, 피드백은 사용자가 지금 수행한 플릭 제스쳐가 인 식되었다는 것, 및 메시지가 운영 시스템 또는 어플리케이션에 전송됨을 나타낸다. 또한, 액션이 해제되었음을 피드백이 나타낼 수도 있다. 이러한 피드백은 액션이 발생함을 의미하지는 않고, 단지 성공적 플릭이 인식되어 전송되고 있음을 의미한다. 예컨대, 일단 사용자가 페이지 끝에 도달하여, 사용자가 페이지 다운 플릭 제스쳐들을 계속 수행하면, 그들이 더 이상 페이지 아래로 스크롤 할 수 없으므로 아무런 액션을 가져오지 않을지라도, 올바른 피드팩은 여전히 받고 있게 된다.
이러한 피드백은 성공적인 제스쳐가 인식되자마자 나타날 수도 있고, 사라지는 시간만큼 짧은 시간 동안(대략 500ms 정도) 유지되게 된다. 다른 예로서, 아무런 피드백이 제공되지 않을 수도 있다. 또한, 다른 대체 실시예에서, 사용자에게 성공적 플릭 제스쳐가 인식되었음을 더 쉽게 알리기 위해 피드백이 에니메이션으로 (animate)될 수도 있다. 애니메이션은 사용자에게 인식된 플릭 제스쳐에 관한 방향의 피드백을 제공할 수도 하지 않을 수도 있다.
도 4는 플릭이 발생했는지를 판정하는 절차를 나타낸다. 단계 401에서, 펜 다운 또는 버튼 다운 이벤트가 발생한다. 그 다음, 단계 404에서, 시스템은 이동 임계치(예를 들어, 0.2cm 내지 0.5cm 초과)를 초과하는 이동이 있는지를 판정한다. 없다면, 시스템은 수신되는 입력이 단계 405에서 나타낸 바와 같은 어떤 다른 액션 또는 선택이라고 판정할 수도 있다. 단계 404에서 임계치를 초과하는 이동이 있었다면, 시스템은 입력 장치의 속도가 속도 임계치 미만으로 떨어졌는지(예를 들어, 최고 속도의 20% 또는 그 이하, 또는 1초당 5cm 또는 그 이하)를 판정한다. 떨어짐은 짧은 시간(10 내지 200ms) 동안 속도의 떨어짐에 대해 민감할 수도 민감하지 않을 수도 있다. 다른 예로서, 프로세스는 수신된 제스쳐의 속도가 감소하지 않는지를 판정할 수도 있다.
단계 406에서 "아니오" 이면, 또 다른 액션 또는 선택이 단계 407에서 결정된다. 단계 406 에서 예이면, 플릭 제스쳐가 단계 408에서 발생하였다고 판정한다. 현재 위치는, 릴리스(release)되는 마우스 버튼 또는 스크린으로부터 들어올려지는 스타일러스 또는 손가락의 위치를 포함하는(이에 한하지 않음), 플릭의 경로를 따르는 임의의 위치에 있는 것으로 간주될 수도 있다.
다음은 도 4의 처리에 대한 임의선택적인 추가사항을 설명한다. 단계 401에서, 시스템은 펜 다운 위치가 잉크 영역에 있었는지를 판정할 수도 있다. "예"이면, 시스템은 단계 403에 나타낸 바와 같이 펜 다운 이벤트가 잉크의 생성에 관한 것이라고 믿을 수도 있다. 이는 추가의 동작들(예컨대, 실제 잉크를 생성하는 것, 선택하는 것, 또는 지우는 것)을 포함할 수도 있으며, 포함하지 않을 수도 있다.
또 다른 임의선택적인 단계로서, 단계 409를 포함한다. 단계 409에서, 시스템은 가능한 플릭 제스쳐의 경로가 비교적 곧은지를 판정한다. 제스쳐의 모든 점들이 초기 접촉점으로부터 소정의 각도 내에 놓여 있는지의 판정을 포함할 수도 있다. 이 초기 각도는 45도 또는 그 이하를 포함할 수 있다. "아니오" 이면, 단계 410에서 입력이 플릭 제스쳐가 아니라고 결론내릴 수도 있다.
또 다른 임의선택적인 일군의 단계들 411 및 412은, 스크린을 접촉하기 전 및/또는 후에 포인팅 장치의 움직임을 분석하는 것을 포함한다. 예를 들어, 스타일러스가 스크린을 가볍게 치거나 떠난 후에 일정 거리 동안 직선이 계속됨을 알림 으로써, 탐지 알고리즘의 정확성을 더욱 정교하게 할 수 있다. 단계 409 및 412의 접근법은 플릭 제스쳐들이 아닌 플릭들을 신속하게 제거하도록 한다. 다른 예로서, 단계들 409 및 411의 접근법은, 더 복잡하고 기능적으로 더 느린(이러한 다른 접근법은 플릭들을 이전에 거절된 플릭 제스쳐들로서 해석할 것이므로) 한편, 사용자 이동들에 더 관대할 수 있다.
일단 성공적 플릭이 발생하면, 시스템은 플릭 제스쳐가 발생한 시스템이나 어플리케이션의 다른 양상들을 경고(alert)할 수도 있다. 어플리케이션이 그 액션에 관한 동작을 수행할 수 있도록 메시지가 전송될 수도 있으며, 할당된 동작이 없다면, 플릭 아키텍쳐에서 어플리케이션이 해석하도록 디폴트 값을 전송할 수도 있다. 예컨대, "뒤로(Back)" 커맨드가 어플리케이션에 전송되면, 이것은 브라우져에서 "뒤로" 커맨드로, 또는 데이터베이스 어플리케이션에서 이전(previous) 엔트리로서 해석될 수 있다. 특히, 다양한 다른 접근법들이 플릭 제스쳐들을 다루는 분야에 적용될 수도 있다. 먼저, 운영체제에 의해 플릭 제스처가 해석되고 다루어질 수도 있다. 시스템에 의해 주어진 방향으로부터 세만틱(semantic)까지의 매핑(mapping)이 수행될 수도 있으며, 생략될 수도 있다. 두번째로, 플릭을 플릭 액션으로 매핑하는 것은 운영체제에서 이루어질 수도 있지만, 핸들링되기 위해 어플리케이션 또는 핸들링을 위한 어플리케이션에 전송된다. 시스템은 한 개 이상의 어플리케이션 프로그램들에 플릭의 원래 방향만을(플릭의 소정의 영역 또는 정확히 탐지된 각도를 지시하여) 통신할 수도 있으며, 세만틱을 통신할 수 도, 또는 그 양쪽을 통신할 수도 있다. 세번째로, 시스템은 어플리케이션 또는 어플리케이션들이 플릭을 플릭 제스쳐로서 해석하는 어플리케이션 또는 어플리케이션에 대하여 플릭을 통신할 수도 있다. 어플리케이션 프로그램 또는 프로그램들은, 소정의 영역, 정확한 각도, 세만틱 메시지, 또는 이들 3개의 어떤 조합을 해석할 수도 있다. 그 후, 어플리케이션 또는 어플리케이션들은 플릭 제스쳐를 핸들링하거나 또는 핸들링을 위해 운영체제로 다시 되돌려 전송할 수 있다.
플릭 제스쳐들은 플릭의 펜 다운 위치나 현재 포커스(focus), 전경(foreground) 어플리케이션, 또는 커서 위치에 적용할 수도 있다. 플릭 제스쳐들은 내비게이션에 제한되지 않지만, 다른 동작들을 또한 수행하도록 사용될 수도 있다. 예를 들어, 사용자는 스크린을 접촉하는 스타일러스의 위치에 플릭 제스쳐가 오른쪽-클릭 동작을 수행하도록 원할 수도 있다.
개발자들은, 자신들의 어플리케이션에서 또는 스크롤바들 등의 특정한 어플리케이션 영역에서 플릭 제스쳐 기능을 턴오프시킬 수도 잇다. 또한, 개발자들은 플릭 제스쳐들을 커스터마이즈 하는 것이 금지되거나, 또는 다른 예로서, 플릭 제스쳐들을 커스터마이즈 하여, 자신의 응용 프로그램들에 특정 액션들을 취하도록 할 수도 있다. 또한, 플릭 제스쳐들은 어플리케이션에서 또한 커스터마이즈된 피드백을 제공하도록 될 수도 있으며, 되지 않을 수도 있다.
<연습(Training)>
도 5는 플릭 제스쳐를 수행할 수 있도록 사용자들을 숙달시키는, 일례의 프로세스를 나타낸다. 임의의 수의 프로세스들이 플릭 제스쳐들을 수행하도록 사용자들을 연습시키기 위해 사용될 수도 있는데, 도 5에는 직접 및 임의선택적인 단계 들로 다수의 프로세스들이 도시되어 있다. 또한, 시스템들은 플릭 제스쳐들을 수행하는 방법에 대한 연습을 제공하지 않고 본 명세서에 기재된 바와 같이 플릭 제스쳐들을 구현할 수도 있다.
단계 501에서, 교습 프로세스를 시스템이 시작한다. 단계 505에서, 사용자가 플릭 제스쳐를 N번(5 또는 10 등) 수행했는지 시스템이 판정한다. "예"이면, 시스템은 단계 510에서 교습 프로세스를 종료한다. 단계 505에서 "아니오" 이면, 시스템은 사용자를 연습시키기 위하여 더 많은 플릭 제스쳐들을 요청한다. 다른 예로서, 사용자는 단계 509에서 연습(Training)을 더 선택할 수 있다.
또한, 도 5는 연습 단계들에 포함될 수도 있는 다수의 추가의 임의선택적 구성성분들을 나타낸다. 단계 502에서, 시스템은 사용자가 플릭을 숙달할 수 있는 영역을 제공할 수도 있다. 단계 503에서, 시스템은 플릭 제스쳐를 수행하는 방법을 사용자에게 지시할 수도 있다. 단계들 504 및 508에서, 시스템은 도 4의 임계치들을 수정하여, 플릭 제스쳐 인식을 더 쉽도록 하거나, 사용자가 수행하는 액션들을 더 근접하게 모델링 할 수도 있다. 단계 506에서, 시스템은 사용자에게 제스쳐를 반복하도록 요구할 수도 있다. 다른 예로서, 단계 506에서 제스쳐를 반복하는 요청에 더하여, 시스템은 제스쳐가 정확히 수행되었다는 지시를 표시할 수도 있다. 단계 507에서, 시스템은 플릭 제스쳐를 적절히 수행하는 방법에 대해 사용자에게 지시들을 반복할 수도 있다. 지시들은 일반적일 수도 있으며, 또는 사용자가 플릭 제스쳐를 수행함에서 이전 시도 또는 시도들에 기초하여 할 수 있는 특정 개선점에 대한 설명을 포함할 수 있다. 예를 들어, 프로세스는 플릭 제스쳐가 적절 히 수행되었음을 지시할 수도 있으며, 또는 플릭을 성공적으로 수행하기 위해 유용한 팁(tip)을 (예를 들어, 더 빨리 플릭, 또는 더 곧게 플릭 등) 제공한다.
<바람직한 구현예>
도 6은 제스쳐 인식기들이 다른 구성성분들과 통합될 수 있는 방법의 바람직한 예들을 나타낸다. 도 6은 실시간으로 스타일러스 또는 기타의 입력 장치로부터의 입력을 처리하고자 할 수도 있는, 실시간 스타일러스 컴포넌트(601)를 나타낸다.
실시간 스타일러스(RTS)는, 주어진 윈도우 입력 사각형 내의 주어진 윈도우 핸들에 실시간 스타일러스 이벤트들을 제공하는 객체이다. 실시간 스타일러스는 또한 추가 기능들을 핸들링하는 플러그인 객체들을 추가하는 프레임워크로서 고려될 수 있다. 원하는 실시간 스타일러스의 기능이 변함에 따라, 플러그인 객체들 추가 또는 삭제될 수도 있다. 실시간 스타일러스는 하나 이상의 인터페이스들을 가질 수도 있다. 2 개의 인터페이스들의 경우, 이들은 동기적(synchronous) 인터페이스 및 비동기적(asynchronous) 인터페이스일 수도 있다. 이들 인터페이스들은 플러그인들이 실시간 스타일러스에 접속될 수 있는 위치들을 제공한다. 이들 인터페이스들은 단지 일례일 뿐이다. 다른 인터페이스들이 또한 사용될 수도 있다.
플러그인들이 동기적 및 비동기적 인터페이스들에 첨부될 수 있다. 플러그인은 실시간 스타일러스 객체에 추가될 수 있는 기능적 컴포넌트이다. 플러그인이 실시간 스타일러스 객체의 동기적 인터페이스에 첨부되면, 그것은 동기적 플러그인이라고 할 수도 있다. 플러그인이 실시간 스타일러스 객체의 비동기적 인터페이스 에 첨부되면, 그것은 비동기적 플러그인이라고 할 수도 있다.
플러그인들은 집합들(collections)로 그룹화될 수 있다. 하나 이상의 그룹들에서, 플러그인들의 집합이 RTS에 첨부된다. 두 집합이 존재하는 경우, 각각 RTS의 동기적 및 비동기적 인터페이스들과 관련될 수 있다. 각 집합은 순서대로 실행될 수도 있다. 2개 이상의 집합들이 존재하는 경우, RTS(또는 RTS들)의 다른 인터페이스들에 첨부될 수 있으므로 서로 독립적으로 실행될 수도 있다. 데이터는 각 플러그인에 의해 핸들링된 후에 RTS로 리턴된다. 집합의 플러그인들의 순서는 집합의 출력에 영향을 미칠 수도 있다.
실시간 스타일러스 컴포넌트(601)는 동기적 플러그인들(602 내지 604) 및 비동기적 플러그인들(605 내지 606)을 포함할 수도 있다. 플러그인들은 플러그인 집합들로 그룹화될 수 있다. 동기적 플러그인들(602 내지 604)(예를 들어, 동적 랜더러(renderer)를 포함함)은 입력을 신속하게 처리할 필요가 있는 플러그인들에 관한 것이다. 비동기적 플러그인들(605 내지 606)은 실시간 스타일러스(601)의 비동기적 스레드(thread)의 플러그인들에 관한 것이다. 비동기적 플러그인들(605 내지 606)은 비동기적 기반으로 실시간 스타일러스로부터의 정보를 처리할 수도 있다.
플릭 제스쳐 인식기는 제스쳐 인식기(605)에 위치되고, 비동기적 스레드 상에서 처리될 수 있다. 다른 예로서, 플릭 제스쳐 인식기는 다른 동기적 플러그인들과 동기적 스레드에 위치될 수 있다. 동기적 스레드에 위치될 때, 플릭 제스쳐 인식기(603)는 그 정보가 추가 플러그인들에 의해 처리되어 비동기적 스레드에 전송되기 전에 실시간 스타일러스(601)로부터 입력을 신속하게 처리할 수 있다. 플 릭 제스쳐들로서 인식되지 않은 제스쳐들은 비동기적 스레드에서 제스쳐 인식기(605)에 의해 인식되어야 한다.
본 발명의 바람직한 실시예들를 기준으로 본 발명이 설명되었다. 당업자들은 본 개시를 검토하여 첨부된 청구범위의 범위 및 취지 내의 다수의 다른 실시예, 변경예, 및 변형예가 가능할 수 있다.
본 발명은 플릭 제스쳐가 발생했는지를 판정하는 시스템 및 방법을 개시한다. 플릭 제스쳐는 스타일러스나 손가락 등을 사용한 단순한 제스쳐로서, 그 제스쳐의 이동, 속도, 곧음 등의 특성들을 분석하여 제스쳐들을 인식한다. 개발자나 사용자가 쉽게 습득하여 내비게이션, 스크롤링, 응용 프로그램 커맨드 등의 동작을 수행하도록 한다. 종래 제스쳐 인식에 비해 플릭 제스쳐는 거짓 긍정들 및 거짓 부정들의 수를 감소시켜 인식율을 높이고, 일 실시예에서는 실시간 스타일러스와 동기적 및 비동기적 인터페이스를 써서 제스쳐 인식을 할 수 있다.

Claims (22)

  1. 포인팅 장치에 의해 생성된 제스쳐를 인식하는 프로세스로서,
    상기 포인팅 장치의 이동(movement)으로부터 플릭 제스쳐(flick gesture)가 발생했다고 판정하는 단계
    를 포함하는 프로세스.
  2. 제1항에 있어서,
    상기 포인팅 장치는 마우스를 포함하고, 그 접촉은 마우스 버튼의 동작을 포함하는 프로세스.
  3. 포인팅 장치에 의해 생성된 제스쳐를 인식하는 프로세스로서,
    상기 포인팅 장치의 이동이 컴퓨터-생성된 디스플레이와 접촉 후에 제1 이동 임계치를 초과하여 발생하는지를 판정하는 단계;
    상기 포인팅 장치의 속도가 감소되지 않았는지를 판정하는 단계; 및
    상기 판정 단계들에 기초하여, 제스쳐가 발생하였다고 판정되는 단계
    를 포함하는 프로세스.
  4. 제3항에 있어서,
    상기 포인팅 장치는 마우스를 포함하고, 그 접촉은 마우스 버튼의 동작을 포 함하는 프로세스.
  5. 제3항에 있어서,
    상기 포인팅 장치는 스타일러스를 포함하고, 그 접촉은 상기 컴퓨터-생성된 디스플레이의 표면과의 물리적 접촉을 포함하는 프로세스.
  6. 제3항에 있어서,
    상기 포인팅 장치는 사용자의 손가락을 포함하고, 그 접촉은 상기 컴퓨터-생성된 디스플레이에서 표면과의 물리적 접촉을 포함하는 프로세스.
  7. 제3항에 있어서,
    상기 속도 판정 단계는 상기 속도가 초기 속도의 일정 퍼센트로 감소하는지를 판정하는 단계를 포함하는 프로세스.
  8. 제3항에 있어서,
    상기 속도 판정 단계는 상기 속도가 제1 속도 임계치 미만으로 감소했는지를 판정하는 단계를 포함하는 프로세스.
  9. 제3항에 있어서,
    상기 프로세스는 상기 제스쳐의 경로의 직선도(straightness)을 판정하는 단 계를 더 포함하고,
    상기 곧음 판정에 기초하여 상기 제스쳐가 발생했음을 판정하는 프로세스.
  10. 제3항에 있어서,
    상기 프로세스는 상기 제스쳐의 시작이 잉크가능한 영역에서 발생하는지를 판정하는 단계를 더 포함하고,
    상기 제스쳐가 상기 잉크가능한 영역에서 발생하지 않았을 때 상기 제스쳐가 발생했다고 판정하는 프로세스.
  11. 포인팅 장치에 의해 생성된 제스쳐를 인식하는 시스템으로서,
    컴퓨터-생성된 디스플레이와 접촉 후에 상기 포인팅 장치의 이동이 제1 이동 임계치를 초과하여 발생하는지를 판정하는 수단;
    상기 포인팅 장치의 속도가 감소되지 않았는지를 판정하는 수단; 및
    상기 판정 단계들에 기초하여, 제스쳐가 발생했다고 판정하는 수단
    을 포함하는 시스템.
  12. 제11항에 있어서,
    상기 포인팅 장치는 마우스를 포함하고, 그 접촉은 마우스 버튼의 동작을 포함하는 시스템.
  13. 제11항에 있어서,
    상기 포인팅 장치는 스타일러스를 포함하고, 그 접촉은 상기 컴퓨터-생성된 디스플레이상의 표면과의 물리적 접촉을 포함하는 시스템.
  14. 제11항에 있어서,
    상기 포인팅 장치는 사용자의 손가락을 포함하고, 그 접촉은 상기 컴퓨터-생성된 디스플레이상의 표면과의 물리적 접촉을 포함하는 시스템.
  15. 제11항에 있어서,
    상기 속도를 판정하는 수단은 상기 속도가 초기 속도의 일정 퍼센트 만큼 감소되는지를 판정하는 수단을 포함하는 시스템.
  16. 제11항에 있어서,
    상기 속도를 판정하는 수단은 상기 속도가 제1 속도 임계치 미만으로 감소하는지를 판정하는 수단을 포함하는 시스템.
  17. 제11항에 있어서,
    상기 제스쳐의 경로의 직선도(straightness)를 판정하는 수단을 더 포함하고, 상기 직선도의 판정에 기초하여 상기 제스쳐가 발생했다고 판정하는 시스템.
  18. 제11항에 있어서,
    상기 시스템은 상기 제스쳐의 시작이 잉크가능 영역(inkable region)에서 발생하는지를 판정하는 수단을 더 포함하고,
    상기 제스쳐가 상기 잉크가능 영역에서 발생하지 않았을 때 상기 제스쳐가 발생했다고 판정하는 시스템.
  19. 저장장치; 및
    적어도 3개의 제스쳐들을 인식하는 프로세서를 포함하는 컴퓨팅 시스템으로서, 상기 제스쳐들은,
    눌러서 유지하는 (press and hold) 제스쳐;
    두번 실행(double actuation) 제스쳐; 및
    플릭 제스쳐(flick)
    를 포함하는 컴퓨팅 시스템.
  20. 제19항에 있어서,
    상기 프로세서는 적어도 네번째의 제스쳐를 인식하고, 상기 네번째의 제스쳐는 잡아 끌어오기(hold and drag) 동작을 포함하는 컴퓨팅 시스템.
  21. 제19항에 있어서,
    상기 두 번 실행 제스쳐는 마우스 버튼의 더블 클릭인 컴퓨팅 시스템.
  22. 제19항에 있어서,
    상기 두 번 실행 제스쳐는 스타일러스의 더블 탭(tap)인 컴퓨팅 시스템.
KR1020050085347A 2004-09-13 2005-09-13 플릭 제스쳐 KR101183381B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/938,882 2004-09-13
US10/938,882 US7761814B2 (en) 2004-09-13 2004-09-13 Flick gesture

Publications (2)

Publication Number Publication Date
KR20060051265A true KR20060051265A (ko) 2006-05-19
KR101183381B1 KR101183381B1 (ko) 2012-09-14

Family

ID=35787956

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050085347A KR101183381B1 (ko) 2004-09-13 2005-09-13 플릭 제스쳐

Country Status (5)

Country Link
US (4) US7761814B2 (ko)
EP (1) EP1645942B1 (ko)
JP (2) JP2006085703A (ko)
KR (1) KR101183381B1 (ko)
CN (1) CN1758205B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130025979A (ko) * 2010-12-16 2013-03-13 삼성전자주식회사 광학식 터치 패드를 구비하는 휴대용 단말기 및 상기 휴대용 단말기의 데이터 제어방법
WO2013081260A1 (ko) * 2011-11-28 2013-06-06 에스케이씨앤씨 주식회사 포인터 이동을 기반으로 그래픽 버튼을 선택하는 사용자 인터페이스 방법 및 이를 적용한 전자장치
KR101455145B1 (ko) * 2010-09-30 2014-10-27 후아웨이 디바이스 컴퍼니 리미티드 사용자 터치 동작 모드 적응 방법 및 장치

Families Citing this family (285)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
JP4571867B2 (ja) * 2003-08-21 2010-10-27 マイクロソフト コーポレーション 電子インク処理
US8250493B2 (en) * 2005-02-05 2012-08-21 Samsung Electronics Co., Ltd. User interface method, medium, and apparatus with gesture-recognition
WO2006086508A2 (en) 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
US20100026652A1 (en) * 2005-09-01 2010-02-04 David Hirshberg System and method for user interface
US20070064004A1 (en) * 2005-09-21 2007-03-22 Hewlett-Packard Development Company, L.P. Moving a graphic element
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US20070174416A1 (en) * 2006-01-20 2007-07-26 France Telecom Spatially articulable interface and associated method of controlling an application framework
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US9304675B2 (en) 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US7940250B2 (en) * 2006-09-06 2011-05-10 Apple Inc. Web-clip widgets on a portable multifunction device
US9565387B2 (en) * 2006-09-11 2017-02-07 Apple Inc. Perspective scale video with navigation menu
US20080065722A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Media device playlists
US8243017B2 (en) 2006-09-11 2012-08-14 Apple Inc. Menu overlay including context dependent menu icon
US20080066135A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Search user interface for media device
US20080062137A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Touch actuation controller for multi-state media presentation
KR100869950B1 (ko) * 2006-12-01 2008-11-24 삼성전자주식회사 휴대 단말기의 확장형 대기화면 배치 구조 및 표시 방법
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US8788954B2 (en) * 2007-01-07 2014-07-22 Apple Inc. Web-clip widgets on a portable multifunction device
US8689132B2 (en) 2007-01-07 2014-04-01 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8451232B2 (en) 2007-01-07 2013-05-28 Apple Inc. Portable multifunction device, method, and graphical user interface for interacting with user input elements in displayed content
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US7770136B2 (en) 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
KR100815523B1 (ko) * 2007-02-08 2008-03-20 삼성전자주식회사 단말의 음악 재생 및 표시 방법과 이를 이용한 장치
EP2163987A3 (en) 2007-04-24 2013-01-23 Oblong Industries, Inc. Processing of events in data processing environments
KR20080097553A (ko) * 2007-05-02 2008-11-06 (주)멜파스 접촉 감지 패드를 이용하여 전자 기기의 절전 모드를해제하는 방법 및 장치
US7979809B2 (en) * 2007-05-11 2011-07-12 Microsoft Corporation Gestured movement of object to display edge
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US8059101B2 (en) 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US9772751B2 (en) * 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US11126321B2 (en) 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
DE202008018283U1 (de) * 2007-10-04 2012-07-17 Lg Electronics Inc. Menüanzeige für ein mobiles Kommunikationsendgerät
KR101570368B1 (ko) * 2008-08-22 2015-11-20 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
US9083814B2 (en) * 2007-10-04 2015-07-14 Lg Electronics Inc. Bouncing animation of a lock mode screen in a mobile communication terminal
US20090100383A1 (en) * 2007-10-16 2009-04-16 Microsoft Corporation Predictive gesturing in graphical user interface
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
KR20090052673A (ko) * 2007-11-21 2009-05-26 엘지전자 주식회사 단말기, 그 제어 방법 및 이를 위한 기록 매체
US20090138800A1 (en) * 2007-11-23 2009-05-28 Mckesson Financial Holdings Limited Apparatus, method and computer-readable storage medium for directing operation of a software application via a touch-sensitive surface
KR101588036B1 (ko) * 2007-11-28 2016-01-25 코닌클리케 필립스 엔.브이. 감지 디바이스 및 방법
JP5239328B2 (ja) * 2007-12-21 2013-07-17 ソニー株式会社 情報処理装置及びタッチ動作認識方法
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US9513704B2 (en) * 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
US8390579B2 (en) 2008-03-14 2013-03-05 France Telecom System for classifying gestures
CN101556501B (zh) * 2008-04-11 2012-10-17 深圳富泰宏精密工业有限公司 计算机鼠标模拟系统及方法
US10642364B2 (en) 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US8952894B2 (en) * 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers
US8849753B2 (en) * 2008-05-20 2014-09-30 Microsoft Corporation Automating asynchronous programming in single threaded systems
US8566717B2 (en) * 2008-06-24 2013-10-22 Microsoft Corporation Rendering teaching animations on a user-interface display
US20090327886A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Use of secondary factors to analyze user intention in gui element activation
JP4636131B2 (ja) 2008-07-04 2011-02-23 ソニー株式会社 情報提供装置、情報提供方法、およびプログラム
US8847739B2 (en) 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8300020B2 (en) * 2008-08-15 2012-10-30 Apple Inc. Hybrid inertial and touch sensing input device
EP2327003B1 (en) * 2008-09-17 2017-03-29 Nokia Technologies Oy User interface for augmented reality
US8769427B2 (en) 2008-09-19 2014-07-01 Google Inc. Quick gesture input
US20100087230A1 (en) * 2008-09-25 2010-04-08 Garmin Ltd. Mobile communication device user interface
US9482755B2 (en) 2008-11-17 2016-11-01 Faro Technologies, Inc. Measurement system having air temperature compensation between a target and a laser tracker
US8775971B2 (en) 2008-12-05 2014-07-08 Microsoft Corporation Touch display scroll control
JP5134517B2 (ja) * 2008-12-08 2013-01-30 キヤノン株式会社 情報処理装置及び方法
US8543975B2 (en) * 2008-12-18 2013-09-24 Microsoft Corporation Behavior-first event programming model
US20100162181A1 (en) * 2008-12-22 2010-06-24 Palm, Inc. Interpreting Gesture Input Including Introduction Or Removal Of A Point Of Contact While A Gesture Is In Progress
JP4702475B2 (ja) * 2008-12-25 2011-06-15 ソニー株式会社 入力装置、ハンドヘルド装置及び制御方法
JP2010152761A (ja) * 2008-12-25 2010-07-08 Sony Corp 入力装置、制御装置、制御システム、電子機器及び制御方法
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9250788B2 (en) * 2009-03-18 2016-02-02 IdentifyMine, Inc. Gesture handlers of a gesture engine
US8468466B2 (en) * 2009-03-27 2013-06-18 International Business Machines Corporation Radial menu selection with gestures
US8627233B2 (en) * 2009-03-27 2014-01-07 International Business Machines Corporation Radial menu with overshoot, fade away, and undo capabilities
US10824238B2 (en) 2009-04-02 2020-11-03 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9317128B2 (en) 2009-04-02 2016-04-19 Oblong Industries, Inc. Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control
WO2010129599A1 (en) * 2009-05-04 2010-11-11 Oblong Industries, Inc. Gesture-based control systems including the representation, manipulation, and exchange of data
US9436380B2 (en) * 2009-05-19 2016-09-06 International Business Machines Corporation Radial menus with variable selectable item areas
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
KR20100134153A (ko) * 2009-06-15 2010-12-23 삼성전자주식회사 터치스크린을 구비한 장치의 터치 인식 방법
JP5552772B2 (ja) * 2009-08-26 2014-07-16 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
EP3855297A3 (en) * 2009-09-22 2021-10-27 Apple Inc. Device method and graphical user interface for manipulating user interface objects
US9310907B2 (en) 2009-09-25 2016-04-12 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8264471B2 (en) * 2009-09-22 2012-09-11 Sony Mobile Communications Ab Miniature character input mechanism
US8799826B2 (en) * 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for moving a calendar entry in a calendar application
US8832585B2 (en) 2009-09-25 2014-09-09 Apple Inc. Device, method, and graphical user interface for manipulating workspace views
US8766928B2 (en) * 2009-09-25 2014-07-01 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
KR101117481B1 (ko) * 2009-10-12 2012-03-07 라오넥스(주) 멀티터치 방식 입력제어 시스템
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US9971807B2 (en) 2009-10-14 2018-05-15 Oblong Industries, Inc. Multi-process interactive systems and methods
US8924893B2 (en) 2009-10-14 2014-12-30 At&T Mobility Ii Llc Locking and unlocking of an electronic device using a sloped lock track
US9424444B2 (en) 2009-10-14 2016-08-23 At&T Mobility Ii Llc Systems, apparatus, methods and computer-readable storage media for facilitating integrated messaging, contacts and social media for a selected entity
US8621380B2 (en) * 2010-01-06 2013-12-31 Apple Inc. Apparatus and method for conditionally enabling or disabling soft buttons
US8736561B2 (en) 2010-01-06 2014-05-27 Apple Inc. Device, method, and graphical user interface with content display modes and display rotation heuristics
US8786559B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating tables using multi-contact gestures
US8698845B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface with interactive popup views
CN101770303A (zh) * 2010-01-19 2010-07-07 中兴通讯股份有限公司 一种实现光学手指鼠标方向识别的方法及移动终端
US8539386B2 (en) * 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for selecting and moving objects
US8677268B2 (en) * 2010-01-26 2014-03-18 Apple Inc. Device, method, and graphical user interface for resizing objects
US8683363B2 (en) * 2010-01-26 2014-03-25 Apple Inc. Device, method, and graphical user interface for managing user interface content and user interface elements
US8539385B2 (en) * 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for precise positioning of objects
US9052926B2 (en) 2010-04-07 2015-06-09 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9513801B2 (en) 2010-04-07 2016-12-06 Apple Inc. Accessing electronic notifications and settings icons with gestures
US9823831B2 (en) 2010-04-07 2017-11-21 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US8537371B2 (en) 2010-04-21 2013-09-17 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US8422034B2 (en) 2010-04-21 2013-04-16 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US9400170B2 (en) 2010-04-21 2016-07-26 Faro Technologies, Inc. Automatic measurement of dimensional data within an acceptance region by a laser tracker
US8619265B2 (en) 2011-03-14 2013-12-31 Faro Technologies, Inc. Automatic measurement of dimensional data with a laser tracker
US9377885B2 (en) 2010-04-21 2016-06-28 Faro Technologies, Inc. Method and apparatus for locking onto a retroreflector with a laser tracker
US9772394B2 (en) 2010-04-21 2017-09-26 Faro Technologies, Inc. Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker
US8724119B2 (en) 2010-04-21 2014-05-13 Faro Technologies, Inc. Method for using a handheld appliance to select, lock onto, and track a retroreflector with a laser tracker
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
JP5566190B2 (ja) * 2010-05-31 2014-08-06 東京アナグラム株式会社 検索装置、検索条件生成方法及びプログラム
CN101853133B (zh) * 2010-05-31 2013-03-20 中兴通讯股份有限公司 一种自动识别手势的方法及移动终端
EP2579139A1 (en) * 2010-06-01 2013-04-10 Nec Corporation Terminal, process selection method, control program, and recording medium
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
US8773370B2 (en) 2010-07-13 2014-07-08 Apple Inc. Table editing systems with gesture-based insertion and deletion of columns and rows
US8972879B2 (en) 2010-07-30 2015-03-03 Apple Inc. Device, method, and graphical user interface for reordering the front-to-back positions of objects
US9098182B2 (en) 2010-07-30 2015-08-04 Apple Inc. Device, method, and graphical user interface for copying user interface objects between content regions
US9081494B2 (en) 2010-07-30 2015-07-14 Apple Inc. Device, method, and graphical user interface for copying formatting attributes
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US9007304B2 (en) 2010-09-02 2015-04-14 Qualcomm Incorporated Methods and apparatuses for gesture-based user input detection in a mobile device
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US9710154B2 (en) 2010-09-03 2017-07-18 Microsoft Technology Licensing, Llc Dynamic gesture parameters
WO2012032409A2 (en) 2010-09-08 2012-03-15 Telefonaktiebolaget L M Ericsson (Publ) Gesture-based control of iptv system
US9164670B2 (en) 2010-09-15 2015-10-20 Microsoft Technology Licensing, Llc Flexible touch-based scrolling
US9747270B2 (en) 2011-01-07 2017-08-29 Microsoft Technology Licensing, Llc Natural input for spreadsheet actions
ES2900188T3 (es) 2010-09-24 2022-03-16 Huawei Tech Co Ltd Dispositivo electrónico portátil y método para controlar el mismo
WO2012037689A1 (en) 2010-09-24 2012-03-29 Qnx Software Systems Limited Alert display on a portable electronic device
US9021402B1 (en) 2010-09-24 2015-04-28 Google Inc. Operation of mobile device interface using gestures
CA2811253C (en) 2010-09-24 2018-09-04 Research In Motion Limited Transitional view on a portable electronic device
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US8587540B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US20120131513A1 (en) * 2010-11-19 2012-05-24 Microsoft Corporation Gesture Recognition Training
JP5479414B2 (ja) * 2010-11-24 2014-04-23 キヤノン株式会社 情報処理装置およびその制御方法
US9244606B2 (en) 2010-12-20 2016-01-26 Apple Inc. Device, method, and graphical user interface for navigation of concurrently open software applications
US9250798B2 (en) 2011-01-24 2016-02-02 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
US9436381B2 (en) 2011-01-24 2016-09-06 Apple Inc. Device, method, and graphical user interface for navigating and annotating an electronic document
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US20120216152A1 (en) * 2011-02-23 2012-08-23 Google Inc. Touch gestures for remote control operations
GB2518769A (en) 2011-03-03 2015-04-01 Faro Tech Inc Target apparatus and method
US9134899B2 (en) * 2011-03-14 2015-09-15 Microsoft Technology Licensing, Llc Touch gesture indicating a scroll on a touch-sensitive display in a single direction
CN102693123B (zh) 2011-03-24 2017-09-22 微软技术许可有限责任公司 提示信息的控制方法及控制装置
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US9164173B2 (en) 2011-04-15 2015-10-20 Faro Technologies, Inc. Laser tracker that uses a fiber-optic coupler and an achromatic launch to align and collimate two wavelengths of light
WO2012141868A1 (en) 2011-04-15 2012-10-18 Faro Technologies, Inc. Enhanced position detector in laser tracker
US9686532B2 (en) 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
US9482529B2 (en) 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US9069459B2 (en) 2011-05-03 2015-06-30 Microsoft Technology Licensing, Llc Multi-threaded conditional processing of user interactions for gesture processing using rendering thread or gesture processing thread based on threshold latency
US8732569B2 (en) 2011-05-04 2014-05-20 Google Inc. Predicting user navigation events
US10120561B2 (en) * 2011-05-05 2018-11-06 Lenovo (Singapore) Pte. Ltd. Maximum speed criterion for a velocity gesture
US8726191B2 (en) 2011-05-23 2014-05-13 International Business Machines Corporation Ephemeral object selections and fast-path gesturing for device control
US9189077B2 (en) 2011-05-24 2015-11-17 Microsoft Technology Licensing, Llc User character input interface with modifier support
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
JP2012252642A (ja) * 2011-06-06 2012-12-20 Sony Corp 情報処理装置、情報処理方法、及びプログラム
KR101162223B1 (ko) * 2011-06-14 2012-07-05 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8788711B2 (en) 2011-06-14 2014-07-22 Google Inc. Redacting content and inserting hypertext transfer protocol (HTTP) error codes in place thereof
US9769285B2 (en) 2011-06-14 2017-09-19 Google Inc. Access to network content
US8650139B2 (en) 2011-07-01 2014-02-11 Google Inc. Predicting user navigation events
US8745212B2 (en) 2011-07-01 2014-06-03 Google Inc. Access to network content
US8566696B1 (en) * 2011-07-14 2013-10-22 Google Inc. Predicting user navigation events
US8744988B1 (en) 2011-07-15 2014-06-03 Google Inc. Predicting user navigation events in an internet browser
US8806369B2 (en) 2011-08-26 2014-08-12 Apple Inc. Device, method, and graphical user interface for managing and interacting with concurrently open software applications
JP2013065290A (ja) * 2011-08-29 2013-04-11 Kyocera Corp 装置、方法、及びプログラム
US20130067366A1 (en) * 2011-09-14 2013-03-14 Microsoft Corporation Establishing content navigation direction based on directional user gestures
US8600921B2 (en) 2011-09-15 2013-12-03 Google Inc. Predicting user navigation events in a browser using directed graphs
US8655819B1 (en) 2011-09-15 2014-02-18 Google Inc. Predicting user navigation events based on chronological history data
JP6091829B2 (ja) * 2011-09-28 2017-03-08 京セラ株式会社 装置、方法、及びプログラム
US9104664B1 (en) 2011-10-07 2015-08-11 Google Inc. Access to search results
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9360940B2 (en) * 2011-11-14 2016-06-07 Google Inc. Multi-pane interface
US8856675B1 (en) * 2011-11-16 2014-10-07 Google Inc. User interface with hierarchical window display
US9584579B2 (en) 2011-12-01 2017-02-28 Google Inc. Method and system for providing page visibility information
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8793235B2 (en) 2012-01-19 2014-07-29 Google Inc. System and method for improving access to search results
DE112013000727T5 (de) 2012-01-27 2014-11-06 Faro Technologies, Inc. Prüfverfahren mit Strichcode-Kennzeichnung
JP5991509B2 (ja) * 2012-03-02 2016-09-14 コニカミノルタ株式会社 情報処理装置、プログラム
JP5563108B2 (ja) * 2012-03-27 2014-07-30 富士フイルム株式会社 撮影装置、撮影方法およびプログラム
CN102662576B (zh) * 2012-03-29 2015-04-29 华为终端有限公司 基于触摸的信息发送方法及装置
US9529486B2 (en) * 2012-03-29 2016-12-27 FiftyThree, Inc. Methods and apparatus for providing a digital illustration system
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
JP5461735B2 (ja) * 2012-04-27 2014-04-02 パナソニック株式会社 入力装置、入力支援方法及びプログラム
JP5610644B2 (ja) 2012-04-27 2014-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 入力装置、入力支援方法及びプログラム
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
JP5958059B2 (ja) * 2012-05-09 2016-07-27 コニカミノルタ株式会社 フリック操作を受け付ける装置、フリック操作受付方法およびフリック操作受付プログラム
AU2013259630B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to gesture
JP6182207B2 (ja) 2012-05-09 2017-08-16 アップル インコーポレイテッド ユーザインタフェースオブジェクトのアクティブ化状態を変更するためのフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
CN108052264B (zh) 2012-05-09 2021-04-27 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
EP3594797A1 (en) 2012-05-09 2020-01-15 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
JP6031186B2 (ja) 2012-05-09 2016-11-24 アップル インコーポレイテッド ユーザインタフェースオブジェクトを選択するためのデバイス、方法及びグラフィカルユーザインタフェース
CN105260049B (zh) 2012-05-09 2018-10-23 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US9619036B2 (en) 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
US9946792B2 (en) 2012-05-15 2018-04-17 Google Llc Access to network content
JP6024193B2 (ja) * 2012-05-15 2016-11-09 富士ゼロックス株式会社 画像表示装置及びプログラム
TW201351215A (zh) * 2012-06-06 2013-12-16 Areson Technology Corp 滑鼠模擬觸控螢幕操作的方法
US9229539B2 (en) 2012-06-07 2016-01-05 Microsoft Technology Licensing, Llc Information triage using screen-contacting gestures
US8887239B1 (en) 2012-08-08 2014-11-11 Google Inc. Access to network content
US9507513B2 (en) 2012-08-17 2016-11-29 Google Inc. Displaced double tap gesture
JP5928245B2 (ja) 2012-08-23 2016-06-01 カシオ計算機株式会社 データ処理装置及びプログラム
US9141722B2 (en) 2012-10-02 2015-09-22 Google Inc. Access to network content
US8584049B1 (en) 2012-10-16 2013-11-12 Google Inc. Visual feedback deletion
JP5768799B2 (ja) * 2012-10-29 2015-08-26 コニカミノルタ株式会社 表示装置、画像形成装置、表示装置の制御方法、および表示装置の制御プログラム
US8949735B2 (en) 2012-11-02 2015-02-03 Google Inc. Determining scroll direction intent
JP6123107B2 (ja) * 2012-11-13 2017-05-10 シャープ株式会社 情報処理装置、ソフトウェアキーボードの生成方法およびプログラム
JP2014109885A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 表示装置及び通知方法
US9389717B2 (en) * 2012-12-14 2016-07-12 Microsoft Technology Licensing, Llc Reducing latency in ink rendering
EP2936285A1 (en) * 2012-12-23 2015-10-28 Microsoft Technology Licensing, LLC Touchscreen computing device and method
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
WO2014105278A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for determining whether to scroll or select contents
KR102000253B1 (ko) 2012-12-29 2019-07-16 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
WO2014105276A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for transitioning between touch input to display output relationships
CN103019611A (zh) * 2012-12-31 2013-04-03 传聚互动(北京)科技有限公司 屏幕触控方法和装置
JP5852592B2 (ja) * 2013-01-07 2016-02-03 株式会社東海理化電機製作所 タッチ操作型入力装置
JP5862967B2 (ja) * 2013-01-16 2016-02-16 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US20140218343A1 (en) * 2013-02-01 2014-08-07 Barnesandnoble.Com Llc Stylus sensitive device with hover over stylus gesture functionality
US9785228B2 (en) * 2013-02-11 2017-10-10 Microsoft Technology Licensing, Llc Detecting natural user-input engagement
CN104035692B (zh) * 2013-03-04 2018-02-27 联想(北京)有限公司 一种信息处理方法及电子设备
KR20140112911A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 표시부 미확인 모드에서 액션을 실행하는 모바일 장치 및 그 제어 방법
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
KR102157332B1 (ko) 2013-03-15 2020-09-17 삼성전자주식회사 전자 장치에서 줌 기능을 제어하기 위한 방법 및 장치
US9477404B2 (en) 2013-03-15 2016-10-25 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9658740B2 (en) 2013-03-15 2017-05-23 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
KR101749235B1 (ko) * 2013-03-15 2017-07-03 애플 인크. 동시에 열린 소프트웨어 애플리케이션들을 관리하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US9041914B2 (en) 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US9715282B2 (en) * 2013-03-29 2017-07-25 Microsoft Technology Licensing, Llc Closing, starting, and restarting applications
CN103218062A (zh) * 2013-04-24 2013-07-24 伍斌 基于加速度传感器和动作识别的人机交互方法及其设备
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US20140372856A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Natural Quick Functions Gestures
US10664652B2 (en) 2013-06-15 2020-05-26 Microsoft Technology Licensing, Llc Seamless grid and canvas integration in a spreadsheet application
US20150067536A1 (en) * 2013-08-30 2015-03-05 Microsoft Corporation Gesture-based Content Sharing Between Devices
RU2013146467A (ru) * 2013-10-17 2015-04-27 ЭлЭсАй Корпорейшн Способ и устройство распознавания жестов с использованием асинхронной многопоточной обработки
JP6062351B2 (ja) * 2013-11-28 2017-01-18 京セラ株式会社 電子機器
JP6234283B2 (ja) * 2014-03-12 2017-11-22 アルプス電気株式会社 入力装置及び車両用操作装置
US9990046B2 (en) 2014-03-17 2018-06-05 Oblong Industries, Inc. Visual collaboration interface
JP6305147B2 (ja) * 2014-03-25 2018-04-04 キヤノン株式会社 入力装置、操作判定方法、コンピュータプログラム、及び記録媒体
WO2016054736A1 (en) 2014-10-07 2016-04-14 Xyz Interactive Technologies Inc. Device and method for orientation and positioning
US20170117891A1 (en) 2014-06-02 2017-04-27 Xyz Interactive Technologies Inc. Touch-less switching
US9395174B2 (en) 2014-06-27 2016-07-19 Faro Technologies, Inc. Determining retroreflector orientation by optimizing spatial fit
US20160070455A1 (en) * 2014-09-10 2016-03-10 International Business Machines Corporation Toggle graphic object
US10151600B2 (en) 2014-11-25 2018-12-11 Google Llc Systems and methods for controlling viewport movement in view of user context
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10613732B2 (en) 2015-06-07 2020-04-07 Apple Inc. Selecting content items in a user interface display
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
JP6559045B2 (ja) * 2015-10-29 2019-08-14 キヤノン株式会社 情報処理装置、方法、コンピュータプログラム及び記憶媒体
US10437410B2 (en) 2016-03-31 2019-10-08 Cisco Technology, Inc. Conversation sub-window
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
US11216119B2 (en) 2016-06-12 2022-01-04 Apple Inc. Displaying a predetermined view of an application
US10529302B2 (en) 2016-07-07 2020-01-07 Oblong Industries, Inc. Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold
CN107885450B (zh) * 2017-11-09 2019-10-15 维沃移动通信有限公司 实现鼠标操作的方法和移动终端
US10719230B2 (en) * 2018-09-27 2020-07-21 Atlassian Pty Ltd Recognition and processing of gestures in a graphical user interface using machine learning
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11256822B2 (en) * 2019-07-22 2022-02-22 Whitestar Communications, Inc. Systems and methods of gesture triggered automatic erasure on a private network
JP6651275B1 (ja) * 2019-08-01 2020-02-19 株式会社ディスコ 加工装置
US11403064B2 (en) 2019-11-14 2022-08-02 Microsoft Technology Licensing, Llc Content capture experiences driven by multi-modal user inputs
JP2022090171A (ja) * 2020-12-07 2022-06-17 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び情報処理方法
US11893174B1 (en) 2022-10-28 2024-02-06 Dell Products L.P. Information handling system mouse gesture to support transfer of visual images in a multi-display configuration

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1223366A (en) 1984-09-27 1987-06-23 Abijah S. Fox System for automatic adjustment and editing of handwritten text images
JP2540652B2 (ja) 1990-06-01 1996-10-09 株式会社東芝 半導体装置
US5347295A (en) * 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
US5220649A (en) * 1991-03-20 1993-06-15 Forcier Mitchell D Script/binary-encoded-character processing method and system with moving space insertion mode
US5848187A (en) * 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
US5880411A (en) * 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
JP3292752B2 (ja) * 1992-10-21 2002-06-17 シャープ株式会社 ジェスチャー処理装置およびジェスチャー処理方法
US5428805A (en) 1992-12-22 1995-06-27 Morgan; Michael W. Method and apparatus for recognizing and performing handwritten calculations
US5511135A (en) * 1993-11-29 1996-04-23 International Business Machines Corporation Stylus-input recognition correction manager
JPH07200155A (ja) * 1993-12-10 1995-08-04 Microsoft Corp ペン型コンピュータシステムの非目的結果検出
JP3546337B2 (ja) 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
US5929840A (en) * 1994-03-04 1999-07-27 Microsoft Corporation System and method for computer cursor control
US5570113A (en) * 1994-06-29 1996-10-29 International Business Machines Corporation Computer based pen system and method for automatically cancelling unwanted gestures and preventing anomalous signals as inputs to such system
US5495566A (en) * 1994-11-22 1996-02-27 Microsoft Corporation Scrolling contents of a window
JPH08286807A (ja) * 1995-04-18 1996-11-01 Canon Inc データ処理装置及びそのジェスチャ認識方法
JP3161936B2 (ja) * 1995-04-25 2001-04-25 シャープ株式会社 電子機器
US5730602A (en) 1995-04-28 1998-03-24 Penmanship, Inc. Computerized method and apparatus for teaching handwriting
CN1155876A (zh) 1995-04-28 1997-07-30 伊尔默瑙玻璃技术有限公司 硼硅酸盐玻璃
US5689667A (en) 1995-06-06 1997-11-18 Silicon Graphics, Inc. Methods and system of controlling menus with radial and linear portions
US5694150A (en) * 1995-09-21 1997-12-02 Elo Touchsystems, Inc. Multiuser/multi pointing device graphical user interface system
JPH09237149A (ja) * 1996-03-01 1997-09-09 Matsushita Electric Ind Co Ltd 携帯端末装置および携帯端末装置におけるショートカット処理方法
US5864635A (en) * 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US5862256A (en) * 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
US5874936A (en) * 1996-12-20 1999-02-23 International Business Machines Corporation Method and apparatus for automatic scrolling by remote control
US6268857B1 (en) * 1997-08-29 2001-07-31 Xerox Corporation Computer user interface using a physical manipulatory grammar
US6057845A (en) * 1997-11-14 2000-05-02 Sensiva, Inc. System, method, and apparatus for generation and recognizing universal commands
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
EP1717677B1 (en) * 1998-01-26 2015-06-17 Apple Inc. Method and apparatus for integrating manual input
US6249606B1 (en) * 1998-02-19 2001-06-19 Mindmaker, Inc. Method and system for gesture category recognition and training using a feature vector
US6104317A (en) * 1998-02-27 2000-08-15 Motorola, Inc. Data entry device and method
WO1999056198A2 (en) * 1998-04-24 1999-11-04 Natural Input Solutions Inc. Pen based edit correction interface method and apparatus
KR100553671B1 (ko) 1998-06-27 2006-05-10 삼성전자주식회사 컴퓨터 시스템의 포인팅 장치 구동 방법
GB2340265B (en) 1998-07-31 2003-04-23 Sony Uk Ltd Data processing
JP2000137571A (ja) * 1998-10-29 2000-05-16 Casio Comput Co Ltd 手書き入力装置及び手書き入力処理プログラムを記録した記録媒体
JP2001117686A (ja) * 1999-10-20 2001-04-27 Toshiba Corp ペン入力装置およびペン入力装置のポインティング処理方法
US20010036619A1 (en) * 1999-10-28 2001-11-01 Kerwin Patrick A. Training method
JP2001202174A (ja) * 2000-01-21 2001-07-27 Canon Inc 画像表示装置、方法および記憶媒体
DE50115344D1 (de) * 2000-07-21 2010-03-25 Speedscript Ag Verfahren für ein schnellschreibsystem und schnellschreibgerät
US20020015064A1 (en) * 2000-08-07 2002-02-07 Robotham John S. Gesture-based user interface to multi-level and multi-modal sets of bit-maps
US6897853B2 (en) * 2000-11-10 2005-05-24 Microsoft Corp. Highlevel active pen matrix
JP2002244794A (ja) * 2001-02-19 2002-08-30 Sony Corp 情報入力装置
US6738045B2 (en) * 2001-02-26 2004-05-18 Microsoft Corporation Method and system for accelerated data navigation
US6621483B2 (en) * 2001-03-16 2003-09-16 Agilent Technologies, Inc. Optical screen pointing device with inertial properties
US6938222B2 (en) * 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
JP4031255B2 (ja) 2002-02-13 2008-01-09 株式会社リコー ジェスチャコマンド入力装置
KR100902740B1 (ko) 2002-06-27 2009-06-15 주식회사 케이티 마우스의 움직임을 이용한 클릭신호 자동 입력 장치 및 그방법
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US7088861B2 (en) * 2003-09-16 2006-08-08 America Online, Inc. System and method for chinese input using a joystick
US7436535B2 (en) * 2003-10-24 2008-10-14 Microsoft Corporation Real-time inking
US7365737B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Non-uniform gesture precision
US20060001656A1 (en) * 2004-07-02 2006-01-05 Laviola Joseph J Jr Electronic ink system
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455145B1 (ko) * 2010-09-30 2014-10-27 후아웨이 디바이스 컴퍼니 리미티드 사용자 터치 동작 모드 적응 방법 및 장치
US9052761B2 (en) 2010-09-30 2015-06-09 Huawei Device Co., Ltd. Methods and devices for user touch operation
KR20130025979A (ko) * 2010-12-16 2013-03-13 삼성전자주식회사 광학식 터치 패드를 구비하는 휴대용 단말기 및 상기 휴대용 단말기의 데이터 제어방법
WO2013081260A1 (ko) * 2011-11-28 2013-06-06 에스케이씨앤씨 주식회사 포인터 이동을 기반으로 그래픽 버튼을 선택하는 사용자 인터페이스 방법 및 이를 적용한 전자장치

Also Published As

Publication number Publication date
US7627834B2 (en) 2009-12-01
US20060055684A1 (en) 2006-03-16
EP1645942A2 (en) 2006-04-12
US9417701B2 (en) 2016-08-16
US20100251116A1 (en) 2010-09-30
EP1645942B1 (en) 2018-04-18
CN1758205A (zh) 2006-04-12
JP2006085703A (ja) 2006-03-30
US20060055685A1 (en) 2006-03-16
KR101183381B1 (ko) 2012-09-14
EP1645942A3 (en) 2006-08-02
JP2012014746A (ja) 2012-01-19
JP5542774B2 (ja) 2014-07-09
US7614019B2 (en) 2009-11-03
US7761814B2 (en) 2010-07-20
CN1758205B (zh) 2013-03-27
US20060055662A1 (en) 2006-03-16

Similar Documents

Publication Publication Date Title
KR101183381B1 (ko) 플릭 제스쳐
US8147248B2 (en) Gesture training
US9996176B2 (en) Multi-touch uses, gestures, and implementation
EP3180711B1 (en) Detecting selection of digital ink
US7925987B2 (en) Entry and editing of electronic ink
JP4694606B2 (ja) ジェスチャ判定方法
EP1363231B1 (en) Overlaying electronic ink
US7106312B2 (en) Text input window with auto-growth
US20060267958A1 (en) Touch Input Programmatical Interfaces
JP2019507915A (ja) ジェスチャを用いたノートテイキングのための装置および方法
US20060242608A1 (en) Redistribution of space between text segments
CN109002201B (zh) 在电子呈现系统中拒绝无关触摸输入
US7187801B2 (en) Multiple handwriting recognition engine selection
US20240004532A1 (en) Interactions between an input device and an electronic device
WO2023121728A2 (en) Multidirectional gesturing for on-display item identification and/or further action control

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150819

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160818

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170818

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180816

Year of fee payment: 7