KR19980024421A - 직관적인 제스처-기반 그래픽 사용자 인터페이스 - Google Patents
직관적인 제스처-기반 그래픽 사용자 인터페이스 Download PDFInfo
- Publication number
- KR19980024421A KR19980024421A KR1019970046133A KR19970046133A KR19980024421A KR 19980024421 A KR19980024421 A KR 19980024421A KR 1019970046133 A KR1019970046133 A KR 1019970046133A KR 19970046133 A KR19970046133 A KR 19970046133A KR 19980024421 A KR19980024421 A KR 19980024421A
- Authority
- KR
- South Korea
- Prior art keywords
- screen
- user input
- gesture
- palette
- selection
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 abstract description 46
- 230000004044 response Effects 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04807—Pen manipulated menu
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
사용자는 포인팅 장치(pointing device)(190)를 이용하여 전자 장치의 스크린 객체(screen object)(210, 220, 230)의 수동 선택(manual selection) 또는 제스처 선택(gesture selection)을 수행한다. 단일 탭(single tap)과 같은 수동 선택 후에, 전자 장치(100)는 전자 장치(100)의 기능을 정확하게 설명하는 팔래트 버튼(palette button)(451, 452, 453, 455)을 가진 임시 지향 팔래트(temporary directional palette)(450)을 자동적으로 제공한다. 각각의 팔래트 버튼은 원래의 탭 영역에 관련하는 독특한 영역 방위를 가진다. 원하는 팔래트 버튼에 두 번째 탭을 제공함으로써, 초심 사용자는 전자 장치(100)의 이용 가능한 기능들과 그들에 대응하는 지향성 제스처들을 학습한다. 또한 사용자는 방향 팔래트가 스크린(150)에 나타나기 전에, 더블 탭 또는 적절한 방향으로 라인을 그리는 것과 같이, 스크린 객체 및 기능 모두를 제스처 선택할 수 있다.
Description
본 발명은 일반적으로 사용자 인터페이스(user interface)에 관한 것으로, 특히, 제스처(gesture)를 허용하는 그래픽 사용자 인터페이스(graphical user interface)에 관한 것이다.
일반적으로, 그래픽 사용자 인터페이스는 선형 메뉴(linear menu), 스크린 버튼(screen button) 및 마우스(mouse), 조이스틱(joystick), 또는 터치 패드(touch pad)와 같은 포인팅 장치(pointing device)를 이용하여, 컴퓨터(computer) 또는 컴퓨터-제어형 전자 제품(computer-controlled appliance)과 같은 전자 장치를 제어한다. 포인팅 장치는 원하는 기능을 나타내는 스크린 영역을 선택하고 그 다음, 마우스 버튼과 같은 선택 버튼을 선택하여, 그러한 기능의 수행을 명령한다. 사용자가 어떤 기능이 가능한지를 알 수 있게 하기 위해, 선형 메뉴 와 스크린 버튼은 연속적으로 그들의 기능을 명료하게 설명하거나, 아이콘으로 보여준다. 이렇게 함으로써 사용자에게 다른 정보를 제공하는데 이용될 수 있는 디스 플레이 공간이 줄어들게 된다. 선형 메뉴 및 스크린 버튼에 의해 점유되는 스크린 공간을 최소화하기 위해, 풀다운(pull-down) 또는 다른 보조 메뉴가 부대 적인 선택을 리스트하고, 주 메뉴 항목을 선택함에 따라 부가적인 기능을 표시 할 수 있다.
다수의 펜(pen) 또는 스타일러스-기반(stylus-based) 전자 제품은 자주 사용되는 기능을 수행하기 위한 쉬운 방법으로 제스처(gesture) 사용자 인터페이스를 이용해 왔다. 그러나, 제스처는 단지 통상적인 선형 메뉴 및 스크린 버튼 그래픽 사용자 인터페이스에 부가하여 이용 가능하다. 따라서, 축소된 스크린 공간 문제는 두 가지 유형의 사용자 인터페이스에 남아 있다. 간단하고 학습된 움직임을 통해, 제스처 사용자 인터페이스는 기능에 대한 빠른 엑세스를 허용한다. 예를 들면, 삭제될 문자를 선택하는 포인팅 장치를 사용하며, 삭제(delete) 버튼을 누르는 대신, 사용자는 스타일러스를 이용하여, 단어들을 간단하게 좌에서 우로 라인을 그어 지움으로서, 이러한 단어들이 삭제 될 것이다. 불행하게도, 이용 가능한 대부분의 제스처들은 이러한 삭제 예 만큼 직관적이지는 않다. 또한 제스처의 손쉬운 방법들은 동일한 기능을 얻는 선형 메뉴 및 스크린 버튼 방법과는 근본적으로 다르다.
따라서, 이러한 제스처 사용자 인터페이스들은 숙련된 사용자에게만 이용될 수 있음을 의미한다. 사용자는 먼저 이용 가능한 제스처 및 사용자 문서 또는 온 스크린 도움(help) 문서로부터 이용 가능한 제스처 및 그들의 기능을 학습하는 과정을 마쳐야 한다. 제스처를 잊는 경우, 사용자는 제스처 및 그의 기능을 재학습하게 위해 문서로 복귀하는 정해진 노력을 기울여야만 할 것이다. 결국, 사용자가 전기장치에서 자주 사용되는 기능을 빠르게 엑세스하고, 문서의 불편함을 회피할 수 있는 배우기 쉬운 제스처 기반 사용자 인터페이스(easy-to-learn gesture-based user interface)의 필요성이 존재한다. 또한, 표시 공간을 소비하는 선형 메뉴 및 스크린 버튼의 필요성을 줄일 수 있는 제스처-기반 사용자 인터페이스가 요구된다.
본 발명은 직관적인 제스처 기반 그래픽 사용자 인터페이스(intuitive gesture-based graphical user interface)를 제공하는 것을 목적으로 한다. 이러한 직관적인 제스처 기반 그래픽 사용자 인터페이스는 사용자가 컴퓨터 또는 컴퓨터 기반 전자 제품의 자주 사용되는 기능을 엑세스 하는 방법으로 제스처를 빠르게 학습하도록 한다. 직관적인 제스처-기반 그래픽 사용자 인터페이스는 또한 이용 가능한 표시 공간을 감소시키는 스크린 버튼의 필요성을 줄인다.
바람직하게, 전술하는 목적을 달성하기 위한 본 발명에 따르면, 직관적인 제스처-기반 그래픽 사용자 인터페이스는 펜(pen) 또는 스타일러스-기반(stylus-based)장치를 이용하여 구현되어, 사용자는 스타일러스를 이용하여 접촉 감지 스크린(touch-sensitive screen)상에 태핑(tapping) 또는 포인트 그림(point drawing)에 의해 스크린 항목의 수동 선택을 수행한다. 단일 탭 이후에, 장치는 지향성 팔래트(directional palette)의 중심에 관련하여 상이한 영역 방위(compass direction)를 가진 팔래트 버튼을 가진 지향성 팔래트를 제공한다. 각각의 팔래트 버튼은 기능 또는 다른 항목의 정보를 나타내는 독특한 인식기를 명쾌하게 표시한다. 두 번째 탭과 같이, 원하는 팔래트 버튼의 수통 선택을 수행함으로써, 초보 사용자는 장치의 이용 가능한 기능들 및 그들의 대응 제스처들을 학습한다. 사용자가 전자 장치와 보다 친숙해 짐에 따라, 사용자는 스크린 객체 상에 탭을 연속하여 두 번 제공하거나, 선택된 스크린 객체로부터 기인하는 적절한 영역 방위로 라인을 그릴 수 있으며, 장치는 지향성 팔래트를 나타내지 않고도 적절하게 이러한 제스처를 처리할 것이다.
도 1은 전자 장치에 구현되는 바와 같은 바람직한 실시 예에 따른 직관적인 제스처-기반 그래픽 사용자 인터페이스(intuitive gesture-based graphic user interface)를 나타내는 도면.
도 2는 바람직한 실시 예에 따른 도 1에 도시된 전자 장치의 스크린(screen)을 상세하게 도시한 도면.
도 3은 바람직한 실시 예에 따라 사용자가 스크린 객체(screen object)의 수동 선택(manual selection)을 수행하는 경우, 도 2에 도시된 스크린을 상세하게 도시한 도면.
도 4는 바람직한 실시 예에 따라 지향성 팔래트(directional palette)가 나타나는 경우, 도 2에 도시된 스크린을 상세하게 도시한 도면.
도 5는 바람직한 실시 예에 따라, 사용자가 도 4에 도시된 지향성 팔래트 상의 팔래트 버튼(palette button)의 수동 선택을 수행하는 경우, 도 2에 도시된 스크린을 상세하게 도시한 도면.
도 6은 바람직한 실시 예에 따라, 사용자가 스크린 객체 및 기능의 제스처 선택(gesture selection)을 수행하는 경우, 도 2에 도시된 스크린을 상세하게 도시한 도면.
도 7은 또 다른 바람직한 실시 예에 따라, 사용자가 도 4에 도시된 지향성 팔래트 상에 팔래트 버튼의 수동 선택을 수행하는 경우, 도 2에 도시된 스크린을 상세하게 도시한 도면.
도 8은 또 다른 바람직한 실시 예에 따라, 사용자가 스크린 객체의 제스처 선택을 수행하는 경우, 도 2에 도시된 스크린을 상세하게 도시한 도면.
도 9는 바람직한 실시 예에 따라 직관적인 제스처-기반 그래픽 사용자 인터페이스의 동작을 설명하기 위한 플로우 차트.
도면의 주요 부분에 대한 부호의 설명
100: 전자 장치
120: 푸시 버튼
150: 접촉 감지 스크린
190: 포인팅 장치
210, 220, 230: 스크린 객체
310: 탭된 영역
450: 지향성 팔래트
451, 452, 454, 455: 팔래트 버튼
620: 라인
750: 보조 팔래트
본 발명의 상기 및 기타 목적과 여러 가지 장점은 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시 예로부터 더욱 명확하게 될 것이다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.
도 1은 전자장치에 구현되는 바와 같이 바람직한 실시 예에 따른 직관적인 제스처 기반 그래픽 사용자 인터페이스를 도시한다. 전자 장치(100)는 바람직하게, 컴퓨터 또는 다른 마이크로 프로세서 기반 전자 제품이다. 도면에 있어서, 전자 장치(100)는 전화기, 전자 메일(electronic mail), 팩시밀 특성(facsimile features)을 가진 통합형 무선 통신 장치로 도시되지만, 전자 장치(100)는 모뎀(modulator/demodulator: MODEM), 텔레비전/VCR 결합체, 팩시밀 장치, 복사 장치(photocopy machine), 개인용 디지털 보조 장치(personal digital assistant) 등을 가진 데스크 탑 컴퓨터(desk top computer) 또는 휴대용 컴퓨터(portable computer) 일 수 있다. 전자 장치(100)는 접촉 감지 스크린(touch-sensitive screen)(150), 푸시 버튼(push button)(120)을 가진다. 펜 또는 스타일러스와 같은 포인팅 장치(190)는 스크린과 상호 작용하여, 스크린의 영역들을 선택한다. 물론, 마우스, 조이스틱, 터치-패드, 사람의 손가락과 같은 다른 포인팅 장치가 펜 또는 스타일러스를 대체 할 수 있다.
도 2는 바람직한 실시 예에 따른 도 1 에 도시된 전자 장치의 스크린을 상세하게 도시한다. 이러한 스크린은 전자 메일 박스(electronic mail box)내의 수신된 수신된 메시지의 리스트와 같은 하나 이상의 스크린 객체(210, 220, 230)를 마이크로 프로세서에 의한 지시에 따라 표시한다. 스크린 객체는 데이터의 그래픽 표현이다. 비록, 전자 메일 소프트 프로그램이 본 명세서의 예로 이용되었으나, 스크린 객체로서 알파벳 인덱스(alphabet index)를 가진 어드레스 북(address book) 프로그램, 스크린 객체로서 달력(calendar)을 가진 계획 프로그램(scheduling program), 스크린 객체로서 리스트 항목을 가진 작업 프로그램(to-do program), 스크린 객체로서 지향성 버튼(directional button)을 가진 전자 게임, 또는 복사 또는 팩시밀 전송과 같은 기능을 수행하는데 적절한 전자 프로그램과 같은 다른 유형의 스크린 객체를 가진 많은 다른 프로그램으로 대체될 수 있다.
스크린 객체 및 그와 관련된 기능을 선택하는 두 가지 방법이 있다. 탭(tap) 또는 포인터의 그림(drawing)과 같은, 스크린 객체의 수동 선택은 수동 선택된 스크린 객체에 대응하는 기능을 지시하는 명쾌한 인식기를 가진 팔래트 버튼들과 함께 지향성 팔래트를 자동적으로 나타낸다. 원하는 팔래트 버튼 상에 두 번째 탭과 같은 수동 선택으로 인식된 기능의 실행이 지시된다. 한편, 제스처 선택으로 스크린 객체와 기능 모두의 지정이 가능하다. 스크린 객체에서 시작하여 어떤 방위로 진행하는 라인을 그리는 것과 같은, 제스처 선택은 라인의 시작점으로부터 원하는 객체를 나타내며, 라인이 그려진 방위로부터 원하는 기능을 나타낸다.
스크린 객체를 수동으로 선택하기 위해, 초심 사용자는 스크린 객체 상에 직관적으로 탭을 수행하거나, 포인트를 그림으로써 전자 메일 메시지를 선택한다. 도 3은 바람직한 실시 예에 따라 스크린의 객체의 수동 선택을 수행하는 경우, 도 2 에 도시된 스크린을 상세하게 도시한다. 전자 장치는 탭된 영역(310)을 강조함으로써 사용자에게 바람직하게 가시 피드백(visual feedback)을 제공한다. 가청 피드백(audio feedback)이 선택적으로 사용자에게 제공될 수 있다. 단일 탭 또는 포인트의 그림과 같은 수동 선택 후에, 전자 장치는 탭 또는 포인트가 발생된 스크린의 동일 영역 상에 바람직하게 중심을 가진 지향성 팔래트를 사용자에게 자동적으로 제공할 것이다.
도 4는 바람직한 실시 예에 따라, 지향성 팔래트가 나타나는 경우, 도 2에 도시된 스크린을 상세하게 도시한다. 지향성 팔래트(450)는 사용자에게 다수의 팔래트 버튼을 제공한다. 비록, 지향성 팔래트(450)가 사용자에게 5개의 팔래트 버튼을 제공하는 것으로 도시되지만, 필요에 따라 더 많거나 더 적은 버튼을 제공할 수 있다. 지향성 팔래트의 형태, 크기 및 구성은 어떤 스크린 객체가 선택되느냐에 달려 있다. 각각의 팔래트 버튼은 바람직하게 대략 첫 번째 탭의 위치인 지향성 팔래트의 중심에 관련한 독특한 방위를 가지며; 이러한 방향들은 유사 영역 방위(like compass direction)로 표시될 수 있다. 각 팔래트 버튼은 또한 팔래트 버튼을 작동시킴으로써 무슨 기능이 엑세스 될 수 있는 지를 설명하거나 나타내는 기능인식기(function identifier)를 표시한다.
본 명세서의 전자 메일의 예에 있어서, 스크린 객체는 수신된 메일 메시지를 표시한다. 따라서, 수신된 메일 메시지 스크린 객체가 수동으로 선택된 경우 나타나는 지향성 팔래트(450)는 cancel(취소) 기능을 엑세스 하는 북쪽의 팔래트 버튼(451)을 가진다. 이러한 취소 기능을 엑세스 하는 또 다른 방법은 팔래트의 외부의 스크린 부분에 탭을 수행하는 것이다. 취소 기능은 스크린으로부터 현재 팔래트를 제거하거나, 가장 최근 동작을 수행하지 않는 것이다. 동쪽에 대해, 사용자가 팔래트 버튼(452)을 선택하여, 메시지를 또 다른 수령인에게 forward(전송) 할 수 있다. 남쪽에 대해, 팔래트 버튼(453)은 메시지의 deletion(삭제)를 지시하며, 서쪽에 대해, 팔래트(454)는 사용자에게 메시지의 송신자에 대한 reply(응답)을 요청한다. 끝으로, 중앙 팔래트 버튼(455)은 사용자가 메시지를 read(판독)하도록 한다. 팔래트 버튼 중의 어떤 것을 태핑 함으로써 팔래트 버튼에 표시된 기능이 호출된다.
사용자가 이용 가능한 기능 선택과 그들에 관련된 제스처를 학습하고 기억하는데 도움을 주기 위해, 지향성 팔래트는 바람직하게 가능한 논리적으로 기능 선택을 제공한다. 이러한 예로, reply(응답)은 서쪽인 반면, forward(전송)은 동쪽이다. 따라서, reply(응답)은 어떻든 되돌아가는 것이며, forward(전송)은 어떻든 전진하는 것이라는 것을 사용자는 직관적으로 이해 할 수 있을 것이다.
도 5는 바람직한 실시 예에 따라 사용자가 도 4에 도시된 지향성 팔래트에서 팔래트 버튼의 수동 선택을 수행하는 경우, 도 2에 도시된 스크린을 상세하게 도시한다. 팔래트 버튼의 수동 선택은 두 번째 탭을 이용하여 구현된다. 중앙 팔래트 버튼(455)이 탭되는 경우, 마이크로 프로세서는 깜박임과 같이, 일시적으로 팔래트 버튼을 강조하며, 도 2에 도시된 이전 스크린은 선택된 전자 메시지 스크린으로 대체된다. 따라서, 두 번째 탭으로, 사용자는 첫 번째 탭에 의해 선택된 메시지를 판독 할 수 있을 것이다. 이러한 방법으로, 지향성 팔래트(450)는 사용자에게 선택된 메시지를 판독하기 위해 더블 탭(double tap)을 사용한다는 것을 알려준다.
도 5 에 도시된 지향성 팔래트로 진행하여, 첫 번째 탭의 좌측의 reply(응답) 버튼 상에 두 번째 탭을 제공하는 경우 응답 스크린이 생성될 것이다. 이것에 대응하는 제스처는 도 6에 도시된 바와 같이 우에서 좌로 그려진 라인이 될 것이다. 도 6은 바람직한 실시 예에 따라 사용자가 스크린 객체 및 기능의 제스처 선택을 수행하는 경우, 도 2에 도시된 스크린을 상세하게 도시한다. 스크린 객체(220)상에 우에서 좌로 그려진 라인인 제스처는 스크린 상의 라인(620)을 이용하여 감지된다. 응답 제스처가 마이크로 프로세서에 의해 인식되는 경우, 응답 팔래트 버튼(454)이 생성되어, 가시 피드백을 제공하도록 깜박이며, 사용자가 지향성 팔래트로부터 응답 팔래트 버튼을 수동으로 선택된 경우, 응답 스크린이 나타나는 것과 같이, 응답 스크린이 정확하게 나타난다. 기능을 엑세스 하기 위한 심적 모델은 초심 사용자 및 숙련된 사용자 모두에게 동일함을 알 수 있다. 따라서, 초심 사용자에게 대한 개별적이고, 장황한 스크린 버튼이 더 이상 요구되지 않는다.
사용자가 제스처를 학습한 경우, 사용자는 이용 가능한 기능을 엑세스 하기 위해 지향성 팔래트가 나타나기를 더 이상 기다리지 않아도 된다. 따라서, 직관적인 제스처 기반 그래픽 사용자 인터페이스는 초심 사용자에게 장치와 상호 작용하는 일차적인 방법으로 제스처를 학습시킨다. 지향성 팔래트와 제스처 기반 그래픽 사용자 인터페이스를 조합함으로써, 직관적인 제스처 기반 그래픽 사용자 인터페이스는 정확하게 프로그램 기능을 설명한다. 그러나, 지향성 팔래트가 제공되기 전에 사용자는 장치와 대화 할 수 있기 때문에, 직관적인 제스처 기반 그래픽 사용자 인터페이스는 요구되는 경우, 사용자에게 정확한 기능 선택을 제공함으로써 스크린의 보다 효과적으로 사용하도록 한다. 또한, 초심 및 숙련된 사용자 모두에 대해 동일한 심적 모델을 제공함으로써, 초심자는 보다 쉽게 숙련된 사용자 상태로 변화될 수 있을 것이다.
도 7은 또 다른 바람직한 실시 예에 따라 사용자가 도 4에 도시된 지향성 팔래트 상에 팔래트 버튼의 수동 선택을 수행하는 경우, 도 2에 도시된 스크린을 상세하게 도시한다. 지향성 팔래트는 어떤 수의 제스처 및 엑세스 가능한 기능을 생성하기 위해 누적(stacked) 될 수 있다. reply(응답)으로 표시된 서쪽 팔래트 버튼 상에 탭을 수행하면, 보조 팔래트(750)가 나타난다. 보조 팔래트(750)는 두 개의 팔래트 버튼, 즉, 메시지의 송신자에 대한 reply(응답)을 위한 북-서쪽 팔래트 버튼(751) 과 가능한 수령인의 list(리스트) 선택을 위한 남-서쪽 팔래트 버튼(753)을 제공한다. 보조 팔래트(750)는 무한적으로 누적될 수 있으며, 어떤 수의 팔래트 버튼을 포함할 수 있다.
도 8은 또 다른 바람직한 실시 예에 따라 사용자가 객체의 제스처 선택을 수행하는 경우, 도 2에 도시된 스크린을 상세하게 도시한다. 누적되는 팔래트의 실시 예에 있어서, 제스처 선택으로 사용자는 보조 팔래트로 안내되거나, 곧장 기능 엑세스로 진행할 수 있다. 이러한 실시 예에 있어서, 사용자에 의해 제스처 라인(620)이 만들어지며, 보조 팔래트(750)가 생성된다. 그러나, 제스처가 북-서로 휘어서 연속되는 경우, reply(응답) 팔래트(454)가 먼저 나타나고, 깜박이며, 그 다음 팔래트 버튼(751)이 나타나서, 깜박이며, 메시지 송신자 John에 어드레스된 응답 스크린 이 현재의 스크린을 대체 한다. 따라서, 팔래트(450) 및 보조 팔래트(750) 모두는 제스처를 사용을 동해 회피 될 수 있다.
도 9는 바람직한 실시 예에 따라 직관적인 제스처 기반 그래픽 사용자 인터페이스의 동작의 플로우 차트를 도시한다. 시작 단계(901)이후에, 단계(910)에 도시된 바와 같이 전자 장치는 하나 이상의 객체를 표시한다. 이러한 장치는 그 다음 단계(920)에 도시된 바와 같이 사용자 입력을 대기한다. 사용자 입력이 수신된 경우, 스크린의 부분은 강조되어 사용자에게 가시 피드백을 제공한다. 장치는 또한 가정 피드백을 사용자에게 제공할 수 있다. 장치는 단계(930)에 도시된 바와 같이, 수신된 사용자 입력이 스크린 객체의 수동 선택인지 제스처 선택인지를 평가한다. 사용자 입력이 분기(933)로 도시된, 수동 선택(예를 들면, 탭)인 경우, 장치는 단계(940)에 도시된 바와 같이 지향성 팔래트를 표시한다. 다시, 단계(590)에 도시된 바와 같이, 사용자 입력을 대기하고, 사용자 입력을 강조하며, 단계(955)에 도시된 바와 같이, 수신된 사용자 입력이 탭인지 제스처인지를 평가한다.
다음 사용자 입력이 탭인 경우, 단계(960)에 도시된 바와 같이, 마이크로 프로세서는 사용자 입력이 기능 호출인지를 평가한다. 다음 입력이 제스처 입력인 경우, 단계(970)에 도시된 바와 같이, 가시 피드백으로 선택된 팔래트 버튼이 표시되며, 그 다음, 단계(960)에 도시된 바와 같이, 사용자 입력이 기능 호출인지를 평가한다. 다시, 가청 피드백이 제스처 선택을 확인하는데 이용될 수 있다.
단계(960)에서 평가된 바와 같이 사용자 입력이 기능 호출이 아닌 경우, 장치는 단계(940)로 복귀하며, 다음 지향성 팔래트(즉, 보조 팔래트)를 표시한다. 루프(963)는 누적된 팔래트 효과를 제공하며, 분기(965)로 도시되는 바와 같이, 사용자 입력이 기능 호출로 될 때까지 필요한 만큼의 횟수로 수행될 수 있다. 기능 호출이 선택된 경우, 단계(980)에 도시된 바와 같이, 장치는 선택된 팔래트 버튼을 깜박이게 하고 마이크로 프로세서는 기능을 수행한다.
단계(930)를 다시 참조하면, 초기 사용자 입력이 제스처 선택으로 결정되는 경우, 분기(935)에 도시된 바와 같이, 장치는 단계(970)에서 제스처 선택에 의해 선택된 팔래트 버튼을 표시하고, 사용자에게 가시 피드백을 제공한다. 그 다음, 장치는 단계(960)로 직접 진행하여, 제스처가 기능 호출인지를 결정한다. 선택된 기능이 수행되는 경우, 종료 단계(990)로 진행하여, 장치는 시작 단계(901)로 복귀할 수 있다.
선택으로, 지향성 팔래트의 표시 타이밍은 두 번째 탭을 수행하기 전에 나타나는 지향성 팔래트를 단순히 대기하는 것 보다 초심 사용자가 제스처 선택을 사용하도록 변경될 수 있다. 예를 들면, 먼저 장치가 사용된 경우, 지향성 팔래트는 단일 탭에 대한 반응으로 빠르게 나타날 수 있다. 지향성 팔래트의 빠른 생성으로 사용자는 처음에 이용 가능한 기능 및 대응 제스처를 학습할 수 있을 것이다. 사용자가 어떤 기능을 작동시키기 위해 어떤 방위로 제 2 탭을 하는 것인가를 학습함에 따라, 첫 번째 탭이 발생된 후에 방향성 팔래트는 더 늦게 생성될 것이다. 따라서, 성급한 사용자는 지향성 팔래트가 나타나기 전에 두 번째 탭을 수행하려고 할 것이다. 지향 팔래트가 나타나기 전에, 사용자가 탭을 두 번 수행하거나 라인을 그리는 경우, 제스처를 기억하기 위한 어떤 정해진 노력 없이도 사용자는 제스처 선택을 이용한다. 사용자가 제스처를 잊은 경우, 사용자는 제스처 및 관련 기능을 재학습하기 위해, 첫 번째 탭이후에 지향성 팔래트가 스크린 상에 나타나기를 기다리기만 하면 된다.
따라서, 직관적인 제스처-기반 그래픽 사용자 인터페이스는 마이크로 프로세서 제어형 전자 장치와 상호 작용하기 위한 사용자 제스처를 빠르고 쉽게 학습시킨다. 비록 직관적인 제스처-기반 그래픽 사용자 인터페이스의 특정 성분 및 기능이 설명되었으나, 당업자에 의해 작고 부가적인 기능이 본 발명의 사상 및 범주를 벗어남이 없이도 이용될 수 있다. 본 발명은 단지 첨부된 청구의 범위에 의해서만 제한된다.
Claims (10)
- A) 스크린(910)상에 스크린 객체를 표시하는 단계(910)와,B) 상기 스크린 객체의 선택에 대응하는 사용자 입력을 수신하며(920), 수동 선택(manual selection)에 해당하거나 제스처 선택(gesture selection)에 해당하는 것으로 사용자 입력을 평가하는 단계(930)와,C) 상기 사용자 입력이 수동 선택에 해당하는 경우(933),1) 상기 스크린 상에 적어도 하나의 팔래트 버튼을 가진 지향성 팔래트를 자동적으로 제공하며, 상기 각각의 적어도 하나의 팔래트 버튼은 각기 독특한 영역 방위(compass direction) 및 독특한 기능인식기(function identifier)를 가진 단계(940)와,2) 적어도 하나의 팔래트 버튼의 선택에 대응하는 다음 사용자 입력을 수신하는 단계(950)을 수행하는 단계을 특징으로 하는 스크린(screen)을 가진 전자 장치를 위한 마이크로 프로세서 제어형 직관적인 제스처 기반 그래픽 사용자 인터페이스(microprocessor-controlled intuitive gesture-based graphical user interface)를 제공하는 방법.
- 제 1 항에 있어서, 상기 방법이,D) 상기 사용자 입력이 제스처 선택에 해당하는 경우(935),1) 제스처 선택을 확인하는 사용자 피드백을 제공하는 단계(970)와,2) 상기 사용자 입력이 기능 호출인가를 결정하는 단계(960)와,3) 상기 사용자 입력이 기능 호출인 경우(965), 기능을 수행하는 단계(980)와,4) 상기 사용자 입력이 기능 호출이 아닌 경우(963), 상기 스크린 상에 지향성 팔래트를 자동적으로 표시하는 단계 C) 1)로 복귀하는 단계(940)를 수행하는 단계를 더 포함하는 것을 특징으로 하는 스크린(screen)을 가진 전자 장치를 위한 마이크로 프로세서 제어형 직관적인 제스처 기반 그래픽 사용자 인터페이스를 제공하는 방법.
- 제 2 항에 있어서, 상기 사용자 피드백이 가시(visual) 피드백인 것을 특징으로 하는 스크린(screen)을 가진 전자 장치를 위한 마이크로 프로세서 제어형 직관적인 제스처 기반 그래픽 사용자 인터페이스를 제공하는 방법.
- 제 2 항에 있어서, 상기 사용자 피드백이 가청(audio) 피드백인 것을 특징으로 하는 스크린(screen)을 가진 전자 장치를 위한 마이크로 프로세서 제어형 직관적인 제스처 기반 그래픽 사용자 인터페이스를 제공하는 방법.
- 제 1 항에 있어서, 상기 방법이,상기 스크린 상에 지향성 팔래트를 자동으로 제공하는 단계 C) 1)전에 가변 시간 주기 동안 대기하는 단계을 더 포함하는 것을 특징으로 하는 스크린(screen)을 가진 전자 장치를 위한 마이크로 프로세서 제어형 직관적인 제스처 기반 그래픽 사용자 인터페이스를 제공하는 방법.
- 제 1 항에 있어서, 수동 선택에 해당하는 상기 사용자 입력이 포인트 그림인 것을 특징으로 하는 스크린(screen)을 가진 전자 장치를 위한 마이크로 프로세서 제어형 직관적인 제스처 기반 그래픽 사용자 인터페이스를 제공하는 방법.
- 제 1 항에 있어서, 제스처 선택에 해당하는 상기 사용자 입력이 라인 그림인 것을 특징으로 하는 스크린(screen)을 가진 전자 장치를 위한 마이크로 프로세서 제어형 직관적인 제스처 기반 그래픽 사용자 인터페이스를 제공하는 방법.
- 제 1 항에 있어서, 상기 방법이,사용자 입력을 수신하는 단계 B)이후에 가시 피드백을 제공하는 단계을 더 포함하는 것을 특징으로 하는 스크린(screen)을 가진 전자 장치를 위한 마이크로 프로세서 제어형 직관적인 제스처 기반 그래픽 사용자 인터페이스를 제공하는 방법.
- 제 1 항에 있어서, 상기 방법이,C) 3) 수동 선택에 해당하는 지, 또는 제스처 선택에 해당하는지에 대해 다음 사용자 입력을 평가하는 단계(955)와,4) 상기 다음 사용자 입력이 수동 선택에 해당하는 경우,5) 상기 다음 사용자 입력이 기능 호출인가를 결정하는 단계(960)을 수행하는 단계와,6) 상기 다음 사용자 입력이 기능 호출인 경우(965), 기능(980)을 수행하는 단계와,7) 상기 다음 사용자 입력이 기능 호출이 아닌 경우(963), 스크린 상에 지향성 팔래트를 자동적으로 발생하는 단계 C) 1)로 복귀하는 단계(940)을 더 포함하는 것을 특징으로 하는 스크린(screen)을 가진 전자 장치를 위한 마이크로 프로세서 제어형 직관적인 제스처 기반 그래픽 사용자 인터페이스를 제공하는 방법.
- 제 9 항에 있어서, 상기 방법이,D) 상기 사용자 입력이 제스처 선택에 해당하는 경우(935),1) 상기 제스처 선택을 확인하는 사용자 피드백을 제공하는 단계(970) 와,2) 상기 다음 사용자 입력이 기능 호출인가를 결정하는 단계(960)와,3) 상기 사용자 입력이 기능 호출인 경우(965), 기능(980)을 수행하는 단계와,4) 상기 다음 사용자 입력이 기능 호출이 아닌 경우(963), 스크린 상에 지향성 팔래트를 자동적으로 발생하는 단계 C) 1)로 복귀하는 단계(940)을 더 포함하는 것을 특징으로 하는 스크린(screen)을 가진 전자 장치를 위한 마이크로 프로세서 제어형 직관적인 제스처 기반 그래픽 사용자 인터페이스를 제공하는 방법.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/711,236 US5745116A (en) | 1996-09-09 | 1996-09-09 | Intuitive gesture-based graphical user interface |
US8/711236 | 1996-09-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR19980024421A true KR19980024421A (ko) | 1998-07-06 |
KR100251662B1 KR100251662B1 (ko) | 2000-04-15 |
Family
ID=24857272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019970046133A KR100251662B1 (ko) | 1996-09-09 | 1997-09-08 | 직관적인 제스처-기반 그래픽 사용자 인터페이스 |
Country Status (7)
Country | Link |
---|---|
US (1) | US5745116A (ko) |
JP (1) | JPH10105324A (ko) |
KR (1) | KR100251662B1 (ko) |
CN (1) | CN1093951C (ko) |
BR (1) | BR9704601B1 (ko) |
DE (1) | DE19738425A1 (ko) |
GB (1) | GB2317092B (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100703443B1 (ko) * | 2005-01-26 | 2007-04-03 | 삼성전자주식회사 | 사용자 인터페이스 화면에서 네비게이션 방향을 사용자가정의할 수 있는 장치 및 방법 |
Families Citing this family (370)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
US6014552A (en) * | 1997-03-13 | 2000-01-11 | Motorola, Inc. | Low profile eject stylus |
US6055153A (en) * | 1997-07-30 | 2000-04-25 | International Business Machines Corporation | Computer keyboard with enhanced cooling and touch pad |
US6141011A (en) | 1997-08-04 | 2000-10-31 | Starfish Software, Inc. | User interface methodology supporting light data entry for microprocessor device having limited user input |
USRE43318E1 (en) | 1997-08-28 | 2012-04-17 | Flatworld Interactives, Llc | User interface for removing an object from a display |
GB9722766D0 (en) | 1997-10-28 | 1997-12-24 | British Telecomm | Portable computers |
US5986655A (en) * | 1997-10-28 | 1999-11-16 | Xerox Corporation | Method and system for indexing and controlling the playback of multimedia documents |
US6144888A (en) * | 1997-11-10 | 2000-11-07 | Maya Design Group | Modular system and architecture for device control |
US6037937A (en) * | 1997-12-04 | 2000-03-14 | Nortel Networks Corporation | Navigation tool for graphical user interface |
WO1999028811A1 (en) * | 1997-12-04 | 1999-06-10 | Northern Telecom Limited | Contextual gesture interface |
US6310610B1 (en) | 1997-12-04 | 2001-10-30 | Nortel Networks Limited | Intelligent touch display |
US7808479B1 (en) | 2003-09-02 | 2010-10-05 | Apple Inc. | Ambidextrous mouse |
US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
EP1717681B1 (en) * | 1998-01-26 | 2015-04-29 | Apple Inc. | Method for integrating manual input |
US7663607B2 (en) | 2004-05-06 | 2010-02-16 | Apple Inc. | Multipoint touchscreen |
US7844914B2 (en) * | 2004-07-30 | 2010-11-30 | Apple Inc. | Activating virtual keys of a touch-screen virtual keyboard |
US9292111B2 (en) | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
US9239673B2 (en) | 1998-01-26 | 2016-01-19 | Apple Inc. | Gesturing with a multipoint sensing device |
US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
AU4835299A (en) * | 1998-06-26 | 2000-01-17 | Lci/Smartpen, N.V. | Apparatus and methods for imaging written information with mobile telephone set |
US6208341B1 (en) * | 1998-08-05 | 2001-03-27 | U. S. Philips Corporation | GUI of remote control facilitates user-friendly editing of macros |
JP2000207263A (ja) * | 1998-11-12 | 2000-07-28 | Sony Corp | 情報処理装置及び方法、並びに提供媒体 |
US6337698B1 (en) * | 1998-11-20 | 2002-01-08 | Microsoft Corporation | Pen-based interface for a notepad computer |
US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
US7293231B1 (en) * | 1999-03-18 | 2007-11-06 | British Columbia Ltd. | Data entry for personal computing devices |
WO2000057265A1 (en) * | 1999-03-18 | 2000-09-28 | 602531 British Columbia Ltd. | Data entry for personal computing devices |
US6335725B1 (en) * | 1999-07-14 | 2002-01-01 | Hewlett-Packard Company | Method of partitioning a touch screen for data input |
US6396523B1 (en) | 1999-07-29 | 2002-05-28 | Interlink Electronics, Inc. | Home entertainment device remote control |
JP4052498B2 (ja) | 1999-10-29 | 2008-02-27 | 株式会社リコー | 座標入力装置および方法 |
US7458014B1 (en) | 1999-12-07 | 2008-11-25 | Microsoft Corporation | Computer user interface architecture wherein both content and user interface are composed of documents with links |
US7185274B1 (en) | 1999-12-07 | 2007-02-27 | Microsoft Corporation | Computer user interface architecture wherein users interact with both content and user interface by activating links |
US7028267B1 (en) * | 1999-12-07 | 2006-04-11 | Microsoft Corporation | Method and apparatus for capturing and rendering text annotations for non-modifiable electronic content |
US9424240B2 (en) | 1999-12-07 | 2016-08-23 | Microsoft Technology Licensing, Llc | Annotations for electronic content |
US20040268253A1 (en) * | 1999-12-07 | 2004-12-30 | Microsoft Corporation | Method and apparatus for installing and using reference materials in conjunction with reading electronic content |
US6714214B1 (en) | 1999-12-07 | 2004-03-30 | Microsoft Corporation | System method and user interface for active reading of electronic content |
US6957233B1 (en) | 1999-12-07 | 2005-10-18 | Microsoft Corporation | Method and apparatus for capturing and rendering annotations for non-modifiable electronic content |
US7337389B1 (en) | 1999-12-07 | 2008-02-26 | Microsoft Corporation | System and method for annotating an electronic document independently of its content |
US6820111B1 (en) | 1999-12-07 | 2004-11-16 | Microsoft Corporation | Computer user interface architecture that saves a user's non-linear navigation history and intelligently maintains that history |
US6992687B1 (en) | 1999-12-07 | 2006-01-31 | Microsoft Corporation | Bookmarking and placemarking a displayed document in a computer system |
JP2001184161A (ja) | 1999-12-27 | 2001-07-06 | Ricoh Co Ltd | 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体 |
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
EP1277104A1 (en) * | 2000-03-30 | 2003-01-22 | Ideogramic APS | Method for gesture based modeling |
US6765557B1 (en) | 2000-04-10 | 2004-07-20 | Interlink Electronics, Inc. | Remote control having touch pad to screen mapping |
US7243299B1 (en) | 2000-04-21 | 2007-07-10 | Microsoft Corporation | Methods and apparatus for displaying multiple contexts in electronic documents |
GB2380918C3 (en) * | 2000-05-11 | 2016-03-30 | Nes Stewart Irvine | Zeroclick |
US7259753B2 (en) * | 2000-06-21 | 2007-08-21 | Microsoft Corporation | Classifying, anchoring, and transforming ink |
US7397949B2 (en) * | 2000-06-21 | 2008-07-08 | Microsoft Corporation | Serial storage of ink and its properties |
US7006711B2 (en) | 2000-06-21 | 2006-02-28 | Microsoft Corporation | Transform table for ink sizing and compression |
US7234108B1 (en) | 2000-06-29 | 2007-06-19 | Microsoft Corporation | Ink thickness rendering for electronic annotations |
US6803906B1 (en) | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
EP1297488B1 (en) * | 2000-07-05 | 2006-11-15 | Smart Technologies Inc. | Camera-based touch system |
US6792265B1 (en) * | 2000-10-02 | 2004-09-14 | Sbc Technology Resources, Inc. | Conference call setup utilizing a wireless access protocol capable telephone |
US7076275B1 (en) * | 2000-10-13 | 2006-07-11 | Palmsource, Inc. | Method and system for single-step enablement of telephony functionality for a portable computer system |
CA2323856A1 (en) * | 2000-10-18 | 2002-04-18 | 602531 British Columbia Ltd. | Method, system and media for entering data in a personal computing device |
AU2002226886A1 (en) * | 2000-11-09 | 2002-05-21 | Change Tools, Inc. | A user definable interface system, method and computer program product |
US7895530B2 (en) * | 2000-11-09 | 2011-02-22 | Change Tools, Inc. | User definable interface system, method, support tools, and computer program product |
US6891551B2 (en) * | 2000-11-10 | 2005-05-10 | Microsoft Corporation | Selection handles in editing electronic documents |
US8099669B2 (en) * | 2000-12-14 | 2012-01-17 | Nortel Networks Limited | Enhanced unified messaging system with a quick view facility |
US7002558B2 (en) * | 2000-12-21 | 2006-02-21 | Microsoft Corporation | Mode hinting and switching |
US6707473B2 (en) | 2001-08-01 | 2004-03-16 | Microsoft Corporation | Dynamic rendering of ink strokes with transparency |
US20020099552A1 (en) * | 2001-01-25 | 2002-07-25 | Darryl Rubin | Annotating electronic information with audio clips |
US6677932B1 (en) | 2001-01-28 | 2004-01-13 | Finger Works, Inc. | System and method for recognizing touch typing under limited tactile feedback conditions |
US20020135615A1 (en) * | 2001-01-31 | 2002-09-26 | Microsoft Corporation | Overlaid display for electronic devices |
US7030861B1 (en) | 2001-02-10 | 2006-04-18 | Wayne Carl Westerman | System and method for packing multi-touch gestures onto a hand |
WO2002071197A1 (en) * | 2001-03-06 | 2002-09-12 | Philips Electronics North America Corporation | Dormant gui buttons reside unobtrusively in the background upon selection |
US7272232B1 (en) * | 2001-05-30 | 2007-09-18 | Palmsource, Inc. | System and method for prioritizing and balancing simultaneous audio outputs in a handheld device |
US7343053B2 (en) * | 2001-06-27 | 2008-03-11 | Microsoft Corporation | Transform table for ink sizing and compression |
US7168038B2 (en) * | 2001-08-01 | 2007-01-23 | Microsoft Corporation | System and method for scaling and repositioning drawings |
US6909430B2 (en) * | 2001-08-01 | 2005-06-21 | Microsoft Corporation | Rendering ink strokes of variable width and angle |
US8095879B2 (en) | 2002-12-10 | 2012-01-10 | Neonode Inc. | User interface for mobile handheld computer unit |
US7656393B2 (en) | 2005-03-04 | 2010-02-02 | Apple Inc. | Electronic device having display and surrounding touch sensitive bezel for user interface and control |
US11275405B2 (en) * | 2005-03-04 | 2022-03-15 | Apple Inc. | Multi-functional hand-held device |
US7242387B2 (en) * | 2002-10-18 | 2007-07-10 | Autodesk, Inc. | Pen-mouse system |
US6954197B2 (en) | 2002-11-15 | 2005-10-11 | Smart Technologies Inc. | Size/scale and orientation determination of a pointer in a camera-based touch system |
US8508508B2 (en) * | 2003-02-14 | 2013-08-13 | Next Holdings Limited | Touch screen signal processing with single-point calibration |
US8456447B2 (en) | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
US7629967B2 (en) | 2003-02-14 | 2009-12-08 | Next Holdings Limited | Touch screen signal processing |
US7532206B2 (en) | 2003-03-11 | 2009-05-12 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
JP4378996B2 (ja) * | 2003-05-14 | 2009-12-09 | 日本電気株式会社 | 携帯電話機、データ操作処理プログラム及び制御方法 |
DE10324698A1 (de) * | 2003-05-28 | 2004-12-23 | Siemens Ag | Computer und Verfahren zum Bearbeiten und/oder Auswerten eines digitalen Bildes |
US7411575B2 (en) * | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
US7274356B2 (en) | 2003-10-09 | 2007-09-25 | Smart Technologies Inc. | Apparatus for determining the location of a pointer within a region of interest |
US7106312B2 (en) * | 2003-11-10 | 2006-09-12 | Microsoft Corporation | Text input window with auto-growth |
US20050101314A1 (en) * | 2003-11-10 | 2005-05-12 | Uri Levi | Method and system for wireless group communications |
US7355593B2 (en) | 2004-01-02 | 2008-04-08 | Smart Technologies, Inc. | Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region |
US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
US7812860B2 (en) | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
US20050223340A1 (en) * | 2004-03-30 | 2005-10-06 | Mikko Repka | Method of navigating in application views, electronic device, graphical user interface and computer program product |
US20050223341A1 (en) * | 2004-03-30 | 2005-10-06 | Mikko Repka | Method of indicating loading status of application views, electronic device and computer program product |
US20050219228A1 (en) * | 2004-03-31 | 2005-10-06 | Motorola, Inc. | Intuitive user interface and method |
US20050219223A1 (en) * | 2004-03-31 | 2005-10-06 | Kotzin Michael D | Method and apparatus for determining the context of a device |
US20060081714A1 (en) | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
US9008447B2 (en) | 2004-04-01 | 2015-04-14 | Google Inc. | Method and system for character recognition |
US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
WO2008028674A2 (en) * | 2006-09-08 | 2008-03-13 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
US7990556B2 (en) | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
US20060098900A1 (en) | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
US8081849B2 (en) | 2004-12-03 | 2011-12-20 | Google Inc. | Portable scanning and memory device |
US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
US8713418B2 (en) | 2004-04-12 | 2014-04-29 | Google Inc. | Adding value to a rendered document |
US8489624B2 (en) | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
US8874504B2 (en) | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
US7460110B2 (en) | 2004-04-29 | 2008-12-02 | Smart Technologies Ulc | Dual mode touch system |
US7538759B2 (en) | 2004-05-07 | 2009-05-26 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
US8120596B2 (en) | 2004-05-21 | 2012-02-21 | Smart Technologies Ulc | Tiled touch system |
US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
US7653883B2 (en) * | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
US8381135B2 (en) * | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
KR101065943B1 (ko) | 2004-08-16 | 2011-09-20 | 애플 인크. | 터치 감지 장치의 공간 해상도를 증가시키는 방법 |
US20060109242A1 (en) * | 2004-11-19 | 2006-05-25 | Simpkins Daniel S | User interface for impaired users |
US8552984B2 (en) * | 2005-01-13 | 2013-10-08 | 602531 British Columbia Ltd. | Method, system, apparatus and computer-readable media for directing input associated with keyboard-type device |
CN100339805C (zh) * | 2005-07-15 | 2007-09-26 | 中国海洋大学 | 一种计算机互动输入装置 |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
KR100746995B1 (ko) * | 2005-09-22 | 2007-08-08 | 한국과학기술원 | 직관적인 실제 공간적 조준에 따른 시스템 및 그식별방법과 통신방법 |
US20070143010A1 (en) * | 2005-12-20 | 2007-06-21 | Henrik Jensfelt | Physical navigation button surrounded by a display |
US7509588B2 (en) | 2005-12-30 | 2009-03-24 | Apple Inc. | Portable electronic device with interface reconfiguration mode |
US20070165007A1 (en) * | 2006-01-13 | 2007-07-19 | Gerald Morrison | Interactive input system |
US20070205994A1 (en) * | 2006-03-02 | 2007-09-06 | Taco Van Ieperen | Touch system and method for interacting with the same |
CN101496387B (zh) | 2006-03-06 | 2012-09-05 | 思科技术公司 | 用于移动无线网络中的接入认证的系统和方法 |
US7511702B2 (en) * | 2006-03-30 | 2009-03-31 | Apple Inc. | Force and location sensitive display |
US7538760B2 (en) | 2006-03-30 | 2009-05-26 | Apple Inc. | Force imaging input device and system |
US7978181B2 (en) * | 2006-04-25 | 2011-07-12 | Apple Inc. | Keystroke tactility arrangement on a smooth touch surface |
US8279180B2 (en) | 2006-05-02 | 2012-10-02 | Apple Inc. | Multipoint touch surface controller |
US7720552B1 (en) * | 2006-06-05 | 2010-05-18 | Rockwell Automation Technologies, Inc. | Virtual knob lever arm as analog control element |
US8243027B2 (en) | 2006-06-09 | 2012-08-14 | Apple Inc. | Touch screen liquid crystal display |
CN102147680B (zh) | 2006-06-09 | 2015-07-22 | 苹果公司 | 触摸屏液晶显示器 |
CN104965621B (zh) | 2006-06-09 | 2018-06-12 | 苹果公司 | 触摸屏液晶显示器及其操作方法 |
US7996792B2 (en) * | 2006-09-06 | 2011-08-09 | Apple Inc. | Voicemail manager for portable multifunction device |
US9304675B2 (en) | 2006-09-06 | 2016-04-05 | Apple Inc. | Portable electronic device for instant messaging |
US8564544B2 (en) | 2006-09-06 | 2013-10-22 | Apple Inc. | Touch screen device, method, and graphical user interface for customizing display of content category icons |
US10313505B2 (en) | 2006-09-06 | 2019-06-04 | Apple Inc. | Portable multifunction device, method, and graphical user interface for configuring and displaying widgets |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
GB2452644B (en) * | 2006-10-10 | 2009-09-16 | Promethean Ltd | Automatic tool docking |
US9442607B2 (en) | 2006-12-04 | 2016-09-13 | Smart Technologies Inc. | Interactive input system and method |
KR101304461B1 (ko) * | 2006-12-04 | 2013-09-04 | 삼성전자주식회사 | 제스처 기반 사용자 인터페이스 방법 및 장치 |
US8493330B2 (en) | 2007-01-03 | 2013-07-23 | Apple Inc. | Individual channel phase delay scheme |
US9710095B2 (en) | 2007-01-05 | 2017-07-18 | Apple Inc. | Touch screen stack-ups |
US8689132B2 (en) * | 2007-01-07 | 2014-04-01 | Apple Inc. | Portable electronic device, method, and graphical user interface for displaying electronic documents and lists |
US8519964B2 (en) | 2007-01-07 | 2013-08-27 | Apple Inc. | Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display |
US20080168478A1 (en) | 2007-01-07 | 2008-07-10 | Andrew Platzer | Application Programming Interfaces for Scrolling |
US20080168402A1 (en) | 2007-01-07 | 2008-07-10 | Christopher Blumenberg | Application Programming Interfaces for Gesture Operations |
US7844915B2 (en) * | 2007-01-07 | 2010-11-30 | Apple Inc. | Application programming interfaces for scrolling operations |
CA2581824A1 (en) * | 2007-03-14 | 2008-09-14 | 602531 British Columbia Ltd. | System, apparatus and method for data entry using multi-function keys |
US20080229232A1 (en) * | 2007-03-16 | 2008-09-18 | Apple Inc. | Full screen editing of visual media |
US7954067B2 (en) * | 2007-03-16 | 2011-05-31 | Apple Inc. | Parameter setting superimposed upon an image |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
EP2135155B1 (en) | 2007-04-11 | 2013-09-18 | Next Holdings, Inc. | Touch screen system with hover and click input methods |
US7884805B2 (en) | 2007-04-17 | 2011-02-08 | Sony Ericsson Mobile Communications Ab | Using touches to transfer information between devices |
NL2000621C2 (nl) * | 2007-05-01 | 2008-11-04 | Meeteren Albertus Petrus Georg | Inrichting voor het bewerken van ingevoerde gegevens. |
KR20080104858A (ko) * | 2007-05-29 | 2008-12-03 | 삼성전자주식회사 | 터치 스크린 기반의 제스쳐 정보 제공 방법 및 장치, 그장치를 포함하는 정보 단말 기기 |
US9772751B2 (en) | 2007-06-29 | 2017-09-26 | Apple Inc. | Using gestures to slide between user interfaces |
US8094137B2 (en) | 2007-07-23 | 2012-01-10 | Smart Technologies Ulc | System and method of detecting contact on a display |
CN101802759A (zh) * | 2007-08-30 | 2010-08-11 | 奈克斯特控股公司 | 低剖面触摸面板系统 |
WO2009029767A1 (en) | 2007-08-30 | 2009-03-05 | Next Holdings, Inc. | Optical touchscreen with improved illumination |
US8619038B2 (en) | 2007-09-04 | 2013-12-31 | Apple Inc. | Editing interface |
US11126321B2 (en) | 2007-09-04 | 2021-09-21 | Apple Inc. | Application menu user interface |
US9619143B2 (en) | 2008-01-06 | 2017-04-11 | Apple Inc. | Device, method, and graphical user interface for viewing application launch icons |
US8122384B2 (en) * | 2007-09-18 | 2012-02-21 | Palo Alto Research Center Incorporated | Method and apparatus for selecting an object within a user interface by performing a gesture |
US8171431B2 (en) * | 2007-10-05 | 2012-05-01 | Microsoft Corporation | Handle flags |
JP4904240B2 (ja) * | 2007-10-09 | 2012-03-28 | 富士通株式会社 | 入力処理方法及び入力制御装置 |
JP4904239B2 (ja) * | 2007-10-09 | 2012-03-28 | 富士通株式会社 | 入力処理方法及び入力制御装置 |
US8279039B2 (en) | 2007-10-12 | 2012-10-02 | Sony Mobile Communications Ab | Using touches to transfer information to a device |
US20090125824A1 (en) * | 2007-11-12 | 2009-05-14 | Microsoft Corporation | User interface with physics engine for natural gestural control |
KR20090066368A (ko) | 2007-12-20 | 2009-06-24 | 삼성전자주식회사 | 터치 스크린을 갖는 휴대 단말기 및 그의 기능 제어 방법 |
US10503376B2 (en) * | 2007-12-20 | 2019-12-10 | Samsung Electronics Co., Ltd. | Method and apparatus for adjusting an image and control guides displayed on a display |
US8922518B2 (en) | 2007-12-20 | 2014-12-30 | Samsung Electronics Co., Ltd. | Mobile terminal having touch screen and function controlling method of the same |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US8405636B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly |
KR20090077480A (ko) * | 2008-01-11 | 2009-07-15 | 삼성전자주식회사 | 조작 가이드를 표시하는 ui 제공방법 및 이를 적용한멀티미디어 기기 |
US8797377B2 (en) | 2008-02-14 | 2014-08-05 | Cisco Technology, Inc. | Method and system for videoconference configuration |
US8205157B2 (en) | 2008-03-04 | 2012-06-19 | Apple Inc. | Methods and graphical user interfaces for conducting searches on a portable multifunction device |
US8174502B2 (en) * | 2008-03-04 | 2012-05-08 | Apple Inc. | Touch event processing for web pages |
US8416196B2 (en) | 2008-03-04 | 2013-04-09 | Apple Inc. | Touch event model programming interface |
US8645827B2 (en) | 2008-03-04 | 2014-02-04 | Apple Inc. | Touch event model |
US8717305B2 (en) * | 2008-03-04 | 2014-05-06 | Apple Inc. | Touch event model for web pages |
US20090237373A1 (en) * | 2008-03-19 | 2009-09-24 | Sony Ericsson Mobile Communications Ab | Two way touch-sensitive display |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US8390667B2 (en) | 2008-04-15 | 2013-03-05 | Cisco Technology, Inc. | Pop-up PIP for people not in picture |
KR101467293B1 (ko) * | 2008-04-22 | 2014-12-02 | 삼성전자주식회사 | 촬영될 영상에 관련된 메뉴를 표시하는 ui 제공방법 및이를 적용한 촬영장치 |
US20090278816A1 (en) * | 2008-05-06 | 2009-11-12 | Next Holdings Limited | Systems and Methods For Resolving Multitouch Scenarios Using Software Filters |
US8902193B2 (en) | 2008-05-09 | 2014-12-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US8296670B2 (en) | 2008-05-19 | 2012-10-23 | Microsoft Corporation | Accessing a menu utilizing a drag-operation |
US8665228B2 (en) | 2008-06-19 | 2014-03-04 | Tactile Displays, Llc | Energy efficient interactive display with energy regenerative keyboard |
US8115745B2 (en) | 2008-06-19 | 2012-02-14 | Tactile Displays, Llc | Apparatus and method for interactive display with tactile feedback |
US8217908B2 (en) | 2008-06-19 | 2012-07-10 | Tactile Displays, Llc | Apparatus and method for interactive display with tactile feedback |
US9513705B2 (en) | 2008-06-19 | 2016-12-06 | Tactile Displays, Llc | Interactive display with tactile feedback |
KR101495559B1 (ko) * | 2008-07-21 | 2015-02-27 | 삼성전자주식회사 | 사용자 명령 입력 방법 및 그 장치 |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
JP4957750B2 (ja) * | 2008-07-31 | 2012-06-20 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP4636141B2 (ja) * | 2008-08-28 | 2011-02-23 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US20100079385A1 (en) * | 2008-09-29 | 2010-04-01 | Smart Technologies Ulc | Method for calibrating an interactive input system and interactive input system executing the calibration method |
US8339378B2 (en) * | 2008-11-05 | 2012-12-25 | Smart Technologies Ulc | Interactive input system with multi-angle reflector |
US8423916B2 (en) * | 2008-11-20 | 2013-04-16 | Canon Kabushiki Kaisha | Information processing apparatus, processing method thereof, and computer-readable storage medium |
US20100185949A1 (en) * | 2008-12-09 | 2010-07-22 | Denny Jaeger | Method for using gesture objects for computer control |
WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
EP2399385B1 (en) | 2009-02-18 | 2019-11-06 | Google LLC | Automatically capturing information, such as capturing information using a document-aware device |
US8314779B2 (en) * | 2009-02-23 | 2012-11-20 | Solomon Systech Limited | Method and apparatus for operating a touch panel |
US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
DE202010018551U1 (de) | 2009-03-12 | 2017-08-24 | Google, Inc. | Automatische Bereitstellung von Inhalten, die mit erfassten Informationen, wie etwa in Echtzeit erfassten Informationen, verknüpft sind |
US8566045B2 (en) | 2009-03-16 | 2013-10-22 | Apple Inc. | Event recognition |
US8285499B2 (en) | 2009-03-16 | 2012-10-09 | Apple Inc. | Event recognition |
US9311112B2 (en) * | 2009-03-16 | 2016-04-12 | Apple Inc. | Event recognition |
US8589374B2 (en) | 2009-03-16 | 2013-11-19 | Apple Inc. | Multifunction device with integrated search and application selection |
US8566044B2 (en) * | 2009-03-16 | 2013-10-22 | Apple Inc. | Event recognition |
US9684521B2 (en) | 2010-01-26 | 2017-06-20 | Apple Inc. | Systems having discrete and continuous gesture recognizers |
US20100289753A1 (en) * | 2009-05-14 | 2010-11-18 | Microsoft Corporation | Adjusting organization of media content on display |
US10705692B2 (en) | 2009-05-21 | 2020-07-07 | Sony Interactive Entertainment Inc. | Continuous and dynamic scene decomposition for user interface |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US8692768B2 (en) | 2009-07-10 | 2014-04-08 | Smart Technologies Ulc | Interactive input system |
JP2011022842A (ja) * | 2009-07-16 | 2011-02-03 | Sony Corp | 表示装置、表示方法及びプログラム |
US9082297B2 (en) | 2009-08-11 | 2015-07-14 | Cisco Technology, Inc. | System and method for verifying parameters in an audiovisual environment |
US8654524B2 (en) | 2009-08-17 | 2014-02-18 | Apple Inc. | Housing as an I/O device |
US9141193B2 (en) * | 2009-08-31 | 2015-09-22 | Microsoft Technology Licensing, Llc | Techniques for using human gestures to control gesture unaware programs |
US20110095977A1 (en) * | 2009-10-23 | 2011-04-28 | Smart Technologies Ulc | Interactive input system incorporating multi-angle reflecting structure |
US9081799B2 (en) | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
US9323784B2 (en) | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US8977584B2 (en) | 2010-01-25 | 2015-03-10 | Newvaluexchange Global Ai Llp | Apparatuses, methods and systems for a digital conversation management platform |
US20110193969A1 (en) * | 2010-02-09 | 2011-08-11 | Qisda Corporation | Object-detecting system and method by use of non-coincident fields of light |
KR101684704B1 (ko) * | 2010-02-12 | 2016-12-20 | 삼성전자주식회사 | 휴대용 단말기에서 메뉴 실행 방법 및 이를 제공하는 장치 |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US10719131B2 (en) | 2010-04-05 | 2020-07-21 | Tactile Displays, Llc | Interactive display with tactile feedback |
US10788976B2 (en) | 2010-04-07 | 2020-09-29 | Apple Inc. | Device, method, and graphical user interface for managing folders with multiple pages |
US8881060B2 (en) | 2010-04-07 | 2014-11-04 | Apple Inc. | Device, method, and graphical user interface for managing folders |
US9092125B2 (en) | 2010-04-08 | 2015-07-28 | Avaya Inc. | Multi-mode touchscreen user interface for a multi-state touchscreen device |
US20200393907A1 (en) | 2010-04-13 | 2020-12-17 | Tactile Displays, Llc | Interactive display with tactile feedback |
US8635555B2 (en) * | 2010-06-08 | 2014-01-21 | Adobe Systems Incorporated | Jump, checkmark, and strikethrough gestures |
US8977987B1 (en) | 2010-06-14 | 2015-03-10 | Google Inc. | Motion-based interface control on computing device |
US8552999B2 (en) | 2010-06-14 | 2013-10-08 | Apple Inc. | Control selection approximation |
US8799815B2 (en) | 2010-07-30 | 2014-08-05 | Apple Inc. | Device, method, and graphical user interface for activating an item in a folder |
US8826164B2 (en) | 2010-08-03 | 2014-09-02 | Apple Inc. | Device, method, and graphical user interface for creating a new folder |
US8896655B2 (en) | 2010-08-31 | 2014-11-25 | Cisco Technology, Inc. | System and method for providing depth adaptive video conferencing |
US20120054667A1 (en) * | 2010-08-31 | 2012-03-01 | Blackboard Inc. | Separate and simultaneous control of windows in windowing systems |
TW201214237A (en) * | 2010-09-16 | 2012-04-01 | Asustek Comp Inc | Touch display device and control method thereof |
US8902244B2 (en) | 2010-11-15 | 2014-12-02 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
US9338394B2 (en) | 2010-11-15 | 2016-05-10 | Cisco Technology, Inc. | System and method for providing enhanced audio in a video environment |
US8542264B2 (en) | 2010-11-18 | 2013-09-24 | Cisco Technology, Inc. | System and method for managing optics in a video environment |
US8723914B2 (en) | 2010-11-19 | 2014-05-13 | Cisco Technology, Inc. | System and method for providing enhanced video processing in a network environment |
US9111138B2 (en) | 2010-11-30 | 2015-08-18 | Cisco Technology, Inc. | System and method for gesture interface control |
USD678894S1 (en) * | 2010-12-16 | 2013-03-26 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678307S1 (en) * | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682293S1 (en) * | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682854S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen for graphical user interface |
US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
US8804056B2 (en) * | 2010-12-22 | 2014-08-12 | Apple Inc. | Integrated touch screens |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US9298363B2 (en) | 2011-04-11 | 2016-03-29 | Apple Inc. | Region activation for touch sensitive surface |
US20120272144A1 (en) | 2011-04-20 | 2012-10-25 | Microsoft Corporation | Compact control menu for touch-enabled command execution |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
KR101825799B1 (ko) | 2011-06-05 | 2018-03-22 | 애플 인크. | 다수의 애플리케이션들로부터 수신된 통지들을 디스플레이하기 위한 시스템들 및 방법들 |
US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
US20130254689A1 (en) * | 2011-08-31 | 2013-09-26 | Creative Realities, Llc | Wayfinding System and Method |
CN103176595B (zh) * | 2011-12-23 | 2016-01-27 | 联想(北京)有限公司 | 一种信息提示方法及系统 |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US9313290B2 (en) * | 2012-05-17 | 2016-04-12 | Ncr Corporation | Data transfer between devices |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US9557846B2 (en) | 2012-10-04 | 2017-01-31 | Corning Incorporated | Pressure-sensing touch system utilizing optical and capacitive systems |
US10228819B2 (en) | 2013-02-04 | 2019-03-12 | 602531 British Cilumbia Ltd. | Method, system, and apparatus for executing an action related to user selection |
KR102103057B1 (ko) | 2013-02-07 | 2020-04-21 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
US9922642B2 (en) | 2013-03-15 | 2018-03-20 | Apple Inc. | Training an at least partial voice command system |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
JP6259911B2 (ja) | 2013-06-09 | 2018-01-10 | アップル インコーポレイテッド | デジタルアシスタントの2つ以上のインスタンスにわたる会話持続を可能にするための機器、方法、及びグラフィカルユーザインタフェース |
US9733716B2 (en) | 2013-06-09 | 2017-08-15 | Apple Inc. | Proxy gesture recognizer |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
WO2014200731A1 (en) | 2013-06-13 | 2014-12-18 | Apple Inc. | System and method for emergency calls initiated by voice command |
JP6153007B2 (ja) * | 2013-07-19 | 2017-06-28 | 株式会社コナミデジタルエンタテインメント | 操作システム、操作制御方法、操作制御プログラム |
JP6163266B2 (ja) | 2013-08-06 | 2017-07-12 | アップル インコーポレイテッド | リモート機器からの作動に基づくスマート応答の自動作動 |
KR102129594B1 (ko) | 2013-10-30 | 2020-07-03 | 애플 인크. | 관련 사용자 인터페이스 객체를 표시 |
US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
US20150350146A1 (en) | 2014-05-29 | 2015-12-03 | Apple Inc. | Coordination of message alert presentations across devices based on device modes |
EP3480811A1 (en) | 2014-05-30 | 2019-05-08 | Apple Inc. | Multi-command single utterance input method |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US10254911B2 (en) | 2015-03-08 | 2019-04-09 | Apple Inc. | Device configuration user interface |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
DK179360B1 (en) * | 2015-06-07 | 2018-05-22 | Apple Inc | Devices, methods and graphical user interfaces for providing and interacting with notifications |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
KR20170104819A (ko) * | 2016-03-08 | 2017-09-18 | 삼성전자주식회사 | 제스처를 가이드하는 전자 장치 및 그의 제스처 가이드 방법 |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
DK201670595A1 (en) | 2016-06-11 | 2018-01-22 | Apple Inc | Configuring context-specific user interfaces |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
US11816325B2 (en) | 2016-06-12 | 2023-11-14 | Apple Inc. | Application shortcuts for carplay |
USD826246S1 (en) * | 2016-07-28 | 2018-08-21 | Beijing Kingsoft Internet Security Software Co., Ltd. | Mobile communication terminal display screen with graphical user interface |
US10283082B1 (en) | 2016-10-29 | 2019-05-07 | Dvir Gassner | Differential opacity position indicator |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
USD848454S1 (en) * | 2017-08-22 | 2019-05-14 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with transitional graphical user interface |
USD857032S1 (en) | 2017-09-10 | 2019-08-20 | Apple Inc. | Electronic device with graphical user interface |
US10719230B2 (en) | 2018-09-27 | 2020-07-21 | Atlassian Pty Ltd | Recognition and processing of gestures in a graphical user interface using machine learning |
US11675476B2 (en) | 2019-05-05 | 2023-06-13 | Apple Inc. | User interfaces for widgets |
US11481094B2 (en) | 2019-06-01 | 2022-10-25 | Apple Inc. | User interfaces for location-related communications |
US11477609B2 (en) | 2019-06-01 | 2022-10-18 | Apple Inc. | User interfaces for location-related communications |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4803747A (en) * | 1986-03-07 | 1989-02-14 | Brown Dennis N | Orthotic and method of making of the same |
US4803474A (en) * | 1986-03-18 | 1989-02-07 | Fischer & Porter Company | Cursor control matrix for computer graphics |
US5523775A (en) * | 1992-05-26 | 1996-06-04 | Apple Computer, Inc. | Method for selecting objects on a computer display |
US5386568A (en) * | 1992-12-01 | 1995-01-31 | Yamaha Corporation | Apparatus and method for linking software modules |
US5612719A (en) * | 1992-12-03 | 1997-03-18 | Apple Computer, Inc. | Gesture sensitive buttons for graphical user interfaces |
US5384910A (en) * | 1992-12-31 | 1995-01-24 | International Business Machines Corporation | Method and apparatus for facilitating operator reconfiguration of a graphical user interface in a data processing system |
-
1996
- 1996-09-09 US US08/711,236 patent/US5745116A/en not_active Expired - Lifetime
-
1997
- 1997-08-11 GB GB9716840A patent/GB2317092B/en not_active Expired - Fee Related
- 1997-09-03 DE DE19738425A patent/DE19738425A1/de not_active Ceased
- 1997-09-04 BR BRPI9704601-9B1A patent/BR9704601B1/pt not_active IP Right Cessation
- 1997-09-08 JP JP25935997A patent/JPH10105324A/ja active Pending
- 1997-09-08 KR KR1019970046133A patent/KR100251662B1/ko not_active IP Right Cessation
- 1997-09-08 CN CN97118223A patent/CN1093951C/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100703443B1 (ko) * | 2005-01-26 | 2007-04-03 | 삼성전자주식회사 | 사용자 인터페이스 화면에서 네비게이션 방향을 사용자가정의할 수 있는 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
CN1178958A (zh) | 1998-04-15 |
BR9704601B1 (pt) | 2013-11-05 |
GB2317092B (en) | 2001-04-18 |
CN1093951C (zh) | 2002-11-06 |
BR9704601A (pt) | 1998-09-08 |
JPH10105324A (ja) | 1998-04-24 |
KR100251662B1 (ko) | 2000-04-15 |
GB2317092A (en) | 1998-03-11 |
US5745116A (en) | 1998-04-28 |
DE19738425A1 (de) | 1998-03-12 |
GB9716840D0 (en) | 1997-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100251662B1 (ko) | 직관적인 제스처-기반 그래픽 사용자 인터페이스 | |
US6489951B1 (en) | Method and system for providing touch-sensitive screens for the visually impaired | |
US7533352B2 (en) | Method and apparatus for providing context menus on a hand-held device | |
US10088975B2 (en) | User interface | |
JP5048295B2 (ja) | 移動通信端末及び移動通信端末におけるメッセージ表示方法 | |
US7568169B2 (en) | Method and arrangement for a primary actions menu for email applications on a handheld electronic device | |
US20070220449A1 (en) | Method and device for fast access to application in mobile communication terminal | |
US20120192095A1 (en) | Method for switching user interface, electronic device and recording medium using the same | |
US20080163121A1 (en) | Method and arrangement for designating a menu item on a handheld electronic device | |
US20080163112A1 (en) | Designation of menu actions for applications on a handheld electronic device | |
JP2006139615A (ja) | 表示装置、メニュー表示プログラムおよびタブ表示プログラム | |
KR20130114257A (ko) | 터치 스크린 기기 잠금 해제 | |
JP2004505369A (ja) | メニューのユーザ・インタフェースを改善したコンピュータ装置 | |
EP1377902A2 (en) | Multi-functional application launcher with integrated status | |
US20090187840A1 (en) | Side-bar menu and menu on a display screen of a handheld electronic device | |
CN104281400A (zh) | 电子装置及触控方法 | |
KR100774187B1 (ko) | 이동통신단말기 및 이를 위한 문자메시지 디스플레이 방법 | |
JP2004038310A (ja) | 携帯情報端末装置及びこれに用いられる制御プログラム | |
JP2008047159A (ja) | 携帯情報端末装置及びこれに用いられる画面遷移制御方法 | |
JPH06242886A (ja) | 電子メールシステム | |
KR20100010980A (ko) | 단말 터치스크린에서 직관적인 파일 관리를 위한 장치 및방법 | |
KR20090029551A (ko) | 터치패드를 이용한 모바일 인터넷 브라우저의 네비게이션장치 및 방법 | |
KR100772505B1 (ko) | 터치스크린을 이용한 입력 장치 및 방법 | |
JP2004038308A (ja) | 情報端末装置及びこれに用いられる情報選択プログラム | |
JP2004062695A (ja) | 情報端末装置及びこれに用いられる選択制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20121227 Year of fee payment: 14 |
|
FPAY | Annual fee payment |
Payment date: 20131227 Year of fee payment: 15 |
|
FPAY | Annual fee payment |
Payment date: 20141226 Year of fee payment: 16 |
|
FPAY | Annual fee payment |
Payment date: 20151228 Year of fee payment: 17 |
|
FPAY | Annual fee payment |
Payment date: 20170103 Year of fee payment: 18 |
|
EXPY | Expiration of term |