KR101838260B1 - 텍스트를 선택하기 위한 제스처들 - Google Patents

텍스트를 선택하기 위한 제스처들 Download PDF

Info

Publication number
KR101838260B1
KR101838260B1 KR1020137034221A KR20137034221A KR101838260B1 KR 101838260 B1 KR101838260 B1 KR 101838260B1 KR 1020137034221 A KR1020137034221 A KR 1020137034221A KR 20137034221 A KR20137034221 A KR 20137034221A KR 101838260 B1 KR101838260 B1 KR 101838260B1
Authority
KR
South Korea
Prior art keywords
word
text
touch screen
screen display
user
Prior art date
Application number
KR1020137034221A
Other languages
English (en)
Other versions
KR20140043760A (ko
Inventor
웨이후아 탄
퀼량 첸
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20140043760A publication Critical patent/KR20140043760A/ko
Application granted granted Critical
Publication of KR101838260B1 publication Critical patent/KR101838260B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting

Abstract

일반적으로, 본 명세서에 서술된 본 발명은 컴퓨팅 디바이스의 터치스크린 디스플레이를 이용하여 텍스트를 선택하기 위한 방법들, 시스템들 및 프로그램 제품들로 구현될 수 있다. 컴퓨팅 디바이스는 시작 위치에서 다수의 손가락들과 터치스크린 디스플레이 사이의 물리적 콘택을 식별하며, 여기서 상기 식별은, 하나의 손가락과 터치스크린 디스플레이 사이의 물리적 콘택을 식별하는 것과 구별된다. 컴퓨팅 디바이스는 시작 위치에서 종료 위치로 물리적 콘택이 움직이는 동안에 물리적 콘택이 지속되는지를 판별한다. 컴퓨팅 디바이스는 물리적 콘택이 종료 위치에서 중단되었음을 판별한다. 컴퓨팅 디바이스는 시작 위치와 상기 종료 위치 사이에 디스플레이되는 텍스트를 컴퓨팅 디바이스의 사용자에 의해서 선택된 텍스트로 식별한다.

Description

텍스트를 선택하기 위한 제스처들{GESTURES FOR SELECTING TEXT}
일반적으로, 본 발명은 사용자 인터페이스에 관한 것이다.
컴퓨팅 디바이스는 텍스트를 디스플레이할 수 있으며 그리고 디스플레이된 텍스트의 일부분을 사용자가 선택할 수 있게 한다. 예를 들어, 사용자는 마우스 혹은 키보드를 사용하여, 워드 프로세싱 문서의 일부로서 혹은 웹 페이지의 일부로서 디스플레이되는 텍스트의 일부분을 하이라이트할 수 있다. 텍스트가 하이라이트되면, 사용자는 예컨대, 단축키(keyboard shortcut)를 제공하거나 혹은 그래픽 메뉴 항목을 마우스로 선택함으로써, 텍스트를 이용하는 액션을 수행할 수 있다. 예시적인 액션들은 텍스트를 복사 및 붙여넣기하는 것, 그리고 선택된 텍스트의 폰트 스타일을 변경하는 것 등을 포함한다.
모바일 디바이스들은 데스크탑 디바이스들과는 다른 사용자 경험(user experience)을 제공할 수 있다. 예를 들어, 일부 모바일 디바이스들은 데스크탑 디스플레이 스크린 보다 작은 스크린을 가지며, 일부 모바일 디바이스들은 마우스가 없으며, 그리고 일부 모바일 디바이스들은 터치스크린을 이용한 사용자 입력을 제공한다. 터치스크린은 사용자가 제스처들(예컨대, 디바이스의 터치스크린 디스플레이의 표면을 가로지르는 손, 손가락, 혹은 스타일러스의 움직임들)을 이용하여 모바일 디바이스에게 사용자 입력을 제공할 수 있게 한다. 이러한 제스처들은 텍스트를 선택하는데 이용될 수 있다.
사용자는, 특정 제스처들을 수행하기 위해 하나 이상의 손가락들을 터치스크린의 표면에 물리적으로 콘택함으로써, 터치스크린 디스플레이 디바이스 상에 디스플레이되는 텍스트를 선택할 수 있다. 사용자가 제스처를 수행하면, 모바일 디바이스는 텍스트의 일부분을 선택된 것으로 식별할 수 있으며, 그리고 선택된 상기 일부분에 대한 시각적인 표시를 디스플레이할 수 있다. 또한, 사용자는 텍스트 상에 액션을 수행하기 위하여 터치스크린에 콘택할 수 있다. 예를 들어, 사용자는 선택된 텍스트를 디스플레이하는 터치스크린의 소정 영역을 두드림으로써, 텍스트를 복사할 수 있다. 제 2 일례에서, 텍스트 상에서 수행될 수 있는 액션들(예컨대, 텍스트 복사, 텍스트 삭제, 텍스트 폰트 사이즈 조절, 텍스트 폰트 유형 변경, 텍스트 폰트 강조 변경, 및 텍스트 폰트 색상 변경)의 메뉴를 상기 모바일 디바이스가 디스플레이하도록, 사용자는 선택된 텍스트를 디스플레이하는 터치스크린의 영역을 두르리거나 혹은 길게 누를 수 있다.
첨부된 청구항들 및 다음에 설명되는 실시예들의 대안으로서, 본 발명은 또한, 다음의 실시예들 중 하나에 의해서 서술될 수 있다.
제 1 실시예는 컴퓨팅 디바이스의 터치스크린 디스플레이를 이용하여 텍스트를 선택하기 위한 컴퓨터-구현 방법에 관한 것이다. 상기 방법은, 시작 위치에서 다수의 손가락들과 상기 터치스크린 디스플레이 사이의 물리적 콘택을 컴퓨팅 디바이스에 의해서 식별하는 단계 -상기 식별은, 하나의 손가락과 상기 터치스크린 디스플레이 사이의 물리적 콘택을 식별하는 것과 구별되며- ; 상기 시작 위치에서 종료 위치로 상기 물리적 콘택이 움직이는 동안에 상기 물리적 콘택이 지속되는지를 상기 컴퓨팅 디바이스에 의해서 판별하는 단계; 상기 물리적 콘택이 상기 종료 위치에서 중단되었음을 상기 컴퓨팅 디바이스에 의해서 판별하는 단계; 및 상기 컴퓨팅 디바이스에 의해서, 상기 시작 위치와 상기 종료 위치 사이에 디스플레이되는 텍스트를 상기 컴퓨팅 디바이스의 사용자에 의해서 선택된 텍스트로 식별하는 단계를 포함한다.
제 2 실시예는 제 1 실시예의 방법에 관한 것이다. 상기 방법은, 상기 컴퓨팅 디바이스에 의해서, 상기 시작 위치로부터 기결정된 거리만큼 이격된 중간 위치를 판별하는 단계를 더 포함한다.
제 3 실시예는 제 2 실시예의 방법에 관한 것이다. 상기 방법은, 상기 컴퓨팅 디바이스에 의해서 그리고 상기 물리적 콘택이 상기 시작 위치에서 상기 종료 위치로 움직이는 동안, 상기 물리적 콘택이 상기 중간 위치에 도달하거나 혹은 상기 중간 위치를 지나친 이후에, 상기 물리적 콘택의 위치와 상기 시작 위치 사이의 텍스트가 선택되었음을 나타내는 표시(indication)를 디스플레이하는 단계를 더 포함한다. 물리적 콘택이 상기 중간 위치에 도달하거나 혹은 상기 중간 위치를 지나치기 전에, 상기 컴퓨팅 디바이스는 상기 물리적 콘택의 위치와 상기 시작 위치 사이의 텍스트가 선택되었음을 나타내는 표시를 디스플레이하지 않는다.
제 4 실시예는 제2-3 실시예 중 어느 하나의 방법에 관한 것이다. 컴퓨팅 디바이스는, (i) 상기 물리적 콘택이 상기 중간 위치에 도달하거나 혹은 지나친 이후에 상기 물리적 콘택이 중단되는 것은, 상기 컴퓨팅 디바이스로 하여금 텍스트가 선택되었음을 식별하게 하고; 그리고 (ii) 상기 물리적 콘택이 상기 중간 위치에 도달하거나 혹은 지나치기 전에 상기 물리적 콘택이 중단되는 것은, 텍스트 선택을 취소하도록 설정된다.
제 5 실시예는 제 4 실시예의 방법에 관한 것이다. 상기 방법은, 상기 물리적 콘택의 움직임이 상기 중간 위치에 도달하거나 지나가며, 따라서 상기 물리적 콘택은 상기 시작 위치와 상기 중간 위치 사이에 위치하지 않으며, 그리고 상기 물리적 콘택의 움직임이 이후 상기 종료 위치로 되돌아감을 판별하는 단계를 더 포함하며, 상기 종료 위치는 상기 시작 위치에 상기 중간 위치 사이에 존재한다.
제 6 실시예는 제4-5 실시예 중 어느 하나의 방법에 관한 것이다. 물리적 콘택이 상기 중간 위치에 도달하거나 혹은 지나치기 전에, 상기 물리적 콘택의 움직임이 상기 시작 위치와 상기 중간 위치 사이의 최단 경로로부터 기결정된 탄젠트 거리(tangential distance)만큼 이동한다라고 상기 컴퓨팅 디바이스가 판별한다면, 상기 컴퓨팅 디바이스는 상기 컴퓨팅 디바이스의 사용자에 의해서 텍스트가 선택되었다라고 식별하지 않는다.
제 7 실시예는 제 6 실시예의 방법에 관한 것이다. 물리적 콘택이 중간 위치를 지나친 이후에 상기 물리적 콘택이 기결정된 탄젠트 거리를 이동한다면, 상기 컴퓨팅 디바이스는 터치스크린 디스플레이 상에 디스플레이된 다수의 라인들의 텍스트 중에서 적어도 일부의 텍스트가 상기 컴퓨팅 디바이스의 사용자에 의해서 선택되었다라고 식별한다.
제 8 실시예는 제2-7 실시예들 중 어느 하나의 방법에 관한 것이다. 상기 방법은, 상기 시작 위치에서 상기 물리적 콘택을 식별하기 전에 상기 중간 위치에 디스플레이되지 않았던 그래픽 인터페이스 요소를, 상기 물리적 콘택의 움직임 동안에 상기 터치스크린 디스플레이에 의해서 그리고 상기 중간 위치에서 디스플레이하는 단계를 더 포함한다.
제 9 실시예는 제1-8 실시예들 중 어느 하나의 방법에 관한 것이다. 상기 방법은 상기 시작 위치에서 상기 종료 위치로 상기 물리적 콘택이 움직이는 동안에 다수의 손가락들이 인접을 유지하고 있는지의 여부를 판별하는 단계를 포함한다.
제 10 실시예는 제1-9 실시예들 중 어느 하나의 방법에 관한 것이다. 상기 방법은, 제 1 수량의 하나 이상의 손가락들을 포함하는 물리적 콘택에 기초하는 제 1 텍스트 선택 모드를 이용하여 상기 물리적 콘택의 위치와 상기 시작 위치 사이의 텍스트가 선택됨을, 상기 컴퓨팅 디바이스에 의해서 그리고 상기 물리적 콘택의 움직임 동안에 상기 터치스크린 디스플레이 상에 표시하는 단계; 상기 컴퓨팅 디바이스에 의해서 그리고 상기 물리적 콘택의 움직임 동안에, 상기 제 1 수량의 하나 이상의 손가락들이 제 2 수량의 하나 이상의 손가락들로 변경되었음을 판별하는 단계; 및 상기 제 1 수량의 하나 이상의 손가락들이 제 2 수량의 하나 이상의 손가락들로 변경되었다라고 판별하는 것에 응답하여, 상기 컴퓨팅 디바이스에 의해서 그리고 상기 물리적 콘택의 움직임 동안에 그리고 상기 터치스크린 디스플레이 상에, 상기 물리적 콘택의 위치와 상기 시작 위치 사이의 텍스트가 제 2 텍스트 선택 모드를 이용하여 선택됨을 표시하는 단계를 더 포함한다.
제 11 실시예는 제 10 실시예의 방법에 관한 것이다. 제 1 텍스트 선택 모드는, (i) 상기 움직임 동안에 단어의 일부가 선택된 것으로 표시되지 않도록, 상기 물리적 콘택의 위치와 상기 시작 위치 사이의 텍스트가 단어 단위로 선택되게 하는 텍스트 선택 모드, 및 (ii) 상기 움직임 동안에 단어의 일부가 선택된 것으로 표시되도록, 상기 물리적 콘택의 위치와 상기 시작 위치 사이의 텍스트가 글자 단위로 선택되게 하는 텍스트 선택 모드를 포함하는 그룹으로부터 선택되는 텍스트 선택 모드이며, 그리고 상기 제 2 텍스트 선택 모드는 상기 그룹과는 다른 텍스트 선택 모드이다.
제 12 실시예는 제 10 실시예의 방법에 관한 것이다. 상기 제 1 텍스트 선택 모드는, (i) 상기 움직임 동안에 문장의 일부가 선택된 것으로 표시되도록, 상기 물리적 콘택의 위치와 상기 시작 위치 사이의 텍스트가 단어 단위로 선택되게 하는 텍스트 선택 모드, 및 (ii) 상기 움직임 동안에 문장의 일부가 선택된 것으로 표시되지 않도록, 상기 물리적 콘택의 위치와 상기 시작 위치 사이의 텍스트가 문장 단위로 선택되게 하는 텍스트 선택 모드를 포함하는 그룹으로부터 선택되는 텍스트 선택 모드이며, 그리고 상기 제 2 텍스트 선택 모드는 상기 그룹과는 다른 텍스트 선택 모드이다.
제 13 실시예는 제1-12 실시예들 중 어느 하나의 방법에 관한 것이다. 상기 시작 위치와 상기 종료 위치 사이에 디스플레이되는 텍스트를 선택된 텍스트로 식별하는 단계는, (i) 상기 물리적 콘택이 제 1 수량의 손가락들을 포함한다면, 상기 시작 위치에 대응하는 제1의 부분적인(partial) 단어를 선택된 것으로 식별하고 그리고 상기 종료 위치에 대응하는 제2의 부분적인 단어를 선택된 것으로 식별하는 것과, 그리고 (ii) 상기 물리적 콘택이 제 2 수량의 손가락들을 포함한다면, 상기 시작 위치가 제 1 단어의 중간 위치에 대응한다하더라도 상기 시작 위치에 대응하는 상기 제 1 단어 전체를 선택된 것으로 식별하고 그리고 상기 종료 위치가 제 2 단어의 중간 위치에 대응한다하더라도 상기 종료 위치에 대응하는 상기 제 2 단어 전체를 선택된 것으로 식별하는 것을 포함한다.
제 14 실시예는 제1-13 실시예들 중 어느 하나의 방법에 관한 것이다. 상기 방법은, 상기 컴퓨팅 디바이스에 의해서 그리고 상기 물리적 콘택이 중단되었다라고 판별한 이후에, 상기 시작 위치와 상기 종료 위치 사이의 텍스트가 선택되었음을 나타내는 표시를 디스플레이하는 단계를 더 포함하며, 그리고 상기 물리적 콘택이 중단되었다라고 판별하는 것에 후속하여, 상기 컴퓨팅 디바이스는, (i) 디스플레이되는 상기 표시의 위치에서의 하나의 손가락을 이용한 사용자의 물리적 콘택은 상기 컴퓨팅 디바이스로 하여금 제 1 액션을 수행하게 하며; 및 (ii) 디스플레이되는 상기 표시의 위치에서의 복수의 손가락을 이용한 사용자의 물리적 콘택은 상기 컴퓨팅 디바이스로 하여금 제 2 액션을 수행하게 하도록 구성된다.
제 15 실시예는 제14 실시예의 방법에 관한 것이다. 상기 제 1 액션은, (ⅰ) 선택된 텍스트를 복사하는 것(copy), (ⅱ) 선택된 텍스트를 삭제하는 것, (ⅲ) 선택된 텍스트를 잘라내기 하는 것(cut), (ⅳ) 선택된 텍스트를 붙여넣기 하는 것(paste), 및 (ⅴ) 선택된 텍스트를 이용하여 수행될 수 있는 복수의 액션들의 메뉴를 디스플레이하는 것을 포함하는 그룹으로부터 선택된 하나의 액션이며, 상기 제 2 액션은 상기 그룹과는 다른 액션이다.
제 16 실시예는 컴퓨팅 디바이스의 터치스크린 디스플레이를 이용하여 텍스트를 선택하기 위한 컴퓨터-구현 방법에 관한 것이다. 상기 방법은, 컴퓨팅 디바이스에 의해서, 시작 위치에서의 터치스크린 디스플레이와의 물리적 콘택을 식별하는 단계; 상기 컴퓨팅 디바이스에 의해서, 상기 시작 위치로부터 기결정된 거리만큼 이격된 중간 위치를 중간 위치를 판별하는 단계, 여기서 상기 컴퓨팅 디바이스는, (i) 상기 물리적 콘택이 상기 중간 위치에 도달하거나 혹은 지나친 이후에 상기 터치스크린 디스플레이와의 물리적 콘택이 중단되는 것은 상기 컴퓨팅 디바이스로 하여금 텍스트가 선택되었음을 식별하게 하며, 그리고 (ii) 상기 물리적 콘택이 상기 중간 위치에 도달하거나 혹은 지나치기 전에 상기 터치스크린 디스플레이와의 물리적 콘택이 중단되는 것은 상기 컴퓨팅 디바이스로 하여금 텍스트 선택을 취소하게 하도록 되며; 상기 컴퓨팅 디바이스에 의해서, 상기 터치스크린 디스플레이와의 물리적 콘택이 중단됨이 없이 상기 터치스크린 디스플레이와의 물리적 콘택이 상기 중간 위치에 도달했거나 혹은 지나쳤음을 판별하는 단계; 상기 컴퓨팅 디바이스에 의해서, 상기 물리적 콘택이 움직이는 동안에 상기 터치스크린 디스플레이와의 상기 물리적 콘택이 임계 시간 보다 큰 제 1 순간(instance) 동안 종료 위치에서 중단되었음을 판별하는 단계; 상기 컴퓨팅 디바이스에 의해서, 상기 시작 위치와 상기 종료 위치 사이에 디스플레이되는 텍스트를 상기 컴퓨팅 디바이스의 사용자에 의해서 선택된 텍스트로 식별하는 단계; 및 상기 컴퓨팅 디바이스에 의해서, 상기 시작 위치와 상기 종료 위치 사이에 있는 텍스트가 상기 컴퓨팅 디바이스의 사용자에 의해서 선택된 텍스트임을 나타내는 표시를 디스플레이하는 단계를 포함한다.
제 17 실시예는 제 16 실시예의 방법에 관한 것이다. 상기 방법은, 상기 물리적 콘택의 움직임 동안 상기 컴퓨팅 디바이스에 의해서 그리고 상기 터치스크린 디스플레이 상에, 제 1 수량의 하나 이상의 손가락들을 포함하는 물리적 콘택에 기초하는 제 1 텍스트 선택 모드를 이용하여 상기 물리적 콘택의 위치와 상기 시작 위치 사이의 텍스트가 선택됨을 표시하는 단계; 상기 물리적 콘택의 움직임 동안 상기 컴퓨팅 디바이스에 의해서, 상기 제 1 수량의 하나 이상의 손가락들이 제 2 수량의 하나 이상의 손가락들로 변경되었음을 판별하는 단계; 및 상기 제 1 수량의 하나 이상의 손가락들이 상기 제 2 수량의 하나 이상의 손가락들로 변경되었다고 판별하는 것에 응답하여, 상기 물리적 콘택의 움직임 동안 상기 컴퓨팅 디바이스에 의해서 그리고 상기 터치스크린 디스플레이 상에, 상기 물리적 콘택의 위치와 상기 시작 위치 사이의 텍스트가 제 2 텍스트 선택 모드를 이용하여 선택됨을 표시하는 단계를 더 포함한다.
제 18 실시예는 제 17 실시예의 방법에 관한 것이다. 상기 제 1 텍스트 선택 모드는, (ⅰ) 상기 물리적 콘택의 움직임 동안에 단어의 일부가 선택된 것으로 표시될 수 있도록, 상기 물리적 콘택의 위치와 상기 시작 위치 사이의 텍스트가 개별 글자 단위로 선택되게 하는 텍스트 선택 모드, (ⅱ) 상기 물리적 콘택의 움직임 동안에 단어의 일부는 선택된 것으로 표시될 수 없도록 그리고 상기 물리적 콘택의 움직임 동안에 문장의 일부가 선택된 것으로 표시될 수 있도록, 상기 물리적 콘택의 위치와 상기 시작 위치 사이의 텍스트가 단어 단위로 선택되게 하는 텍스트 선택 모드, 및 (ⅲ) 상기 물리적 콘택의 움직임 동안에 문장의 일부 및 단어의 일부는 선택된 것으로 표시될 수 없도록, 상기 물리적 콘택의 위치와 상기 시작 위치 사이의 텍스트가 문장 단위로 선택되게 하는 텍스트 선택 모드를 포함하는 그룹으로부터 선택된 텍스트 선택 모드이며, 상기 제 2 텍스트 선택 모드는 상기 그룹과는 다른 텍스트 선택 모드이다.
제 19 실시예는 제16-18 실시예들 중 어느 하나의 방법에 관한 것이다. 상기 방법은, 상기 물리적 콘택의 움직임 동안 상기 터치스크린 디스플레이에 의해서 그리고 상기 중간 위치에서, 그래픽 인터페이스 요소를 디스플레이하는 단계를 더 포함하며, 상기 그래픽 인터페이스 요소는 상기 시작 위치에서 상기 물리적 콘택을 식별하기 전에는 상기 중간 위치에서 디스플레이되지 않았던 것이다.
다른 실시예들은, 인스트럭션들을 저장하는 컴퓨터-판독가능한 저장 디바이스들을 포함하는바, 상기 인스트럭션들은 하나 이상의 프로세싱 디바이스들에 의해서 실행되는 때에, 전술한 방법들에 따른 동작들을 수행한다. 다른 실시예들은, 전술한 컴퓨터-판독가능한 저장 디바이스들을 포함하고 그리고 하나 이상의 프로세싱 디바이스들을 이용하여 상기 동작들을 실행하도록 구성된 시스템들 및 장치들을 포함한다.
제 20 실시예는 컴퓨팅 디바이스에 관한 것이다. 상기 컴퓨팅 디바이스는, 하나 이상의 프로그래밍가능한 프로세서들; 및 상기 하나 이상의 프로그래밍가능한 프로세서들에 연결되며 그리고 인스트럭션들이 저장되어 있는 컴퓨터-판독가능한 저장 디바이스를 포함하며, 상기 인스트럭션들은 상기 하나 이상의 프로그래밍가능한 프로세서들에 의해서 실행되는 때에 상기 하나 이상의 프로그래밍가능한 프로세서들로 하여금, 시작 위치에서 다수의 손가락들과 터치스크린 디스플레이 사이의 물리적 콘택을 식별하고; 상기 시작 위치에서 종료 위치로 상기 물리적 콘택이 움직이는 동안에 상기 물리적 콘택이 중단없이 지속되는지를 판별하고; 상기 터치스크린 디스플레이와 상기 물리적 콘택이 상기 종료 위치에서 중단되었음을 판별하고; 및 상기 시작 위치와 상기 종료 위치 사이에 디스플레이되는 텍스트를 상기 컴퓨팅 디바이스의 사용자에 의해서 선택된 텍스트로 식별하는 것을 포함하는 동작들을 수행하게 한다.
특정 구현예들은 소정 경우들에 있어서, 다음과 같은 하나 이상의 장점들을 실현할 수 있다. 사용자는 터치스크린 디스플레이를 터치함으로서 텍스트의 일부를 빠르게 선택할 수 있다. 또한, 제스처 한정(gesture constraints)은 사용자에 의한 의도치않은 텍스트 선택을 최소화할 수 있다. 또한, 이러한 한정들에 대한 시각적인 표시는, 텍스트를 선택하기 위하여 사용자가 수행해야만 하는 제스처를 사용자가 이해할 수 있게 한다. 일부 실시예들에서, 사용자는 텍스트가 선택되는 단위의 레벨(level of granularity)을 변경할 수 있다(예컨대, 글자들, 단어들, 문장들 혹은 문단들에 의한 선택).
하나 이상의 실시예들에 대한 세부내용은 첨부된 도면들을 참조하여 아래에 설명된다. 다른 피처들, 목적들, 및 장점들은 발명의 상세한 설명 및 도면, 그리고 청구범위로부터 명백해질 것이다.
도1은 제 1 손가락에 의한 길게 누름(long press)과 제 2 손가락에 의한 터치를 이용하여 텍스트를 선택하는 기법을 예시한다.
도2는 이격된 2개의 손가락들에 의한 누름을 이용하여 텍스트를 선택하는 기법을 예시한다.
도3은 멀티-터치 스와이프 제스처를 이용하여 텍스트를 선택하는 기법을 예시한다.
도4는 싱글-터치 스와이프 제스처를 이용하여 텍스트를 선택하는 기법을 예시한다.
도5는 복합 멀티-터치 스와이프 제스처를 이용하여 텍스트를 선택하는 기법을 예시한다.
도6은 선택된 텍스트의 범위를 조절하기 위한 기법을 예시한다.
도7은 선택된 텍스트의 예시적인 디스플레이를 도시한다.
도8a-8b는 텍스트를 선택하기 위한 예시적인 프로세스의 순서도이다.
도9는 텍스트를 선택하기 위한 시스템의 개념도이다.
도10은 시스템의 개념도이다.
도11은 컴퓨티 디바이스들의 블록도이다.
다양한 도면들에서 유사한 참조 번호들은 유사한 구성요소들을 나타낸다.
일반적으로, 본 명세서는 텍스트를 선택하고 그리고 디스플레이되는 텍스트가 선택되었다는 것을 인식하기 위한 기술들을 서술한다. 일부 기술들에서, 사용자는 사용자가 선택하기를 원하는 텍스트를 가로질러 사용자의 손가락들 중 하나 이상을 스와이프(swipe)함으로써, 컴퓨팅 디바이스의 터치스크린 상에 디스플레이되는 텍스트를 선택할 수 있다. 선택되는 텍스트는, 스와이프 제스처의 시작 위치와 스와이프 제스처의 끝 위치 사이에 포함된 텍스트를 포함할 수 있다. 텍스트가 선택되기 위하여, 사용자는 다수의 손가락들로 터치스크린을 콘택할 필요가 있을 수도 있다. 예를 들어, 사용자가 2개의 인접한 손가락들을 스크린을 가로질러 동시에 스와이프한다면 텍스트가 선택될 수 있지만, 사용자가 하나의 손가락을 스크린을 가로질러 스와이프한다거나, 인접하지 않은 2개의 손가락들을 스와이프한다거나, 혹은 2개의 손가락들을 동시에 스와이프하지 않는다면 텍스트가 선택되지 않을 수 있다.
일부 실시예에서는, 사용자가 터치스크린과의 시작 콘택 이후에 기결정된 거리만큼 스와이프하는 경우에만 텍스트가 선택된다. 사용자가 스와이프 제스처를 개시한 이후, 터치스크린은 기결정된 거리의 위치에 대한 시각적인 표시를 디스플레이할 수 있다. 사용자가 상기 시각적인 표시를 콘택하기 전에 스와이프 제스처를 종료하는 것은 텍스트가 선택되지 않게 할 수 있는 반면에, 사용자가 상기 시각적인 표시를 콘택하거나 혹은 지나친 이후에 스와이프를 종료하는 것은 스와이프 제스처에 의해서 가로질러진(traversed) 텍스트가 선택되게 할 수 있다.
텍스트의 일부분(기결정된 거리 보다 짧음)을 사용자가 선택하기 위해서, 사용자는 상기 시각적 위치로 스와이프하고 그리고 사용자가 선택하기를 원하는 텍스트의 말단부 쪽으로 되돌아갈 수 있다. 일부 실시예들에서, 사용자는 다수의 텍스트 라인들에 걸쳐서 디스플레이되는 텍스트를 선택할 수 있다. 다수 라인들 상의 이러한 텍스트를 선택하기 위하여, 사용자는 스와이프 제스처의 방향을 텍스트의 라인들과 교차하는 방향으로 변경하기 전에 기결정된 거리를 수평적으로 스와이프하여, 다수의 라인들에 걸쳐있는 텍스트의 연속적인 부분을 선택할 수 있다.
텍스트 선택 모드는 스와이프 제스처 동안 사용자가 얼마나 많은 손가락들을 터치스크린에 동시에 콘택시키는가에 의존할 수 있다. 예를 들어, 2개의 손가락들로 스와이프하는 것은 단어 단위로(word-by-word basis) 텍스트가 선택되게 할 수 있으며, 반면에 3개의 손가락들로 스와이프하는 것은 문장 단위로(sentence-by-sentence basis) 텍스트가 선택되게 할 수 있다. 사용자는 스와이프 제스처 동안 텍스트 선택 모드를 변경할 수 있는바, 예를 들면 디스플레이에 대해 손가락을 추가하거나 혹은 떼어냄으로써 텍스트 선택 모드를 변경할 수 있다. 해당 텍스트 선택 모드를 호출(invoke)하기 위해서는, 다수의 손가락들이 서로 인접하게 콘택하고 있다라는 판별이 요구될 수도 있다.
사용자가 터치스크린으로부터 그의 손가락들을 떼어낸 이후에 텍스트가 선택될 수도 있다. 예를 들어, 선택된 텍스트를 하이라이트시키거나 혹은 선택된 텍스트를 팝-업 박스(pop-up box) 내에 디스플레이함으로써, 선택된 텍스트에 대한 표시가 디스플레이된다. 텍스트를 선택한 이후, 사용자는 선택된 텍스트를 이용하여 액션을 수행할 수 있다. 예시적인 액션들은, 선택된 텍스트가 붙여넣기(paste)될 수 있도록 선택된 텍스트를 복사하는 것(copy), 선택된 텍스트가 붙여넣기될 수 있도록 선택된 텍스트를 잘라내기 하는 것(cutting), 선택된 텍스트를 삭제하는 것, 선택된 텍스트의 색상을 변경하는 것, 선택된 텍스트의 폰트 크기를 변경하는 것, 선택된 텍스트의 폰트 유형을 변경하는 것, 선택된 텍스트의 음영을 변경하는 것, 및 선택된 텍스트에 강조(emphasis)를 부가하거나 혹은 제거하는 것을 포함할 수 있다.
선택된 텍스트를 이용하여 수행되는 액션은 선택된 텍스트와의 사용자 상호작용(user interaction)에 근거할 수도 있다(예컨대, 사용자는 선택된 텍스트를 디스플레이하는 터치스크린의 소정 영역을 콘택한다). 예를 들면, 디스플레이되는 텍스트를 하나의 손가락으로 두드리는 것(single-finger tap: 싱글 핑거 탭)은 제 1 액션을 수행할 수 있는 반면에, 2개의 손가락으로 두드리는 것(double-finger tap: 더블-핑거 탭)(서로 접촉하고 있는 2개의 손가락들로 동시에, 혹은 대략적으로 동시에 두드리는 것)은 제 2 액션을 수행할 수 있다. 디스플레이되는 텍스트에 대한 스와이프는 제 3 액션을 수행할 수 있으며 하나의 손가락으로 길게 누르는 것(long press: 롱 프레스, 이하, "길게 누르기" 혹은 "롱 프레스" 라 함)은 제 4 액션을 수행할 수 있다.
텍스트를 선택하기 위한 또 다른 혹은 보조적인 제스처들이 본 명세서에 서술된다. 예를 들어, 이하에서 본 명세서는 컴퓨팅 디바이스에 의해서 디스플레이되는 텍스트를 선택하고 그리고 컴퓨팅 디바이스의 사용자에 의해서 선택된 텍스트와 상호작용하기 위한 다수의 서로 다른 매커니즘들을 서술한다.
텍스트 선택 모드
컴퓨팅 디바이스는 사용자가 텍스트 선택 제스처를 수행하였다고 컴퓨팅 디바이스가 판별한 이후에 텍스트 선택 모드로 진입하도록 프로그래밍될 수 있다. 디바이스가 텍스트 선택 모드에 진입하면, 디바이스와의 사용자 상호작용은 디바이스가 텍스트 선택 모드에 있지 않을 때와 달라질 수 있다. 예를 들면, 디바이스가 텍스트 선택 모드에 있지 않은 동안, 사용자는 터치스크린을 가로지르는 원-핑거 스와이프(one-finger swipe)로 디스플레이를 드래그(drag)할 수 있으며 그리고 터치스크린에 콘택하는 2개의 손가락들로 핀칭(pinching) 혹은 스프레딩(spreading)함에 의해서 줌인 혹은 줌아웃 할 수도 있다. 디바이스가 텍스트 선택 모드에 있게 되면, 컴퓨팅 디바이스는 드래깅 및 줌잉 사용자 입력 동작들 중 하나 이상을 디스에이블시킬 수 있다. 달리 말하면, 일단 사용자가 텍스트를 선택하면, 텍스트 선택 모드를 빠져나오게 하는 사용자 입력(예컨대, 선택된 텍스트를 보여주지 않는 터치스크린의 소정 부분을 두드리는 것)을 사용자가 제공할 때까지, 사용자는 디스플레이를 드래그 혹은 줌할 수 없을 수도 있다.
다음에 상세히 설명되는 바와 같이, 사용자가 텍스트를 선택하고 그리고 디바이스가 텍스트 선택 모드에 있게 되면, 디바이스는 사용자 입력 제스처들 혹은 동작들을 인식할 수 있는바, 이러한 사용자 입력 제스처들 혹은 동작들은, 디바이스가 텍스트 선택 모드에 있지 않는 경우 상기 디바이스가 인식하지 못하는 것들이다. 예를 들어, 사용자는 선택된 텍스트를 하나의 손가락으로 두드림(tapping)으로써, 텍스트를 복사할 수 있다. 하지만 디바이스가 텍스트 선택 모드에 있지 않는 경우, 디스플레이에 의해서 도시된 텍스트를 두드리는 것은 텍스트를 복사하지 못한다.
다음의 설명 부분은 텍스트를 선택하기 위한 다양한 사용자 입력 매커니즘들을 서술한다.
제 1 손가락에 의한 롱 프레스(long press) 및 제 2 손가락에 의한 터치
도1에 도시된 바와 같이, 예시적인 텍스트 선택 제스처는 디스플레이를 길게 누르는(long press: '롱 프레스' 라고도 함) 제 1 손가락(102)과 그 이후에 디스플레이의 다른 부분을 터치하는 제 2 손가락을 포함한다. 2개의 손가락들 사이에 있는 텍스트 부분이 컴퓨팅 디바이스에 의해서 선택된다. 상기 텍스트 부분은 다수의 수평 라인들에 있는 텍스트를 포함할 수 있다. 이러한 일례들에서, 손가락들 사이에 있는 각각의 라인은 그 라인 전체가 선택될 수 있으며, 그리고 사용자에 의해서 콘택된 라인들은 부분적으로 선택될 수 있다. 부분적으로 선택되는 텍스트는, 스크린 상의 가장 높은 위치에서 스크린과 콘택하고 있는 손가락의 오른쪽으로의 텍스트와 스크린 상의 가장 낮은 위치에서 스크린과 콘택하고 있는 손가락의 왼쪽으로의 텍스트를 포함할 수 있다(디바이스가 왼쪽에서 오른쪽으로 텍스트를 판독하도록 된 경우). 달리 말하면, 선택된 텍스트는, 가장 높은 위치에서 스크린과 콘택하는 손가락에서 시작하여 가장 낮은 위치에서 사용자가 손가락으로 콘택하는 텍스트에 사용자가 도달할 때까지의, 사용자가 판독하고자 하는 모든 텍스트를 포함할 수 있다.
상기 일례에서, "홀드(hold)" 는, 실질적으로 고정되었다라고 판별되는(예컨대, 기결정된 거리 미만으로 움직이는 것) 소정 위치에서 기결정된 시간 동안의 스크린과의 제 1 물리적 콘택이라고 판별될 수 있다. 이러한 판별은, 디스플레이와의 단지 물리적인 접촉이라고 판별되는 콘택을 포함할 수도 있다. 상기 터치는, 제 1 콘택이 실질적으로 고정되게 유지되는 동안에 그리고 기결정된 시간 이후에 발생하는 스크린과의 제 2 콘택이 될 수 있다. 텍스트 선택 모드를 호출하기 위하여, 상기 2개의 콘택들 모두는 제 2 콘택 이후의 소정 시간 동안, 실질적으로 고정된 위치들을 유지할 수 있다. 일부 실시예들에서, 제 2 콘택은 제 1 콘택 이후의 기결정된 시간 이후에 그리고 제 1 콘택 이후의 다른 하나의 기결정된 시간이 경과되기 전에 발생해야만 한다. 만일, 스크린과의 제 1 콘택이 너무 오래 지속된다면, 제 1 콘택의 위치에서의 디스플레이를 위해 커서가 출현할 수도 있다. 이러한 커서는 텍스트 선택을 하지 못할 수도 있으며 혹은 다른 제스처를 이용하여 텍스트 선택을 가능하게 할 수도 있다.
디스플레이와의 제 2 콘택 이후에, 텍스트는 선택되었다고 디스플레이될 수 있다(예컨대, 텍스트는 하이라이트될 수도 있으며 혹은 비선택 텍스트와 구별되는 색상으로 도시될 수도 있다). 텍스트가 선택되었다고 디스플레이되면, 스크린과의 상기 콘택들 중 하나 혹은 둘다를 이동시킴으로써, 사용자는 선택된 텍스트의 영역을 변경할 수 있다. 하나의 일례로서, 사용자는 더 멀리 이격되도록 손가락들을 벌려서 더 많은 텍스트를 선택할 수도 있으며 혹은 손가락들을 더 가깝게 근접시켜서 더 적은 텍스트를 선택할 수도 있다. 일부 실시예들에서, 롱 프레스(long press)는 선택된 텍스트 부분의 시작점을 지정할 수도 있으며, 혹은 선택된 텍스트 부분의 종료점을 지정할 수도 있다. 일부 실시예들에서, 만일 사용자가 기결정된 시간 동안에 텍스트 선택 제스처를 완료하지 않는다면(예컨대, 사용자가 상기 "터치" 를 수행하지 않는다면), 텍스트 선택 제스처는 완료되지 않으며 그리고 텍스트는 선택되지 않는다.
따로 떨어진(separated) 2개의 손가락들에 의한 누름(press: 프레스)
도2에 도시된 바와 같이, 예시적인 텍스트 선택 제스처는, 텍스트의 보디(body)에 있는 서로 다른 위치들을 실질적으로 동시에(예컨대, 서로의 기결정된 시간 이내에서) 콘택하는 2개의 손가락들(202, 204)을 포함한다. "제 1 손가락에 의한 롱 프레스 및 제 2 손가락에 의한 터치" 제스처 부분에서 앞서 설명한 바와 같이, 사용자는, 선택된 텍스트의 영역을 변경하기 위하여 사용자의 손가락들 중 하나 이상을 조정할 수 있다. 손가락들이 터치할 때까지 사용자가 그의 손가락들을 함께 움직였으며 이후 그의 손가락들을 디스플레이로부터 실질적으로 동시에 떼어냈다라고 디바이스가 판별한다면, 투-핑거 텍스트 선택 제스처가 호출된 이후에 디바이스는 텍스트 선택 동작을 취소할 수 있다.
인접한 두 손가락 스와이프 제스처
도3에 도시된 바와 같이, 예시적인 텍스트 선택 제스처는 텍스트를 선택하기 위하여 텍스트의 라인을 가로질러 스와이핑하는 인접한 2개의 손가락들(302, 304)을 포함한다. 다음에 상세히 논의되는 바와 같이, 손가락들은 컴퓨팅 디바이스에 의해서 인접한 것으로 결정될 수 있는데, 예를 들어, 제 1 손가락(302)에 대한 콘택 영역의 중심점이 제 2 손가락(304)에 대한 콘택 영역의 중심점으로부터 기결정된 거리 내에 위치한다면, 손가락들은 인접한 것으로 결정될 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스는 제스처를 호출하기 위하여 손가락들(302, 304)이 서로의 기결정된 시간 이내에 디스플레이와 콘택할 것을 요구할 수도 있다.
다음에 좀더 상세히 설명되는 바와 같이, 사용자는 텍스트 선택 제스처가 활성화되기 전에 기결정된 거리만큼 그의 손가락들을 스와이프할 수도 있다. 또한, 추가 텍스트 라인을 선택하기 위하여 사용자가 그의 손가락들을 수직방향으로 움직일 수 있기 전에, 사용자는 기결정된 거리만큼 수평 텍스트 라인을 따라갈 수 있다. 사용자가 그의 손가락들을 디스플레이로부터 릴리즈하면, 텍스트가 선택될 수 있다. 일부 실시예들에서는, 텍스트를 선택하기 위하여, 2개의 손가락들 모두가 서로의 기결정된 시간 이내에 디스플레이와의 접촉으로부터 릴리즈될 수 있다(예컨대, 디스플레이와의 접촉을 중단한다).
한 손가락 스와이프 제스처
도4에 도시된 바와 같이, 예시적인 텍스트 선택 제스처는, 텍스트를 선택하기 위하여 텍스트 라인을 가로질러 스와이핑하는 하나의 손가락(402)을 포함한다. 선택되는 텍스트 부분은, 콘택의 시작 위치(404)와 콘택의 말단 위치 사이의 부분이 될 수 있다. 다음에 좀더 상세히 설명되는 바와 같이, 텍스트 선택 제스처가 활성화되기 전에, 사용자는 기결정된 거리를 스와이프할 수 있다. 일부 실시예들에서, 상기 거리는, 컴퓨팅 디바이스에 의해서 터치스크린 상에 도시된다. 예를 들면, 도4에서, 사용자는 시작 위치(404)에서 텍스트를 콘택하였고 이후 컴퓨터 디바이스는 디스플레이 상에 박스(406)를 제시한다.
만일, 사용자가 기결정된 시간 이내에 상기 박스의 끝까지 스와이프하지 않는다면, 상기 디바이스는 텍스트 선택 모드로 진입하지 않을 것이다. "인접한 두 손가락 스와이프" 제스처를 참조하여 앞서 설명한 바와 같이, 사용자가 상기 박스(406)의 최우측 말단(right-most end)을 지나쳐서 기결정된 거리를 스와이프한다면, 사용자는 텍스트의 추가 라인 부분들을 선택하기 위하여 그의 손가락을 수직 방향으로 위쪽 혹은 아래쪽으로 이동시킬 수 있다. 다른 물체가 손가락(402)과 동시에 터치스크린 디스플레이에 콘택하고 있다라고 디바이스 판별하는 경우, 한 손가락 스와이프 제스처는 인식되지 않을 수도 있다.
일부 실시예들에서, 한 손가락 스와이프 제스처는 팬(pan)할 수 없는 디스플레이의 부분들에만 오직 이용가능하다(예컨대, 웹 페이지 컨텐트를 디스플레이하는 웹 브라우저의 컨텐트 디스플레이 영역이 팬(pan)할 수 있는, 웹 브라우저의 어드레스 바(address bar)). 다음에 좀더 상세히 설명되는 바와 같이, 일부 실시예들에서, 사용자는 한 손가락 스와이프 제스처로 텍스트 선택 제스처를 시작하지 못할 수도 있지만, 한 손가락 제스처를 종료하도록 하나 이상의 손가락들을 릴리즈할 수 있다. 제스처에서의 이러한 변화는, 텍스트 선택의 유형을 변경할 수 있다(예컨대, 디바이스가 글자(character) 단위로 혹은 전체 단어 단위로 텍스트를 선택하는지를).
세 손가락 스와이프 제스처
도5에 도시된 바와 같이, 예시적인 텍스트 선택 제스처는 제 1 액션을 수행하기 위해 수평적으로 그리고 동시에 텍스트를 스와이핑하는 3개 이상의 손가락들(502, 504, 506)을 포함한다. 일부 실시예들에서, 제 1 액션은 디스플레이 내의 모든 텍스트 혹은 적어도 부분적으로 디스플레이되는 문서 내의 모든 텍스트를 선택하는 것을 포함한다. 또 다른 예시적인 텍스트 선택 제스처는 제 2 액션을 수행하기 위해 수직으로 스와이핑하는 3개 이상의 손가락들을 포함한다. 일부 실시예들에서, 제 2 액션은 수직 스와이핑 동안에 3개 이상의 손가락들에 의해서 콘택되는 하나 이상의 문단들(paragraph)을 선택하는 것을 포함한다. 일부 실시예들에서는, 상기 제스처를 인식하기 위하여 디바이스는 손가락들이 인접하다고 판별한다. 일부 실시예들에서는, 상기 제스처를 인식하기 위하여 디바이스는 손가락들이 인접하다고 판별하지 않는다.
선택된 텍스트 범위의 조절
도6에 도시된 바와 같이, 컴퓨팅 디바이스는 선택된 텍스트의 시작 위치에 있는 핀(602)과 선택된 텍스트의 종료 위치에 있는 핀(604)을 디스플레이할 수 있다. 상기 핀들(602, 604)은 사용자가 디스플레이로부터 손가락들을 뗀 이후에 출현할 수 있다. 사용자는 손가락으로 핀을 터치할 수 있으며 그리고 디스플레이와의 콘택을 유지하면서 손가락을 이동시킬 수 있는데, 이는 선택된 텍스트의 범위를 조절하기 위한 것이다. 일부 실시예들에서, 핀 혹은 선택된 텍스트를 디스플레이하고 있지 않는 위치에서 디스플레이를 두드리거나 혹은 달리 콘택함으로써, 사용자는 텍스트 선택 모드를 빠져나올 수 있다.
도7은 선택된 텍스트(714) 및 텍스트가 선택된 이후에 출현하는 핀들(702, 704, 706, 708)의 또 다른 예시적인 모습을 도시한다. 도7은 모바일 디바이스가 터치스크린 상에 디스플레이하고 있는 텍스트 편집기 어플리케이션 프로그램의 디스플레이(720)을 도시한다. 사용자는, 예컨대, 본 명세서에서 서술된 기술들을 이용하여 텍스트(714)를 선택한다. 텍스트(714)의 선택에 응답하여, 컴퓨팅 디바이스는 선택된 텍스트(714)에 대한 제안된 대안적인 단어들을 텍스트 제안 영역(710)에 디스플레이한다.
일부 실시예들에서, 사용자는 소정 시간 동안 터치스크린 디스플레이에 하나의 손가락을 터치할 수 있는데, 이는 사용자 손가락의 커서 위치를 지정하는 핀(712)을 위치시키기 위한 것이다(디스플레이 722에 도시된 바와 같이). 사용자의 손가락이 떨어지면, 컴퓨팅 디바이스는 (ⅰ) 단어 선택, (ⅱ) 모두 선택, (ⅲ) 붙여넣기(paste), (ⅳ) 잘라내기, 및 (ⅴ) 삭제 등의 다수개의 옵션들의 임의의 조합을 포함하는 메뉴(미도시)를 디스플레이할 수 있다. 이러한 일례에서, 사용자가 선택한 메뉴 옵션은 "단어 선택" 이다. 이에 응답하여, 컴퓨팅 디바이스는 단어 "8PM" 을 선택한다. 선택된 단어는 핀들에 의해서 경계가 설정되며(bounded), 사용자는 선택된 텍스트의 위치를 이동시키거나 사이즈를 조절하기 위하여 이러한 핀들을 드래그 할 수 있다. 상기 일례에서, 사용자는 단어 "8PM" 을 경계짓는 원래 위치들로부터 디스플레이(724)에 도시된 위치들로 핀(706)과 핀(708)을 드래그한다.
텍스트 선택 모드에서의 액션들
아래에 설명되는 바와 같이, 컴퓨팅 디바이스가 텍스트 선택 모드로 진입하면, 사용자가 텍스트 선택 제스처를 수행했다라고 디바이스가 판별하는 것에 응답하여, 사용자는 다양한 액션들을 수행하기 위한 사용자 입력을 제공할 수 있다. 예를 들어, 사용자는 텍스트 선택 모드를 빠져나오기 위하여, 선택된 텍스트를 디스플레이하지 않는 디스플레이의 소정 영역을 콘택할 수 있다. 사용자는 선택된 텍스트를 한 손가락으로 콘택하여, 디폴트 액션(예컨대, 텍스트를 복사하기)을 시작할 수 있다. 사용자는 선택된 텍스트를 2개의 인접한 손가락으로 콘택하여, 제 2 액션(예컨대, 선택된 텍스트로 인터넷 검색을 수행하는 것)을 시작할 수 있다. 사용자는 선택된 텍스트를 3개의 인접한 손가락으로 콘택하여, 제3의(tertiary) 액션을 시작할 수도 있다(예를 들면, 텍스트를 이용하여 수행될 수 있는 액션들의 팝-업 메뉴를 생성하는 것).
도8a 및 도8b는 텍스트를 선택하기 위한 예시적인 프로세스의 순서도를 도시한다. 일반적으로, 설명된 프로세스는, 컴퓨팅 디바이스의 터치스크린 디스플레이 디바이스에 의해서 디스플레이되는 텍스트에 대해서 사용자가 하나 이상의 손가락들을 스와이핑하는 것에 응답하여 수행된다.
박스 802에서, 컴퓨팅 디바이스는 시작 위치에서 컴퓨팅 디바이스의 터치스크린과의 물리적인 콘택을 식별한다. 예를 들어, 모바일 컴퓨팅 디바이스의 사용자는 컴퓨팅 디바이스의 터치스크린에 하나 이상의 손가락들을 물리적으로 접촉시킬 수 있다(예컨대, 사용자는 터치스크린의 유리 표면 혹은 상기 유리 표면 위의 필름 커버에 하나 이상의 손가락들을 접촉시킬 수 있다). 컴퓨팅 디바이스는 터치스크린 상의 콘택 위치 및 콘택되는 터치스크린의 소정 영역(예컨대, 사용자 손가락의 콘택 영역에 대응하는 불규칙적인 모양의 원형 영역)을 판별할 수 있다. 컴퓨팅 디바이스는 상기 콘택이 손가락에 의한 콘택을 나타내는지를 판별할 수 있다. 또한, 컴퓨팅 디바이스는 콘택의 시작 위치를 판별할 수 있다. 상기 시작 위치는 콘택 영역 내의 위치로서 판별될 수도 있다. 콘택 영역이 하나의 손가락을 포함하고 있는 일례들에서, 시작 위치는, 한 손가락에 의한 콘택 영역의 중심점이 될 수도 있다. 콘택 영역이 다수의 손가락들을 포함하고 있는 일례들에서, 시작 위치는, 리딩 손가락(leading finger)의 콘택 영역의 중심점이 될 수도 있으며, 여기서, 리딩 손가락은 스와이핑 제스처를 이끄는 손가락이며 그리고 하나 이상의 후속 손가락들이 뒤따르는 손가락이다. 콘택 영역이 다수의 손가락들을 포함하는 다른 일례들에서, 시작 위치는, 다수의 손가락들의 콘택 영역의 중심점이 될 수도 있는바, 예를 들면, 다수개 손가락들의 콘택 영역들을 경계짓는 영역의 중심점을 나타내는 위치가 될 수 있다.
물리적인 콘택은 텍스트를 선택하기 위한 제스처의 일부로서인 물리적인 첫 콘택(initial physical contact)이 될 수 있다. 달리 말하면, 텍스트를 선택하기 위한 제스처는, 터치스크린과의 물리적인 콘택 이전에 물리적인 콘택의 식별(identification)을 요구하지 않을 수도 있다. 일부 실시예들에서, 물리적인 콘택은, 실질적으로 고정된 위치에서 소정 시간보다 더 오랜 시간 동안 물리적인 콘택을 유지할 것을 요구하지 않는다. 일부 실시예들에서, 물리적인 콘택은, 선택될 텍스트가 디스플레이된 이후의 터치스크린과의 물리적인 첫 콘택이 될 수 있다.
박스 804에서, 컴퓨팅 디바이스는 물리적 콘택에 포함된 인접한 손가락들의 수량을 판별한다. 예를 들어, 컴퓨팅 디바이스는 콘택의 다수의 영역들이 서로 다른 다수의 손가락들에 대응하는지를 식별할 수 있으며 그리고 콘택의 하나의 영역이 다수의 손가락들(예컨대, 컴퓨팅 디바이스에게 터치스크린 표면에서 물리적으로 서로 콘택하고 있는 것으로 보이는 2개의 손가락들)에 대응하는지를 식별할 수 있다. 컴퓨팅 디바이스는 예를 들면, 콘택의 영역들의 가장자리들, 혹은 콘택 영역들에 대해 지정된 위치들이 서로 기결정된 거리 이내에 있는지를 판별함으로써, 물리적인 콘택이 인접한 손가락들을 포함한다라고 결정할 수 있다.
콘택이 다수개의 인접한 손가락들을 포함하는 경우, 컴퓨팅 디바이스는 시작 위치를 식별할 수 있는데, 시작 위치는 (ⅰ) 2개의 손가락들 중 리딩 손가락(leading finger)의 위치, (ⅱ) 2개의 손가락들 중 끌려가는 손가락(trailing finger)의 위치, 혹은 (ⅲ) 2개의 손가락들에 의해서 콘택되는 터치스크린의 영역들의 실질적으로 중심에 있다라고 판별된 위치에 대응한다. 본 명세서에 기재된 "인접한 손가락들" 이라는 용어는 상기 손가락들이 물리적으로 서로 콘택하는지의 여부에 관계없이, 컴퓨팅 디바이스에 의해서 인접하고 있다라고 식별된 손가락들을 의미한다.
박스 806에서, 컴퓨팅 디바이스는 중간 위치(intermediate location)를 결정한다. 중간 위치는 컴퓨팅 디바이스에 의한 텍스트 선택을 불러오기(invoke) 위하여 사용자가 사용자의 하나 이상의 손가락들을 반드시 스와이핑해야만 한다라고 컴퓨팅 디바이스가 결정한 위치가 될 수 있다. 예를 들어, 컴퓨팅 디바이스는 시작 위치의 오른쪽 방향으로 기결정된 거리에 있는 위치 혹은 소정 분량의 본문 글자들만큼인 위치를 중간 위치로 결정할 수 있다(예컨대, 터치스크린 폭의 25%). 이와 같이, 기결정된 거리는 시작 위치로부터 기결정된 거리인 모든 지점들에 대응하지 않을 수도 있다(예컨대, 시작 위치를 둘러싸는 원의 포인트들). 일부 실시예들에서, 컴퓨팅 디바이스는, 사용자가 텍스트의 라인을 따라 하나 이상의 손가락들을 스와이핑했다라고 판별하는 것에 것에 응답하여, 중간 위치를 결정한다
박스 808에서, 컴퓨팅 디바이스는 중간 위치에 대한 표시를 디스플레이할 수도 있다. 일례로서, 도4에서, 컴퓨팅 디바이스는, 사용자가 사용자의 손가락(402)을 터치스크린에 터치하고 그리고 텍스트의 행(row: 이하, "행" 또는 "로우")를 따라 터치스크린을 가로질러 손가락(402)을 스와이핑하는 것에 응답하여, 박스(406)를 디스플레이한다. 박스(406)의 최우측 가장자리가, 중간 위치를 나타낼 수 있다. 따라서, 사용자가 박스(406)의 끝까지 혹은 끝을 지나가게 손가락(402)을 스와이프한 이후에(예컨대, 손가락 402의 위치를 나타내도록 결정된 위치가 상기 박스 406의 최우측 가장자리에 도달하거나 혹은 이를 지나치는 경우), 컴퓨팅 디바이스는 텍스트가 선택되었음을 인식한다.
중간 위치에 대한 표시는 매우 다양한 형태를 취할 수 있다. 예를 들면, 컴퓨팅 디바이스가 박스(406)를 보여주는 대신에, 컴퓨팅 디바이스는 박스(406) 내의 텍스트의 디스플레이를 조작할 수 있다. 텍스트 색상의 변경, 텍스트 모양의 변경, 혹은 텍스트를 하이라이트함에 의해서 텍스트의 디스플레이가 조작될 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스는 그래픽 인터페이스 요소(예컨대, 핀: pin)를 상기 중간 위치에 디스플레이한다.
사용자가 시작 위치(404)에서 터치스크린에 콘택하기 전에는, 컴퓨팅 디바이스는 중간 위치에 대한 표시를 디스플레이하지 않을 수도 있다. 예를 들면, 사용자가 기결정된 시간 동안 디스플레이 디바이스를 콘택한 이후 혹은 사용자가 하나 이상의 손가락들을 기결정된 거리만큼 스와이핑한 이후에, 컴퓨팅 디바이스는 중간 위치에 대한 표시를 디스플레이할 수 있다. 일례로서, 사용자가 손가락을 시작 위치로부터 1 ㎝ 스와이핑한 이후에, 시작 위치의 오른편 방향으로 5 ㎝ 인 지점에 중간 위치에 대한 표시가 출현할 수 있다.
일부 실시예들에서, 사용자가 텍스트의 라인을 따라 손가락(402)을 스와이프하지 않는다면, 중간 위치에 대한 표시가 출현하지 않을 수도 있다. 예를 들어, 컴퓨팅 디바이스는 시작 위치(402)가 텍스트의 위치에 대응하는지를 판별할 수 있으며, 그리고 손가락(402)이 스와이프하는 경로가 텍스트의 한 라인으로부터 텍스트에 대응하는지를 판별할 수 있다.
박스 810에서, 컴퓨팅 디바이스는 텍스트가 선택되었다라고 식별할 수 있다. 선택된 텍스트에 대한 이러한 식별은 사용자의 스와이핑 동안에 혹은 사용자가 스와이핑을 완료한 이후에(예컨대, 사용자가 하나 이상의 손가락들을 터치스크린으로부터 떼어낸 이후에) 한 번 이상 발생할 수 있다. 컴퓨팅 디바이스는, 터치스크린 스와이프 제스처 동안 어떤 텍스트가 선택된 것으로 디스플레이되는지를 결정하기 위하여, 그리고 터치스크린 스와이프 제스처가 완료되면 어떤 텍스트가 선택된 것으로 식별되는지를 결정하기 위하여, 상기 식별의 결과를 이용할 수 있다.
박스 812에서, 컴퓨팅 디바이스는 물리적인 콘택이 중간 위치에 도달하기 전에 터치스크린과의 상기 물리적인 콘택이 중단되는지의 여부를 판별할 수 있다. 만일, 중간 위치에 도달하기 전에 물리적인 콘택이 중단된다면, 컴퓨팅 디바이스는 텍스트를 선택된 것으로 식별하지 않을 수 있으며 그리고 텍스트 선택 모드를 취소할 수도 있다. 하나의 일례로서 그리고 전술한 바와 같이, 만일 상기 박스(406)의 끝까지 스와이핑하기 전에 사용자가 그의 하나 이상의 손가락들을 디스플레이로부터 떼어낸다면, 컴퓨팅 디바이스는 텍스트를 선택된 것으로 식별하지 않을 수 있으며 그리고 텍스트 선택 모드를 취소할 수 있다. 다른 한편으로, 만일 중간 위치 이전에 물리적인 콘택이 중단되지 않는다면, 컴퓨팅 디바이스는 텍스트를 선택된 것으로 식별할 수 있으며, 텍스트 선택 모드를 불러올 수 있다.
박스 814에서, 컴퓨팅 디바이스는 터치스크린과의 물리적 콘택이 중간 위치를 지나갔는지 그리고 그 이후에 시작 위치와 중간 위치 사이로 되돌아갔는지의 여부를 판별할 수 있다. 만일, 상기 물리적 콘택이 중간 위치를 지나가고 그리고 시작 위치와 중간 위치 사이로 되돌아갔다면, 컴퓨팅 디바이스는 시작 위치와 상기 물리적 콘택 사이의 텍스트를 선택된 것으로 식별할 수 있으며 그리고 텍스트 선택 모드를 호출할 수 있다. 다른 한편으로, 만일 상기 물리적 콘택이 중간 위치에 도달하지 않았다면, 컴퓨팅 디바이스는 아직 텍스트를 선택된 것으로 식별하지 않을 수 있으며 그리고 아직 텍스트 선택 모드를 호출하지 않을 수 있다. 만일, 물리적 콘택이 중간 위치를 지나갔다면, 컴퓨팅 디바이스는 시작 위치와 물리적 콘택 사이의 텍스트를 선택된 것으로 식별할 수 있으며 그리고 텍스트 선택 모드를 호출할 수 있다.
컴퓨팅 디바이스는 박스 814의 동작들을 수행할 수 있는데, 일례로서 박스 814에서 컴퓨팅 디바이스는, 물리적 콘택이 중간 위치를 지나쳐서 스와이프할 때까지, 텍스트를 선택된 것으로 식별하지 않는다. 이러한 일례에서 그리고 전술한 바와 같이, 시작 위치로부터 중간 위치까지의 거리 보다 짧은 텍스트 부분을 선택하기 위하여, 사용자는 맨 먼저 중간 위치까지 스와이프하고 그리고 원하는 종료 위치로 되돌아갈 수 있다.
박스 816에서, 컴퓨팅 디바이스는 터치스크린과의 물리적 콘택이 시작 위치와 중간 위치 사이의 직선 경로(direct route)로부터 기결정된 거리를 이동했는지의 여부를 판별할 수 있다. 만일, 물리적 콘택이 상기 직선 경로로부터 기결정된 거리를 이동했다면, 컴퓨팅 디바이스는 텍스트를 선택된 것으로 식별하지 않을 수 있으며 그리고 텍스트 선택 모드를 취소할 수 있다. 다른 한편으로, 물리적 콘택이 상기 직선 경로로부터 기결정된 거리를 이동하지 않았고 그리고 중간 위치를 지나갔으면, 컴퓨팅 디바이스는 텍스트를 선택된 것으로 식별할 수 있으며 그리고 텍스트 선택 모드를 불러올 수 있다. 예를 들어, 텍스트의 수평 라인으로부터 벗어나서 사용자가 스와이프한다면, 컴퓨팅 디바이스는 텍스트 선택 제스처의 인식을 중단할 수 있다. 일부 실시예들에서, 사용자가 텍스트의 수평 라인을 따라 스와이프를 시작했지만 이후 기결정된 거리만큼 수직적으로 스와이프를 움직였다라고 컴퓨팅 디바이스가 검출한 경우, 컴퓨팅 디바이스는 텍스트 선택 제스처의 인식을 중단할 수 있다. 상기 기결정된 거리는 텍스트의 라인으로부터의 탄젠트 거리(tangential distance)가 될 수 있다.
박스 818에서, 물리적 콘택이 중간 위치에 도달한 이후에, 시작 위치와 중간 위치 사이의 직선 경로를 포함하는 텍스트의 수평 라인으로부터 상기 물리적 콘택이 기결정된 거리를 벗어난다면, 컴퓨팅 디바이스는 텍스트의 다수개의 라인들 중 적어도 일부를 선택할 수 있다. 몇몇 시나리오의 일례로서, 사용자는 시작 위치로부터 수직으로 스와이핑함에 의해서 텍스트의 다수개의 라인들을 선택하지 않을 수도 있다. 대신에, 시작 위치로부터 수평적으로 그리고 중간 위치의 시각적인 표시를 지나쳐서 스와이핑함에 의해서, 사용자는 텍스트의 다수개의 라인들을 선택할 수 있다. 사용자가 중간 위치를 지나쳐서 스와이핑하면, 사용자는 텍스트의 다른 라인을 선택하도록 그의 손가락을 위로 혹은 아래로 움직일 수 있다.
선택되는 텍스트는 시작 위치와 종료 위치 사이에 있는 판독가능한 텍스트의 연속적인 블록을 포함할 수 있다. 다시 말해서, 만일 사용자가 위쪽으로 스와이프 한다면, 선택되는 텍스트는, 종료 위치의 오른편에 있는 라인 부분, 종료 위치와 시작 위치 사이의 임의의 중간 라인들, 그리고 시작 위치의 왼편에 있는 라인 부분을 포함할 수 있다(왼쪽에서부터 오른쪽으로 판독되는 언어들인 경우). 만일 사용자가 아래쪽으로 스와이프 한다면, 선택되는 텍스트는, 시작 위치의 오른편에 있는 라인 부분, 종료 위치와 시작 위치 사이의 임의의 중간 라인들, 그리고 종료 위치의 왼편에 있는 라인 부분을 포함할 수 있다.
박스 820에서, 컴퓨팅 디바이스는, 물리적 콘택에 포함된 인접한 손가락들의 수량에 기초하는 텍스트 단위로 텍스트를 선택한다. 예를 들어, 텍스트가 선택된 것으로 식별되는 경우(예컨대, 스와이프 제스처 동안 혹은 스와이프 제스처가 완료되면), 컴퓨팅 디바이스는 물리적 콘택이 포함하고 있는 인접한 손가락들의 수량을 판별할 수 있다(박스 804). 만일, 제 1 수량의 하나 이상의 인접한 손가락들이 스와이프 제스처에서 동시에 이용되었다면, 컴퓨팅 디바이스는 단어 단위로 텍스트를 선택할 수 있다. 이와 유사하게, 제 2 수량의 하나 이상의 인접한 손가락들이 이용되었다면 컴퓨팅 디바이스는 개별 글자 단위로 텍스트를 선택하고, 제 3 수량의 하나 이상의 인접한 손가락들이 이용되었다면 문장(sentence) 단위로 텍스트를 선택하고, 그리고 제 4 수량의 인접한 손가락들이 이용되었다면 문단(paragraph) 단위로 텍스트를 선택한다.
사용자의 스와이핑 입력의 종료 위치 혹은 시작 위치가 단어 내에 위치하는 경우, 단어 단위로 텍스트를 선택하는 것은, 컴퓨팅 디바이스가 단어의 일부(즉, 스페이스에 의해서 분리되지 않는 글자들의 연속적인 블록의 서브세트)를 선택하지 않는 것을 포함할 수 있다. 대신에, 컴퓨팅 디바이스는, 만일 사용자가 하나의 단어 내에서 스와이프 제스처를 시작하거나 종료하면, 전체 단어를 선택된 것으로 포함할 수 있다. 또한, 컴퓨팅 디바이스는 단어의 시작부분을 시작 위치 혹은 종료 위치로 이용할 수 있는데, 예를 들면, 단어의 끝부분 보다 단어의 시작부분에 더 가까운 단어의 소정 부분에서 사용자가 그의 손가락을 디스플레이에 터치했거나 혹은 디스플레이로부터 떼어냈다는 점에 기초하여, 단어의 시작부분을 시작 위치 혹은 종료 위치로 이용할 수 있다.
일부 실시예들에서, 개별 글자 단위로 텍스트를 선택하는 것은 단어의 일부를 선택하는 것을 허용한다. 문장 단위로 텍스트를 선택하는 것은 문장의 일부를 선택하는 것을 허용하지 않을 수도 있다(여기서, 하나의 문장은 "." , "?" , "!" 등의 문장 종료 구두점(sentence-ending punctuation marks)에 의해서 분리된다라고 판별되지 않는 다수의 단어들을 포함할 수 있다). 문단 단위로 텍스트를 선택하는 것은 문단의 일부분을 선택하는 것을 허용하지 않을 수 있다.
제 1 일례로서, 사용자는 2개의 손가락들을 이용하여 텍스트의 라인을 가로질러 스와이프할 수 있다. 사용자는, 사용자가 단어들 위를 지나감에 따라 선택된 단어들을 노란색 음영으로 둘러쌈으로써, 선택된 단어들을 하이라이트할 수 있다. 하지만, 컴퓨팅 디바이스는 하나의 단어에 있는 글자들의 서브세트는 하이라이트하지 않을 수도 있다. 대신에, 사용자가 단어 위를 지나감과 동시에(사용자가 인지하기에), 각각의 단어가 노란색 음영 블록으로 하이라이트될 수 있다.
제 2 일례로서, 컴퓨팅 디바이스는 사용자가 2개의 인접한 손가락들로 텍스트 위를 스와이프할 때에 텍스트를 하이라이트하지 않을 수 있다. 하지만, 사용자가 터치스크린으로부터 2개의 손가락들을 떼어내면, 컴퓨팅 디바이스는 팝 업 박스를 디스플레이할 수 있으며, 상기 팝 업 박스는 그 어떤 부분적인 단어들(partial words)을 도시함이 없이, 사용자가 스와이프했었던 텍스트를 보여준다. 이러한 일례에서, 사용자 스와이프의 종료 위치는 하나의 단어 내에 존재했을 수도 있다. "단어" 선택에 해당하는 수량의 인접한 손가락들로 사용자가 스와이핑했다는 점에 근거하여, 컴퓨팅 디바이스는 종료 위치에 대응하는 단어 전체를 선택할 수 있다. 만일, 사용자가 하나의 손가락으로 스와이핑했다면, 상기 팝 업 박스는 단어의 일부분을 포함할 수도 있다.
컴퓨팅 디바이스는 시작 위치 및 종료 위치에 기초하여 선택되는 글자들, 단어들 혹은 문장들을 결정할 수 있다. 예를 들어, 시작 위치는 터치스크린 디스플레이 상의 픽셀을 나타낼 수도 있다. 하지만, 상기 픽셀은 2개의 글자들 사이에 놓여있지 않을 수도 있다. 이와 같이, 컴퓨팅 디바이스는, 글자 선택 모드인 경우, 시작 위치에 가장 가까운 2개의 글자들 사이의 위치에서 시작하는 텍스트를 선택할 수 있다.
박스 822에서, 컴퓨팅 디바이스는 터치스크린과의 물리적 콘택의 움직임 동안에 텍스트가 선택되었다라는 표시를 디스플레이한다. 예를 들어, 그리고 본 명세서에서 줄곧 서술한 바와 같이, 컴퓨팅 디바이스는 사용자가 스와이프한 텍스트를, 하이라이트된 상태로, 다른 색상으로, 강조된 상태로, 혹은 선택되지 않은 텍스트와 선택된 텍스트를 구별할 수 있는 다른 방식으로 디스플레이할 수 있다.
박스 824에서, 컴퓨팅 디바이스는 물리적 콘택의 움직임이 중간 위치를 지나칠 때까지, 텍스트가 선택되었다라는 표시를 디스플레이하지 않는다. 하나의 일례로서 도4를 참조하면, 사용자의 손가락(402)이 상기 박스(406)의 최우측 가장자리에 도달하거나 혹은 이를 지나칠 때까지, 시작 위치(404)와 사용자의 손가락(402) 사이에 있는 텍스트는 하이라이트된 것으로 혹은 텍스트 블록 내의 다른 텍스트와 다르게 표현되지 않을 수 있다.
박스 826에서, 컴퓨팅 디바이스는 터치스크린과의 물리적 콘택이, 물리적 콘택의 움직임 동안에 손가락의 추가(addition) 혹은 이탈(removal)을 포함하는지의 여부를 판별할 수 있다. 터치스크린과 콘택하고 있는 손가락들의 수량에 있어서의 이러한 소정의 변화에 응답하여, 컴퓨팅 디바이스는 텍스트를 선택하기 위한 모드를 변경할 수 있다. 예를 들어, 하나의 손가락은 "글자" 선택 모드에 대응할 수 있으며, 2개의 인접한 손가락들은 "단어" 선택 모드에, 그리고 3개의 인접한 손가락들은 "문장" 선택 모드에 대응할 수 있다.
박스 820을 참조하여 전술한 바와 같이, 소정 개수의 손가락으로 스와이프 제스처를 개시함으로써, 사용자는 특정 모드에서 텍스트를 선택할 수 있다. 하지만, 일부 실시예들에서, 사용자는 스와이프 동안에 텍스트 선택 모드를 변경할 수 있다. 예를 들어, 컴퓨팅 디바이스는, 움직임 동안에 사용자가 손가락 하나를 이탈시킨다면 텍스트의 더 짧은 단위에 기초하여 텍스트를 선택할 수 있으며(박스 828), 그리고 움직임 동안에 사용자가 손가락 하나를 추가한다면 텍스트의 더 긴 단위에 기초하여 텍스트를 선택할 수 있다(박스 830). 텍스트의 예시적인 단위들은, 짧은 것에서 긴 순서대로, 글자, 단어, 문장 및 문단을 포함할 수 있다.
일례로서, 사용자는 2개의 손가락들로 동시에 스와이핑함으로써 텍스트 선택을 시작할 수 있다. 사용자가 텍스트의 라인을 가로질러 스와이프함에 따라, 텍스트는 한번에 한 단어씩 하이라이트될 수 있다. 하지만, 사용자는 이러한 선택에 있어서 마지막 단어의 오직 일부분만을 선택하기를 원할 수도 있다. 이 경우, 사용자는 그의 2개의 손가락들 중 하나를 디스플레이로부터 떼어낼 수 있다. 컴퓨팅 디바이스는 하나의 손가락이 디스플레이와의 콘택을 유지하고 있다라고 식별할 수 있으며, 그리고 사용자가 디스플레이를 가로질러 스와이프함에 따라 한번에 하나의 글자씩 워드들을 하이라이트하기 시작할 수 있다.
대신에, 만일 사용자가 한번에 하나의 문장씩 텍스트의 일부를 하이라이트하기를 원한다고 결정하면, 사용자는 세번째 손가락을 스와이프 제스처에 추가할 수 있다. 컴퓨팅 디바이스는 세번째 손가락의 추가를 식별할 수 있으며, 그리고 단어 단위 대신에 문장 단위로 텍스트를 하이라이트하기 시작할 수 있다. 일부 실시예들에서, 손가락을 추가하거나 이탈시키는 동안, 적어도 하나의 손가락은 디스플레이와의 콘택을 유지해야만 한다. 만일, 그렇지 않다면, 디스플레이와의 물리적 콘택이 중단된 지점에서 텍스트 선택이 끝날 수도 있다.
박스 832에서, 컴퓨팅 디바이스는 물리적 콘택이 시작 위치로부터 종료 위치로 이동했다라고 판별할 수 있다. 예를 들어, 컴퓨팅 디바이스는 터치스크린을 가로지는 물리적 콘택의 움직임을 추적할 수 있다. 물리적 콘택이 움직임에 따라, 컴퓨팅 디바이스는 선택된 텍스트를 반복적으로 식별할 수도 있으며(박스 810) 그리고 선택된 텍스트에 대한 표시를 디스플레이할 수 있다(박스 822).
박스 834에서, 물리적 콘택이 시작 위치로부터 종료 위치로 이동한다라고 판별하는 것은, 터치스크린과의 물리적 콘택이 이동 도중에 중단되지 않는다라고 판별하는 것을 포함할 수 있다. 물리적 콘택이 중단되지 않는다라고 판별하는 것은, 터치스크린과의 물리적 콘택이 종료했다라고 식별하지 않는 것을 포함한다(즉, 여기서 콘택 종료는 사용자가 터치스크린과 콘택하지 않도록 사용자가 사용자의 하나 이상의 손가락들을 터치스크린으로부터 떼어내는 것을 포함한다).
일부 실시예들에서, 터치스크린과의 물리적 콘택이 중단되지 않는다라고 판별하는 것은, 소정 시간보다 더 오래 동안 터치스크린과의 물리적 콘택이 종료되지 않았다라고 판별하는 것을 포함한다. 예를 들어, 사용자가 터치스크린으로부터 그의 손가락을 일시적으로 들어올리는 경우, 사용자는 터치스크린을 가로질러 스와이핑하는 중일 수도 있다. 컴퓨팅 디바이스는 터치스크린으로부터의 들어올림이 임계시간 보다 짧게 지속되었다는 점에 기초하여, 이러한 들어올림이 의도하지 않은 것(inadvertent)이라고 판별할 수 있다. 예를 들어, 사용자의 손가락이 터치스크린으로부터 순간적으로 튀어오르는 것(momentary bounce)은 스와이프 제스처의 중단을 야기하지 않을 수 있는데, 이는 상기 손가락이 터치스크린과의 콘택을 0.1초 미만으로 종료하지 않았기 때문이다.
박스 836에서, 컴퓨팅 디바이스는 물리적 콘택이 종료 위치에서 중단되었다고 판별할 수 있다. 예를 들어, 컴퓨팅 디바이스는 물리적 콘택이 사용자 스와이핑 모션이 중지(cease)되기에 충분할 정도로 계속되었다라고 식별할 수 있다. 스와이핑 모션은 사용자가 터치스크린과의 물리적 콘택을 중단함에 의해서 중지될 수 있다. 물리적 콘택이 컴퓨팅 디바이스에 의해서 인식되지 않는 형태로 변경되었다(예를 들어, 컴퓨팅 디바이스가 2개의 손가락들을 인접한 것으로 식별하지 않을 때까지 스와이프 제스처의 2개의 손가락들이 서로 떨어진다면)라고 컴퓨팅 디바이스가 판별하면, 스와이핑 모션은 또한 중지될 수 있다.
물리적 콘택이 중단되었다라고 컴퓨팅 디바이스가 판별하면, 컴퓨팅 디바이스는, (ⅰ) 선택 텍스트가 선택되었음을 나타내는 시각적 표시를 계속 디스플레이하거나, (ⅱ) 물리적 콘택 동안 시각적 표시가 이전에 디스플레이되지 않았던 경우, 선택 텍스트가 선택되었음을 나타내는 시각적 표시를 디스플레이하거나, 또는 (ⅲ) 선택 텍스트가 선택되었음을 나타내는 시각적 표시(사용자의 스와이프 제스처 동안 앞서 디스플레이된 시각적 표시와는 다름)를 디스플레이할 수 있다.
박스 838에서, 컴퓨팅 디바이스는 선택된 텍스트에 대한 디스플레이된 표시와의 사용자 상호작용을 식별한다. 예를 들어, 사용자는 터치스크린이 선택된 텍스트를 디스플레이하고 있는 영역 위에서 터치스크린의 적어도 일부를 콘택할 수 있다. 컴퓨팅 디바이스는 선택된 텍스트와 사용자가 상호작용할 수 있게 하는 다양한 사용자 입력 매커니즘을 인식할 수 있다. 제 1 매커니즘은, 사용자가 하나 이상의 손가락들을 선택된 텍스트에 콘택하였고 그리고 선택된 텍스트로부터 하나 이상의 손가락들을 기결정된 시간 이내에 이탈시켰음을 판별하는 것을 포함한다. 다시 말하면, 사용자는 선택된 텍스트를 하나 이상의 손가락들로 "두드렸다(tapped)". 만일, 사용자가 2 이상의 손가락들로 두드렸다면, 컴퓨팅 디바이스는 상기 2 이상의 손가락들이 인접하다라고 판별될 것을 요구할 수도 있다. 인접한 손가락들로 두드리는 것은, 동일한 개수이지만 인접하지 않은 손가락들로 두드리는 것과는 다른 액션을 불러올 수 있다. 제 1 개수의 하나 이상의 손가락들로 두드리는 것은, 제 2 개수의 하나 이상의 손가락들로 두드리는 것과는 다른 액션을 불러올 수 있다.
제 2 입력 매커니즘은, 사용자가 하나 이상의 손가락들을 선택된 텍스트에 콘택하였고 그리고 기결정된 시간보다 길게 상기 콘택을 유지했다라고 판별하는 것을 포함한다. 다시 말해서, 사용자는 하나 이상의 손가락들로 "롱 프레스(long press)" 혹은 "홀드(hold)"를 수행한 것이다. 만일, 사용자가 2 이상의 손가락들로 롱 프레스를 수행했다면, 컴퓨팅 디바이스는 상기 2 이상의 손가락들이 인접하다라고 판별될 것을 요구할 수도 있다. 인접한 손가락들로 롱 프레스하는 것은, 동일한 개수이지만 인접하지 않은 손가락들로 롱 프레스하는 것과는 다른 액션을 불러올 수 있다. 제 3 입력 매커니즘은 선택된 텍스트를 따라 혹은 가로질러 하나 이상의 손가락들을 스와이핑하는 것을 포함한다.
박스 840에서, 컴퓨팅 디바이스는 텍스트와의 사용자 상호작용에 대응하는 액션을 수행한다. 예시적인 액션들은 (ⅰ) 선택된 텍스트를 복사하는 것(copy), (ⅱ) 선택된 텍스트를 잘라내기 하는 것(cutting), ⅲ) 선택된 텍스트를 삭제하는 것, (ⅳ) 선택된 텍스트의 폰트 유형을 변경하는 것, (ⅴ) 선택된 텍스트의 색상을 변경하는 것, (ⅵ) 선택된 텍스트에 강조사항을 부가하거나 혹은 제거하는 것, (ⅶ) 선택된 텍스트와 추가적인 사용자 상호작용 없이, 선택된 텍스트를 검색 질의로 이용하여 검색 엔진에 의한 검색을 불러오는 것을 포함한다.
본 명세서에 서술된 액션들의 임의의 조합은 본 명세서에 서술된 입력 매커니즘의 임의의 조합에 할당될 수 있다. 일례로서, 선택된 텍스트를 사용자가 한 손가락으로 두드리는 것은 텍스트를 복사하도록 컴퓨팅 디바이스가 설정될 수 있으며, 반면에 선택된 텍스트를 사용자가 롱 프레스하는 것은 다수의 개별 액션을 수행하기 위한 다수의 선택가능한 옵션들을 갖는 메뉴가 디스플레이되게끔 컴퓨팅 디바이스가 설정될 수 있다. 인접한 2개의 손가락들로 두드리는 것은, 선택된 텍스트를 질의어(query)로 이용하는 검색 동작을 호출할 수 있다. 일부 실시예들에서는, 스와이핑 제스처를 수행하면 텍스트가 자동으로 복사된다.
일부 실시예들에서, 컴퓨팅 디바이스는 손가락들에 의해서 수행되지 않는 물리적 콘택을 인식할 수 있다. 예를 들어, 컴퓨팅 디바이스는 스타일러스에 의한 사용자 상호작용을 인식할 수 있다. 다른 실시예들에서, 컴퓨팅 디바이스는 장갑을 낀(gloved) 2개의 손가락으로 사용자가 디스플레이를 스와이프하는 경우를 인식할 수도 있는데, 여기서 장갑을 낀 각각의 손가락들은 터치스크린과 콘택하기 위한 돌출부(protrusion)를 포함한다. 이러한 일례에서는, 인접한 2개의 맨 손가락들로 사용자가 스와이프하는 경우보다 더 먼 거리만큼 콘택의 위치들이 이격될 수도 있지만, 컴퓨팅 디바이스는 스와이핑 도구들(instruments)을 인식하도록 프로그래밍될 수 있으며 따라서, 상기 도구에 특화되도록 제스처들을 위한 파라미터들을 조절할 수 있을 것이다. 손가락들을 이용하는 사용자 상호작용에 관한 본 명세서의 논의들은, 하나 이상의 다른 객체들을 이용하는 사용자 상호작용에도 또한 적용될 수 있다.
일부 실시예들에서, 본 명세서에 서술된 제스처들은 비-텍스트 항목들(non-text items)을 선택하는데 이용될 수도 있다. 예를 들어, 사용자 인터페이스는 픽처들의 그리드(grid of pictures)를 디스플레이할 수도 있다. 사용자는 픽처들의 서브세트를 가로지르는 인접한 두 손가락 스와이프 제스처를 수행함으로써, 픽처들을 선택할 수도 있다. 사용자는, 픽처들의 로우(row)의 일부분을 가로지르는 인접한 세 손가락 스와이프 제스처를 수행함으로써, 픽처들의 로우를 선택할 수도 있다.
일부 실시예들에서, 컴퓨팅 디바이스는 디스플레이 디바이스와 떨어저 있을 수도 있다(remote). 예를 들어, 컴퓨팅 디바이스는 디스플레이 디바이스를 이용하여 네트워크(예컨대, 인터넷)를 통해, 사용자 상호작용들에 대한 표시들을 수신할 수도 있다.
도8a 및 도8b의 순서도를 참조하여 서술된 동작들은, 도8a 및 도8b에 예시된 순서대로 수행되지 않을 수도 있다. 또한, 상기 순서도를 참조하여 설명된 동작들 중 적어도 일부는, 옵션일 수도 있다. 예를 들어, 텍스트가 선택되었다라고 식별하는 것(박스 810)은, 물리적 콘택이 중단되었다라고 컴퓨팅 디바이스가 판별(박스 836)한 후에나 비로소 수행될 수도 있다. 또 다른 일례로서, 컴퓨팅 디바이스는 움직임 동안에, 반복적으로, (ⅰ) 사용자가 손가락을 추가했는지 혹은 이탈시켰는지의 여부를 판별하거나(박스 826), (ⅱ) 텍스트가 선택되었다라는 표시를 디스플레이 하거나(박스 822), (ⅲ) 어떤 텍스트가 선택되었는지를 식별하거나(박스 810), 혹은 (ⅳ) 상기 (ⅰ) 내지 (ⅲ)의 임의의 조합을 수행할 수 있다. 이와 같이, 도8a 및 도8b에 관한 전술한 내용은, 다수의 서로 다른 제스처들 및 텍스트 선택을 허용하도록 컴퓨팅 디바이스에 의해서 구현될 수 있는 대응 동작들을 서술할 수 있다.
도9는 텍스트를 선택하기 위한 시스템의 개념도이다. 도9의 시스템은 도8a 및 도8b의 순서도를 참조하여 설명된 동작들을 수행할 수 있다. 예를 들어, 물리적 콘택 판별기(902)는 하나 이상의 물리적 객체들이 터치스크린에 콘택하는지의 여부를 판별할 수 있다. 물리적 콘택 판별기(902)는 하나 이상의 물리적 객체들의 물리적 콘택의 위치를 판별할 수 있다. 물리적 콘택 판별기(902)는 하나 이상의 물리적 객체들이 터치스크린을 가로질러 이동하는지의 여부를 판별할 수 있다. 물리적 콘택 판별기(902)는 하나 이상의 물리적 객체들 각각의 대표 위치(예컨대, 하나 이상의 손가락들 각각의 가중화된 "중심점")를 판별할 수 있다.
물리적 콘택 판별기(902)는 하나 이상의 물리적 객체들이 인접한 손가락들을 나타내는지를 판별할 수 있다(예컨대, 2개의 손가락들의 가중화된 중심점(weighted center)이 서로 기결정된 거리 이내에 존재하는지를 판별함으로써, 그리고 3개의 손가락들 각각의 가중화된 중심점이 가장 가까운 손가락으로부터 기결정된 거리보다 더 멀리 떨어져 있지 않은지를 판별함으로써). 물리적 콘택 판별기(902)는 도8a 및 도8b의 순서도를 참조하여 설명된 동작들 및 본 명세서 서술된 다른 동작들 중 무엇보다도, 박스들(802, 804, 836)에 개시된 동작들의 일부 또는 전부를 수행할 수 있다.
그래픽 디스플레이 생성기(904)는 예컨대, 터치스크린 디스플레이 디바이스로 하여금 디스플레이하게 함으로써, 텍스트(예를 들면 횡으로 배치되는 영문자, 숫자 등)를 디스플레이할 수 있다. 그래픽 디스플레이 생성기(904)는 텍스트가 선택되었다라는 표시를 수신할 수 있으며, 그리고 텍스트가 선택되었다라는 시각적인 표시를 디스플레이할 수 있다. 그래픽 디스플레이 생성기(904)는 중간 위치에 대한 시각적인 표시를 디스플레이할 수 있다. 그래픽 디스플레이 생성기(904)는 선택된 텍스트를 포함하는 팝-업 박스의 디스플레이를 생성할 수 있다. 그래픽 디스플레이 생성기(904)는 도8a 및 도8b의 순서도를 참조하여 설명된 동작들 및 본 명세서 서술된 다른 동작들 중 무엇보다도, 박스들(808, 822, 824)에 개시된 동작들의 일부 또는 전부를 수행할 수 있다.
텍스트 선택 판별기(906)는 중간 위치를 판별할 수 있으며 그리고 중간 위치에 대한 표시의 디스플레이를 요청할 수 있다. 텍스트 선택 판별기(906)는 예컨대, 본 명세서에서 서술된 바와 같이, 선택된 텍스트를 식별할 수 있다. 텍스트 선택 판별기(906)는 텍스트가 선택되었다라는 표시의 디스플레이를 요청할 수 있다. 텍스트 선택 판별기(906)는 텍스트가 어떤 단위로 선택되어야 하는지를 결정할 수 있다. 텍스트 선택 판별기(906)는 물리적 콘택이 텍스트의 선택을 야기할 정도로 충분한지의 여부를 판별할 수 있다. 텍스트 선택 판별기(906)는 도8a 및 도8b의 순서도를 참조하여 설명된 동작들 및 본 명세서 서술된 다른 동작들 중 무엇보다도, 박스들(806, 810, 812, 814, 816, 818, 820, 826, 828, 830, 832, 834)에 개시된 동작들의 일부 또는 전부를 수행할 수 있다.
액션 판별기 및 수행기(908)는 터치스크린과의 사용자 상호작용이 선택된 텍스트와 관련된 액션을 호출하는지를 판별할 수 있다. 만일 그렇다면, 액션 판별기 및 수행기(908)는 액션을 수행할 수 있다. 액션 판별기 및 수행기(908)는 도8a 및 도8b의 순서도를 참조하여 설명된 동작들 및 본 명세서 서술된 다른 동작들 중 무엇보다도, 박스들(838, 840)에 개시된 동작들의 일부 또는 전부를 수행할 수 있다.
이제 도10을 참조하면, 본 명세서에 설명된 시스템 및 방법을 구현하는데 이용될 수 있는 시스템의 개념도가 예시되어 있다. 이러한 시스템에서, 모바일 컴퓨팅 디바이스(1010)는 기지국(1040)과 무선으로 통신할 수 있으며, 기지국(1040)은 네트워크(1050)를 통해 호스팅된 다수의 서비스들(1060)에 대한 무선 액세스를 모바일 컴퓨팅 디바이스에게 제공할 수 있다.
이러한 일례에서, 모바일 컴퓨팅 디바이스(1010)는 휴대용 모바일 텔레폰(예컨대, 스마트폰 혹은 어플리케이션 텔레폰)으로 도시되었으며, 이는 모바일 컴퓨팅 디바이스(1010)의 사용자에게 컨텐트를 제시하고 그리고 터치-기반의 사용자 입력을 수신하기 위한 터치스크린 디스플레이 디바이스(1012)를 포함한다. 또한, 또 다른, 시각적, 청각적 및 촉각적인 출력 구성요소들(예컨대, LED 광, 스피커(음색 출력, 음성-생성 출력 혹은 녹음된 출력을 제공하기 위한), 혹은 촉각 출력을 위한 진동 매커니즘)이 제공될 수도 있으며, 아울러 다양한 서로 다른 입력 구성요소들(예컨대, 키보드 1014, 물리적인 버튼, 트랙볼, 가속도계, 자이로스코프, 및 자력계(magnetometer))도 제공될 수 있다.
디스플레이 디바이스(1012) 형태의 예시적인 시각적 출력 매커니즘은 저항성 터치 능력 혹은 용량성 터치 능력을 구비한 3.7 인치 혹은 4.2 인치 LED 혹은 AMOLED 디스플레이의 형태를 취할 수 있으며, 이는 비디오, 그래픽, 이미지, 및 텍스트를 제공하고 그리고 디스플레이된 아이템의 위치에서의 사용자 콘택이 디바이스에 의해서 상기 아이템과 연관되어질 수 있도록 사용자 터치 입력 위치와 디스플레이된 정보의 위치를 연관시키기 위한 것이다. 또한, 모바일 컴퓨팅 디바이스(1010)는 랩탑 컴퓨터, 테블릿 혹은 슬레이트(slate) 컴퓨터, PDA, 내장 시스템(예컨대, 자동차 네비게이션 시스템), 데스크탑 컴퓨터, 혹은 컴퓨터화된 워크스테이션을 포함하는 대안적인 형태를 취할 수도 있다.
사용자-입력을 수신하기 위한 예시적인 매커니즘은 키보드(1014)를 포함하는데, 키보드는 풀 쿼티 키보드(full querty keyboard) 혹은 숫자 0-9 , * , # 등을 위한 키들을 포함하는 통상적인 키패드가 될 수 있다. 키보드(1014)는 사용자가 키보드 키를 물리적으로 콘택하거나 혹은 누를 때에 입력을 수신한다. 사용자가 트랙볼(1016)을 조작하거나 혹은 트랙 패드와 상호작용하는 것은, 사용자가 방향 및 회전 속도 정보를 모바일 컴퓨팅 디바이스(1010)에게 제공할 수 있게 한다(예컨대, 디스플레이 디바이스 1012 상의 커서의 위치를 조작하기 위해서).
모바일 컴퓨팅 디바이스(1010)는 터치스크린 디스플레이 디바이스(1012)와의 물리적인 콘택의 위치(예컨대, 손가락 혹은 스타일러스에 의해서 콘택의 위치)를 판별할 수 있다. 터치스크린(1012)을 이용하여, 다양한 "가상" 입력 매커니즘이 생성될 수 있는데, 사용자는 그래픽 유저 인터페이스 요소를 콘택함으로써, 터치스크린(1012) 상에 도시된 그래픽 유저 인터페이스 요소와 상호작용한다. 예시적인 "가상" 입력 매커니즘은, "소프트웨어 키보드" 인바, 소프트웨어 키보드에서는 키보드가 터치스크린 상에 디스플레이되며 그리고 사용자는 각각의 키에 대응하는 터치스크린(1012)의 소정 영역을 누름으로써 키를 선택한다.
모바일 컴퓨팅 디바이스(1010)는 기계적인 버튼 혹은 터치 감응형 버튼(1018a ~ 1018d)을 포함할 수 있다. 또한, 모바일 컴퓨팅 디바이스는 하나 이상의 스피커들(1020)에 의해서 출력되는 볼륨을 조절하기 위한 버튼들, 및 모바일 컴퓨팅 디바이스를 턴온 혹은 턴오프하기 위한 버튼을 포함할 수 있다. 마이크로폰(1022)은 청취가능한 사운드를 모바일 컴퓨팅 디바이스(1010)가 전기적인 신호로 변환할 수 있게 하며, 이러한 전기적인 신호는 디지탈적으로 인코딩될 수 있으며, 컴퓨터-판독가능한 메모리에 저장되거나 혹은 다른 컴퓨팅 디바이스로 전송될 수 있다. 모바일 컴퓨팅 디바이스(1010)는 또한, 디지탈 나침판, 가속도계, 근접 센서(proximity sensor) 및 주변 광 센서(ambient light sensor)를 포함할 수 있다.
운영 시스템은 모바일 컴퓨팅 디바이스의 하드웨어(예컨대, 입력/출력 매커니즘 및 컴퓨터-판독가능 매체로부터 검색된 프로세서 실행 명령어들)와 소프트웨어 사이의 인터페이스를 제공할 수 있다. 예시적인 운영 시스템은 안드로이드 모바일 디바이스 플랫폼, 애플 IPHONE/MAC OS X 운영 시스템, 마이크로소프트 윈도우 7/윈도우 모바일 운영 시스템, 심비안(SYMBIAN) 운영 시스템, RIM 블랙베리 운영 시스템, PALM WEB 운영 시스템, 다양한 UNIX 계열(UNIX-flavored) 운영 시스템, 혹은 컴퓨터화된 디바이스들을 위한 다른 전용 운영 시스템을 포함한다. 운영 시스템은 컴퓨팅 디바이스와 사용자 간의 상호작용을 용이하게 하는 어플리케이션 프로그램들의 실행을 플랫폼에게 제공할 수 있다.
모바일 컴퓨팅 디바이스(1010)는 터치스크린(1012)과의 그래픽 유저 인터페이스를 표시할 수도 있다. 그래픽 유저 인터페이스는 하나 이상의 그래픽 인터페이스 요소들의 집합체이며, 그리고 정적일 수도 있으며(예컨대, 시간이 경과해도 디스플레이가 동일하게 유지되는 것처럼 보임) 혹은 동적일 수도 있다(그래픽 유저 인터페이스는 사용자 입력이 없이도 생동감있게 움직이는 그래픽 인터페이스 요소들을 포함한다).
그래픽 인터페이스 요소는 텍스트, 라인들, 형상들, 이미지들, 혹은 이들의 조합이 될 수 있다. 예를 들어, 그래픽 인터페이스 요소는 데스크탑 상에 디스플레이되는 아이콘 및 상기 아이콘의 관련 텍스트가 될 수 있다. 일부 실시예들에서, 그래픽 인터페이스 요소는 사용자-입력으로 선택가능하다. 예를 들어, 사용자는, 그래픽 인터페이스 요소의 디스플레이에 대응하는 터치스크린의 소정 영역을 누름으로써, 그래픽 인터페이스 요소를 선택할 수 있다. 일부 실시예들에서, 사용자는 트랙볼을 조작하여, 주목을 받는 하나의 그래픽 인터페이스 요소를 하이라이트할 수 있다. 그래픽 인터페이스 요소에 대한 사용자-선택은 모바일 컴퓨팅 디바이스에 의해 미리 정의된 액션을 호출할 수 있다. 일부 실시예들에서, 선택가능한 그래픽 인터페이스 요소들은 키보드(1004) 상의 버튼에 추가적으로 혹은 대안적으로 대응된다. 버튼에 대한 사용자-선택은 미리-정의된 액션을 호출할 수 있다.
일부 실시예들에서, 운영 시스템은 "데스크탑" 사용자 인터페이스를 제공하는데, "데스크탑" 사용자 인터페이스는 모바일 컴퓨팅 디바이스(1010)를 턴온시키는 때, 수면 상태로부터 모바일 컴퓨팅 디바이스(1010)를 활성화시키는 때, 모바일 컴퓨팅 디바이스(1010)를 언록킹(unlocking)시키는 때, 혹은 "홈(home)" 버튼(1018cc)에 대한 사용자-선택을 수신하는 때에 디스플레이된다. 데스크탑 그래픽 인터페이스는 여러개의 아이콘들을 디스플레이할 수 있으며, 이들 아이콘들은 사용자-입력에 의해서 선택되는 때에, 해당 어플리케이션 프로그램들을 호출한다. 호출된 어플리케이션 프로그램은, 상기 어플리케이션 프로그램이 중단되거나 혹은 감춰질 때까지 데스크탑 그래픽 인터페이스를 대체하는 그래픽 인터페이스를 제공할 수 있다.
사용자-입력은 모바일 컴퓨팅 디바이스(1010) 동작들의 시퀀스를 조작할 수 있다. 예를 들어, 단일-액션 사용자 입력(예컨대, 터치스크린을 한번 두드리는 것, 터치스크린을 가로지는 스와이프, 버튼을 콘택하는 것, 혹은 이들을 동시에 조합하는 것)은, 사용자 인터페이스의 디스플레이를 변경하시키는 동작을 호출할 수 있다. 사용자-입력이 없으면, 사용자 인터페이스는 특정 시점에서 변경되지 않을 수 있다. 예를 들어, 터치스크린(1012)과의 멀티-터치 사용자 입력은 소정 지점을 "줌-인" 하는 맵핑 어플리케이션을 호출할 수도 있다(상기 맵핑 어플리케이션이 디폴트로 수 초후에 줌-인한다할지라도).
또한, 데스크탑 그래픽 인터페이스는 위젯(widget)을 디스플레이할 수 있다. 위젯은 실행되었던 어플리케이션 프로그램에 관련된 하나 이상의 그래픽 인터페이스 요소들이며, 그리고 실행 어플리케이션 프로그램에 의해서 제어되는 컨텐트를 데스크탑 상에 디스플레이한다. 위젯의 어플리케이션 프로그램은 모바일 텔레폰과 함께 시작될 수 있다. 또한, 위젯은 전체 디스플레이에 초점을 맞추지 않을 수도 있다. 대신에, 위젯은 데스크탑의 오직 작은 부분만을 점유할 수 있는바, 데스크탑의 일부분 내에서 컨텐트를 디스플레이하고 그리고 터치스크린 사용자-입력을 수신한다.
모바일 컴퓨팅 디바이스(1010)는 하나 이상의 위치 식별 매커니즘을 포함할 수 있다. 위치 식별 매커니즘은 운영 시스템 및 어플리케이션 프로그램들에게 모바일 텔레폰의 지리적 위치에 대한 추정치를 제공하는 하드웨어 및 소프트웨어의 집합체를 포함할 수 있다. 위치 식별 매커니즘은, 위성-기반의 포지셔닝 기법들, 기지국 전송 안테나 식별, 다수 기지국 삼각측량(multiple base station triangle), 인터넷 액세스 포인트 IP 로케이션 판별, 검색 엔진 질의어들에 기반하는 사용자 위치의 추론적 식별법(inferential identification), 및 사용자-제공 위치 식별(예컨대, 소정 위치에 체킹 인(checking in)함에 의해서) 등을 채용할 수 있다.
모바일 컴퓨팅 디바이스(1010)는 다른 어플리케이션 모듈들 및 하드웨어를 포함할 수 있다. 콜 핸들링 유닛(call handling unit)은 착신호출(incoming telephone call)에 대한 표시를 수신할 수 있으며 그리고 착신호출에 응답하기 위한 능력을 사용자에게 제공할 수 있다. 매체 재생기는 사용자가 음악을 들을 수 있게 할 수 있으며 혹은 모바일 컴퓨팅 디바이스(1010)의 로컬 메모리에 저장된 영화들을 재생할 수 있다. 모바일 텔레콤(1010)은 디지털 카메라 센서를 포함할 수 있으며, 그리고 해당 이미지 및 비디오를 캡처하고 에디트하는 소프트웨어를 포함할 수 있다. 인터넷 브라우저는, 웹 페이지에 해당하는 주소를 타이핑하거나 혹은 웹 페이지로의 링크를 선택함으로써, 웹 페이지로부터의 컨텐트를 사용자가 볼 수 있게 한다.
모바일 컴퓨팅 디바이스(1010)는 기지국(1040)과 정보를 무선통신하기 위한 안테나를 포함할 수 있다. 기지국(1040)은 기지국들의 집합체(예컨대, 모바일 텔레폰 셀룰러 네트워크)에 속한 다수의 기지국들 중 하나가 될 수 있으며, 이는 모바일 컴퓨팅 디바이스가 지리적으로 이동하는 경우에도 모바일 컴퓨팅 디바이스(1010)가 네트워크(1050)와 통신을 유지할 수 있게 한다. 컴퓨팅 디바이스(1010)는 Wi-Fi 라우터 혹은 유선 연결(예컨대, 이더넷, USB, 혹은 FIREWIRE)을 통하여 네트워크(1050)와 대안적으로 혹은 부가적으로 통신할 수 있다. 컴퓨팅 디바이스(1010)는 또한, 블루투스 프로토콜을 이용하여 다른 컴퓨팅 디바이스들과 무선으로 통신할 수 있으며, 혹은 애드-혹(ad-hoc) 무선 네트워크를 채용할 수도 있다.
기지국들의 네트워크를 운영하는 서비스 제공자는, 모바일 컴퓨팅 디바이스(1010)와 서비스들(1060)을 제공하는 다른 컴퓨터화된 디바이스들 사이에서 통신이 가능해지도록, 모바일 컴퓨팅 디바이스(1010)를 네트워크(1050)에 연결할 수 있다. 비록, 다른 네트워크들(예컨대, 서비스 제공자의 내부 네트워크, 공중 전화 교환망(PSTN : Public Switched Telephone Network) 및 인터넷)을 통해서 서비스들(1060)이 제공될 수도 있지만, 네트워크(1050)는 단일 네트워크로 예시되었다. 서비스 제공자는 모바일 컴퓨팅 디바이스(1010)와 서비스들(1060)에 관련된 컴퓨팅 디바이스들 사이에서 정보 패킷들과 음성 데이터를 라우팅하는 서버 시스템(1052)을 운영할 수 있다.
네트워크(1050)는, 모바일 컴퓨팅 디바이스(1010)와 다른 컴퓨팅 사이에서 음성 혹은 팩스 통신을 확립하기 위하여, 모바일 컴퓨팅 디바이스(1010)을 공중 전화 교환망(PSTN)(1062)에 연결할 수 있다. 예를 들어, 서비스 제공자 서버 시스템(1052)은 모바일 컴퓨팅 디바이스(1010)에 대한 착신호출의 표시(indication)를 PSTN(1062)으로부터 수신할 수 있다. 반대로, 모바일 컴퓨팅 디바이스(1010)는 서비스 제공자 서버 시스템(1052)으로 통신을 전송하여, PSTN(1062)을 통해 액세스가능한 디바이스에 관련된 전화번호로 전화 통화를 개시할 수 있다.
네트워크(1050)는 모바일 컴퓨팅 디바이스(1010)를 보이스 오버 인터넷 프로토콜(Voice over Internet Protocol:VoIP) 서비스(1064)에 연결할 수 있는데, VoIP 서비스(1064)는 PSTN이 아니라, IP 네트워크를 통해 음성 통신들을 라우팅한다. 예를 들어, 모바일 컴퓨팅 디바이스(1010)의 사용자는 VoIP 어플리케이션을 호출할 수 있으며 상기 프로그램을 이용하여 전화를 시작할 수 있다. 서비스 제공자 서버 시스템(1052)은 전화통화의 음성 데이터를 VoIP 서비스로 포워딩할 수 있으며, VoIP 서비스는 인터넷을 통하여 상기 전화통화를 대응 컴퓨팅 디바이스로 라우팅할 수 있는바, 연결의 마지막 행보(final leg)를 위해 아마도 PSTN을 이용할 것이다.
어플리케이션 스토어(1066)는, 사용자가 네트워크(1050)를 통해 다운로드할 수 있으며 그리고 모바일 컴퓨팅 디바이스(1010) 상에 설치할 수 있는 원격으로 저장된 어플리케이션 프로그램들의 리스트를 브라우징하는 능력을 모바일 컴퓨팅 디바이스(1010)의 사용자에게 제공할 수 있다. 어플리케이션 스토어(1066)는, 제3의 어플리케이션 개발자들에 의해서 개발된 어플리케이션들의 저장소(repository)로서 기능할 수도 있다. 모바일 컴퓨팅 디바이스(1010) 상에 설치된 어플리케이션 프로그램은, 상기 어플리케이션 프로그램에 지정되는 서버 시스템들과 네트워크(1050)를 통해 통신할 수도 있다. 예를 들어, VoIP 어플리케이션 프로그램은 어플리케이션 스토어(1066)로부터 다운로드될 수도 있으며, 따라서 사용자는 VoIP 서비스(1064)를 이용하여 통신할 수 있다.
모바일 컴퓨팅 디바이스(1010)는 네트워크(1050)를 통해 인터넷(1068) 상의 컨텐트에 액세스할 수 있다. 예를 들어, 모바일 컴퓨팅 디바이스(1010)의 사용자는 지정된 유니버셜 리소스 로케이터들(universal resource locators)에서 액세스가능한 원격 컴퓨팅 디바이스로부터 데이터를 요청하는 웹 브라우저 어플리케이션을 호출할 수 있다. 다양한 일례들에서, 서비스들(1060)의 일부는 인터넷을 통해 액세스가능하다.
모바일 컴퓨팅 디바이스(1010)는 퍼스널 컴퓨터(1070)와 통신할 수 있다. 예를 들어, 퍼스널 컴퓨터(1070)는 모바일 컴퓨팅 디바이스(1010)의 사용자를 위한 홈 컴퓨터가 될 수도 있다. 따라서, 사용자는 그의 퍼스널 컴퓨터(1070)로부터 매체(media)를 스트리밍할 수 있다. 또한, 사용자는 그의 퍼스널 컴퓨터(1070)의 파일 구조를 볼 수 있으며, 그리고 선택된 문서들을 컴퓨터화된 디바이스들 사이에서 전송할 수 있다.
음성 인식 서비스(1072)는 모바일 컴퓨팅 디바이스의 마이크로폰(1022)을 이용하여 녹음된 음성 통신 데이터를 수신할 수 있으며, 상기 음성 통신을 대응하는 텍스트 데이터로 번역할 수 있다. 일부 실시예들에서, 번역된 텍스트는 웹 질의어로서 검색 엔진에 제공되며, 그리고 검색 엔진의 검색 결과들이 모바일 컴퓨팅 디바이스(1010)로 전송된다.
모바일 컴퓨팅 디바이스(1010)는 소셜 네트워크(1074)와 통신할 수 있다. 소셜 네트워크는 다양한 멤버들을 포함할 수 있으며, 이들 중 일부는 지인들(acquaintances)로서 관계를 맺는데 동의하였다. 모바일 컴퓨팅 디바이스(1010) 상의 어플리케이션 프로그램들은, 모바일 컴퓨팅 디바이스의 사용자의 지인들에 기초하여 정보를 검색하도록 소셜 네트워크(1074)에 액세스할 수 있다. 예를 들어, "주소록" 어플리케이션 프로그램은 사용자의 지인들에 대한 전화번호들을 검색할 수 있다. 다양한 일례들에서, 컨텐트는, 사용자로부터 다른 멤버들까지의 소셜 네트워크 거리에 기초하여, 모바일 컴퓨팅 디바이스(1010)로 전달될 수 있다. 예를 들어, 광고물과 뉴스 기사 컨텐트가, 이러한 컨텐트와의 상호작용의 레벨에 기초하여 사용자를 위해 선택될 수 있는데, 사용자와 "가까운(close)" 멤버들(예컨대, "친구" 혹은 "친구 중의 친구" 인 멤버들)에 의해서 선택될 수 있다.
모바일 컴퓨팅 디바이스(1010)는 네트워크(1050)를 통해 연락처들(1076)의 개인적인 세트에 액세스할 수 있다. 각각의 연락처는 개인을 식별할 수 있으며 그리고 개인에 대한 정보(예컨대, 전화번호, 이메일 주소, 생일 등)를 포함할 수 있다. 연락처들의 세트가 모바일 컴퓨팅 디바이스(1010)에게 원격으로 호스트되기 때문에, 사용자는 여러 디바이스들에 대한 연락처들의 공통 세트로서, 상기 연락처들(1076)을 액세스 및 유지할 수 있다.
모바일 컴퓨팅 디바이스(1010)는 클라우드-기반의 어플리케이션 프로그램(1078)에 액세스할 수 있다. 클라우드-컴퓨팅은 어플리케이션 프로그램들(예컨대, 워드 프로세서 혹은 이메일 프로그램)을 제공하는데, 이러한 어플리케이션 프로그램들은 모바일 컴퓨팅 디바이스(1010)로부터 원격으로 호스팅되며 그리고 웹 브라우저 혹은 전용 프로그램을 이용하여 디바이스(1010)에 의해서 액세스될 수 있다. 예시적인 클라우드-기반의 어플리케이션 프로그램들은 GOOGLE DOCS 워드 프로세서 및 스프레드시트 서비스, GOOGLE GMAIL 웹메일 서비스, 및 PICASA 사진 관리자를 포함한다.
맵핑 서비스(1080)는 모바일 컴퓨팅 디바이스(1010)에게 거리 맵들, 경로 선정 정보, 및 위성 이미지들을 제공할 수 있다. 예시적인 맵핑 서비스는 GOOGLE MAPS 이다. 맵핑 서비스(1080)는 또한,질의어들을 수신하고 그리고 위치-특정한 결과들을 리턴할 수 있다. 예를 들어, 모바일 컴퓨팅 디바이스(1010)는 모바일 컴퓨팅 디바이스의 추정된 위치와 피자 가게(pizza place)에 대한 사용자-입력 질의어를 맵핑 서비스(1080)로 전송할 수 있다. 맵핑 서비스(1080)는 인근의 피자 가게들의 지리적 위치를 나타내는 "표식물들(markers)"이 맵 상에 중첩되어 있는 거리 지도를 리턴할 수 있다.
턴-바이-턴 서비스(turn-by-turn service)(1082)는 사용자가 제공한 목적지로의 턴-바이-턴 방향들을 모바일 컴퓨팅 디바이스(1010)에게 제공할 수 있다. 예를 들어, 턴-바이-턴 서비스(1082)는, 음성 지시를 제공하기 위한 데이터 및 디바이스(1010)의 사용자를 상기 목적지로 안내하는 중첩 화살표와 함께, 디바이스의 추정된 위치에 대한 스트리트-레벨 뷰(street-level view)를 디바이스(1010)에게 스트리밍할 수 있다.
스트리밍 매체(1084)의 다양한 형태들이, 모바일 컴퓨팅 디바이스(1010)에 의해 요청될 수도 있다. 예를 들어, 컴퓨팅 디바이스(1010)는 미리-녹화된 비디오 파일, 생방송 TV 프로그램, 혹은 생방송 라디오 프로그램에 대한 스트리밍을 요청할 수 있다. 스트리밍 매체를 제공하는 예시적인 서비스들은 유투브(YOUTUBE)와 판도라(PANDORA)를 포함한다.
마이크로-블로깅 서비스(micro-blogging service)(1086)는 모바일 컴퓨팅 디바이스(1010)로부터 사용자-입력 포스트를 수신할 수 있는데, 상기 사용자-입력 포스트는 포스트의 수신인들을 특정하지 않는다. 마이크로-블로깅 서비스(1086)는 사용자의 견해에 찬성하는데 동의한 마이크로-블로깅 서비스(1086)의 다른 멤버들에게 상기 포스트를 유포(disseminate)할 수 있다.
검색 엔진(1088)은 사용자가 입력한 텍스트 질의어 혹은 구두(verbal) 질의어를 모바일 컴퓨팅 디바이스(1010)로부터 수신하고, 상기 질의어에 대응하는 인터넷으로 액세스가능한 문서들의 세트를 판별하고, 그리고 상기 대응 문서들에 대한 검색 결과들의 리스트를 디스플레이하기 위한 정보를 디바이스(1010)에 제공한다. 구두 질의어가 수신되는 일례들에서, 음성 인식 서비스(1072)는 수신된 음성을 텍스트 질의어로 번역할 수 있으며, 이러한 텍스트 질의어가 검색 엔진으로 전송된다.
이들 및 다른 서비스들은 서버 시스템(1090)에 구현될 수 있다. 서버 시스템은 서비스 혹은 서비스들의 세트를 제공하는 하드웨어 및 소프트웨어의 조합이 될 수 있다. 예를 들어, 물리적으로 분리되고 그리고 네트워크된 컴퓨터화된 디바이스들의 세트가, 수백개의 개별 컴퓨팅 디바이스들에게 서비스를 제공하는데 필요한 동작들을 처리하는 논리적 서버 시스템 유닛으로서 함께 동작할 수 있다.
다양한 구현예들에서, 다른 동작(예컨대, 판별 혹은 식별)에 "응답하여" 수행되는 동작들은, 앞선 동작이 성공적이지 않다면(예컨대, 판별이 수행되지 않았다면), 수행되지 않는다. 본 명세서에서 조건부 언어(conditional language)로 서술된 피처들은 옵션(option)인 구현예들을 서술할 수도 있다. 일부 실시예들에서, 제 1 디바이스로부터 제 2 디바이스로 "전송하는 것(transmitting)" 은, 제 2 디바이스에 의한 수신을 위해 제 1 디바이스가 데이터를 네트워크에 배치하는 것(placing)을 포함하지만, 제 2 디바이스가 상기 데이터를 수신하는 것은 포함하지 않을 수도 있다. 이와 반대로, 제 1 디바이스로부터 데이터를 수신하는 것은, 네트워크로부터 데이터를 수신하는 것을 포함하지만, 제 1 디바이스가 상기 데이터를 전송하는 것은 포함하지 않을 수도 있다.
도11은 클라이언트, 서버, 혹은 복수의 서버들 중 어느 하나로서 본 명세서에 서술된 시스템들 및 방법들을 구현하는데 이용될 수 있는 컴퓨팅 디바이스들(1100, 1150)의 블록도이다. 컴퓨팅 디바이스(1100)는 랩탑, 데스크탑, 워크스테이션, 개인 휴대 단말, 서버, 블레이드 서버(blade servers), 메인프레임(mainframes) 및 기타 적당한 컴퓨터들과 같은 다양한 형태의 디지털 컴퓨터를 나타낸다. 컴퓨팅 디바이스(1150)는 개인 휴대 단말, 휴대 전화(cellular telephones), 스마트폰(smartphones) 및 기타 유사한 컴퓨팅 디바이스들과 같은 다양한 형태의 모바일 디바이스들을 나타낸다. 추가적인 컴퓨팅 디바이스(1100 또는 1150)는 범용 직렬 버스(USB) 플래시 드라이브를 포함할 수 있다. USB 플래시 드라이브는 운영 시스템(OS)들과 다른 어플리케이션들을 저장할 수 있다. USB 플래시 드라이브는 가령, 무선 송신기 혹은 다른 컴퓨팅 디바이스의 USB 포트에 삽입될 수 있는 USB 커넥터 등과 같은 입력/출력 요소들을 포함할 수 있다. 여기에 도시된 구성요소들, 이들의 연결들 및 관계들, 그리고 이들의 기능들은 단지 예시를 위해 나타낸 것으로, 본 명세서 내에서 설명되고, 및/또는 청구되는 본 발명의 실시예를 제한하는 것을 의미하지 않는다.
컴퓨팅 디바이스(1100)는 프로세서(1102), 메모리(1104), 저장 디바이스(1108), 상기 메모리(1104)에 연결되는 고속 인터페이스(1108) 및 고속 확장 포트(1110), 및 저속 버스(1114) 및 저장 디바이스(1106)에 연결되는 저속 인터페이스(1112)를 포함한다. 구성요소들(1102, 1104, 1106, 1108, 1110 및 1112) 각각은 다양한 버스들을 사용하여 상호 연결되고, 공통 마더보드 또는 기타 적당한 방식으로 탑재될 수 있다. 상기 프로세서(1102)는, 고속 인터페이스(1108)에 접속된 디스플레이(1116) 등과 같은 외부 입력/출력 디바이스 상의 GUI를 위해 그래픽 정보를 디스플레이하도록, 상기 메모리(1104) 또는 저장 디바이스(1106)에 저장된 인스트럭션을 포함하여, 컴퓨팅 디바이스(1100) 내에서 실행하기 위한 인스트럭션들을 프로세싱할 수 있다. 다른 실시예에서는, 다수의 프로세서들 및/또는 다수의 버스들이 다수의 메모리들 및 여러 유형들의 메모리와 함께 적절히 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스들(1100)은, 필요한 동작들의 일부분들을 제공하는 각각의 컴퓨팅 디바이스와 연결될 수 있다(예를 들면, 서버 뱅크, 일군의 블레이드 서버, 또는 다중-프로세서 시스템으로서).
메모리(1104)는 컴퓨팅 디바이스(1100) 내에 정보를 저장한다. 일실시예에서, 메모리(1104)는 휘발성 메모리 유닛 또는 유닛들이다. 다른 실시예에서, 메모리(1104)는 비휘발성 메모리 유닛 또는 유닛들이다. 또한, 메모리(1104)는 가령, 자기 디스크 혹은 광 디스크와 같은 컴퓨터-판독가능한 매체의 다른 헝태가 될 수도 있다.
저장 디바이스(1106)는 컴퓨팅 디바이스(1100)에 대해 대규모 저장을 제공할 수 있다. 일실시예로서, 저장 디바이스(1106)는 플로피디스크 디바이스, 하드디스크 디바이스, 광디스크 디바이스, 테이프 디바이스, 플래시 메모리 또는 기타 유사한 솔리드 스테이트 메모리 디바이스, 또는 디바이스들의 어레이 등과 같은 컴퓨터-판독가능한 매체이거나 이를 포함할 수 있으며, 저장 영역 네트워크 또는 다른 구성들의 디바이스들을 포함한다. 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로(tangibly) 구현될 수 있다. 또한, 컴퓨터 프로그램 제품은, 실행시에, 전술한 바와 같은 하나 이상의 방법들을 수행하는 인스트럭션들을 포함한다. 정보 캐리어는, 메모리(1104), 저장 디바이스(1106), 프로세서(1102) 상의 메모리 등과 같은, 컴퓨터-판독가능한 또는 머신-판독가능한 매체이다.
고속 제어기(1108)는 컴퓨팅 디바이스(1100)에 대한 대역폭-집약적인(bandwidth-intensive) 동작들을 관리하는 반면에, 저속 제어기(1112)는 낮은 대역폭-집약적인 동작들을 관리한다. 기능들의 이러한 할당은 단지 예시적인 것이다. 일실시예에서, 고속 제어기(1108)는 메모리(1104)에 접속되고, 디스플레이(1116)에 접속되며(예를 들면, 그래픽 프로세서 또는 가속기를 통해), 그리고 다양한 확장 카드들(미도시)을 수납할 수 있는 고속 확장 포트들(1110)에 접속된다. 일실시예에서, 저속 제어기(1112)는 저장 디바이스(1106) 및 저속 확장 포트(1114)에 접속된다. 다양한 통신 포트들(예를 들면, USB, 블루투스, 이더넷, 무선 이더넷)을 포함할 수 있는 저속 확장 포트는, 하나 이상의 입력/출력 디바이스들에 접속될 수 있는바, 키보드, 포인팅 디바이스, 스캐너, 또는 예를 들어 네트워크 어댑터를 통한 스위치나 라우터 같은 네트워킹 디바이스와 같은 입력/출력 디바이스들에 접속될 수 있다.
컴퓨팅 디바이스(1100)는 도면에 도시된 바와 같이 다수의 상이한 형태들로 구현될 수 있다. 예를 들면, 컴퓨팅 디바이스(1100)는 표준 서버(1120), 또는 이러한 서버들의 그룹의 다중 배수로 구현될 수 있다. 또한, 이것은 랙(rack) 서버 시스템(1124)의 일부로 구현될 수 있다. 또한, 이것은 랩탑 컴퓨터(1122)와 같은 개인 컴퓨터로 구현될 수 있다. 대안적으로, 컴퓨팅 디바이스(1100)로부터의 구성요소들은, 디바이스(1150)와 같은 (도시되지 않은) 모바일 디바이스의 다른 구성요소들과 조합될 수 있다. 이러한 디바이스들 각각은 하나 이상의 컴퓨팅 디바이스(1100, 1150)를 포함하며, 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스들(1100, 1150)로 구성될 수 있다.
컴퓨팅 디바이스(1150)는 다른 구성요소들 중에서 프로세서(1152), 메모리(1164), 디스플레이(1154)와 같은 입력/출력 디바이스, 통신 인터페이스(1166) 및 트랜시버(1168)를 포함한다. 상기 컴퓨팅 디바이스(1150)는 추가 저장부를 제공할 수 있도록 마이크로드라이브 또는 기타 디바이스와 같은 저장 디바이스가 제공될 수 있다. 상기 구성요소들(1150, 1152, 1164, 1154, 1166 및 1168) 각각은 다양한 버스를 사용하여 상호 연결되고, 구성요소들의 일부는 공통 마더보드 또는 다른 적당한 방식으로 탑재될 수 있다.
프로세서(1152)는, 메모리(1164)에 저장된 인스트럭션을 포함하여, 컴퓨팅 디바이스(1150) 내의 인스트럭션들을 실행할 수 있다. 상기 프로세서는 각각의 다수의 아날로그 및 디지털 프로세서들을 포함하는 칩들의 칩셋으로 구현될 수도 있다. 또한, 상기 프로세서는 다수의 아키텍처들 중 임의의 것을 이용하여 구현될 수 있다. 예를 들어, 프로세서(1152)는 복잡 명령 세트 컴퓨터(CISC : Complex Instruction Set Computer) 프로세서, 축소 명령 세트 컴퓨터(RISC : Reduced Instruction Set Computer) 프로세서, 혹은 최소 명령 세트 컴퓨터(MISC : Minimal Instruction Set Computer) 프로세서가 될 수 있다. 프로세서는, 예를 들면, 사용자 인터페이스들, 상기 컴퓨팅 디바이스(1150)에 의해 실행되는 애플리케이션들, 및 상기 컴퓨팅 디바이스(1150)에 의한 무선통신의 제어 등과 같은 상기 컴퓨팅 디바이스(1150)의 다른 구성요소들과의 조정을 제공할 수 있다.
프로세서(1152)는 제어 인터페이스(1158)를 통해, 그리고 디스플레이(1154)에 접속된 디스플레이 인터페이스(1156)를 통해 사용자와 통신할 수 있다. 예를 들면, 디스플레이(1154)는 TFT 디스플레이 또는 OLED 디스플레이일 수 있고, 또는 기타 적당한 디스플레이 기술을 따를 수 있다. 디스플레이 인터페이스(1156)는 사용자에게 그래픽 정보 및 기타 정보를 나타내도록 상기 디스플레이(1154)를 구동하는 적당한 회로를 포함할 수 있다. 제어 인터페이스(1158)는 사용자로부터의 명령들을 수신할 수 있고, 상기 프로세서(1152)로 제공되도록 명령들을 변환할 수 있다. 또한, 외부 인터페이스(1162)가 프로세서(1152)와 통신시 제공되어 상기 컴퓨팅 디바이스(1150)와 다른 디바이스들과의 가까운 영역의 통신을 인에이블시킬 수 있다. 예를 들어, 외부 인터페이스(1162)는 일부 실시예들에서는 유선 통신을 제공할 수 있으며, 혹은 다른 실시예들에서는 무선 통신을 제공할 수도 있으며, 그리고 다수의 인터페이스들이 또한 이용될 수 있다.
메모리(1164)는 컴퓨팅 디바이스(1150) 내에 정보를 저장한다. 메모리(1164)는 하나 이상의 컴퓨터-판독가능 매체 혹은 매체들, 휘발성 메모리 유닛 또는 유닛들 혹은 비휘발성 메모리 유닛 또는 유닛들로 구현될 수 있다. 또한, 확장 메모리(1174)가 확장 인터페이스(1172)를 통해 상기 컴퓨팅 디바이스(1150)에 제공 및 결합될 수 있고, 확장 인터페이스(1172)는 예를 들면 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있다. 이러한 확장 메모리(1174)는 상기 컴퓨팅 디바이스(1150)를 위한 여분의 저장 공간을 제공할 수 있고, 또는 컴퓨팅 디바이스(1150)를 위한 애플리케이션들 또는 기타 정보를 저장할 수 있다. 구체적으로, 확장 메모리(1174)는 전술한 과정들을 수행하거나 보완하는 인스트럭션들을 포함할 수 있고, 또한 보안 정보를 포함할 수 있다. 따라서 예를 들면, 확장 메모리(1174)는 상기 컴퓨팅 디바이스(1150)를 위한 보안 모듈로 제공될 수 있으며, 디바이스(1150)의 보안 사용을 허용하는 인스트럭션들로 프로그래밍될 수 있다. 게다가, 보안 애플리케이션들은 SIMM 카드를 경유하여 제공될 수 있는데, 해킹 방지 방식으로 SIMM 카드 상에 식별 정보를 배치하는 것과 같은 추가 정보와 함께 제공된다.
메모리는 다음에 기술되는 바와 같이, 예를 들면, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 실시예로서, 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 구현된다. 컴퓨터 프로그램 제품은, 실행시, 전술한 바와 같은 하나 이상의 방법들을 수행하는 인스트럭션들을 포함한다. 정보 캐리어는, 예컨대, 송수신기(1168) 혹은 외부 인터페이스(1162)를 통해 수신될 수 있는, 메모리(1164), 확장 메모리(1174), 프로세서(1152) 상의 메모리와 같은, 컴퓨터-판독가능한 혹은 머신-판독가능한 매체이다.
컴퓨팅 디바이스(1150)는 통신 인터페이스(1166)를 통해 무선으로 통신할 수 있으며, 통신 인터페이스(1166)는 필요한 경우 디지털 신호 처리 회로를 포함할 수 있다. 통신 인터페이스(1166)는, 여러 가지 중에서 GSM 음성 통화, SMS, EMS, 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000, 또는 GPRS와 같은, 다양한 모드 또는 프로토콜 하에서 통신을 제공한다. 이러한 통신은 예를 들면, 무선주파수 트랜시버(1168)를 통해 발생할 수 있다. 게다가, 블루투스, WiFi 또는 다른 트랜시버(도시되지 않음)를 사용하는 것과 같은 단거리 통신이 발생할 수 있다. 또한, GPS 수신기 모듈(1170)은 추가적인 네비게이션-관련 및 위치-관련 무선 데이터를 컴퓨팅 디바이스(1150)에 제공할 수 있고, 이러한 무선 데이터는 컴퓨팅 디바이스(1150) 상에서 실행되는 애플리케이션들에 의해 적절히 사용될 수 있다.
또한, 컴퓨팅 디바이스(1150)는 오디오 코덱(1160)을 사용하여 음성으로 통신할 수 있는바, 이것은 사용자로부터 음성 정보를 수신하여 이것을 가용한 디지털 정보로 변환할 수 있다. 오디오 코덱(1160)은, 예를 들면, 상기 컴퓨팅 디바이스(1150)의 핸드셋에 있는 스피커를 통해서, 사용자를 위한 가청 사운드를 발생시킬 수 있다. 이러한 사운드는 음성 전화 통화로부터의 사운드를 포함할 수 있고, 기록된 사운드(예를 들면, 음성 메시지, 음악 파일 등)를 포함할 수 있으며, 또한 상기 컴퓨팅 디바이스(1150) 상에서 운영되는 애플리케이션들에 의해 생성된 사운드를 포함할 수 있다.
컴퓨팅 디바이스(1150)는 도면에 도시된 바와 같이, 다수의 상이한 형태로 구현될 수 있다. 예를 들면, 컴퓨팅 디바이스(1150)는 휴대전화기(1180)로 구현될 수 있다. 또한, 컴퓨팅 디바이스(1150)는 스마트폰(1182), 개인 휴대 단말, 또는 기타 유사한 모바일 디바이스들의 일부로서 구현될 수 있다.
본 명세서에 설명된 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적회로, 특별하게 설계된 ASIC, 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은, 적어도 하나의 프로그램가능한 프로세서들을 포함하는 프로그램가능한 시스템 상에서 실행 및/또는 해석될 수 있는 하나 이상의 컴퓨터 프로그램들에서의 구현예를 포함할 수 있는바, 이들 프로세서들은 저장 시스템, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스로부터 데이터와 인스트럭션들을 수신하도록, 그리고 상기 저장 시스템, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스로 데이터와 인스트럭션들을 전송하도록 특별하게 혹은 범용적으로 접속될 수 있다.
이들 컴퓨터 프로그램들(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 코드라고도 함)은 프로그램가능한 프로세서를 위한 머신 인스트럭션을 포함하며, 그리고 고-레벨의 절차형 프로그래밍 언어(procedural programming language) 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리어/기계어로 구현될 수 있다. 본 명세서에서 이용되는 바와 같이, "컴퓨터-판독가능한 매체" , "머신-판독가능한 매체" 라는 용어는, 프로그램가능한 프로세서에게 머신 인스트럭션 및/또는 데이터를 제공하는데 이용되는 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예컨대, 자기 디스크, 광 디스크, 메모리, 프로그램가능한 로직 디바이스(PLDs))를 지칭하는바, 머신-판독가능한 신호로서 머신 인스트럭션들을 수신하는 머신-판독가능한 매체를 포함한다. "머신-판독가능한 신호" 라는 용어는, 프로그램가능한 프로세서에게 머신 인스트럭션들 및/또는 데이터를 제공하는데 이용되는 임의의 신호를 지칭한다.
사용자와의 상호 작용을 제공하도록, 본 명세서에 서술된 시스템들 및 기법들은 컴퓨터 상에서 구현될 수 있으며, 상기 컴퓨터는 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스(예를 들면, CRT 또는 LCD 모니터)와 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스(예컨대, 마우스 또는 트랙볼)를 구비한다. 또한, 다른 종류의 디바이스들도 사용자와의 상호작용을 제공하는데 이용될 수 있는바, 예컨대, 사용자에게 제공되는 피드백은 임의의 감각적 피드백(예를 들면 시각 피드백, 청각 피드백 또는 촉각 피드백)이 될 수 있으며, 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다.
본 명세서에 서술된 시스템들 및 기법들은, 백 엔드 컴포넌트(예컨대, 데이터 서버로서)를 포함하는 컴퓨팅 시스템, 혹은 미들웨어 컴포넌트(예컨대, 어플리케이션 서버)를 포함하는 컴퓨팅 시스템, 혹은 프론트-엔드 컴포넌트(예컨대, 이를 통해 본 명세서에 서술된 시스템들 및 기법들의 구현예와 사용자가 상호작용할 수 있는 그래픽 사용자 인터페이스나 웹 브라우저를 구비한 클라이언트 컴퓨터)를 포함하는 컴퓨팅 시스템, 혹은 이러한 백 엔드, 미들웨어, 또는 프론트 엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 상기 시스템의 컴포넌트들은 디지털 데이터 통신(예컨대, 통신 네트워크)의 임의의 형식 또는 매체에 의해서 상호 연결될 수 있다. 통신 네트워크의 일례들은 "LAN(local area network)" 및 "WAN(wide area network)", 피어-투-피어(peer-to-peer) 네트워크(애드-혹 또는 정적 멤버를 갖는), 그리드 컴퓨팅 인프라스트럭처(grid computing infrastructure) 및 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 떨어져 있고, 통상적으로 통신 네트워크를 통해 상호작용한다. 클라이언트 및 서버의 관계는 각각의 컴퓨터들에서 운영되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생하게 된다.
비록, 여러 구현예들이 상세히 설명되었지만, 다른 변형예들도 또한 가능하다. 또한, 본 명세서에 서술된 시스템들 및 방법들을 수행하기 위한 다른 매커니즘들도 이용될 수 있다. 더 나아가, 도면들에 개시된 논리 순서도는 바람직한 결과들을 획득하기 위하여, 도시된 바와 같은 특정 순서, 혹은 순차적인 순서를 요구하지 않는다. 다른 단계들이 제공될 수도 있으며 또는 도시된 순서도로부터 단계들이 제거될 수도 있다. 그리고 다른 컴포넌트들이 부가될 수도 있으며 혹은 서술된 시스템으로부터 컴포넌트들이 제거될 수도 있다. 따라서, 다른 구현예들은 다음의 청구항들에 기재된 기술적 사상의 범위에 속한다.

Claims (32)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 컴퓨터로 구현되는, 텍스트를 선택하기 위한 방법으로서,
    컴퓨팅 디바이스에 의해, 상기 컴퓨팅 디바이스의 터치스크린 디스플레이와의 사용자 콘택이 상기 터치스크린 디스플레이에 의해 디스플레이된 제1 단어의 중간에서 상기 터치스크린 디스플레이와의 콘택이 개시된 단일의 손가락을 포함함을 식별하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 단일의 손가락이 상기 제1 단어의 중간으로부터 상기 터치스크린 디스플레이에 의해 디스플레이된 제2 단어로, 상기 단일의 손가락이 상기 터치스크린 디스플레이와의 접촉으로부터 릴리즈(release)되지 않고, 상기 터치스크린 디스플레이를 가로질러 움직임을 결정하는 단계, 상기 터치스크린 디스플레이는 상기 제1 단어와 상기 제2 단어와의 사이에 하나 이상의 단어들을 제시하며;
    상기 터치스크린 디스플레이와의 상기 사용자 콘택이 다수의 손가락들과 구분되는 상기 단일의 손가락을 포함함을 식별하는 상기 컴퓨팅 디바이스에 응답하여, 그리고 상기 단일의 손가락이 상기 제1 단어의 중간에서 콘택한 이후에 상기 터치스크린 디스플레이와의 콘택으로부터 릴리즈되지 않고, 상기 사용자 콘택이 상기 제2 단어와 콘택되어 있는 동안에, 상기 제1 단어가 전체적으로 선택된 것으로서 표시되는 것과 구분되어 상기 제1 단어가 부분적으로 선택된 것으로서 표시되도록 상기 제1 단어와 상기 제2 단어와의 사이의 텍스트가 개별적 문자들로서 선택되었다는 표시를 상기 터치스크린 디스플레이에 디스플레이하는 단계;
    상기 터치스크린 디스플레이와의 상기 사용자 콘택이 상기 터치스크린 디스플레이에 콘택하는 다른 손가락의 추가로 인하여 상기 단일의 손가락을 포함하는 것으로부터 다수의 손가락들을 포함하는 것으로 스위칭되었음을 결정하는 상기 컴퓨팅 디바이스에 응답하여, 그리고 상기 단일의 손가락이 상기 제1 단어의 중간에서 콘택한 이후에 상기 터치스크린 디스플레이와의 콘택으로부터 릴리즈되지 않고, 상기 사용자 콘택이 상기 제2 단어와 콘택되어 있는 동안에, (i) 상기 제1 단어가 전체적으로 선택된 것으로서 표시되는 것과 구분되어 상기 제1 단어가 부분적으로 선택된 것으로서 표시되도록 상기 제1 단어와 상기 제2 단어와의 사이의 텍스트가 개별적 문자들로서 선택되었다는 표시를 디스플레이하는 것으로부터 (ii) 상기 제1 단어의 전체가 선택된 것으로서 표시되도록 상기 제1 단어와 상기 제2 단어와의 사이의 텍스트가 전체 단어들로서 선택되었다는 표시를 상기 터치스크린 디스플레이에 디스플레이하는 것으로 스위칭하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  22. 청구항 21에 있어서,
    상기 터치스크린 디스플레이와의 상기 사용자 콘택이 상기 단일의 손가락을 포함하는 것으로부터 다수의 손가락들을 포함하는 것으로 스위칭되었음을 결정하는 것은 상기 터치스크린 디스플레이와의 상기 사용자 콘택이 상기 터치스크린 디스플레이와 콘택되어 있는 상기 단일의 손가락을 포함하는 것으로부터 상기 터치스크린 디스플레이와 콘택되어 있고 서로 인접한 것으로 결정된 상기 다수의 손가락들을 포함하는 것으로 스위칭됨을 결정하는 것을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  23. 청구항 21에 있어서,
    상기 제1 단어와 상기 제2 단어와의 사이의 텍스트가 개별적 문자들로서 선택되었다는 표시를 디스플레이하는 것은 상기 제2 단어가 전체적으로 선택된 것으로서 표시되는 것과 구분되어 상기 제2 단어의 부분이 선택되었음을 표시하는 것을 포함하며; 그리고
    상기 제1 단어와 상기 제2 단어와의 사이의 텍스트가 전체 단어들로서 선택되었다는 표시를 디스플레이하는 것은 상기 다수의 손가락들이 상기 제2 단어의 중간에 대응하는 위치에서의 상기 터치스크린 디스플레이에 콘택하고 있더라도 상기 제2 단어가 전체적으로 선택된 것으로 표시하는 것을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  24. 청구항 21에 있어서,
    상기 제1 단어와 상기 제2 단어와의 사이의 텍스트가 개별적 문자들로서 선택되었다는 상기 표시를 디스플레이하는 것은 (i) 상기 제1 단어와 상기 제2 단어와의 사이의 상기 텍스트의 색상을 변경하는 것, (ii) 상기 제1 단어와 상기 제2 단어와의 사이의 상기 텍스트의 모양을 변경하는 것, (iii) 상기 제1 단어와 상기 제2 단어와의 사이의 상기 텍스트를 하이라이팅하는 것을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  25. 청구항 21에 있어서,
    상기 제1 단어로부터 상기 제2 단어로의 상기 단일의 손가락의 움직임 도중에 상기 단일의 손가락에 의해 콘택되어 있는 텍스트는, 상기 제1 단어로부터 상기 제2 단어로의 상기 터치스크린 디스플레와의 상기 사용자 콘택의 움직임 도중에 상기 터치스크린 디스플레이와의 상기 사용자 콘택이 상기 단일의 손가락 또는 상기 다수의 손가락들을 포함하는지 여부에 따라, 문자 단위(character-by-character basis) 또는 단어 단위(word-by-word basis)로 선택되었다는 표시를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  26. 청구항 21에 있어서,
    상기 터치스크린 디스플레이와의 상기 사용자 콘택이 상기 터치스크린 디스플레이의 릴리징 위치에서 상기 터치스크린 디스플레이와의 콘택으로부터 릴리즈된 이후에, 제2 사용자 입력이 상기 제1 단어와 상기 터치스크린 디스플레이의 상기 릴리징 위치와의 사이의 텍스트가 선택되었다는 디스플레이된 표시와 콘택하였고, 그리고 그 결과로서, 상기 제1 단어와 상기 터치스크린 디스플레이의 상기 릴리징 위치와의 사이의 텍스트를 붙여넣거나, 복사하거나 또는 잘라내는 표시를 수신하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  27. 명령어들이 저장된 비-일시적 컴퓨터 판독가능 저장 디바이스로서, 상기 명령어들은 하나 이상의 프로그래머블 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로그래머블 프로세서들로 하여금 동작들을 수행하게 하며, 상기 동작들은:
    컴퓨팅 디바이스에 의해, 상기 컴퓨팅 디바이스의 터치스크린 디스플레이와의 사용자 콘택이 상기 터치스크린 디스플레이에 의해 디스플레이된 제1 단어의 중간에서 상기 터치스크린 디스플레이와의 콘택이 개시된 단일의 손가락을 포함함을 식별하는 동작;
    상기 컴퓨팅 디바이스에 의해, 상기 단일의 손가락이 상기 제1 단어의 중간으로부터 상기 터치스크린 디스플레이에 의해 디스플레이된 제2 단어로, 상기 단일의 손가락이 상기 터치스크린 디스플레이와의 접촉으로부터 릴리즈(release)되지 않고, 상기 터치스크린 디스플레이를 가로질러 움직임을 결정하는 동작, 상기 터치스크린 디스플레이는 상기 제1 단어와 상기 제2 단어와의 사이에 하나 이상의 단어들을 제시하며;
    상기 터치스크린 디스플레이와의 상기 사용자 콘택이 다수의 손가락들과 구분되는 상기 단일의 손가락을 포함함을 식별하는 상기 컴퓨팅 디바이스에 응답하여, 그리고 상기 단일의 손가락이 상기 제1 단어의 중간에서 콘택한 이후에 상기 터치스크린 디스플레이와의 콘택으로부터 릴리즈되지 않고, 상기 사용자 콘택이 상기 제2 단어와 콘택되어 있는 동안에, 상기 제1 단어가 전체적으로 선택된 것으로서 표시되는 것과 구분되어 상기 제1 단어가 부분적으로 선택된 것으로서 표시되도록 상기 제1 단어와 상기 제2 단어와의 사이의 텍스트가 개별적 문자들로서 선택되었다는 표시를 상기 터치스크린 디스플레이에 디스플레이하는 동작;
    상기 터치스크린 디스플레이와의 상기 사용자 콘택이 상기 터치스크린 디스플레이에 콘택하는 다른 손가락의 추가로 인하여 상기 단일의 손가락을 포함하는 것으로부터 다수의 손가락들을 포함하는 것으로 스위칭되었음을 결정하는 상기 컴퓨팅 디바이스에 응답하여, 그리고 상기 단일의 손가락이 상기 제1 단어의 중간에서 콘택한 이후에 상기 터치스크린 디스플레이와의 콘택으로부터 릴리즈되지 않고, 상기 사용자 콘택이 상기 제2 단어와 콘택되어 있는 동안에, (i) 상기 제1 단어가 전체적으로 선택된 것으로서 표시되는 것과 구분되어 상기 제1 단어가 부분적으로 선택된 것으로서 표시되도록 상기 제1 단어와 상기 제2 단어와의 사이의 텍스트가 개별적 문자들로서 선택되었다는 표시를 디스플레이하는 것으로부터 (ii) 상기 제1 단어의 전체가 선택된 것으로서 표시되도록 상기 제1 단어와 상기 제2 단어와의 사이의 텍스트가 전체 단어들로서 선택되었다는 표시를 상기 터치스크린 디스플레이에 디스플레이하는 것으로 스위칭하는 동작을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독가능 저장 디바이스.
  28. 청구항 27에 있어서,
    상기 터치스크린 디스플레이와의 상기 사용자 콘택이 상기 단일의 손가락을 포함하는 것으로부터 다수의 손가락들을 포함하는 것으로 스위칭되었음을 결정하는 것은 상기 터치스크린 디스플레이와의 상기 사용자 콘택이 상기 터치스크린 디스플레이와 콘택되어 있는 상기 단일의 손가락을 포함하는 것으로부터 상기 터치스크린 디스플레이와 콘택되어 있고 서로 인접한 것으로 결정된 상기 다수의 손가락들을 포함하는 것으로 스위칭됨을 결정하는 것을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독가능 저장 디바이스.
  29. 청구항 27에 있어서,
    상기 제1 단어와 상기 제2 단어와의 사이의 텍스트가 개별적 문자들로서 선택되었다는 표시를 디스플레이하는 것은 상기 제2 단어가 전체적으로 선택된 것으로서 표시되는 것과 구분되어 상기 제2 단어의 부분이 선택되었음을 표시하는 것을 포함하며; 그리고
    상기 제1 단어와 상기 제2 단어와의 사이의 텍스트가 전체 단어들로서 선택되었다는 표시를 디스플레이하는 것은 상기 다수의 손가락들이 상기 제2 단어의 중간에 대응하는 위치에서의 상기 터치스크린 디스플레이에 콘택하고 있더라도 상기 제2 단어가 전체적으로 선택된 것으로 표시하는 것을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독가능 저장 디바이스.
  30. 청구항 27에 있어서,
    상기 제1 단어와 상기 제2 단어와의 사이의 텍스트가 개별적 문자들로서 선택되었다는 상기 표시를 디스플레이하는 것은 (i) 상기 제1 단어와 상기 제2 단어와의 사이의 상기 텍스트의 색상을 변경하는 것, (ii) 상기 제1 단어와 상기 제2 단어와의 사이의 상기 텍스트의 모양을 변경하는 것, (iii) 상기 제1 단어와 상기 제2 단어와의 사이의 상기 텍스트를 하이라이팅하는 것을 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독가능 저장 디바이스.
  31. 청구항 27에 있어서,
    상기 제1 단어로부터 상기 제2 단어로의 상기 단일의 손가락의 움직임 도중에 상기 단일의 손가락에 의해 콘택되어 있는 텍스트는, 상기 제1 단어로부터 상기 제2 단어로의 상기 터치스크린 디스플레와의 상기 사용자 콘택의 움직임 도중에 상기 터치스크린 디스플레이와의 상기 사용자 콘택이 상기 단일의 손가락 또는 상기 다수의 손가락들을 포함하는지 여부에 따라, 문자 단위(character-by-character basis) 또는 단어 단위(word-by-word basis)로 선택되었다는 표시를 디스플레이하는 동작을 더 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독가능 저장 디바이스.
  32. 청구항 27에 있어서,
    상기 터치스크린 디스플레이와의 상기 사용자 콘택이 상기 터치스크린 디스플레이의 릴리징 위치에서 상기 터치스크린 디스플레이와의 콘택으로부터 릴리즈된 이후에, 제2 사용자 입력이 상기 제1 단어와 상기 터치스크린 디스플레이의 상기 릴리징 위치와의 사이의 텍스트가 선택되었다는 디스플레이된 표시와 콘택하였고, 그리고 그 결과로서, 상기 제1 단어와 상기 터치스크린 디스플레이의 상기 릴리징 위치와의 사이의 텍스트를 붙여넣거나, 복사하거나 또는 잘라내는 표시를 수신하는 동작을 더 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독가능 저장 디바이스.
KR1020137034221A 2011-06-03 2011-06-03 텍스트를 선택하기 위한 제스처들 KR101838260B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/075243 WO2012162895A1 (en) 2011-06-03 2011-06-03 Gestures for selecting text

Publications (2)

Publication Number Publication Date
KR20140043760A KR20140043760A (ko) 2014-04-10
KR101838260B1 true KR101838260B1 (ko) 2018-03-13

Family

ID=47258288

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137034221A KR101838260B1 (ko) 2011-06-03 2011-06-03 텍스트를 선택하기 위한 제스처들

Country Status (5)

Country Link
US (2) US8896552B2 (ko)
KR (1) KR101838260B1 (ko)
CN (2) CN103608760A (ko)
DE (1) DE112011105305T5 (ko)
WO (1) WO2012162895A1 (ko)

Families Citing this family (192)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292161B2 (en) * 2010-03-24 2016-03-22 Microsoft Technology Licensing, Llc Pointer tool with touch-enabled precise placement
US10817555B2 (en) 2010-07-03 2020-10-27 Edmond K. Chow Resource hubs for heterogeneous groups
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101795574B1 (ko) 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR20120102262A (ko) * 2011-03-08 2012-09-18 삼성전자주식회사 휴대용 단말기가 열람하는 텍스트에서 원하는 내용을 선택하는 방법 및 장치
US8656315B2 (en) 2011-05-27 2014-02-18 Google Inc. Moving a graphical selector
US8826190B2 (en) 2011-05-27 2014-09-02 Google Inc. Moving a graphical selector
US20130021242A1 (en) * 2011-07-18 2013-01-24 Motorola Solutions, Inc. Advanced handwriting system with multi-touch features
KR20130011787A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 전자 책 단말기 및 화면 전환 방법
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9317196B2 (en) * 2011-08-10 2016-04-19 Microsoft Technology Licensing, Llc Automatic zooming for text selection/cursor placement
US9612670B2 (en) 2011-09-12 2017-04-04 Microsoft Technology Licensing, Llc Explicit touch selection and cursor placement
US20130063494A1 (en) * 2011-09-12 2013-03-14 Microsoft Corporation Assistive reading interface
JP5766083B2 (ja) * 2011-09-28 2015-08-19 京セラ株式会社 携帯電子機器
US9251144B2 (en) * 2011-10-19 2016-02-02 Microsoft Technology Licensing, Llc Translating language characters in media content
US8490008B2 (en) 2011-11-10 2013-07-16 Research In Motion Limited Touchscreen keyboard predictive display and generation of a set of characters
KR101457116B1 (ko) * 2011-11-07 2014-11-04 삼성전자주식회사 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법
US9652448B2 (en) 2011-11-10 2017-05-16 Blackberry Limited Methods and systems for removing or replacing on-keyboard prediction candidates
US9122672B2 (en) 2011-11-10 2015-09-01 Blackberry Limited In-letter word prediction for virtual keyboard
US9310889B2 (en) 2011-11-10 2016-04-12 Blackberry Limited Touchscreen keyboard predictive display and generation of a set of characters
US9715489B2 (en) 2011-11-10 2017-07-25 Blackberry Limited Displaying a prediction candidate after a typing mistake
JP2013137614A (ja) * 2011-12-28 2013-07-11 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理方法、及び情報処理システム
US9557913B2 (en) 2012-01-19 2017-01-31 Blackberry Limited Virtual keyboard display having a ticker proximate to the virtual keyboard
US9152323B2 (en) 2012-01-19 2015-10-06 Blackberry Limited Virtual keyboard providing an indication of received input
US9652132B2 (en) * 2012-01-27 2017-05-16 Google Inc. Handling touch inputs based on user intention inference
US20160041965A1 (en) * 2012-02-15 2016-02-11 Keyless Systems Ltd. Improved data entry systems
KR20130097331A (ko) * 2012-02-24 2013-09-03 삼성전자주식회사 터치 스크린을 구비하는 전자기기에서 객체를 선택하기 위한 장치 및 방법
GB2503968B (en) 2012-02-24 2021-02-17 Blackberry Ltd Touchscreen keyboard providing word predictions in partitions of the touchscreen keyboard in proximate association with candidate letters
WO2013123571A1 (en) 2012-02-24 2013-08-29 Research In Motion Limited Virtual keyboard with dynamically reconfigurable layout
KR101673068B1 (ko) * 2012-04-07 2016-11-04 모토로라 모빌리티 엘엘씨 텍스트 선택 및 엔터
JP5619063B2 (ja) * 2012-04-09 2014-11-05 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
US8814674B2 (en) 2012-05-24 2014-08-26 Supercell Oy Graphical user interface for a gaming system
GB2501145A (en) 2012-04-12 2013-10-16 Supercell Oy Rendering and modifying objects on a graphical user interface
US8954890B2 (en) * 2012-04-12 2015-02-10 Supercell Oy System, method and graphical user interface for controlling a game
KR20130115694A (ko) * 2012-04-13 2013-10-22 삼성전자주식회사 사용자 데이터를 입력 및 관리할 수 있는 전자 장치 및 방법
US9201510B2 (en) 2012-04-16 2015-12-01 Blackberry Limited Method and device having touchscreen keyboard with visual cues
US9292192B2 (en) * 2012-04-30 2016-03-22 Blackberry Limited Method and apparatus for text selection
US9354805B2 (en) * 2012-04-30 2016-05-31 Blackberry Limited Method and apparatus for text selection
US10025487B2 (en) * 2012-04-30 2018-07-17 Blackberry Limited Method and apparatus for text selection
KR101977072B1 (ko) * 2012-05-07 2019-05-10 엘지전자 주식회사 음성 파일과 관련된 텍스트의 표시 방법 및 이를 구현한 전자기기
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
EP3185116B1 (en) 2012-05-09 2019-09-11 Apple Inc. Device, method and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
CN108052264B (zh) 2012-05-09 2021-04-27 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
WO2013169877A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting user interface objects
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
DE112013002409T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Anzeige zusätzlicher Informationen in Reaktion auf einen Benutzerkontakt
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
KR20130127146A (ko) * 2012-05-14 2013-11-22 삼성전자주식회사 다중 터치에 대응하는 기능을 처리하기 위한 방법 및 그 전자 장치
US9207860B2 (en) 2012-05-25 2015-12-08 Blackberry Limited Method and apparatus for detecting a gesture
US10444836B2 (en) 2012-06-07 2019-10-15 Nook Digital, Llc Accessibility aids for users of electronic devices
US9116552B2 (en) 2012-06-27 2015-08-25 Blackberry Limited Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard
US20140026101A1 (en) 2012-07-20 2014-01-23 Barnesandnoble.Com Llc Accessible Menu Navigation Techniques For Electronic Devices
KR20140026999A (ko) * 2012-08-23 2014-03-06 (주)휴맥스 원격 브라우징 방법, 장치 및 시스템
US9524290B2 (en) 2012-08-31 2016-12-20 Blackberry Limited Scoring predictions based on prediction length and typing speed
US9063653B2 (en) 2012-08-31 2015-06-23 Blackberry Limited Ranking predictions based on typing speed and typing confidence
US9645717B2 (en) * 2012-09-05 2017-05-09 Sap Portals Israel Ltd. Managing a selection mode for presented content
US9696879B2 (en) * 2012-09-07 2017-07-04 Google Inc. Tab scrubbing using navigation gestures
US9766797B2 (en) * 2012-09-13 2017-09-19 International Business Machines Corporation Shortening URLs using touchscreen gestures
US8952912B1 (en) * 2012-09-14 2015-02-10 Amazon Technologies, Inc. Selection of elements on paginated touch sensitive display
US8656296B1 (en) * 2012-09-27 2014-02-18 Google Inc. Selection of characters in a string of characters
KR101329584B1 (ko) * 2012-10-22 2013-11-14 신근호 멀티터치 기반의 텍스트블록 설정에 따른 편집제공 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
US9804777B1 (en) 2012-10-23 2017-10-31 Google Inc. Gesture-based text selection
WO2014066689A2 (en) * 2012-10-26 2014-05-01 Livescribe Inc. Digital cursor display linked to a smart pen
KR102105101B1 (ko) * 2012-11-07 2020-04-27 삼성전자주식회사 디스플레이 장치 및 이의 문자 수정 방법
KR102023008B1 (ko) * 2012-12-10 2019-09-19 엘지전자 주식회사 음성-텍스트 변환 디스플레이 장치 및 그 방법
US9134892B2 (en) 2012-12-14 2015-09-15 Barnes & Noble College Booksellers, Llc Drag-based content selection technique for touch screen UI
US9134893B2 (en) * 2012-12-14 2015-09-15 Barnes & Noble College Booksellers, Llc Block-based content selecting technique for touch screen UI
CN104903835B (zh) 2012-12-29 2018-05-04 苹果公司 用于针对多接触手势而放弃生成触觉输出的设备、方法和图形用户界面
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
EP3467634B1 (en) 2012-12-29 2020-09-23 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP2939098B1 (en) 2012-12-29 2018-10-10 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
KR102036057B1 (ko) * 2013-01-17 2019-10-24 삼성전자 주식회사 휴대 단말기의 스누즈 간격 설정 방법 및 그에 관한 장치
KR102073615B1 (ko) 2013-01-22 2020-02-05 엘지전자 주식회사 인풋 인터페이스를 제공하는 터치 센서티브 디스플레이 디바이스 및 그 제어 방법
CN103116461B (zh) * 2013-01-25 2015-10-21 中兴通讯股份有限公司 一种基于触摸屏的字符处理方法及终端
US9971495B2 (en) 2013-01-28 2018-05-15 Nook Digital, Llc Context based gesture delineation for user interaction in eyes-free mode
US20140215339A1 (en) * 2013-01-28 2014-07-31 Barnesandnoble.Com Llc Content navigation and selection in an eyes-free mode
JP5565598B1 (ja) * 2013-02-01 2014-08-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 電子機器、入力処理方法、およびプログラム
US9003333B2 (en) * 2013-03-04 2015-04-07 Zynga Inc. Sequential selection of multiple objects
US9785240B2 (en) * 2013-03-18 2017-10-10 Fuji Xerox Co., Ltd. Systems and methods for content-aware selection
US20140306897A1 (en) * 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Virtual keyboard swipe gestures for cursor movement
KR102091235B1 (ko) * 2013-04-10 2020-03-18 삼성전자주식회사 휴대 단말기에서 메시지를 편집하는 장치 및 방법
JP2014211701A (ja) * 2013-04-17 2014-11-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10719224B1 (en) 2013-04-29 2020-07-21 David Graham Boyers Methods and graphical user interfaces for pointing and editing on computing devices with touch-sensitive displays
CN103324667B (zh) * 2013-05-20 2016-08-17 吴涛军 一种在网页上生成自适应选择文本的方法
JP5780438B2 (ja) * 2013-05-21 2015-09-16 カシオ計算機株式会社 電子機器、位置指定方法及びプログラム
US20140359433A1 (en) * 2013-06-04 2014-12-04 Microsoft Corporation Text selection paragraph snapping
KR102113674B1 (ko) * 2013-06-10 2020-05-21 삼성전자주식회사 다중 터치를 이용한 객체 선택 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9442642B2 (en) * 2013-06-14 2016-09-13 Microsoft Technology Licensing, Llc Tethered selection handle
US9535601B2 (en) * 2013-06-24 2017-01-03 Adobe Systems Incorporated Method and apparatus for gesture based text styling
WO2014205605A1 (en) * 2013-06-28 2014-12-31 France Telecom Method to select portion of graphical user interface
CN103324440B (zh) * 2013-07-05 2016-06-08 广东欧珀移动通信有限公司 一种利用多点触控选择文字内容的方法
US9329692B2 (en) 2013-09-27 2016-05-03 Microsoft Technology Licensing, Llc Actionable content displayed on a touch screen
US9436918B2 (en) * 2013-10-07 2016-09-06 Microsoft Technology Licensing, Llc Smart selection of text spans
US10990267B2 (en) 2013-11-08 2021-04-27 Microsoft Technology Licensing, Llc Two step content selection
US9841881B2 (en) 2013-11-08 2017-12-12 Microsoft Technology Licensing, Llc Two step content selection with auto content categorization
DE102013021576A1 (de) * 2013-12-19 2015-06-25 Audi Ag Verfahren zum Auswählen eines Textabschnitts auf einem berührungssensitiven Bildschirm und Anzeige- und Bedienvorrichtung
US10331777B2 (en) 2013-12-31 2019-06-25 Barnes & Noble College Booksellers, Llc Merging annotations of paginated digital content
US10915698B2 (en) * 2013-12-31 2021-02-09 Barnes & Noble College Booksellers, Llc Multi-purpose tool for interacting with paginated digital content
CN103914441A (zh) * 2014-03-13 2014-07-09 何峰 利用手势在触摸屏上进行文档编辑的方法
US10101844B2 (en) * 2014-03-14 2018-10-16 Lg Electronics Inc. Mobile terminal and method of controlling the same based on type of touch object used to apply touch input
CN106104446A (zh) * 2014-03-20 2016-11-09 日本电气株式会社 信息处理设备、信息处理方法和信息处理程序
WO2015141093A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP6164361B2 (ja) * 2014-03-25 2017-07-19 富士通株式会社 端末装置、表示制御方法及びプログラム
WO2015147709A1 (en) * 2014-03-26 2015-10-01 Telefonaktiebolaget L M Ericsson (Publ) Selecting an adjacent file on a display of an electronic device
US20150277744A1 (en) * 2014-03-27 2015-10-01 Motorola Mobility Llc Gesture Text Selection
US20150277571A1 (en) * 2014-03-31 2015-10-01 Kobo Incorporated User interface to capture a partial screen display responsive to a user gesture
JP6318794B2 (ja) * 2014-04-08 2018-05-09 富士通株式会社 情報処理装置及び情報処理プログラム
US10387021B2 (en) * 2014-07-31 2019-08-20 Restoration Robotics, Inc. Robotic hair transplantation system with touchscreen interface for controlling movement of tool
KR20160021524A (ko) * 2014-08-18 2016-02-26 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US20160054883A1 (en) * 2014-08-21 2016-02-25 Xiaomi Inc. Method and device for positioning cursor
KR102277217B1 (ko) * 2014-08-28 2021-07-15 삼성전자주식회사 블록을 설정하는 전자 장치 및 방법
KR102309175B1 (ko) * 2014-08-29 2021-10-06 삼성전자주식회사 스크랩 정보를 제공하는 전자 장치 및 그 제공 방법
KR20160051081A (ko) * 2014-10-31 2016-05-11 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CN104461348B (zh) * 2014-10-31 2018-09-04 小米科技有限责任公司 信息选取方法及装置
KR102422793B1 (ko) * 2014-12-04 2022-07-19 삼성전자주식회사 전자 디바이스 및 전자 디바이스를 통하여 글자 입력을 수신하기 위한 방법
DE102015200010A1 (de) * 2015-01-02 2016-07-07 Volkswagen Ag Fortbewegungsmittel und Anwenderschnittstelle für ein Fortbewegungsmittel
US10534502B1 (en) 2015-02-18 2020-01-14 David Graham Boyers Methods and graphical user interfaces for positioning the cursor and selecting text on computing devices with touch-sensitive displays
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9785305B2 (en) * 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10019425B2 (en) * 2015-04-03 2018-07-10 Qualcomm Incorporated Enhancement to text selection controls
US10126846B2 (en) * 2015-04-09 2018-11-13 Blackberry Limited Portable electronic device including touch-sensitive display and method of controlling selection of information
CN106201293B (zh) * 2015-04-29 2020-06-26 中兴通讯股份有限公司 文本选取方法和装置、文本处理方法和装置
CN106201294A (zh) * 2015-04-29 2016-12-07 中兴通讯股份有限公司 文本选取方法和装置、文本处理方法和装置
US10275436B2 (en) * 2015-06-01 2019-04-30 Apple Inc. Zoom enhancements to facilitate the use of touch screen devices
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
JP6696737B2 (ja) * 2015-06-26 2020-05-20 シャープ株式会社 コンテンツ表示装置及びプログラム
CN105094626B (zh) * 2015-06-26 2018-10-26 小米科技有限责任公司 文本内容选择方法及装置
JP5906344B1 (ja) * 2015-07-06 2016-04-20 ヤフー株式会社 情報処理装置、情報表示プログラムおよび情報表示方法
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10402734B2 (en) * 2015-08-26 2019-09-03 Google Llc Temporal based word segmentation
WO2017035740A1 (zh) * 2015-08-31 2017-03-09 华为技术有限公司 一种选择文本的方法
WO2017035739A1 (zh) * 2015-08-31 2017-03-09 华为技术有限公司 一种选择文本的方法
WO2017075772A1 (en) * 2015-11-04 2017-05-11 Orange Improved method for selecting element of graphical user interface
WO2017075771A1 (en) * 2015-11-04 2017-05-11 Orange Improved method for selecting element of graphical user interface
US20170131873A1 (en) * 2015-11-09 2017-05-11 Microsoft Technology Licensing, Llc. Natural user interface for selecting a target element
KR102648551B1 (ko) * 2016-01-28 2024-03-18 삼성전자주식회사 콘텐트를 선택하기 위한 방법 및 그 전자 장치
CN105573624A (zh) * 2016-01-29 2016-05-11 深圳天珑无线科技有限公司 通过压力触控技术快速完成文字编辑的方法及系统
KR101866417B1 (ko) * 2016-05-26 2018-06-11 주식회사 한글과컴퓨터 단말기의 다중 터치 조작에 따른 처리방법 및 그 장치
DE112017002781T5 (de) * 2016-06-03 2019-02-14 Semiconductor Energy Laboratory Co., Ltd. Datenverarbeitungsvorrichtung und Anzeigeverfahren dafür
CN106126052A (zh) * 2016-06-23 2016-11-16 北京小米移动软件有限公司 文本选择方法及装置
CN106201264A (zh) * 2016-07-04 2016-12-07 北京小米移动软件有限公司 选择内容的方法及装置
US10049087B2 (en) 2016-07-19 2018-08-14 International Business Machines Corporation User-defined context-aware text selection for touchscreen devices
JP6264412B2 (ja) * 2016-08-25 2018-01-24 カシオ計算機株式会社 情報表示装置、情報表示方法および情報表示プログラム
US10318034B1 (en) * 2016-09-23 2019-06-11 Apple Inc. Devices, methods, and user interfaces for interacting with user interface objects via proximity-based and contact-based inputs
US10459612B2 (en) 2016-10-05 2019-10-29 Microsoft Technology Licensing, Llc Select and move hint
KR102463993B1 (ko) 2017-03-08 2022-11-07 삼성전자주식회사 핸들러 표시 방법 및 이를 위한 전자 장치
US10771558B2 (en) 2017-04-10 2020-09-08 Honeywell International Inc. System and method for modifying multiple request datalink messages in avionics system
EP4036701A1 (en) * 2017-05-16 2022-08-03 Apple Inc. Devices, methods, and graphical user interfaces for moving user interface objects
DK180127B1 (en) * 2017-05-16 2020-05-26 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR MOVING USER INTERFACE OBJECTS
CN107376339B (zh) * 2017-07-18 2018-12-28 网易(杭州)网络有限公司 在游戏中锁定目标的交互方法及装置
US10838597B2 (en) * 2017-08-16 2020-11-17 International Business Machines Corporation Processing objects on touch screen devices
US20190065446A1 (en) * 2017-08-22 2019-02-28 Microsoft Technology Licensing, Llc Reducing text length while preserving meaning
JP6592056B2 (ja) * 2017-10-17 2019-10-16 株式会社Nttドコモ 情報処理装置
US20190114065A1 (en) * 2017-10-17 2019-04-18 Getac Technology Corporation Method for creating partial screenshot
CN107765967A (zh) * 2017-10-18 2018-03-06 北京小米移动软件有限公司 文本的选取方法及装置
CN107967093B (zh) * 2017-12-21 2020-01-31 维沃移动通信有限公司 一种多段文本复制方法及移动终端
CN108132752B (zh) * 2017-12-21 2020-02-18 维沃移动通信有限公司 一种文本编辑方法及移动终端
CN110032324B (zh) * 2018-01-11 2024-03-05 荣耀终端有限公司 一种文本选中方法及终端
US10895979B1 (en) * 2018-02-16 2021-01-19 David Graham Boyers Methods and user interfaces for positioning a selection, selecting, and editing, on a computing device running under a touch-based operating system, using gestures on a touchpad device
US11320983B1 (en) * 2018-04-25 2022-05-03 David Graham Boyers Methods and graphical user interfaces for positioning a selection, selecting, and editing, on a computing device running applications under a touch-based operating system
JP7238314B2 (ja) * 2018-10-02 2023-03-14 カシオ計算機株式会社 電子機器、テキスト処理方法、およびプログラム
CN111273846B (zh) * 2019-04-29 2022-04-01 深圳市鸿合创新信息技术有限责任公司 工具栏的调节方法及交互式显示设备
JP6917561B2 (ja) * 2019-11-12 2021-08-11 パナソニックIpマネジメント株式会社 字幕修正装置、字幕修正方法、及び、コンピュータプログラム
CN111782119A (zh) * 2020-07-14 2020-10-16 咪咕数字传媒有限公司 阅读页内容快速选中的方法、装置和存储介质
CN112748842A (zh) * 2020-12-31 2021-05-04 维沃移动通信有限公司 文本选取方法和装置
CN113138708B (zh) * 2021-05-18 2023-06-06 清华大学 一种基于手势的文本处理方法及系统
US11631206B2 (en) * 2021-06-10 2023-04-18 Adobe Inc. Glyph selection tool for digital text content
US20230377223A1 (en) * 2022-05-18 2023-11-23 Snap Inc. Hand-tracked text selection and modification
CN114885140B (zh) * 2022-05-25 2023-05-26 华中科技大学 一种多屏拼接沉浸式投影画面处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060125803A1 (en) 2001-02-10 2006-06-15 Wayne Westerman System and method for packing multitouch gestures onto a hand
US20070287494A1 (en) 2006-03-28 2007-12-13 Lg Electronics Inc. Mobile communications terminal having key input error prevention function and method thereof
US20090228842A1 (en) 2008-03-04 2009-09-10 Apple Inc. Selecting of text using gestures
US20100110017A1 (en) 2008-10-30 2010-05-06 Research In Motion Limited Portable electronic device and method of controlling same

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1059303C (zh) * 1994-07-25 2000-12-06 国际商业机器公司 在个人通讯设备的显示屏幕上标记文本的装置和方法
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US6891551B2 (en) * 2000-11-10 2005-05-10 Microsoft Corporation Selection handles in editing electronic documents
SG135918A1 (en) * 2003-03-03 2007-10-29 Xrgomics Pte Ltd Unambiguous text input method for touch screens and reduced keyboard systems
US7707757B2 (en) 2005-07-05 2010-05-04 Crowell Christopher S Multi-panel display product
JP2009042796A (ja) * 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
US9395905B2 (en) * 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
KR100720335B1 (ko) * 2006-12-20 2007-05-23 최경순 접촉 위치 이동에 따라 생성되는 상대좌표값에 대응하는텍스트를 입력하는 텍스트 입력 장치 및 그 방법
US9274698B2 (en) * 2007-10-26 2016-03-01 Blackberry Limited Electronic device and method of controlling same
US20090125848A1 (en) * 2007-11-14 2009-05-14 Susann Marie Keohane Touch surface-sensitive edit system
US8201109B2 (en) * 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
JP4792058B2 (ja) * 2008-04-28 2011-10-12 株式会社東芝 情報処理装置、制御方法およびプログラム
US8169414B2 (en) * 2008-07-12 2012-05-01 Lim Seung E Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
US9442648B2 (en) * 2008-10-07 2016-09-13 Blackberry Limited Portable electronic device and method of controlling same
US20100088653A1 (en) * 2008-10-07 2010-04-08 Research In Motion Limited Portable electronic device and method of controlling same
US20100085314A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited Portable electronic device and method of controlling same
CN101393510A (zh) * 2008-10-17 2009-03-25 深圳市同洲电子股份有限公司 一种触摸屏文本处理方法、系统及移动终端
US9875013B2 (en) * 2009-03-16 2018-01-23 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US8294680B2 (en) * 2009-03-27 2012-10-23 Sony Mobile Communications Ab System and method for touch-based text entry
US20100289757A1 (en) * 2009-05-14 2010-11-18 Budelli Joey G Scanner with gesture-based text selection capability
US20100293460A1 (en) * 2009-05-14 2010-11-18 Budelli Joe G Text selection method and system based on gestures
KR20100130671A (ko) * 2009-06-04 2010-12-14 삼성전자주식회사 터치 인터페이스에서 선택 영역의 제공 장치 및 그 방법
US8704783B2 (en) * 2010-03-24 2014-04-22 Microsoft Corporation Easy word selection and selection ahead of finger
US9405404B2 (en) * 2010-03-26 2016-08-02 Autodesk, Inc. Multi-touch marking menus and directional chording gestures
US8810509B2 (en) * 2010-04-27 2014-08-19 Microsoft Corporation Interfacing with a computing application using a multi-digit sensor
US8922499B2 (en) * 2010-07-26 2014-12-30 Apple Inc. Touch input transitions
US8614665B2 (en) * 2010-11-19 2013-12-24 Qualcomm Innovation Center, Inc. Touch screen
US10503255B2 (en) * 2010-12-02 2019-12-10 Immersion Corporation Haptic feedback assisted text manipulation
US8405627B2 (en) * 2010-12-07 2013-03-26 Sony Mobile Communications Ab Touch input disambiguation
US8854324B2 (en) * 2011-04-13 2014-10-07 Sony Corporation Information processing control device
US9032338B2 (en) * 2011-05-30 2015-05-12 Apple Inc. Devices, methods, and graphical user interfaces for navigating and editing text
US9612670B2 (en) * 2011-09-12 2017-04-04 Microsoft Technology Licensing, Llc Explicit touch selection and cursor placement

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060125803A1 (en) 2001-02-10 2006-06-15 Wayne Westerman System and method for packing multitouch gestures onto a hand
US20070287494A1 (en) 2006-03-28 2007-12-13 Lg Electronics Inc. Mobile communications terminal having key input error prevention function and method thereof
US20090228842A1 (en) 2008-03-04 2009-09-10 Apple Inc. Selecting of text using gestures
US20100110017A1 (en) 2008-10-30 2010-05-06 Research In Motion Limited Portable electronic device and method of controlling same

Also Published As

Publication number Publication date
US10642458B2 (en) 2020-05-05
CN103608760A (zh) 2014-02-26
US20120306772A1 (en) 2012-12-06
CN105955617B (zh) 2019-07-12
WO2012162895A1 (en) 2012-12-06
US8896552B2 (en) 2014-11-25
US20150082246A1 (en) 2015-03-19
KR20140043760A (ko) 2014-04-10
DE112011105305T5 (de) 2014-03-13
CN105955617A (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
KR101838260B1 (ko) 텍스트를 선택하기 위한 제스처들
US20220221985A1 (en) Portable Touch Screen Device, Method, and Graphical User Interface for Using Emoji Characters
US20220035522A1 (en) Device, Method, and Graphical User Interface for Displaying a Plurality of Settings Controls
JP6336550B2 (ja) タッチスクリーンディスプレイを有する多機能デバイスでの編集の方法およびグラフィカルユーザインターフェース
JP6220958B2 (ja) 同時に開いているソフトウェアアプリケーションを管理するためのデバイス、方法、及びグラフィカルユーザインタフェース
US9658740B2 (en) Device, method, and graphical user interface for managing concurrently open software applications
US8650507B2 (en) Selecting of text using gestures
KR102226667B1 (ko) 동시 오픈 소프트웨어 애플리케이션들을 관리하는 제스처 기반 그래픽 사용자 인터페이스
US8368723B1 (en) User input combination of touch and user position
KR20230169450A (ko) 전자 디바이스 상의 수기 입력
US8839155B2 (en) Accelerated scrolling for a multifunction device
US20140267094A1 (en) Performing an action on a touch-enabled device based on a gesture
US20130016129A1 (en) Region-Specific User Input
US9836211B2 (en) Device, method, and graphical user interface for selection of views in a three-dimensional map based on gesture inputs
CN105393201B (zh) 用于管理同时打开的软件应用的设备、方法和图形用户界面

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant