KR20090035570A - 텍스트 편집 및 메뉴 선택을 위한 사용자 인터페이스 시스템과 구현 방법 - Google Patents

텍스트 편집 및 메뉴 선택을 위한 사용자 인터페이스 시스템과 구현 방법 Download PDF

Info

Publication number
KR20090035570A
KR20090035570A KR1020097002112A KR20097002112A KR20090035570A KR 20090035570 A KR20090035570 A KR 20090035570A KR 1020097002112 A KR1020097002112 A KR 1020097002112A KR 20097002112 A KR20097002112 A KR 20097002112A KR 20090035570 A KR20090035570 A KR 20090035570A
Authority
KR
South Korea
Prior art keywords
text
input
component
user
output
Prior art date
Application number
KR1020097002112A
Other languages
English (en)
Other versions
KR101488537B1 (ko
Inventor
에이. 쿠쉴러 클리포드
Original Assignee
에이. 쿠쉴러 클리포드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/533,714 external-priority patent/US7382358B2/en
Application filed by 에이. 쿠쉴러 클리포드 filed Critical 에이. 쿠쉴러 클리포드
Publication of KR20090035570A publication Critical patent/KR20090035570A/ko
Application granted granted Critical
Publication of KR101488537B1 publication Critical patent/KR101488537B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)

Abstract

입력 동작 인식 텍스트 입력 시스템 사용자가, 수정할 텍스트 위치로 텍스트 삽입 위치를 이동하지 않고 잘못 인식된 텍스트를 수정할 수 있도록 하는 방법 및 시스템. 이 시스템은 또한 서로 다른 방식으로 공백이 자동 생성된 개체에 의해 텍스트 개체가 대체되는 경우에 텍스트 개체 사이의 공백이 올바로 처리되도록 합니다. 이 시스템은 또한 원하는 항목에 연관된 메뉴의 하위 영역을 직접 접촉하는 대신 더 낮은 정확도로 선택 제스처를 수행하여 원하는 항목을 간편하고 빠르게 선택하는 방식으로 메뉴 항목을 그래픽 형태로 표시할 수 있습니다.
텍스트 입력 시스템, 텍스트 표시 시스템, 텍스트 개체

Description

텍스트 편집 및 메뉴 선택을 위한 사용자 인터페이스 시스템과 구현 방법{system and method for a user interface for text editing and menu selection}
본 발명은 컴퓨터 시스템을 위한 그래픽 및 제스처 사용자 인터페이스와 관련됩니다. 더 구체적으로, 사용자가 한 가지 이상의 입력 장치를 사용하여 입력 동작을 수행하고, 이러한 입력 동작으로 생성된 데이터를 컴퓨터 시스템에 입력되는 텍스트 데이터에 해당하는 한 가지 이상의 입력 동작으로 인식시키기 위해 그 내용을 분석하는 다양한 형태의 컴퓨터 시스템과 관련됩니다. 본 발명은 또한 사용자에게 그래픽 방식으로 두 가지 이상의 메뉴 선택 항목을 제시하여 쉽고 빠르게 수행할 수 있는 간단한 제스처로 이 항목을 선택할 수 있도록 함으로써, 이를 텍스트 입력 방법의 일부로 이용하거나 컴퓨터 시스템의 다른 제어 기능으로 이용한다는 내용을 포함하고 있습니다.
사용자가 보다 빠르게 텍스트를 입력할 수 있도록 설계된 다양한 텍스트 입력 시스템들이 개발되어 있습니다. 일반적으로 동작을 덜 정확하게 수행할 수 있다면 일정한 동작을 보다 빠르게 수행할 수 있기 때문에 일반 시스템과 비교하여 사 용자가 덜 정확하게 동작을 수행할 수 있도록 하는 방식으로 이러한 빠른 텍스트 입력을 구현하는 경우가 많습니다. 일반적으로, 이를 위해 시스템에서 생성할 수 있는 텍스트 개체의 용어집을 정의하고 사용자의 입력 동작을 용어집에 있는 한 가지 이상의 텍스트 개체와 매핑시킨다는 개념을 따릅니다. 그런 다음 시스템은 사용자가 수행하는 (한 가지 이상의) 입력 동작을 분석하고 사용자의 입력 동작이 의도하는 개체와 가장 근접하게 매핑되는 텍스트 개체를 확인하여 확인된 개체를 입력 동작에 해당하는 텍스트로 생성합니다. 사용자가 정확하지 않은 두드림 동작으로 텍스트를 입력할 수 있는 가상 키보드를 골자로 미국 특허번호 6,801,190을 통해 Robinson 등이 공개한 시스템을 한 예로 들 수 있습니다. 가상 키보드 상에서 추적 경로의 형상을 탐지하고 이 형상을 단어와 연결된 형상 원형 라이브러리에서 찾아 해당 단어 패턴을 인식하는 "ShapeWriter" 시스템(미국 특허번호 US 2004-0120583 A1를 통해 Zhai가 공개)을 또 다른 예로 들 수 있습니다. 미국 특허번호 7,098,896을 통해 Kushler 등이 공개한 시스템도 또 다른 예입니다.
다른 시스템(예를 들어, 음성 인식 및 필기 인식 시스템)에서는 동일한 양식으로, 그러나 더 적은 정확도로 동작을 수행(Robinson 등이 공개한 가상 키보드의 경우와 같이)하는 대신 사용자가 대체 "양식"(즉, 음성 인식 시스템의 경우 말을 하거나, 필기 인식 시스템의 경우 필기하는 방법)으로 정보를 입력하여 텍스트를 입력할 수 있습니다. 이러한 "대체 양식" 시스템에서도 사용자의 입력 동작(음성 인식의 경우 단어를 말하거나 필기 인식의 경우 필기체 텍스트를 통해)은 시스템의 용어집에 있는 한 가지 이상의 텍스트 개체에 매핑("인식")됩니다. 다른 시스템들 도 기본적으로 사용자의 텍스트 입력 동작에 모호성을 도입하므로 사용자의 입력 동작을 용어집에 있는 한 가지 이상의 텍스트 개체에 매핑시켜야 합니다. 잘 알려진 예로, 키의 수가 제한적인 휴대 전화 키패드에 일반적으로 사용되고 상업화된 일명 "T9"(미국 특허번호 5,818,437을 통해 Grover 등이 공개) 입력 시스템을 들 수 있습니다. 이 시스템에서 표준 전화 키패드에 있는 각 키의 하위집합에는 각 문자 세트가 들어 있으며, 사용자가 키를 입력하면 입력한 순서의 키에 해당하는 문자로 구성되는 한 가지 이상의 단어가 사용자의 키 입력 순서에 매핑됩니다.
이러한 다양한 시스템(이하 "입력 동작 인식 시스템"이라고 함)에서 사용자의 입력 동작의 성질과 이러한 입력 동작이 시스템 용어집에 있는 텍스트 개체에 매핑되는 방식에는 차이가 있지만, 입력 동작 인식 시스템들은 일반적으로 많은 공통적 특징을 가지고 있습니다.
1) 이러한 입력 동작 인식 시스템이 인식하는 텍스트 개체는 사용자가 생성된 텍스트를 추가로 편집할 수 있도록 텍스트 표시 시스템에 출력됩니다(대부분이 텍스트가 표시되는 디스플레이 장치의 일정 부분으로서 구현됨).
2) 특정 입력 동작(또는 순차적 입력 동작)이 한 가지 이상의 가능한 텍스트 개체에 해당하는 것으로 확인되는 경우가 생기고, 이때 입력 동작에 가장 근접하게 매핑되는 것으로 확인된 텍스트 개체가 텍스트 표시 시스템으로 출력됩니다.
3) 시스템은 입력 동작에 충분히 합리적으로 대응하는 것으로 확인된 한 가지 이상의 대체 텍스트 개체의 기록을 유지하고(최소한 최근 생성한 일부 텍스트 개체만이라도), 이 대체 텍스트 개체를 실제로 출력을 위해 생성된 텍스트 개체와 연결시킬 수 있습니다(일시적으로라도). 이와 함께 또는 이를 대신하여, 시스템은 입력 동작과 관련된 특정 데이터나 정보를 기록하고 이 데이터를 연결된 대체 텍스트 해석 기록과 연관시키거나, 입력 동작과 관련된 이 기록 데이터를 나중에 다시 처리하여 대체 텍스트 개체를 확인할 수 있습니다.
4) 입력 동작에 가장 근접하게 매칭되는 것으로 확인되어 텍스트 표시 시스템을 통해 출력된 텍스트 개체가 사용자가 의도한 텍스트 개체가 아닌 경우가 생길 수 있으며, 이럴 경우 생성된 텍스트를 사용자가 직접 자신이 의도한 텍스트에 맞게 편집해야 합니다.
5) 텍스트 표시 시스템에는 사용자가 생성하는 다음 텍스트 개체를 삽입할 텍스트 삽입 지점(또는 위치)이 존재합니다. 이를 통칭하여 "커서"(때로 "캐럿(caret)") 위치라고 합니다(이후 "텍스트 삽입 지점"이라고 함).
6) 사용자가 텍스트 표시 시스템에서 텍스트 삽입 지점을 새 위치로 변경할 때 이용하는 텍스트 편집 동작(또는 "제스처")이 있습니다. 대부분의 시스템에서 텍스트 표시 시스템은 디스플레이에 텍스트 출력 부분을 가지고 있습니다. 예를 들어, 마우스 기반 시스템의 경우, 이 동작은 아마도 예외없이 텍스트 출력 영역에서 마우스를 한 번 클릭하는 동작에 해당됩니다. 스타일러스 기반 터치스크린 시스템의 경우 이 동작은, 마찬가지로 예외없이, 텍스트 출력 영역에서 스타일러스를 한 번 두드리는 동작에 해당됩니다.
7) 문자는 일반적으로 시스템에서 두 가지로 분류되어 처리됩니다. 한 가지는 시스템에서 생성되는 하나 이상의 텍스트 개체를 구성하는 데 이용할 수 있는 문자이고(이후 "텍스트 개체 문자"라고 함), 다른 하나는 시스템에서 생성되는 텍스트 개체에 포함되지 않는 구분 문자로 취급되는 하나 이상의 문자 또는 서체입니다(이후 "구분 문자"라고 함). 구분 문자에는 일반적으로 "여백(white space)"(스페이스, 탭, 리턴 등) 및 다른 구두 문자가 있습니다.
이러한 다양한 입력 동작 인식 시스템에서 많은 사용자들이 공통적으로 갖는 특징은 "오류"가 특정한 빈도로 발생하기 시작할 때까지는 사용자가 동작을 더욱 빠르게 수행한다는 것입니다(결과적으로 정확도가 계속해서 떨어짐). 여기서 오류라는 것은 시스템이 텍스트 표시 시스템에 출력한 텍스트 개체가 사용자가 의도한 텍스트 개체가 아닌 경우를 말합니다. 거의 모든 텍스트 편집 시스템에 공통적인 또 다른 특징은 사용자가 편집 동작을 수행할 때마다(텍스트 표시 시스템에 표시된 모든 텍스트가 사용자 동작으로 수정된다고 했을 때) 텍스트 삽입 위치가 편집된 텍스트 위치로 재지정된다는 것입니다. 텍스트 편집에 마우스와 키보드를 사용하는 기본적 모델과 위에서 설명한 입력 동작 인식 시스템의 많은 경우에 이러한 특징이 합리적이었지만(그리고 어떤 의미에서는 불가피했지만) 이러한 특징은 더 이상 바람직하지 않습니다. 이러한 상황에 요구되는 "텍스트 편집"에서 사용자는 일반적으로 특정한 텍스트 흐름을 입력하려 합니다. 입력 과정의 어떤 시점에서, 사용자는 텍스트 출력 부분을 눈으로 보고 나서 (또는 텍스트 표시 시스템을 검사한 후) 생성된 텍스트가 사용자가 의도한 텍스트와 다르다는 것으로 인지합니다. 그 이유는 사용자가 앞서 입력한 한 가지 이상의 동작이 시스템에 의해 "잘못 인식"되어 사용자가 의도한 것과 다른 한 가지 이상의 텍스트 개체가 텍스트 출력 영역의 앞부분 에 나타나게 되었기 때문입니다. 대부분의 경우, 사용자는 잘못 인식된 텍스트를 수정하고(근본적으로는 텍스트 개체가 생성되었을 때 사용자가 수행한 원래 입력 동작에 대해 시스템의 해석을 "다시 매핑"하거나 "다시 편집"하는 작업), 현재 텍스트 삽입 위치에서 새 텍스트 입력을 계속하려고 합니다. 그러나, 기존 시스템에서는 텍스트 삽입 위치를 편집 텍스트 위치로 재지정하지 않고는 잘못 인식된 텍스트를 편집할 수 없다는 문제가 남습니다.
표준 데스크톱 컴퓨팅 시스템에는 거의 예외 없이 풀 사이즈 데스크톱 키보드와 마우스(또는 트랙볼이나 그래픽 테블릿 디지타이저 등의 마우스 대용 장치)가 사용됩니다. 그 결과, 대부분의 사용자는 데스크톱 시스템에서 텍스트 입력을 위해 키보드와 마우스를 편리하면서도 상대적으로 효과적인 수단으로 이용합니다. 들고 다니는 휴대용 장치의 경우, 데스크톱 키보드와 마우스는 크기가 크다는 점과 함께 평평하고 상대적으로 안정된 표면이 필요하다는 제약(표준 마우스의 경우) 때문에 실용적이지 못합니다. 따라서 위에서 언급한 많은 입력 동작 인식 텍스트 입력 시스템은 들고 다니는 휴대용 장치에서 사용하기 위한 특수 목적에 따라 개발되었습니다. 또는 이러한 장치에서 사용했을 경우 특히 유용한 것으로 여겨집니다.
휴대용 컴퓨팅 장치는 계속해서 성능과 유용성이 향상되고 있습니다. 터치스크린은 매우 유용하고 유연하며 사용하기 간편한 휴대 장치용 인터페이스로 입증되었습니다. 터치스크린 인터페이스는 테블릿 PC 등 큰 크기의 장치를 비롯하여 매우 다양한 장치에서 사용되지만 PDA, 휴대전화와 같은 작은 장치에서 특히 유용합니다. 이러한 장치 개발 과정에서는 두 가지 상충되는 목표가 추구됩니다: 하나는 장 치를 더욱 작게 만드는 것이고, 다른 하나는 장치를 사용하기 더욱 쉽고 빠르며 편리하게 만드는 것입니다.
다양한 시스템에서 많이 사용되는 한 가지 사용자 인터페이스를 예로 들자면, 여러 가지 메뉴 항목을 제시하고 사용자가 이 중에서 원하는 메뉴를 선택하도록 하는 것입니다. 이 사용자 인터페이스 방식은 위에서 언급한 입력 동작 인식 텍스트 입력 시스템에서 자주 사용되는데, 한 가지 이상의 입력 동작에 대해 가능한 대체 텍스트 해석 목록을 사용자에게 제시하고 사용자가 해당 입력 동작에서 의도했던 올바른 해석을 선택하도록 할 수 있기 때문입니다. 터치스크린 인터페이스를 바탕으로 하는 시스템에서 화면 메뉴를 이용하는 가장 자연스러운 방법은 스타일러스나 손가락으로 원하는 메뉴 항목을 터치하기만 하여 원하는 옵션을 선택하는 것입니다. 디스플레이의 다른 요소를 보는데 방해가 되지 않도록 메뉴 표시에 필요한 공간을 최소화하는 것이 바람직합니다. 한편, 사용자가 터치 방식으로 원하는 메뉴 옵션을 선택한다고 했을 때 메뉴의 크기가 작을수록 사용자는 선택 동작의 정확성을 높여야 하기 때문에 메뉴를 사용하기가 더욱 어려워집니다.
따라서, 자연스럽게 사용 편리성이 저하되는 역효과가 나타납니다. 이와 유사한 또 다른 고려사항으로, 스타일러스 또는 스크린과 상호 작용하기 위한 특수 도구를 사용하지 않고 손가락으로 터치스크린 시스템을 사용할 수 있도록 하는 설계를 바람직한 방식으로 따르고 있습니다. 손가락은 스타일러스보다 정확성이 떨어지기 때문에 사용자의 손가락으로 메뉴를 선택할 수 있도록 메뉴를 설계하게 되면 일반적으로 표시 메뉴가 상당히 커지는 문제가 발생하기 때문에 이 경우에도 사용 편리성이 저하되는 역효과가 생겨납니다.
위에서 언급했듯이, 이전 방식에서는 터치스크린 메뉴에서 항목을 선택하기 위해 사용자가 원하는 항목을 직접 터치해야 합니다. 어떤 경우에, 스타일러스(또는 손가락)로 화면을 처음 터치할 때 이러한 터치가 선택 항목에 지정된 영역 내에서 이루어지도록 사용자가 스타일러스를 능숙하게 다루어야 합니다. 또 다른 경우에, 사용자는 우선 특정 활성 선택 영역 내에서 스크린을 터치한 다음 원하는 선택 항목에 지정된 영역 내로 들어갈 때까지 스타일러스를 끈 후(스크린에서 스타일러스나 손가락을 떼지 않고) 스타일러스를 떼는 방식을 이용할 수 있습니다. 첫 번째 방식에서는 원하는 항목을 선택하기 위해 첫 터치 위치를 정확하게 제어해야 하고, 두 번째 방식에서는 최종 터치 위치를 마찬가지로 정확하게 제어해야 합니다. 각 메뉴 선택 항목은 2차원 메뉴 영역으로 표시되기 때문에 두 방식 모두의 경우에 사용자는 원하는 메뉴를 선택하기 위해 2차원에서 스크린 터치를 제어해야 합니다. 각 2차원 메뉴 영역이 작을수록 터치 동작에 요구되는 사용자의 정확도가 높아지며, 정확도가 높아질수록 메뉴 선택에 걸리는 시간이 늘어납니다.
본 발명이 제시하는 방법과 시스템은 사용자가 텍스트 삽입 위치를 편집 텍스트 위치로 재지정하지 않고 잘못 인식된 텍스트를 편집할 수 있도록 함으로써 입력 동작 인식 텍스트 입력 시스템에 대해 위에서 설명한 문제들을 해결합니다. 이를 위한 본 발명의 특징은, 사용자가 텍스트 출력 영역에 삽입할 텍스트를 생성하는 동안 본 발명의 텍스트 편집 시스템은 텍스트 출력 영역 내에서 텍스트 삽입 위치의 지점을 추적하고 기록하므로 잘못 인식된 텍스트를 "재편집"한 직후 텍스트 삽입 위치를 이 위치로 자동 복귀시킬 수 있습니다.
또 다른 본 발명의 특징은, 시스템은 텍스트 삽입 위치를 텍스트 출력 영역의 새 위치로 변경할 때 사용하는 것과는 분명히 구분되는 텍스트 편집용 사용자 동작(또는 "제스처")을 정의합니다. 즉, 분명히 구분되는 이 텍스트 편집 사용자 동작은 사용자가 이전에 생성된(그러나 잘못 인식된) 텍스트 개체를 실제 생성되어 출력된 텍스트와 관련된 대체 텍스트 개체 중 하나로 변경(이후 "재편집" 제스처라고 함)하려 한다는 것을 나타냅니다.
예를 들어, 스타일러스를 한 번 두드려 텍스트 삽입 위치를 텍스트 출력 영역의 새 위치로 변경하는 스타일러스 방식 터치스크린 시스템의 경우 분명히 구분되는 재편집 제스처는 텍스트 출력 영역에서 이전에 출력된 텍스트 개체 근처에 스타일러스를 "두 번 두드리는 동작"(두 번의 연속적 두드림 사이에 지정된 임계 최대 시간과 임계 최대 거리 내에서 두 번을 두드려야 함)으로 정의될 수 있습니다. 사용자가 이전에 출력된 텍스트 개체와 연관된 영역에서 재편집 제스처를 수행했다는 것을 시스템이 감지하면 텍스트 출력 영역에서 텍스트 개체가 최초 텍스트 개체(기본 선택 개체 또는 사용자가 선택한 개체)를 생성시킨 한 가지 이상의 입력 동작과 연관된 개체 텍스트 개체 중 선택 개체로 대체되고, 텍스트 삽입 위치는 이전 위치(재편집 제스처를 감지하기 전의 위치)로 자동 복귀됩니다.
최초 텍스트 개체를 대체하는 대체 텍스트 개체를 사용자가 선택하려고 할 때 가장 효과적인 사용자 인터페이스는 사용자에게 대체 텍스트 개체 메뉴를 보여주고 원하는 텍스트 개체를 선택하도록 하는 것입니다. 본 발명은 원하는 메뉴 항목을 선택할 때 특정 2차원 메뉴 영역 내에서 스크린 접촉 동작을 시작하고 끝낼 필요 없이 사용자가 메뉴 항목을 선택할 수 있도록 함으로써 이러한 선택의 속도와 편리함을 높입니다. 즉, 사용자의 스크린 접촉 동작으로 활성화되는 메뉴 항목은 접촉 동작에 따라 가로지르게 되는 메뉴 최외곽 경계의 세그먼트에 의해 결정되는데, 메뉴 경계의 각 세그먼트는 하나의 메뉴 항목과 연결되어 있습니다. 이 접근 방식에서 초기 접촉은 표시된 메뉴 내의 어느 위치에서나 가능하며 원하는 특정 텍스트 개체와 연관된(또는 연관된 것으로 보이는) 영역 내에서 시작할 (또는 끝낼) 필요는 없습니다. 둘 이상의 가능한 선택 항목 사이에서 선택을 해야 할 때마다 본 발명의 메뉴 선택 시스템을 사용하면 효율성을 더욱 높일 수 있습니다.
본 발명의 실시예를 다음 도면을 참조하여 아래에서 자세하게 설명합니다:
도1은 도2a, 2b 및 2c, 그리고 도3a, 3b 및 3c에 나타낸 바와 같이 본 발명의 텍스트 편집 및 메뉴 선택 시스템을 구현시켜주는 시스템의 일반적 하드웨어 구성요소를 보여주는 구조적 시스템 블록 다이어그램입니다.
도2a는 본 발명의 방법상의 개념에 따라 재편집 중인 텍스트 개체의 예를 나타냅니다.
도2b는 두 연쇄적 텍스트 개체 중 한 개체가 본 발명의 개념에 따라 재편집 중인 것을 나타냅니다.
도2c는 본 발명의 개념에 따라 도2b의 두 연쇄적 텍스트 개체 중 하나를 재편집한 결과를 예로 보여줍니다.
도3a는 본 발명의 개념을 활용하여 구성된 메뉴의 예입니다.
도3b는 본 발명의 개념을 활용하여 구성된 메뉴의 예입니다. 여기서 제시된 선택 항목 중 두 개는 사용자가 의도한 선택 항목일 가능성이 낮은 선험 확률(priori probability)을 갖습니다.
도3c는 본 발명의 개념을 활용하는 한 가지 방식으로 구성된 메뉴의 예입니다. 여기서는 제시된 선택 항목 및 관련 경계 세그먼트의 배경에 해당 색상, 음영 또는 텍스처를 사용하여 각 제시 선택 항목과 연관된 메뉴의 경계 세그먼트가 표시되어 있습니다.
도4는 본 발명의 개념을 활용하는 한 방식으로 구성된 메뉴에 대한 접촉 동작의 예를 나타낸 것입니다.
도5는 본 발명의 개념을 활용하는 한 방식으로 구성된 메뉴의 예로서, 제시되는 선택 항목의 수를 늘릴 수 있습니다.
도6은 도5에 나타낸 식으로 구조화된 메뉴의 예를 보여주며, 여기서는 유사한 배경 색상을 사용하여 유사한 선택 제스처로 선택할 수 있는 메뉴 항목 세트를 나타냅니다.
본 발명을 적용한 시스템을 통해 사용자는 텍스트를 입력하고 편집하는 과정을 불필요하게 중단하지 않고 입력 동작 인식 시스템에 의해 잘못 인식된 텍스트를 수정할 수 있습니다. 의도한 단어나 구문이 잘못 인식되면(한 가지 이상의 입력 동작이 사용자가 입력 동작의 수행에서 의도한 것과 다른 텍스트에 "매핑"), 사용자는 시스템의 잘못된 인식을 바로 잡아야 하지만, 이러한 수정 작업은 사용자가 텍스트의 변경이나 편집을 의도한다기 보다 텍스트 개체가 생성될 당시 사용자의 최초 입력 동작에 대한 시스템의 해석을 "재매핑" 또는 "재편집"하는 것이라고 하겠습니다. 시스템이 한 가지 이상의 이전 입력 동작을 잘못 인식한 것으로 확인하는 경우, 본 발명이 구현된 시스템에서 사용자는 잘못 인식된 텍스트를 수정한 다음 최소한의 노력만으로 텍스트 삽입 위치의 원래 지점에서 텍스트 입력을 계속할 수 있습니다. 그 이유는 텍스트 삽입 위치가 원래 위치로 자동 복귀하기 때문입니다.
본 발명의 한 특징은, 사용자가 텍스트 출력 영역에 삽입할 텍스트를 생성할 때 시스템은 텍스트 출력 영역 내에서 텍스트 삽입 위치를 추적하고 기록하므로 해당하는 경우 텍스트 삽입 위치를 이 위치로 자동 복귀시킬 수 있는 것입니다. 또 다른 특징으로, 시스템은 텍스트 삽입 위치를 텍스트 출력 영역의 새 위치로 변경할 때 사용하는 것과는 분명히 구분되는 텍스트 편집용 사용자 동작(또는 "제스처")을 정의합니다. 즉, 분명히 구분되는 이 텍스트 편집 사용자 동작은 사용자가 이전에 생성된(그러나 잘못 인식된) 텍스트 개체를 실제 생성되어 출력된 텍스트와 관련된 대체 텍스트 개체 중 하나로 변경(이후 "재편집" 제스처라고 함)하려 한다 는 것을 나타냅니다. 예를 들어, 스타일러스를 한 번 두드려 텍스트 삽입 위치를 텍스트 출력 영역의 새 위치로 변경하는 스타일러스 방식 터치스크린 시스템의 경우 분명히 구분되는 재편집 제스처는 텍스트 출력 영역에서 이전에 출력된 텍스트 개체 근처에 스타일러스를 두 번 두드리는 동작으로 정의될 수 있습니다. 시스템에 의해 사용자가 이전에 출력된 텍스트 개체와 연관된 영역에서 재편집 제스처를 수행한 것으로 인식되면 텍스트 출력 영역에 있는 텍스트 개체가 이에 관련된 대체 텍스트 개체(아래에서 설명) 중 하나로 대체된 다음 이전 위치(재편집 제스처가 감지되기 전의 위치)로 자동 복귀됩니다.
본 발명의 다양한 특징과 구현 내용을 설명한 다음 부분에서, 특정한 측면이나 구현은 대체적으로 스타일러스 방식 터치스크린 시스템을 가정하고 예시 및 설명됩니다. 그러나, 이러한 다양한 특징과 구현은 표준 마우스 및 키보드를 사용하여 입력 동작을 수행하는 시스템, 스타일러스를 사용하지 않아도 되는 터치스크린 시스템, 대체 형식의 마우스(예를 들어, 사용자의 동공 움직임을 추적하여 사용자가 주시하는 스크린 위치를 확인하고 시스템의 마우스 커서를 이 위치로 자동 이동시키며 눈의 깜박임이나 다른 작용 기전을 모니터링하여 사용자가 다양한 마우스 클릭을 수행할 수 있도록 하는 "응시" 시스템), 음성 명령을 이용하는 시스템, 또는 다른 방법을 이용하여 사용자가 텍스트를 생성하고/하거나 이미 입력된 텍스트에서 편집 작업을 실행하는 입력 동작을 수행할 수 있는 시스템 등도 일반적 기술 중 하나로 동일하게 적용됩니다.
또 다른 특징으로, 이 시스템을 통해 사용자는 편집할 단어를 하이라이트한 다음(또는 텍스트 삽입 위치를 단어의 경계 근처나 내부 위치에 놓은 다음) 지정된 "재편집" 편집 기능 키를 실행하여 출력 텍스트에서 재편집 단어를 선택할 수 있습니다(이 경우, 시스템은 재편집 기능을 실행하기 위해 텍스트 삽입 위치를 재지정하기 전에 텍스트 삽입 위치의 이전 두 위치를 추적하여 재편집이 끝난 후 그 위치로 복귀함). 또 다른 특징으로, 이러한 인식 오류를 최대한 효과적으로 수정할 수 있도록 시스템은 출력 텍스트 영역에서 재편집 제스처가 수행될 때 이를 인식하고, 재편집 대상 단어로 사전 결정된 스타일러스 동작이나 제스처가 수행된 위치에 가장 근접하는 출력 텍스트 영역의 단어를 확인합니다. 앞서 예를 통해 언급한 한 가지 구현 방식에서, 사전 결정된 편집 동작은 터치스크린에 표시된 단어를 스타일러스로 "두 번 두드리는 동작"에 해당합니다. 또 다른 구현 방식의 경우(예를 들어, 마우스와 같은 커서 이동 제어 장치를 사용하여 시스템을 조작하는 경우), 사전 결정된 편집 동작은 (예를 들어) 마우스를 편집할 단어 위에 잠시 올려놓은 후 마우스를 신속하게 앞, 뒤로 한 번 움직이는 것입니다(이러한 제스처는 다양하게 정의될 수 있으므로 이것은 단지 하나의 예일뿐입니다).
또 다른 구현 방식의 경우, 재편집 제스처는 한 번의 제스처로 다수의 단어를 선택할 수 있도록 정의됩니다. 예를 들어, 음성 인식 시스템에서 인식 오류는 일반적으로 생성 출력된 하나 이상의 단어에 영향을 미칩니다. 예를 들어, 사용자가 "음성을 인식하기 어렵다"라고 말하였는데, 시스템은 "음식을 시식하기 어렵다"로 출력을 생성할 수 있습니다. 이러한 경우, 재편집 제스처는, 예를 들어, 나열된 단어에 선을 긋는 것으로 정의할 수 있습니다. 즉, 위의 경우라면 "음식을 시식하 기" 어구에 선을 긋는 것입니다. 그러면 시스템이 "어렵습니다"에 해당하는 어구 부분의 해석은 변경하지 않고 관련 어구에 대해서만 하나 이상의 대체 해석을 생성할 것입니다. 이러한 접근 방식은 필기 인식 시스템에도 적용할 수 있습니다. 필기 인식 시스템의 경우에는 사용자가 한 단어로 입력한 필기 세그먼트가 둘 이상의 단어로 분할되는 인식 오류가 자주 발생합니다. 물론, 재편집할 일련의 단어 주변에 원을 그리는 등의 다른 재편집 제스처도 정의할 수 있으며, 이러한 부분도 본 발명의 범위에 포함되는 것으로 간주됩니다. 예를 들어, 음성 인식 시스템에서 재편집 "제스처"는 구두 명령으로 정의할 수 있습니다. 즉, 위의 예를 들자면 "재편집: 음식을 시식하기"와 같은 구두 문구가 될 수 있습니다.
한 특징으로, 시스템은 한 가지 이상의 최근 출력 텍스트 개체에 대해 한 가지 이상의 입력 동작에 가장 근접하게 일치하는 것으로 확인된 대체 텍스트 개체 목록을 저장합니다. 재편집 제스처가 감지되면 재편집하려는 이 텍스트 개체의 출력 원인이 된 사용자의 원래 입력 동작과 관련하여 시스템이 가장 근접하게 일치하는 텍스트 개체로 애초에 확인했던 대체 텍스트 개체 목록을 텍스트 개체 선택 목록으로 표시합니다. 또 다른 구현 방식에서, 원래 출력된 텍스트 개체는 표시되는 텍스트 개체 선택 항목 목록에서 생략되는데, 재편집 절차가 (일반적으로) 이를 대체하려는 목적으로만 수행되기 때문입니다. 또 다른 특징으로, 재편집할 텍스트 개체는 재편집할 텍스트 개체의 출력 원인이 된 입력 동작에 가장 근접하는 것으로 확인된 대체 텍스트 개체 목록에서 그 다음으로 근접하게 일치하는 대체 텍스트 개체로 자동 대체됩니다(사용자가 표시된 텍스트 개체 선택 목록에서 텍스트 개체를 선택할 필요 없이). 이러한 접근 방식은 대부분의 경우에 사용자가 의도한 텍스트 개체가 그 다음으로 가장 근접하는 대체 텍스트 개체인 시스템에서 큰 효과가 있을 수 있습니다. 또 다른 특징으로, 이미 재편집된 텍스트 개체를 재편집하여 원래 출력된 텍스트 개체를 자동으로 치환했던 대체 텍스트 개체에 그 다음으로 가장 근접하는 대체 텍스트 개체와 일치하는 경우, 시스템은 사용자가 대체 텍스트 개체를 선택할 수 있도록 텍스트 개체 선택 목록을 표시합니다.
도1은 텍스트 편집 및 메뉴 선택을 위한 사용자 인터페이스 시스템과 방법이 구현된 일반적인 장치 100의 하드웨어 구성요소를 간소화된 블록 다이어그램을 나타냅니다. 장치 100에는 사용자가 수행하는 동작을 알리는 입력을 CPU(프로세서) 110에 제공하는 하나 이상의 입력 장치 120이 포함됩니다. 이 입력은 일반적으로 입력 장치로부터 수신한 원시 신호를 해석한 다음 사용 가능한 데이터 포트와 알려진 통신 프로토콜을 사용하여 이 정보를 CPU 110으로 전달하는 하드웨어 컨트롤러에 의해 조정됩니다. 입력 장치 120의 한 예로 사용자가 터치스크린을 터치할 때 이 접촉 이벤트를 알리는 입력을 CPU 110에 제공하는 터치스크린이 있습니다. 마찬가지로, CPU 110은 디스플레이 130상에 나타나는 디스플레이 130을 위해 하드웨어 컨트롤러와 통신합니다. 디스플레이 130의 한 예로 사용자에게 그래픽과 텍스트 형태로 시각적 피드백을 제공하는 터치스크린 디스플레이가 있습니다. 선택 사항으로, 스피커 140을 프로세서에 연결시켜 사용자에게 적당한 청각적 신호를 보조적으로 전달할 수도 있고(오류 신호에 주로 이용), 마이크로폰 141을 프로세서에 연결시켜 사용자로부터 구두 입력을 수신할 수도 있습니다(사용자를 위한 텍스트 입 력 방식으로 음성 인식을 구현하는 입력 동작 인식 시스템에서 주로 이용). 프로세서 110은 임시 및/또는 영구 저장소와 읽기 전용 및 쓰기 가능 메모리(임의 액세스 메모리 또는 RAM), 읽기 전용 메모리(ROM), FLASH 메모리 등의 쓰기 가능한 비휘발성 메모리, 하드 드라이브, 플로피 디스크 등이 한 가지 이상 결합될 수 있는 메모리 150에 액세스할 수 있습니다. 메모리 150에는 운영 체제 161, 입력 동작 인식 시스템 소프트웨어 162 및 기타 모든 응용 프로그램 163 등의 모든 프로그램과 소프트웨어를 포함하는 프로그램 메모리 160이 포함됩니다. 프로그램 메모리 160에는 또한 본 발명의 구현 방법에 따라 텍스트 삽입 위치를 기록하고 저장하기 위한 최소 하나 이상의 텍스트 편집 시스템 소프트웨어 164를 비롯하여, 사용자에게 둘 이상의 선택 항목을 그래픽 형태로 표시하고 본 발명의 구현 방법에 따라 이 그래픽 표시 항목 중 사용자가 선택한 항목을 확인하기 위한 메뉴 선택 시스템 소프트웨어 165가 포함됩니다. 메모리 150에는 입력 동작 인식 시스템 소프트웨어 162에 필요한 텍스트 개체 데이터베이스 171, 사용자 옵션과 기본 설정 172의 기록 관리를 위한 옵션 저장소 및 장치 100의 모든 요소에 필요한 기타 데이터 173을 포함하는 데이터 메모리 170도 포함됩니다.
도2a에는 시스템 100의 디스플레이 130에 표시되는 재편집 기능 키 208을 사용하여, 또는 이전에 출력된 텍스트 개체(도2a의 "great" 200)에 사전 결정된 재편집 제스처를 수행하여 사용자가 의도한 텍스트 개체에 해당하지 않는 출력 텍스트 개체를 수정하여 재편집 절차를 수행하는 방법을 보여줍니다. 또 따른 구현의 경우, 재편집 기능 키 208이 활성화되고 현재 하이라이트된 텍스트 개체가 없는 경 우, 시스템은 현재 텍스트 삽입 위치를 포함하거나 여기에 인접한 텍스트 개체를 확인하고 이를 재편집 절차의 대상으로 자동 선택합니다.
도2a는 그 결과로 생성된 텍스트 개체 선택 목록 202를 나타냅니다. 이 예에서, 원래 의도한 텍스트 개체 "heat"는 최초 입력 동작과 관련하여 (최초 입력 동작에 해당하는 텍스트 개체로 처음 출력된 단어 "great" 다음) 두 번째로 근접하게 일치하는 텍스트 개체로 확인되었기 때문에 텍스트 개체 선택 목록 202에서 첫 텍스트 개체 204로 나타납니다. 사용자가 입력 장치 120을 사용하여 텍스트 개체 선택 목록 202에서 텍스트 개체 204를 선택하면 프로세서 110이 디스플레이의 텍스트 출력 영역 206에서 하이라이트된 텍스트 개체 "great" 200을 원래 의도한 텍스트 개체 "heat"로 자동 대체합니다.
또 다른 특징으로, 재편집 프로세스는 입력 동작 인식 시스템 소프트웨어 162에 의해 공백이 자동으로 생성되는 방식에 따라 공백을 삽입하거나 삭제합니다. 입력 동작 인식 시스템이 텍스트 개체 사이에 자동으로 공백을 생성할 때 인접 텍스트 개체의 모든 쌍 사이에 공백이 자동으로 생성된다면 사용자가 원하지 않지만 자동으로 생성된 공백을 삭제해야 하는 상황이 자주 발생할 것입니다. 예를 들어, 영어의 경우 명사의 소유격을 만들기 위해 명사 뒤에 텍스트 개체 " ’s " (아포스트로피-s)를 추가해야 하는 경우가 많습니다. 프랑스어의 경우, 관사 "le" 및 "la"가 모음으로 시작하는 단어 앞에 오는 경우, 이 관사는 아포스트로피와 다음 단어의 첫 문자 사이에 공백 없이 " l’ " (l-아포스트로피)로 쓰여집니다. 독일어와 같은 다른 언어의 경우, 둘 이상의 단어를 함께 연결시켜 긴 "합성" 단어를 만드는 경우가 많습니다. 이 문제를 해결하는 다른 방법들이 가능하고 이러한 방법들이 본 발명의 범위를 벗어나는 것으로 간주되지 않지만, 입력 동작 인식 시스템에서 이 문제를 해결하는 간단한 방법은 인접 텍스트 개체 사이에 자동으로 공백을 생성하는 일반적 규칙에 대한 예외로 특정 텍스트 개체를 플래그 처리하는 것입니다. 예를 들어, 영어의 경우 텍스트 개체 " ’s " (아포스트로피-s)는 시스템의 텍스트 개체 데이터베이스에서 자신과 다음 텍스트 개체 사이에 공백이 생성되지만 자신과 이전 텍스트 개체 사이에서는 공백을 생성하지 않는 것으로 플래그 처리됩니다. 이와 대조적으로, 프랑스어의 경우 텍스트 개체 " l’ " (l-아포스트로피)는 시스템의 텍스트 개체 데이터베이스에서 자신과 이전 텍스트 개체 사이에 공백이 생성되지만 자신과 다음 텍스트 개체 사이에서는 공백을 생성하지 않는 것으로 플래그 처리됩니다. 또 다른 특징으로, 정상적이라면 공백으로 분리되지만 긴 "복합" 텍스트 개체를 만들기 위해 여러 텍스트 개체를 함께 연결시키는 경우가 많은 독일어 등의 언어를 처리하기 위해, (시스템에 의해 중간 공백이 생기지 않고 이러한 두 텍스트 개체가 연속적으로 생성되도록) 입력 동작 인식 시스템에는 이후부터 공백의 자동 생성을 억제시키는 데 이용할 수 있는 기능이 포함되어 있습니다. 즉, 이 기능은 공백의 자동 생성이 다시 사용되도록 활성화할 때까지 정상적으로 생성되는 공백의 자동 생성을 억제합니다. 또한, 입력 동작 인식 시스템에는 최근 생성된 자동 공백을 제거하는 기능이 포함되어 있습니다. 아래의 설명과 같이 본 발명의 재편집 처리는 공백의 자동 생성에 대한 이러한 다양한 예외를 수용하므로, 재편집 프로세스 중 텍스트 개체가 자동 공백 처리와 관련된 여러 가지 규칙이 적용된 텍스트 개체 로 대체될 때 재편집된 텍스트의 공백이 적합하게 처리됩니다.
또 다른 특징으로, 재편집 제스처는 연속된 하나의 텍스트 개체 문자열의 하위 문자열을 단일 제스처로 선택할 수 있도록 정의됩니다. 도2b에 나타낸 예에서, 단어 "of’s" 210은 단어 "of" 212 및 " ’s " 214로 구성됩니다. 이 예에서, 이 두 텍스트 개체는 연속적으로 수행된 두 개별 입력 동작의 결과로 생성되었다는 점에 주목해야 합니다. 또한, 이 텍스트는 기본적으로 연속 생성된 텍스트 개체 사이에 자동으로 공백을 출력하는 사용자 입력 동작 인식 시스템에서 생성되었지만 여기서 텍스트 개체 " ’s " 214는 시스템의 텍스트 개체 데이터베이스에서 이 기본 동작에 대한 예외로 플래그 처리되므로 " ’s " 214 출력 이전에 공백이 생성되지 않고 이전 텍스트 개체의 끝에 연속해서 이어지므로 올바른 소유격이 만들어집니다. 그러나, 도2b에 나타낸 예에서 텍스트 개체 " ’s " 214는 해당 입력 동작이 수행되었을 때 사용자가 의도했던 텍스트 개체가 아니었습니다.
또 다른 특징으로, 여러 텍스트 개체 문자로 구성되고 그 전, 후에 하나 또는 그 이상의 구분 문자로 경계가 구분되는 텍스트 열(도2b의 예에서 텍스트 열 "of’s" 210)과 관련된 영역에서 재편집 제스처가 감지되는 경우, 시스템은 우선 전체 텍스트 열(도2b의 예에서 "of’s" 210)이 단일 사용자 입력 동작에 의해 생성되었는지를 확인하고, 만약 그렇다면 시스템은 입력 동작에 대해 확인된 대체 텍스트 개체를 바탕으로 위에서 설명한 방식으로 반응합니다. 또 다른 특징으로, 확인된 텍스트 열(이 예에서 "of’s" 210)이 둘 이상의 개별 사용자 입력 동작에 의해 생성되었고 이 각 동작으로부터 구성 하위 문자열 텍스트 개체가 생성된 경우, 시 스템은 수행된 재편집 제스처에 가장 근접하는 구성 하위 문자열 텍스트 개체를 확인하고, 예를 들어 확인된 이 구성 하위 문자열 텍스트 개체를 하이라이트하고 구성 하위 문자열 텍스트 개체가 생성된 원인이 된 사용자 입력 동작과 관련된 대체 텍스트 개체 목록을 사용자가 선택할 수 있는 항목으로 표시합니다. 도2b에서, 감지된 재편집 제스처(예를 들어, 위치 216에서 두 번 두드리는 동작)와 연관된 위치 216은 재편집 "대상"으로 확인되고 텍스트 출력 영역 206에서 하이라이트된 구성 하위 문자열 " ’s " 214에 가장 근접합니다. 사용자가 방금 완전한 문장을 입력한 도2b의 예를 보면, 위치 216에서 재편집 제스처를 감지하기 전에 텍스트 삽입 위치가 위치 218에서 방금 입력한 문장의 끝에 위치하므로 사용자는 다음 문장을 입력할 준비가 됩니다.
이 예에서, 원래 의도한 텍스트 개체 "Oz"는 최초 입력 동작과 관련하여 (최초 입력 동작에 해당하는 텍스트 개체로 처음 출력된 텍스트 개체 " ’s " 214 다음) 두 번째로 근접하게 일치하는 텍스트 개체로 확인되었기 때문에 텍스트 개체 선택 목록 202에서 첫 텍스트 개체 220으로 나타납니다. 도2c는 텍스트 개체 선택 목록 202에서 텍스트 개체 "Oz" 220을 선택하여 텍스트 편집 시스템 소프트웨어 164가 출력 텍스트 영역 206에서 하이라이트된 텍스트 개체 " ’s " 214를 원래 의도한 텍스트 개체 "Oz" 220으로 자동 대체한 결과를 보여줍니다. 텍스트 편집 시스템 소프트웨어 164에 의해 선행하는 텍스트 개체 "of" 212와 "Oz" 220 사이에 공백 222가 삽입되었다는 점에도 주목합니다. 앞서 언급한 바와 같이 텍스트 개체 " ’s " 214는 시스템의 텍스트 개체 데이터베이스 171에서, 연속 생성된 텍스트 개체 사 이에 공백을 자동으로 생성하는 기본 동작에 대한 예외로 플래그 처리되므로 도2b에서 " ’s " 214를 출력하기 전에 애초에 공백이 생성되지 않았습니다. 선택한 대체 텍스트 개체 "Oz" 220은 시스템의 텍스트 개체 데이터베이스 171에서 이러한 예외로 플래그 처리되지 않으므로 시스템이 텍스트 개체 " ’s " 214를 텍스트 개체 "Oz" 220으로 대체할 때 대체 텍스트를 삽입하기 전에 공백이 생성되어 단어 "of" 212와 "Oz" 220 사이에 공백 222가 나타납니다. 마찬가지로, 상황이 반대였고 처음에 텍스트 개체 "Oz" 220이 생성되었으며 이후 재편집 절차에서 텍스트 개체 " ’s " 214로 대체된 경우라면 애초에 텍스트 개체 "Oz"에 선행하는 공백 222가 생성되었을 것이고, "Oz" 220이 " ’s " 214로 대체되었다면 이 선행 공백이 삭제되어 " ’s " 214가 이전 텍스트 개체에 직접 연결되었을 것입니다. 따라서 또 다른 특징으로, 재편집 절차의 결과로 하나의 텍스트 개체가 다른 텍스트 개체로 대체되고 이 두 텍스트 개체에 서로 다른 자동 공백 처리 동작이 적용되는 경우, 두 텍스트 개체와 관련된 공백 처리 동작의 차이를 보상하기 위해 대체 텍스트 개체를 둘러싼 공백 처리가 조정됩니다.
또 다른 구현에서, 텍스트 편집 시스템 소프트웨어 164는 텍스트 출력 영역 206에서 텍스트 삽입 위치를 추적하여, 대체 텍스트 개체로 재편집 텍스트 개체가 대체된 직후 텍스트 삽입 위치가 재편집 절차를 수행하기 전의 이전 출력 텍스트 위치로 자동 복귀되도록 합니다. 도2c의 예에서는 텍스트 개체 " ’s " 214를 텍스트 개체 "Oz" 220으로 대체한 후 텍스트 삽입 위치가 완성된 문장 끝의 원래 위치 218(위치 216에서 재편집 제스처가 감지되기 전의 위치)로 자동 복귀되므로 사용자 는 텍스트 삽입 위치를 수동으로 이동하지 않고 텍스트 입력을 계속할 수 있습니다. 또 다른 특징으로, 대체 텍스트 개체를 선택하지 않고 생성된 텍스트 개체 선택 목록이 취소되면 확인된 텍스트 개체가 계속 하이라이트(선택)되고 텍스트 삽입 위치는 출력 텍스트의 이전 위치로 복귀되지 않으므로 아직 하이라이트된 확인된 텍스트 개체와 관련하여 다른 작업을 수행할 수 있습니다. 또 다른 특징으로, 생성된 텍스트 개체 선택 목록에서 대체 텍스트 개체를 선택하기 전에 하나 이상의 추가 입력 동작을 수행하는 경우, 텍스트 개체 선택 목록이 자동으로 취소되고 텍스트 삽입 위치는 출력 텍스트의 이전 위치로 복귀되지 않으며 한 가지 이상의 추가 입력 동작에 의해 생성된 텍스트는 텍스트 출력 영역으로 보내지고, 단어 처리 프로그램의 일반적 작동에 따라 이전에 출력된 텍스트 개체가 현재 하이라이트(선택)된 텍스트 영역이라는 사실 때문에 결국 이전에 출력된 텍스트 개체를 대체합니다. 또 다른 특징으로, 제어 문자의 생성에 해당하는 입력 동작으로 생성된 제어 문자는 대상 텍스트 응용 프로그램으로 보내집니다. 예를 들어, 제어-B를 생성시키는 입력 동작을 수행하면 대상 응용 프로그램이 제어-B를 수신하고 이전에 하이라이트되어 출력된 텍스트 개체에 굵은 글씨체 서식을 적용합니다. 또 다른 특징으로, 재편집 제스처 수행 시 텍스트 삽입 위치가 더 이상 디스플레이 화면에 보이지 않도록 사용자가 표시된 텍스트 영역을 스크롤한 것이 시스템에서 감지되면 자동으로 생성된 텍스트 개체 선택 목록에서 대체 텍스트 개체를 선택해도 텍스트 삽입 위치가 출력 텍스트의 이전(더 이상 보이지 않는) 위치로 복귀되지 않습니다. 또 다른 특징으로, 사용자가 일단의 시스템 기본 설정을 지정하여 사전 결정된 재편집 제스 처와 이후 동작(예를 들어, 텍스트 삽입 위치를 출력 텍스트의 이전 위치로 복귀시키는 동작)에 대한 시스템의 반응을 다양하게 선택합니다.
시스템의 이러한 측면은 텍스트 입력 용도의 효율성을 크게 높여줍니다. 입력 동작 인식 시스템은 기본적으로 잘못 생성된 다수의 텍스트 개체를 출력하며 이렇게 잘못 생성된 텍스트 개체는 일반적으로 이전에 생성된 텍스트 전체에 걸쳐 무작위로 분포합니다. 대부분의 경우, 사용자는 잘못 생성된 텍스트 개체만 수정하고 이전에 출력된 텍스트의 검토를 중단했던 위치에서 텍스트를 계속 입력하기를 원합니다. 시스템이 텍스트 삽입 위치를 추적하고 자동으로 복귀시킬 수 있다는 것은 사용자가 번거롭게 텍스트 삽입 위치를 다시 원래 위치로 이동시켜야 하는 불편이 사라지는 것을 의미하기 때문에 큰 장점으로 작용합니다. 오류 복구 절차를 대단히 효과적으로 처리하면 다음 두 가지 특징으로 시스템의 전반적 효율성이 크게 강화됩니다. 먼저, 우발적으로 발생하는 오류를 수정하기가 쉬워지고 수정 과정에 걸리는 시간도 적어지므로 전반적인 입력 속도가 효과적으로 향상될 것이라는 것을 쉽게 알 수 있습니다. 두 번째, 오류 복구 프로세스가 간단하고 간편하기 때문에 사용자는 인식 오류의 가능성에 대해 걱정할 필요가 줄어들어 정확도에 덜 신경 쓰면서 텍스트를 빠르게 입력할 수 있게 됩니다. 많은 입력 동작 인식 시스템에서 이러한 측면은 전반적인 입력 속도를 높여줍니다.
또 다른 특징으로, 텍스트 편집 시스템 소프트웨어 164는 사용자가 텍스트 출력 영역 내에서 텍스트 삽입 커서 위치를 재지정할 때 이를 감지하여 새로운 텍스트 삽입 위치 배경에 적합하게 자동화된 시스템 동작을 수정합니다. 한 특징으 로, 일반적으로 생성된 단어 사이에 자동으로 공백을 출력하는 시스템이 텍스트 삽입 지점이 새 환경으로 이동했음을 감지하면 새 환경에서 첫 단어가 출력되기 전에 자동으로 공백을 출력하려는 시스템의 동작이 해제됩니다. 또 다른 특징으로, 시스템이 텍스트 삽입 위치가 새로운 환경으로 이동했고 이러한 자동 공백 처리 작동이 활성화된 경우, 시스템은 새 텍스트 삽입 위치 왼쪽의 문자를 검사하여 텍스트 삽입 위치 왼쪽의 문자가 "여백(white space)"이고/이거나, 텍스트 삽입 위치가 텍스트 필드의 첫 문자 위치이고/이거나, 텍스트 필드가 암호 입력 필드이면 시스템이 새 환경에서 첫 단어를 출력하기 전에 자동 공백 출력을 자동으로 해제합니다.
또 다른 특징으로, 사용자가 텍스트 개체를 재편집한 경우, 하나 이상의 대체 텍스트 개체 목록이 사용자가 의도한 텍스트 개체 선택 항목으로 제시됩니다. 이러한 대체 텍스트 개체는 재편집 텍스트 개체에 시스템이 원래 매핑했던 한 가지 이상의 입력 동작을 입력 동작 인식 시스템에서 대체 "매핑"한 것에 해당합니다. 또 다른 특징으로, 대체 텍스트 개체 목록은 사용자가 선택할 수 있는 특수한 그래픽 표현으로 제시되며, 이 그래픽 표현을 통해 사용자는 이전 방식에서 이용되는 메뉴 선택 방법보다 일반적으로 정확도가 덜 요구되므로 의도한 개체를 보다 빠르게 선택하고 재편집 프로세스를 보다 빠르게 처리할 수 있는 단순하고 직관적인 제스처로 원하는 항목을 선택할 수 있습니다. 또 다른 특징으로 이 특수 그래픽 메뉴 표현은 시스템의 다른 위치에서 두 가지 이상의 대체 선택 항목을 선택하는 과정을 빠르게 처리하기 위해 사용자 인터페이스의 다른 위치에서도 사용됩니다. 본 발명의 그래픽 표시와 제스처 선택 방법은 제시된 한 가지 이상의 가능한 대체 선택 항 목이 사용자가 의도한 항목이 되는 선험 확률(priori probability)이 평균보다 높은 경우에 특히 효과적입니다. 이는 사용자에게 선택 항목이 제시되는 많은 상황에서 해당되는 내용입니다.
도3a는 본 발명의 개념을 활용하여 구성된 메뉴 300의 예입니다. 도3a에 나타낸 예에는 6가지 하위 선택 영역이 있습니다: 즉, 선택 1에서 선택 5까지에 해당하는 5개의 하위 선택 영역 301 ~ 305와 메뉴 300을 취소하기 위한 동작임을 나타내는 아이콘 라벨의 6번째 하위 영역 306이 있습니다. 이 6가지의 각 하위 선택 영역 301 ~ 306은 메뉴 300의 주변 경계에서 그에 해당하는 세그먼트 311 ~ 316과 연관됩니다. 본 발명에서, 처음에 메뉴의 외곽 주변 경계를 둘러싸고 있는 영역 내의 아무 위치나 스크린을 터치하고 메뉴 영역을 벗어나 원하는 선택 항목과 연관된 메뉴 주변 경계 세그먼트까지 이동하는 경로까지 스크린에 접촉 상태를 유지한 다음 메뉴 300의 주변 경계를 벗어나는 위치에서 스크린과의 접촉을 떼어(스타일러스를 들어올리는 등) 접촉 동작을 종료하는 식으로 메뉴를 선택합니다. 아니면, 접촉 동작을 종료할 필요 없이 접촉 동작이 메뉴 영역을 벗어나는 즉시 메뉴 선택이 이루어집니다. 접촉 동작을 종료해야 메뉴가 선택되는 경우 사용자는 접촉을 떼지 않고 메뉴 영역으로 다시 들어간 다음 접촉 동작을 종료하기 전에 메뉴 주변 경계의 다른 세그먼트를 통해 빠져나감으로써 완결되지 않은 메뉴 선택을 바꿀 수 있습니다. 여기서는 터치스크린을 예로 들어 설명하므로 스크린과 접촉하고 접촉을 떼는 동작으로 스타일러스(또는 손가락이나 기타 접촉 수단)의 위치에 의해 결정되는 제어 지점을 "활성화" 및 "비활성화"하지만 다른 접근 방식도 본 발명의 범위를 벗어나 는 것으로 간주되지 않습니다. 예를 들어, 제어 지점은 마우스의 움직임으로 제어하는 커서가 될 수 있으며 이 때는 마우스 버튼을 클릭하고 놓는 각 동작으로 "활성화" 및 "비활성화"가 이루어집니다.
도3a에서, 메뉴 선택 하위 영역과 연관된 메뉴 300의 주변 경계 세그먼트는 메뉴 선택 하위 영역 자체의 주변 경계에도 속하는 메뉴 주변 경계의 그 세그먼트입니다. 도3a에 나타낸 예시 메뉴는 하위 선택 영역 301의 선택 1이 메뉴 300의 전체 상부 경계를 구성하는 메뉴 주변 경계 세그먼트 311과 관련되며 이를 선택하기 위해 메뉴 300 내의 아무 스크린 위치나 접촉하고 위쪽으로 이동하여 상부의 메뉴 영역을 빠져나간 다음 스크린과의 접촉을 떼면 된다는 것을 보여줍니다. 도4는 초기 접촉 위치 401에서 시작하여 주변 경계 세그먼트 311의 탈출 위치 402에서 메뉴를 빠져 나와 최종 접촉 위치 403에서 접촉을 종료하는 접촉 동작 400의 예를 보여줍니다. 접촉 동작 400의 결과 초기 접촉 위치가 "선택 3"과 연관된 메뉴 선택 하위 영역 303 내에 있지만 메뉴 선택 항목 301("선택 1")이 선택됩니다.
본 발명의 한 가지 장점은 접촉 동작을 훨씬 덜 정확하게 수행할 수 있고 따라서 훨씬 빠르게 수행할 수 있기 때문에 사용자가 메뉴를 보다 빠르게 선택할 수 있다는 것입니다. 특정 메뉴 선택 항목을 다른 항목보다 선택할 가능성이 더 높은 선험 기대가 존재하는 경우에 이러한 장점은 더욱 클 수 있습니다. 예를 들어, 도3a에 나타낸 메뉴의 경우, 메뉴 선택 항목 301("선택 1") 및 305("선택 5")는 각각 선택 항목 302, 303 또는 304보다 두 배 이상 자주 선택된다는 것을 짐작할 수 있습니다. 도3a에 예로 나타낸 메뉴는 메뉴 주변 경계의 전체 상부 경계 세그먼트 311이 "선택 1"의 하위 선택 영역 301과 연관되고 메뉴 주변 경계의 전체 하부 경계 세그먼트 315가 "선택 5"의 하위 선택 영역과 연관되도록 고안되어 있습니다. 이 메뉴 예에서 세그먼트 311과 315는 둘 모두 세그먼트 312, 313 및 314(각각 하위 선택 영역 302, 303 및 304와 관련) 각각과 비교하여 거의 세 배 더 길어 해당 세그먼트를 가로질러 메뉴를 빠져나가는 경로를 따라 이동할 때 여유 폭이 넓기 때문에 "선택 1" 및 "선택 5"는 선택하기가 상당히 용이합니다. 연관된 주변 경계 세그먼트의 상대적 길이가, 적합한 허용 오차 내에서, 다양한 메뉴 선택 항목의 상대적 기대 확률에 근접하도록 다양한 메뉴 선택 하위 영역을 설계하는 것은 간단한 문제입니다.
본 발명의 또 다른 큰 장점은 메뉴의 외곽 주변 경계에 의해 둘러싸인 영역 내에서 시작하지만 주변 경계를 가로질러 메뉴를 빠져나가지 않는 접촉 동작은 여전히 기존의 메뉴 선택으로 해석될 수 있다는 것입니다. 다시 말해서, 메뉴 선택 하위 영역을 "두드려" 선택하는 동작에 해당합니다. 이를 통해 사용자가 이 새로운 메뉴 선택 방식에 관한 어떤 지침이나 정보도 얻지 못한 시스템에서 본 발명의 개선된 메뉴 선택 방식을 채택할 수 있습니다. 새로운 선택 방식에 대한 정보가 없는 사용자는 새로운 메뉴 선택 방법을 알게 되거나 정보를 입수할 때까지는 기존에 "두드리는" 메뉴 선택 방법을 문제 없이 이용할 수 있습니다. 이와 함께, 선험 확률이 매우 낮은 메뉴 선택 항목은 메뉴 선택 경계에 메뉴의 바깥 주변 경계 세그먼트가 포함되지 않는 "폐쇄" 메뉴 항목으로 표시할 수 있기 때문에 메뉴 설계의 유연성이 향상됩니다. 그러면 메뉴 주변 경계 길이에 여유가 생겨 선험 확률이 높은 다 른 메뉴 선택 항목에 이를 할당할 수 있습니다. 예를 들어, 도3b는 도3a와 동일한 선택 항목 집합에서 구현할 수 있는 메뉴 배치를 보여주는 것입니다. 그러나 도3b에서 일단의 메뉴 선택 항목에 대한 배치를 보면 "선택 2"(322)가 도3a에서 보다 선택될 선험 확률이 훨씬 높고 "선택 3"과 "선택 4"는 도3a에서보다 선택될 선험 확률이 훨씬 낮다는 것을 알 수 있습니다. 도3b의 예에서 메뉴의 오른쪽 전체 332는 "선택 2"와 연관되고 "선택 3"과 "선택 4"는 각각 연관된 메뉴 선택 하위 영역 323 및 324 내에서 직접 스크린을 접촉하고 원하는 메뉴 선택 하위 영역을 빠져나가지 않고 접촉을 떼어(즉, 기존의 "두드리는" 메뉴 선택 이용) 선택해야 합니다.
두 가지 하위 메뉴를 결합시켜 많은 수의 선택 항목으로 구성된 메뉴에 이와 동일한 설계 원리를 효과적으로 이용할 수 있습니다. 도5는 여덟 가지 선택 하위 영역 501~508이 있는 메뉴 500을 보여줍니다. 선택 하위 영역 501~504는 첫 번째 하위 메뉴 영역 521을 구성하고, 하위 영역 505~508은 두 번째 하위 메뉴 영역 522를 구성합니다. 선택 하위 영역 501~ 504는 하위 메뉴 521 주변 경계 세그먼트 511~514와 연관되고 선택 하위 영역 505~508은 하위 메뉴 522 주변 경계 세그먼트 515~518과 연관됩니다. 하위 메뉴 521 주변 경계 세그먼트 514와 하위 메뉴 522 주변 경계 세그먼트 515는 사실 메뉴 500의 바깥 주변 경계를 따라 있는 것이 아니라 메뉴 500의 내부에 속하는 동일 선분 (514/515)입니다. 그러나, 메뉴 선택 항목 504와 505에 대한 선택 동작은 선분 (515/515)이 가로지르는 방향과 초기 접촉이 이루어지는 하위 메뉴 영역이 서로 다르기 때문에 이는 문제가 되지 않습니다. 하위 메뉴 521 영역에서 초기 접촉을 수행하고 아래쪽 방향으로 선분 (514/515)를 가 로지르는 접촉 동작으로 메뉴 선택 항목 504가 분명하게 선택되고, 하위 메뉴 522 영역에서 초기 접촉을 수행하고 위쪽 방향으로 선분 (514/515)를 가로지르는 접촉 동작으로 메뉴 선택 항목 505가 분명하게 선택됩니다. 또 다른 구현에서, 하위 메뉴 영역 내에서 초기 접촉이 감지되면 이 초기 접촉 위치를 포함하는 하위 메뉴는 시각적으로 하이라이트되어 하위 메뉴를 빠져나가는 경로를 따라 이동하고 하위 메뉴의 바깥 주변 경계를 가로질러 메뉴 선택 항목 집합(이 하위 메뉴 내에 포함됨)을 선택할 수 있다는 것을 나타냅니다.
메뉴의 주변 경계 세그먼트를 메뉴 선택 항목과 연관시키는 가장 단순한 방법은 메뉴 선택 항목 자체의 주변 경계에도 속하는 메뉴의 주변 경계 세그먼트를 연관시키는 것입니다(위에서 이미 설명한 대로임). 다른 방법들 또한 가능하며 본 발명의 범위를 벗어나는 것으로 간주되지 않습니다. 예를 들어, 각 메뉴 선택 항목과 연관된 영역은 서로 간에 분명하게 구분되는 배경(또는 글꼴) 색상으로 표시되며, 메뉴 주변 경계의 관련 세그먼트는 그에 대응하는 관련(또는 동일) 색상으로 표시됩니다. 예를 들어, 도3c에서 6개의 메뉴 선택 항목 341~346은 각각 주황색(341), 노란색(342), 녹색(343), 파란색(344), 보라색(345) 및 빨간색(346)의 배경 색상으로 표시되며 이에 대응하는 메뉴 주변 경계 세그먼트는 각각 주황색(351), 노란색(352), 녹색(353), 파란색(354), 보라색(355) 및 빨간색(356) 세그먼트로 표시됩니다. 또는, 6개의 메뉴 선택 항목 341 ~ 346은 각각 옅은 주황색, 옅은 노란색, 옅은 녹색, 옅은 파란색, 옅은 보라색 및 옅은 빨간색의 배경 색상으로 표시하고(옅은 배경 채색으로 각 메뉴 항목을 보다 쉽게 구분하기 위해) 이에 대응하는 메뉴 주변 경계 세그먼트는 각각 선명한 주황색(351), 노란색(352), 녹색(353), 파란색(354), 보라색(355) 및 빨간색(356) 세그먼트로 표시할 수 있습니다. 두 접근 방식을 결합시키면 더 적은 색상을 사용하여 주변 경계 세그먼트의 색상과 근접도로 관련 메뉴 선택 하위 영역을 명확히 구분할 수 있습니다. 이런 식으로, 각 메뉴 선택 하위 영역을 도3a와 같은 다소 복잡한 다각형이 아니라 도3c에 나타낸 예와 같이 기존의 직사각형 모양으로 나타낼 수 있습니다. 또 다른 특징으로, 색상 대신 패턴이나 음영을 사용하여 다양한 메뉴 하위 영역을 구분하고 이 하위 영역을 그에 해당하는 메뉴 주변 경계 세그먼트와 연관시킬 수도 있습니다.
그 밖에도, 도6과 같은 메뉴 구조 500에서는 네 가지 색상의 일관된 색상 배합을 사용하여 각 경우에 필요한 메뉴 선택 동작을 단순하고 직관적으로 수행할 수 있습니다. 예를 들어, 메뉴 선택 하위 영역 501과 505는 파란색 배경으로 나타내고 하위 영역 502와 506은 빨간색 배경, 하위 영역 503과 507은 노란색 배경, 그리고 하위 영역 504와 508은 녹색 배경으로 나타낼 수 있습니다. 그러면 사용자는 다음 사항만 기억하면 됩니다: 파란색 배경­아래를 두드리고 위로 끌어올리기, 빨간색 배경­근처를 두드리고 오른쪽으로 끌기, 노란색 배경­근처를 두드리고 왼쪽으로 끌기, 녹색 배경­위를 두드리고 아래로 끌어내리기. 이 특정한 방식을 파란색­“하늘을 향함”, 녹색 ­“땅을 향함”, “오른쪽은 빨간색”, “왼쪽은 노란색” 등으로 연상시켜 기억하면 쉽습니다. 이러한 모듈화된 접근 방식을 따르면 본 발명의 원리를 이용하여 임의 개수의 선택 항목이 있는 메뉴를 구성할 수 있습니다.
본 발명의 구현을 위와 같이 도면으로 나타내고 설명했지만 본 발명의 취지 와 범위에서 벗어나지 않는 다양한 구현이 가능합니다. 따라서, 방법의 범위는 위에서 설명한 특정한 측면이 아니라 부록에 기재된 특허청구 및 이와 동등한 법적 해석에 의해 결정되어야 합니다.

Claims (36)

  1. 사용자의 입력 동작을 감지하여 텍스트를 생성하고 편집하는 최소 하나 이상의 입력 시스템과 상기 텍스트를 상기 사용자에게 제시하는 최소 하나 이상의 텍스트 표시 시스템으로 구성되는 사용자 인터페이스 시스템에 있어서,
    사용자 인터페이스를 통해 전자 장치에 텍스트를 입력하고 편집하는 방법은,
    상기 텍스트 표시 시스템 내에서 다음 생성될 텍스트 개체가 출력될 텍스트 삽입 위치의 지점을 기록하는 단계;
    분명히 구분되는 입력 동작을 탐지하여 상기 텍스트 표시 시스템에 이전에 출력된 한 가지 이상의 상기 텍스트 개체를 확인하는 단계;
    감지된 분명히 구분되는 입력 동작을 바탕으로 이전에 출력된 하나 이상의 상기 텍스트 개체를 확인하는 단계;
    하나 이상의 확인된 상기 텍스트 개체가 이전에 결정되었던 원인으로 감지된 한 가지 이상의 입력 동작에 대응하는 하나 이상의 대체 텍스트 개체를 결정하는 단계;
    확인되어 이전에 출력된 하나 이상의 상기 텍스트 개체를 이미 결정된 하나 이상의 상기 대체 텍스트 개체로 대체하는 단계;
    상기 텍스트 삽입 위치를 분명히 구분되는 상기 입력 동작을 탐지하기 전에 기록된 위치로 복귀하는 단계를 포함하는 것을 특징으로 하는
    사용자 인터페이스를 통해 전자 장치에 텍스트를 입력하고 편집하는 방법.
  2. 제1항에 있어서,
    텍스트 표시 시스템에서 상기 결정된 하나 이상의 대체 텍스트 개체를 사용자에게 표시하여 표시된 텍스트 개체 중 이전에 확인되어 출력된 하나 이상의 상기 텍스트 개체를 대체하는 텍스트 개체 중 하나를 선택할 수 있도록 하는 것을 특징으로 하는
    사용자 인터페이스를 통해 전자 장치에 텍스트를 입력하고 편집하는 방법.
  3. 제1항에 있어서,
    분명히 구분되는 상기 입력 동작과 관련된 상기 텍스트 표시 시스템 내의 위치를 결정하고, 이전에 상기 텍스트 표시 시스템에 출력된 텍스트 개체 중 확인된 상기 위치에 가장 근접하는 텍스트 개체를 확인하는 것을 특징으로 하는
    사용자 인터페이스를 통해 전자 장치에 텍스트를 입력하고 편집하는 방법.
  4. 제1항에 있어서,
    하나 이상의 출력 텍스트 개체 사이에 하나 이상의 공백을 자동으로 생성하는 것을 특징으로 하는
    사용자 인터페이스를 통해 전자 장치에 텍스트를 입력하고 편집하는 방법.
  5. 제4항에 있어서,
    두 개 이상의 텍스트 개체가 둘 이상의 텍스트 개체 분류에 속하는 것으로 확인하고, 여기서 상기 둘 이상의 각 텍스트 개체 분류는 상기 분류에 속하는 최소 하나 이상의 텍스트 개체의 출력 전이나 후에 하나 이상의 공백이 자동으로 생성되는 방식에서 상기의 다른 분류와 다른 것을 특징으로 하는
    사용자 인터페이스를 통해 전자 장치에 텍스트를 입력하고 편집하는 방법.
  6. 제5항에 있어서,
    상기 텍스트 개체 분류와 다른 분류에 속하는 텍스트 개체를 대체하는 최소 하나 이상의 텍스트 개체 전이나 후에 최소 하나 이상의 공백을 자동으로 삽입하거나 자동으로 삭제하는 것을 특징으로 하는
    사용자 인터페이스를 통해 전자 장치에 텍스트를 입력하고 편집하는 방법.
  7. 제5항에 있어서,
    상기 텍스트 삽입 위치의 변경을 감지하고, 상기 변경된 텍스트 삽입 위치에 바로 인접한 텍스트 개체와 연관된 상기 텍스트 개체 분류와 관련하여, 그리고 상기 변경된 텍스트 삽입 위치에 바로 인접하는 모든 공백과 관련하여 상기 변경된 텍스트 삽입 위치에서 다음 텍스트 개체의 출력 전이나 후에 하나 이상의 공백이 자동으로 생성되는 방식을 변경하는 것을 특징으로 하는
    사용자 인터페이스를 통해 전자 장치에 텍스트를 입력하고 편집하는 방법.
  8. 제4항에 있어서,
    분명히 구분되는 사용자 입력 동작을 탐지하고, 다음으로 생성되는 텍스트 개체의 출력과 관련된 상기 공백의 자동 생성을 비활성화한 후, 다음으로 생성되는 상기 텍스트 개체의 출력 이후 공백의 상기 자동 생성을 자동으로 다시 활성화시키는 것을 특징으로 하는
    사용자 인터페이스를 통해 전자 장치에 텍스트를 입력하고 편집하는 방법.
  9. 제4항에 있어서,
    분명히 구분되는 사용자 입력 동작을 감지하고 상기 자동 생성된 공백들 중 가장 최근에 생성된 공백을 삭제하는 것을 특징으로 하는
    사용자 인터페이스를 통해 전자 장치에 텍스트를 입력하고 편집하는 방법.
  10. 제1항에 있어서,
    상기 결정된 둘 이상의 대체 텍스트 개체를 텍스트 표시 시스템에 표시하고 사용자의 선택을 감지하여 표시된 상기 텍스트 개체를 대체하는 상기 대체 텍스트 개체를 확인하는 것을 특징으로 하는
    사용자 인터페이스를 통해 전자 장치에 텍스트를 입력하고 편집하는 방법.
  11. 제10항에 있어서,
    상기 사용자가 상기 확인된 텍스트 개체에 대한 대체로 상기 제시된 대체 텍 스트 개체를 선택하기 전에 하나 이상의 다른 입력 동작을 수행하고, 상기 텍스트 삽입 위치에 대한 상기 복귀가 수행되지 않으며, 상기 하나 이상의 다른 입력 동작의 결과 상기 표시된 텍스트 개체가 수정 또는 대체되도록 상기 확인된 텍스트 개체가 상기 텍스트 삽입 위치로 선택되는 것을 특징으로 하는
    사용자 인터페이스를 통해 전자 장치에 텍스트를 입력하고 편집하는 방법.
  12. 제1항에 있어서,
    감지된 상기 입력 동작에 다음으로 가장 근접하게 일치하는 텍스트 개체인 것으로 확인된 대체 텍스트 개체로 상기 확인된 텍스트 개체를 대체하는 상기 확인된 대체 텍스트 개체 중 하나를 자동으로 확인하는 것을 특징으로 하는
    사용자 인터페이스를 통해 전자 장치에 텍스트를 입력하고 편집하는 방법.
  13. 제1항에 있어서,
    상기 위치가 상기 텍스트 표시 시스템에서 현재 보이는 텍스트 내에 위치하지 않은 경우 상기 텍스트 표시 시스템 내에서 상기 텍스트 삽입 위치를 분명히 구분되는 상기 입력 동작을 감지하기 전에 기록된 위치로 복귀시키지 않는 것을 특징으로 하는
    사용자 인터페이스를 통해 전자 장치에 텍스트를 입력하고 편집하는 방법.
  14. 하나 이상의 사용자 입력 동작을 감지하여 텍스트를 생성하고 편집하는 하나 이상의 입력 장치;
    생성된 텍스트를 사용자에게 표시하는 출력 장치; 및
    입력 장치 및 출력 장치에 연결된 프로세서를 포함하고,
    상기 프로세서는,
    다음으로 생성되는 텍스트 개체가 출력될 텍스트 삽입 위치의 지점을 기록하기 위한 첫 번째 구성요소;
    분명히 구분되는 입력 동작을 감지하고 상기 출력 장치로 이전에 출력된 하나 이상의 상기 텍스트 개체를 확인하기 위한 두 번째 구성요소;
    감지된 분명히 구분되는 입력 동작을 바탕으로 이전에 출력된 하나 이상의 상기 텍스트 개체를 확인하기 위한 세 번째 구성요소;
    상기 확인된 하나 이상의 사전 결정된 텍스트 개체로부터 하나 이상의 감지된 상기 입력 동작과 대응하는 하나 이상의 상기 대체 텍스트 개체를 결정하기 위한 네 번째 구성요소;
    확인되어 이전에 출력된 하나 이상의 상기 텍스트 개체를 이미 결정된 하나 이상의 상기 대체 텍스트 개체로 대체하기 위한 다섯 번째 구성요소; 및
    상기 텍스트 삽입 위치를 분명히 구분되는 상기 입력 동작을 탐지하기 전에 기록된 위치로 복귀시키기 위한 여섯 번째 구성요소를 포함하는 것을 특징으로 하는
    텍스트 입력 및 편집 기구.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 출력 장치에 확인된 하나 이상의 대체 텍스트 개체를 사용자에게 표시하여 표시된 텍스트 개체 중 이전에 확인되어 출력된 하나 이상의 상기 텍스트 개체를 대체하는 텍스트 개체를 선택할 수 있도록 하는 일곱 번째 구성요소를 더 포함하는 것을 특징으로 하는
    텍스트 입력 및 편집 기구.
  16. 제14항에 있어서,
    상기 프로세서는,
    상기 분명히 구분되는 출력 동작과 연관된 상기 출력 장치 내에서 위치를 결정하기 위한 일곱 번째 구성요소; 및
    상기 출력 장치에 이전에 출력된 텍스트 개체 중 상기 결정된 위치에 가장 근접한 텍스트 개체를 확인하기 위한 여덟 번째 구성요소를 더 포함하는 것을 특징으로 하는
    텍스트 입력 및 편집 기구.
  17. 제14항에 있어서,
    상기 프로세서는,
    하나 이상의 출력 텍스트 개체 사이에서 하나 이상의 공백을 자동으로 생성 하기 위한 일곱 번째 구성요소를 더 포함하는 것을 특징으로 하는
    텍스트 입력 및 편집 기구.
  18. 제17항에 있어서,
    상기 프로세서는,
    두 개 이상의 텍스트 개체가 둘 이상의 텍스트 개체 분류에 속하는 것으로 확인하기 위한 여덟 번째 구성요소를 더 포함하고, 여기서 상기 둘 이상의 각 텍스트 개체 분류는 상기 분류에 속하는 최소 하나 이상의 텍스트 개체의 출력 전이나 후에 하나 이상의 공백이 자동으로 생성되는 방식에서 여타의 상기 분류와 다른 것을 특징으로 하는
    텍스트 입력 및 편집 기구.
  19. 제18항에 있어서,
    상기 프로세서는
    상기 텍스트 개체 분류와 다른 분류에 속하는 텍스트 개체를 대체하는 최소 하나 이상의 텍스트 개체 전이나 후에 최소 하나 이상의 공백을 자동으로 삽입하거나 자동으로 삭제하기 위한 아홉 번째 구성요소를 더 포함하는 것을 특징으로 하는
    텍스트 입력 및 편집 기구.
  20. 제18항에 있어서,
    상기 프로세서는,
    상기 텍스트 삽입 위치의 변경을 감지하고, 상기 변경된 텍스트 삽입 위치에 바로 인접한 텍스트 개체와 연관된 상기 텍스트 개체 분류와 관련하여, 그리고 상기 변경된 텍스트 삽입 위치에 바로 인접하는 모든 공백과 관련하여 상기 변경된 텍스트 삽입 위치에서 다음 텍스트 개체의 출력 전이나 후에 하나 이상의 공백이 자동으로 생성되는 방식을 변경하기 위한 아홉 번째 구성요소를 더 포함하는 것을 특징으로 하는
    텍스트 입력 및 편집 기구.
  21. 제17항에 있어서,
    상기 프로세서는,
    분명히 구분되는 사용자 입력 동작을 탐지하고, 다음으로 생성되는 텍스트 개체의 출력과 관련된 상기 공백의 자동 생성을 비활성화하고 그 다음 생성되는 상기 텍스트 개체의 출력 이후 공백의 상기 자동 생성을 자동으로 다시 활성화시키기 위한 여덟 번째 구성요소를 더 포함하는 것을 특징으로 하는
    텍스트 입력 및 편집 기구.
  22. 제17항에 있어서,
    상기 프로세서는,
    분명히 구분되는 사용자 입력 동작을 감지하고 상기 자동 생성된 공백 중 최 근 생성된 공백을 삭제하기 위한 여덟 번째 구성요소를 더 포함하는 것을 특징으로 하는
    텍스트 입력 및 편집 기구.
  23. 제14항에 있어서,
    상기 프로세서는,
    상기 출력 장치에 상기 결정된 둘 이상의 대체 텍스트 개체를 표시하기 위한 일곱 번째 구성요소; 및
    사용자의 항목 선택을 감지하여 상기 표시된 텍스트 개체를 대체하는 상기 대체 텍스트 개체를 확인하기 위한 여덟 번째 구성요소를 더 포함하는 것을 특징으로 하는
    텍스트 입력 및 편집 기구.
  24. 제23항에 있어서,
    상기 프로세서는,
    상기 확인된 텍스트 개체에 대한 대체로 상기 표시된 대체 텍스트 개체를 선택하기 전에 상기 사용자가 수행한 한 가지 이상의 기타 입력 동작을 감지하기 위한 아홉 번째 구성요소; 및
    상기 한 가지 이상의 다른 입력 동작의 결과로 상기 표시한 텍스트 개체가 수정 또는 대체되고, 상기 텍스트 삽입 위치가 상기 이전 위치로 복귀되지 않도록 하는 방식으로 상기 확인된 텍스트 개체를 상기 텍스트 삽입 위치로 선택하기 위한 열 번째 구성요소를 더 포함하는 것을 특징으로 하는
    텍스트 입력 및 편집 기구.
  25. 제14항에 있어서,
    상기 프로세서는,
    상기 확인된 텍스트 개체를 생성한 상기 감지된 입력 동작에 다음으로 가장 근접하게 일치하는 텍스트 개체인 것으로 결정된 대체 텍스트 개체로서 상기 확인된 텍스트 개체를 대체하는 상기 결정된 대체 텍스트 개체 중 하나를 자동으로 확인하기 위한 일곱 번째 구성요소를 더 포함하는 것을 특징으로 하는
    텍스트 입력 및 편집 기구.
  26. 제14항에 있어서,
    상기 프로세서는,
    상기 분명히 구분되는 입력 동작을 감지하기 전에 기록된 상기 텍스트 삽입 위치가 상기 출력 장치에서 현재 보이는 텍스트 내에 있지 않은지 여부를 결정하기 위한 일곱 번째 구성요소; 및
    상기 일곱 번째 구성요소가 상기 기록된 위치가 상기 출력 장치에서 현재 보이는 텍스트 내에 있지 않다는 것을 결정한 경우, 상기 여섯 번째 구성요소가 상기 텍스트 삽입 위치를 상기 분명히 구분되는 입력 동작을 감지하기 전에 기록된 위치 로 복귀시키지 않도록 하는 여덟 번째 구성요소를 더 포함하는 것을 특징으로 하는
    텍스트 입력 및 편집 기구.
  27. 상기 경계 영역 내에 상기 둘 이상의 선택 항목을 그래픽 방식으로 표시하는 단계;
    상기 경계 영역에서 분명히 구분되는 하나 이상의 경계 세그먼트를 정의하는 단계;
    상기 정의된 하나 이상의 각 세그먼트를, 그래픽 방식으로 표시된 상기 선택 항목 중 분명히 구분되는 항목과 단독으로 연관시키는 단계;
    상기 경계 영역 내에서 상기 제어 지점의 활성화 감지 단계;
    상기 활성화된 제어 지점이 상기 경계 영역을 벗어나는지 활성화된 상기 제어 지점의 이후 움직임 감지 단계;
    상기 활성화된 제어 지점이 기존의 상기 경계 영역에서 이동할 때 거치는 상기 분명히 구분되는 경계 세그먼트 중 하나를 확인하는 단계;
    확인된 상기 경계 세그먼트를 바탕으로 그래픽으로 표시된 상기 선택 항목 중 하나를 확인하는 단계를 포함하고,
    사용자는 전자 디스플레이의 제어 지점을 배치, 이동 및 활성화 또는 비활성화할 수 있는,
    전자 디스플레이의 경계가 규정된 영역 내에 두 가지 이상의 선택 항목을 그래픽 방식으로 표현하기 위한 방법.
  28. 제27항에 있어서,
    이러한 상기 선택 항목이 상기 경계 영역 내의 분명히 구분되는 경계 하위 영역 내에 표시되고, 상기 정의된 분명히 구분되는 경계 세그먼트가 상기 하위 영역 중 하나의 경계 세그먼트와 일치하는 경계 세그먼트로 정의되며, 상기 하위 영역 내에 표시된 선택 항목이 상기 일치하는 경계 세그먼트와 고유하게 연관되는 것을 특징으로 하는
    두 가지 이상의 선택 항목을 그래픽 방식으로 표현하기 위한 방법.
  29. 제27항에 있어서,
    하나 이상의 상기 선택 항목이 하나 이상의 색상, 그래픽 패턴 또는 음영을 사용하여 그래픽 방식으로 표시되고, 상기 고유하게 연관되어 정의된 분명히 구분되는 각 경계 세그먼트가 이와 비교되는 하나 이상의 색상, 그래픽 패턴 또는 음영을 사용하여 표시되는 것을 특징으로 하는
    두 가지 이상의 선택 항목을 그래픽 방식으로 표현하기 위한 방법.
  30. 제27항에 있어서,
    상기 경계 영역 내에서 상기 제어 지점의 활성화를 감지하는 경우 상기 정의된 경계 영역의 그래픽 표시를 수정하는 것을 특징으로 하는
    두 가지 이상의 선택 항목을 그래픽 방식으로 표현하기 위한 방법.
  31. 제27항에 있어서,
    상기 정의된 둘 이상의 경계 세그먼트 길이 사이의 관계가, 상기 정의된 둘 이상의 각 경계 세그먼트와 고유하게 연관되어 그래픽 방식으로 표시된 각 선택 항목을 사용자가 선택하는 결정된 확률 사이의 관계와 관련되는 것을 특징으로 하는
    두 가지 이상의 선택 항목을 그래픽 방식으로 표현하기 위한 방법.
  32. 둘 이상의 선택 항목을 그래픽 방식으로 표시하기 위한 출력 디스플레이 장치;
    사용자가 상기 디스플레이에서 제어 지점을 배치, 이동 및 활성화 또는 비활성화하기 위해 수행하는 한 가지 이상의 입력 동작을 감지하는 입력 장치; 및
    입력 장치 및 출력 장치와 짝을 이루는 프로세서를 포함하고,
    상기 프로세서는,
    상기 둘 이상의 선택 항목을 상기 디스플레이의 정의된 경계 영역 내에 그래픽 방식으로 표시하기 위한 첫 번째 구성요소;
    상기 경계 영역에서 분명히 구분되는 하나 이상의 경계 세그먼트를 정의하기 위한 두 번째 구성요소;
    상기 정의된 하나 이상의 각 세그먼트를 그래픽 방식으로 표시된 상기 선택 항목 중 분명히 구분되는 항목과 고유하게 연관시키기 위한 세 번째 구성요소;
    상기 경계 영역 내에서 상기 제어 지점의 활성화를 감지하기 위한 네 번째 구성요소;
    상기 활성화된 제어 지점이 상기 경계 영역을 벗어나는지 활성화된 상기 제어 지점의 이후 움직임을 감지하기 위한 다섯 번째 구성요소;
    상기 활성화된 제어 지점이 기존의 상기 경계 영역에서 이동할 때 거치는 상기 분명히 구분되는 경계 세그먼트 중 하나를 확인하기 위한 여섯 번째 구성요소; 및
    확인된 상기 경계 세그먼트에 바탕하여 그래픽으로 표시된 상기 선택 항목 중 하나를 결정하기 위한 여섯 번째 구성요소를 포함하는
    기구.
  33. 제32항에 있어서,
    상기 프로세서는,
    상기 경계 영역 내의 분명히 구분되는 경계 하위 영역 내에서 상기의 각 선택 항목을 표시하기 위한 일곱 번째 구성요소;
    분명히 구분되는 상기 경계 세그먼트를 상기 하위 영역 중 하나의 경계 세그먼트와 일치하는 경계 세그먼트로 정의하기 위한 여덟 번째 구성요소; 및
    상기 하위 영역 내에 표시된 상기 선택 항목을 상기 일치하는 경계 세그먼트와 연관시키기 위한 아홉 번째 구성요소를 더 포함하는
    기구.
  34. 제32항에 있어서,
    상기 프로세서는,
    하나 이상의 상기 선택 항목을 하나 이상의 색상, 그래픽 패턴 또는 음영을 사용하여 그래픽 방식으로 표시하고, 상기 고유하게 연관되어 정의된 분명히 구분되는 각 경계 세그먼트를 이와 비교되는 하나 이상의 색상, 그래픽 패턴 또는 음영을 사용하여 표시하기 위한 일곱 번째 구성요소를 더 포함하는
    기구.
  35. 제32항에 있어서,
    상기 프로세서는,
    상기 경계 영역 내에서 상기 제어 지점의 활성화를 감지하는 경우 상기 정의된 경계 영역의 그래픽 표시를 수정하기 위한 구성요소를 더 포함하는
    기구.
  36. 제32항에 있어서,
    상기 정의된 둘 이상의 경계 세그먼트 길이 사이의 관계가 상기 정의된 둘 이상의 각 경계 세그먼트와 고유하게 연관되어 그래픽 방식으로 표시된 각 선택 항목을 사용자가 선택하는 결정된 확률 사이의 관계와 관련되는 것을 특징으로 하는
    방법.
KR1020097002112A 2006-07-03 2007-07-03 텍스트 편집 및 메뉴 선택을 위한 사용자 인터페이스 시스템과 구현 방법 KR101488537B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US80652206P 2006-07-03 2006-07-03
US60/806,522 2006-07-03
US11/533,714 2006-09-20
US11/533,714 US7382358B2 (en) 2003-01-16 2006-09-20 System and method for continuous stroke word-based text input
US91784907P 2007-05-14 2007-05-14
US60/917,849 2007-05-14
PCT/US2007/015403 WO2008013658A2 (en) 2006-07-03 2007-07-03 System and method for a user interface for text editing and menu selection

Publications (2)

Publication Number Publication Date
KR20090035570A true KR20090035570A (ko) 2009-04-09
KR101488537B1 KR101488537B1 (ko) 2015-02-02

Family

ID=38981954

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097002112A KR101488537B1 (ko) 2006-07-03 2007-07-03 텍스트 편집 및 메뉴 선택을 위한 사용자 인터페이스 시스템과 구현 방법

Country Status (5)

Country Link
EP (1) EP2044587A4 (ko)
JP (1) JP5661279B2 (ko)
KR (1) KR101488537B1 (ko)
CN (1) CN101529494B (ko)
WO (1) WO2008013658A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110035376A (ko) * 2009-09-30 2011-04-06 엘지전자 주식회사 단말기 및 그 제어 방법

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5438909B2 (ja) * 2008-03-14 2014-03-12 ソニーモバイルコミュニケーションズ株式会社 文字入力装置、文字入力支援方法及び文字入力支援プログラム
KR101412586B1 (ko) * 2008-07-01 2014-07-02 엘지전자 주식회사 이동단말기의 문자입력 방법
US9875013B2 (en) * 2009-03-16 2018-01-23 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
JP5486977B2 (ja) * 2010-03-24 2014-05-07 株式会社日立ソリューションズ 座標入力装置及びプログラム
CN101957724A (zh) * 2010-10-05 2011-01-26 孙强国 一种拼音文字联想输入的改进方法
TWI490705B (zh) * 2010-10-07 2015-07-01 英業達股份有限公司 純文字內容的編輯操作系統及其方法
JP5609718B2 (ja) * 2011-03-10 2014-10-22 富士通株式会社 入力支援プログラム，入力支援装置および入力支援方法
CN103502915B (zh) 2011-04-09 2017-01-11 上海触乐信息科技有限公司 电子设备上基于屏幕软件键盘实现滑动输入文本的系统及方法
KR20130034747A (ko) * 2011-09-29 2013-04-08 삼성전자주식회사 휴대 단말기의 사용자 인터페이스 제공 방법 및 장치
US8667414B2 (en) 2012-03-23 2014-03-04 Google Inc. Gestural input at a virtual keyboard
US8782549B2 (en) 2012-10-05 2014-07-15 Google Inc. Incremental feature-based gesture-keyboard decoding
US9021380B2 (en) 2012-10-05 2015-04-28 Google Inc. Incremental multi-touch gesture recognition
US8850350B2 (en) 2012-10-16 2014-09-30 Google Inc. Partial gesture text entry
US8843845B2 (en) 2012-10-16 2014-09-23 Google Inc. Multi-gesture text input prediction
US8701032B1 (en) 2012-10-16 2014-04-15 Google Inc. Incremental multi-word recognition
US8819574B2 (en) 2012-10-22 2014-08-26 Google Inc. Space prediction for text input
US8806384B2 (en) * 2012-11-02 2014-08-12 Google Inc. Keyboard gestures for character string replacement
CN103838458B (zh) * 2012-11-26 2017-05-10 北京三星通信技术研究有限公司 移动终端及其输入法的控制方法
US8832589B2 (en) 2013-01-15 2014-09-09 Google Inc. Touch keyboard using language and spatial models
US8887103B1 (en) 2013-04-22 2014-11-11 Google Inc. Dynamically-positioned character string suggestions for gesture typing
US9081500B2 (en) 2013-05-03 2015-07-14 Google Inc. Alternative hypothesis error correction for gesture typing
CN103399793B (zh) * 2013-07-30 2017-08-08 珠海金山办公软件有限公司 一种自动切换同类内容的方法及系统
CN103533448B (zh) * 2013-10-31 2017-12-08 乐视致新电子科技（天津）有限公司 智能电视的光标控制方法和光标控制装置
CN104428745A (zh) * 2014-01-24 2015-03-18 华为终端有限公司 一种输入字符的方法和电子设备
CN107506115A (zh) * 2016-06-14 2017-12-22 阿里巴巴集团控股有限公司 一种菜单的显示处理方法、装置及系统
CN108664201B (zh) * 2017-03-29 2021-12-28 北京搜狗科技发展有限公司 一种文本编辑方法、装置及电子设备
CN107203505A (zh) * 2017-05-26 2017-09-26 北京小米移动软件有限公司 文本信息编辑方法及装置
CN108984239B (zh) * 2018-05-29 2021-07-20 北京五八信息技术有限公司 选择控件的处理方法、装置、设备和存储介质
CN110197136B (zh) * 2019-05-13 2021-01-12 华中科技大学 一种基于动作边界概率的级联动作候选框生成方法与系统
US11379113B2 (en) 2019-06-01 2022-07-05 Apple Inc. Techniques for selecting text

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5378736A (en) 1976-12-23 1978-07-12 Toshiba Corp Return mechanism to final input position
JPS5840584A (ja) 1981-09-02 1983-03-09 株式会社東芝 文字表示装置
JPH0754512B2 (ja) 1986-12-10 1995-06-07 キヤノン株式会社 文書処理装置
US5574482A (en) * 1994-05-17 1996-11-12 Niemeier; Charles J. Method for data input on a touch-sensitive screen
JPH09293328A (ja) 1996-04-25 1997-11-11 Olympus Optical Co Ltd 音声再生装置
US5953541A (en) * 1997-01-24 1999-09-14 Tegic Communications, Inc. Disambiguating system for disambiguating ambiguous input sequences by displaying objects associated with the generated input sequences in the order of decreasing frequency of use
JPH1115914A (ja) * 1997-06-09 1999-01-22 Internatl Business Mach Corp <Ibm> 文字データ入力装置およびその方法
JPH11102361A (ja) * 1997-09-29 1999-04-13 Nec Ic Microcomput Syst Ltd 文字入力修正方法及び前記方法手順を記録した記録媒体
JP3082746B2 (ja) * 1998-05-11 2000-08-28 日本電気株式会社 音声認識システム
US7030863B2 (en) * 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
JP2001060192A (ja) * 1999-08-20 2001-03-06 Nippon Hoso Kyokai <Nhk> 文字データ修正装置および記憶媒体
US7098896B2 (en) * 2003-01-16 2006-08-29 Forword Input Inc. System and method for continuous stroke word-based text input
JP4260777B2 (ja) * 2004-07-22 2009-04-30 パナソニック株式会社 半導体装置及びその製造方法
US20060071915A1 (en) * 2004-10-05 2006-04-06 Rehm Peter H Portable computer and method for taking notes with sketches and typed text
JP2006031725A (ja) 2005-08-10 2006-02-02 Microsoft Corp 文字処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110035376A (ko) * 2009-09-30 2011-04-06 엘지전자 주식회사 단말기 및 그 제어 방법
US9367534B2 (en) 2009-09-30 2016-06-14 Lg Electronics Inc. Mobile terminal and method for controlling the same

Also Published As

Publication number Publication date
EP2044587A4 (en) 2012-09-26
CN101529494B (zh) 2012-01-04
JP5661279B2 (ja) 2015-01-28
JP2009543209A (ja) 2009-12-03
KR101488537B1 (ko) 2015-02-02
WO2008013658A3 (en) 2008-11-27
CN101529494A (zh) 2009-09-09
EP2044587A2 (en) 2009-04-08
WO2008013658A2 (en) 2008-01-31

Similar Documents

Publication Publication Date Title
KR101488537B1 (ko) 텍스트 편집 및 메뉴 선택을 위한 사용자 인터페이스 시스템과 구현 방법
US7542029B2 (en) System and method for a user interface for text editing and menu selection
US20210406578A1 (en) Handwriting-based predictive population of partial virtual keyboards
US10817175B2 (en) Input device enhanced interface
JP5468665B2 (ja) 多言語環境を有するデバイスのための入力方法
CA2501118C (en) Method of combining data entry of handwritten symbols with displayed character data
US7453439B1 (en) System and method for continuous stroke word-based text input
US9360955B2 (en) Text entry for electronic devices
KR101098642B1 (ko) 잉크 정정 패드
US10838513B2 (en) Responding to selection of a displayed character string
KR20120107110A (ko) 데이터입력 시스템 및 그 방법
JP5977764B2 (ja) 拡張キーを利用した情報入力システム及び情報入力方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180117

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee