KR20180017090A - 텍스트의 팬-줌 입력 - Google Patents

텍스트의 팬-줌 입력 Download PDF

Info

Publication number
KR20180017090A
KR20180017090A KR1020187000494A KR20187000494A KR20180017090A KR 20180017090 A KR20180017090 A KR 20180017090A KR 1020187000494 A KR1020187000494 A KR 1020187000494A KR 20187000494 A KR20187000494 A KR 20187000494A KR 20180017090 A KR20180017090 A KR 20180017090A
Authority
KR
South Korea
Prior art keywords
zoom
gesture
machine interface
human machine
pan
Prior art date
Application number
KR1020187000494A
Other languages
English (en)
Inventor
야코브 스테인
Original Assignee
체이트 스테인 에델
야코브 스테인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 체이트 스테인 에델, 야코브 스테인 filed Critical 체이트 스테인 에델
Publication of KR20180017090A publication Critical patent/KR20180017090A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G06F17/276—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

본 개시물은 유한한 크기의 기하 영역 상으로 임의의 길이의 기호열의 수학적 맵핑을 사용하는 텍스트 입력을 위한 방법 및 징치를 기술한다. 본 발명의 실시예는 팬/줌 능력으로 텍스트를 장치 내로 입력할 수 있도록 한다. 실시예에 의해, 멀티-터치 능력을 포함하는 스마트폰과 태블릿과 같은 작은 휴대용 장치를 위한 텍스트 입력이 가능하다.

Description

텍스트의 팬-줌 입력
관련된 출원
본 출원은 2015년 6월 10일에 출원된 미국 출원 14/735,777의 35 USC 120조의 이익을 청구하고, 일부 계속 출원이며, 그 전체가 본 명세서에 참조로서 포함된다.
기술분야
본 발명은 일반적으로 텍스트 입력을 위한 방법 및 장치에 관한 것이다. 개시된 발명의 실시예는 유대용 장치의 멀티-터치 스크린상에 패닝 및 줌밍을 통해 기호열(symbol string)의 입력을 가능하게 한다.
연산 및 저장 자원의 최소화, 이들의 전력 감소 및 작은 디스플레이의 개선된 레졸루션은, 이전의 랩탑 컴퓨터와 데스크탑 컴퓨터의 생성보다 더욱 강력한 스마트폰과 미니-태블릿과 같은 현대의 휴대용 장치를 낳는다. 이들의 작은 물리적 또는 가상 키보드를 가진 이들 작은 장치가 일반적으로 콘텐츠 소비에 적절하다고 여겨짐에도 불구하고, 물리적으로 큰 키보드가 큰-스케일의 콘텐츠 생성에 대해 바람직하게 여겨진다.
연속적인 음성 인식은 휴대용 장치의 이러한 단점을 완전히 제거하기에 아직 충분히 정확하지 않고, 핸드라이팅 인식은 충분히 정확하지도 않고, 심지어 작은 장치에도 적합하지 않다. 물리적이거나 가상인 큰 외부 키보드는 보조적 주변부로서 사용될 수 있으나, 휴대용 장치의 모든 사용 모드에 적절하지 않다.
휴대용 장치의 미니어쳐 키보드는, 물리적이거나 가상적으로, 두 개의 단점을 가진다. 이들은 하나의 손가락 또는 두 개의 엄지를 사용하여 작동되기 때문에 느리고, 둘째, 이들은 키들의 좁은 간격 때문에 오타에 취약하다. 이전의 발명들은 더 많은 시간이 소요되는 손가락-업/손가락-다운 동작보다는 스위핑 모션을 사용하여 더 빠른 타이핑을 가능하게 하거나, 다음 문자나 단어를 예측함에 의해 속도와 정확성 모두에 있어서 개선하는데 중점을 두어서, 사용자가 나머지 문자를 함께 바이패스 타이핑할 수 있게 한다.
현대의 휴대용 장치는 멀티-터치 능력을 가진 터치-스크린을 포함하는데, 다시 말해, 터치-스크린은 터치스크린상의 하나 보다 많은 손가락의 동작에 동시에 민감하다. 이러한 기술은 휴먼-장치 상호작용에 매우 자연스럽고 효율적으로 실현되는 도구가 되었으나, 기존 콘텐츠의 경험에 영향을 주는 제스처(가령, 스크롤, 핀치 및 회전)을 인식하는데 주로 사용된다.
본 발명의 실시예는 멀티-터치 능력 및 유한한 정도의 기하 영역 내로 임의의 길이의 기호열의 수학적 맵핑을 사용하여, 휴대용 장치 텍스트 입력의 단점을 제거한다.
본 개시물은 유한한-사이즈의 기하 영역 내의 고유한 점 상으로 임의의 길이의 기호 열의 수학적 맵핑을 사용하는, 텍스트 입력을 위한 방법 및 장치를 기술한다. 공통의 접두사를 가진 열(string)은 이웃하는 점 상으로 맵핑되고, 더 긴 열은 더 큰 기하 영역보다는 더 높은 정도의 확대를 요한다. 다양한 실시예에서, 이러한 기하 영역은 일차원 라인 세그먼트이거나, 이차원 직사각형이거나, 삼차원 직사각형 프리즘일 수 있다.
본 발명의 실시예는 상기 언급된 기하 영역을 디스플레이하고, 팬 및 줌 동작을 반복적으로 수행함에 의해, 사용자가 임의의 길이의 원하는 텍스트에 대응되는 고유한 점을 찾을 수 있도록 한다. 이는, 사용자가 원하는 텍스트 열의 문자 이후에 문자를 순차적으로 누르는 종래의 물리적 또는 가상 키보드의 사용과 대비된다. 영역이 일차원이나 이차원인 실시예에서, 팬 및 줌 동작은 휴대용 장치의 멀티-터치 디스플레이 상에서 수행될 수 있다. 영역이 삼차원 직사각형 프리즘인 실시예에서, 팬 및 줌 동작은 홀로그래픽 디스플레이와 상호작용하는 공간 제스쳐를 사용하여 수행될 수 있다.
텍스트 열의 팬-줌 입력에서, 패닝은 열의 접두사를 선택하고, 줌인(zoom in)은 더 긴 열을 관측하게 하는 고배율 확대이며, 줌아웃(zoom out)은 더 짧은 열을 관측하게 하는 저배율 확대이다. 전체 메시지는 관측 가능한 전체 메시지의 텍스트에 대응되는 점에 대해 충분한 배율까지 줌인함에 의해 하나의 연속적인 동작으로 입력될 수 있다.
이러한 논의에서, 다른 진술이 없다면, 본 발명의 실시예의 특징 또는 특징들의 조건이나 관계 특성을 수정하는 "실질적으로" 및 "약"과 같은 형용사는, 조건이나 특성이 의도된 응용예에 대해 실시예의 동작에 허용가능한 허용오차 이내에 있는 것으로 정의되는 것을 의미하는 것으로 이해된다. 다른 표시가 없다면, 상세한 설명과 청구항 내의 단어 "또는"은 배제적인 또는 이 아니라 포함적인 "또는"으로 고려되고, 결합하는 아이템의 적어도 하나 또는 임의의 조합을 표시한다.
이러한 발명의 내용에는 이하 상세한 설명에 추가로 기술되는 간단한 형태의 개념의 선택을 도입하기 위해 제공된다. 이러한 발명의 내용은 청구된 주제의 중요한 특징이나 필수적인 특징을 식별하도록 의도되지 않고, 또한, 청구된 주제의 범위를 제한하는데 사용되도록 의도되지 않는다.
도 1은 라인 세그먼트 (0...1) 내로 알파벳 문자(즉, 길이 1의 열)의 맵핑을 나타내는데, 이는 그 라인 세그먼트 내로 임의의 문자열의 반복 맵핑(recursive mapping)의 제1 단계를 나타낸다.
도 2는 라인 세그먼트 [1/27 .. 2/27) 내로 문자 "A"로 시작하는 길이 최대 2의 열의 맵핑을 나타낸다.
도 3은 문자의 반복 선형 맵핑에 기초하여 테스트 입력을 위한 실제적 메카니즘의 제1 단계를 나타낸다. 각각의 직사각형은 특정 문자로 시작하는 열이 맵핑되는 라인 세그먼트를 나타낸다.
도 4는 단어 "THE"에 대한 텍스트의 팬-줌 입력의 세 단계를 나타낸다. 제1 단계에서, 사용자는 첫 번째 문자만 보이는 키보드 직사각형을 보고, 사용자는 "T" 표시된 키 상에 줌밍한다. 충분히 줌되면, 사용자는 이러한 키가 자체적으로 원래의 키보드와 동일한 방식으로 반복적으로 서브분할되는 것을 인식하고, 키 "H" 상에 줌한다. 사용자는 키 "H"가 반복적으로 서브분할되고, 원래의 키보드의 키를 포함하는 것을 다시 인식하고, 최종적으로 키 "E"를 찾는다.
도 5는 선형 키보드 직사각형의 확률적 크기를 나타낸다. 이러한 예시에서, 각각의 키는 문맥과 관련없이, 영어 언어에서 상대적 빈도수에 비례한 너비를 가진다. 10개의 가장 확률이 높은 문자에 대응되는 키만이 표시되고, 표시되지 않은 키들의 문자는 줌밍되면 볼 수 있게 된다.
도 6은 선형 키보드 직사각형의 확률적 키보드 와핑(warping)을 나타낸다. 이러한 예시에서, 키의 너비는 문맥과 관련없이, 영어 언어에서 그 문자의 상대적 빈도수에 비례한다. 10개의 가장 확률이 높은 문자에 대응되는 키만이 표시된다. 인접한 낮은-확률 키의 영역은 하나의 키 영역 내로 병합되고, 각각의 문자는 주밍되어야만 볼 수 있다.
도 7은 키가 링으로 펼쳐진 대안적인 키보드 컨피규레이션을 나타낸다.
도 8은 키의 확률적 크기가 있는 링 키보드 컨피규레이션을 나타낸다. 오직 15개의 가장 확률 높은 키가 표시된다.
도 9a는 가상의 4개의 알파벳 문자 A, B, C, D로부터 하나의 길이의 열의 직사각형으로의 맵핑을 나타낸다. 각각의 열은 고유점 상으로 맵핑된다.
도 9b는 도 9a의 맵핑을 나타내고, 각각의 문자로 시작하는 열에 대응되는 영역을 추가적으로 기술한다.
도 9c는 가상의 4개의 알파벳 문자 A, B, C, D로부터 두 개의 길이의 열의 직사각형으로의 맵핑을 나타낸다. 각각의 열은 고유점 상으로 맵핑된다.
도 9d는 도 9c의 맵핑을 나타내고, 대응되는 두 개의 접두사로 시작하는 열에 대응되는 영역을 추가적으로 기술한다.
도 9e는 가상의 4개의 알파벳 문자 A, B, C, D로부터 두 개까지의 길이(즉, 하나 또는 둘의 길이)의 열의 직사각형으로의 맵핑을 나타낸다. 각각의 열은 고유점 상으로 맵핑된다.
도 9f는 가상의 4개의 알파벳 문자 A, B, C, D로부터 세 개까지의 길이(즉, 하나, 둘 또는 세 개의 길이)의 열의 직사각형으로의 맵핑을 나타낸다. 각각의 열은 고유점 상으로 맵핑된다.
도 10a는 텍스트의 이차원 팬-줌 입력을 위한 초기 기하 영역으로서 종래의 "QWERTY" 키보드 레이아웃의 사용을 나타낸다. 경계 직사각형의 많은 영역이 낭비되고 있다는 것이 명백하다.
도 10b는 텍스트의 이차원 팬-줌 입력을 위한 정사각형의 초기 기하 영역의 사용을 나타낸다. 정사각형의 사용은 낭비를 없애고, 반복 맵핑의 정의를 간단하게 하나, 동시에 조작될 수 있는 문자의 수를 강하게 제한한다.
도 11은 텍스트의 이차원 팬-줌 입력을 위한 직사각형의 초기 기하 영역의 사용을 나타낸다. 직사각형의 사용은 동시에 조작될 수 있는 문자의 수에 대한 제한을 완화시킨다.
도 12a-12h는 문자 "E"를 입력하기 위해, 직사각형 초기 기하 영역을 사용하여 결합된 팬 줌 동작의 시퀀스를 나타낸다. 줌은 선택된 문자가 나타나기에 충분하며, 더 높은 줌 레벨에서, 키의 반복 서브분할을 볼 수 있다는 것에 주목한다.
도 13a-13e는 이전 도면에서 문자 "E"의 입력 이후에, 문자 "V"의 입력을 나타낸다. 다시 줌이 충분해지면, 선택된 문자는 입력되기 위해 열에 추가되고, 더 높은 줌 레벨에서, 다음의 입력을 위해 준비하여, 키의 반복 서브분할을 볼 수 있다.
도 14a-14e는 이전 도면에서 문자 "EV"의 입력 이후에, 또 다른 문자 "E"의 입력을 나타낸다.
도 15a-15e는 이전 도면에서 문자 "EVE"의 입력 이후에, 문자 "N"의 입력에 의해 단어 "EVEN"의 입력의 완성을 나타낸다.
도 16은 확률적 키 크기를 가진 직사각형 초기 기하 영역의 사용을 나타낸다. 확률이 적은 문자는 좌측 하단의 키 영역으로 밀린다.
도 17은 확률적 키 크기와 확률이 적은 문자의 생략을 가진 직사각형 초기 기하 영역의 사용을 나타낸다. 사용자는 더 확률적인 문자를 더욱 용이하게 인지하나, 패닝 및 줌밍 동작은 이전 경우의 것과 동일하게 유지시킨다.
도 18은 확률적 키보드 와핑을 가진 직사각형 초기 기하 영역의 사용을 나타낸다. 낮은 확률을 가진 문자의 생략에 추가하여, 높은 확률의 영역을 강조하기 위해, 이러한 문자의 인접한 영역이 합병되고, 이들의 영역은 비선형적으로 와핑된다.
텍스트의 팬-줌 입력은 유한한 정도의 기하 영역 내로의 기호열의 맵핑에 기초한다. N개의 가능한 기호가 있다면, 정확하게 길이 L의 NL개의 구별가능한 기호열 및 최대 길이 L의 (NL+1 - 1)/(N-1) - 1의 구별가능한 비공의(non-empty) 열이 있다. 큰 L에 대하여, 이는 지수적으로 큰 수이고, 그래서, 가능한 기호열의 이러한 큰 수가 유한한 기하 영역으로 단사적(injecitve)으로 맵핑되는 것은 비직관적이다. (단사적 맵핑은 기하 영역 내의 고유한 점으로의 모든 열(string)의 대응이다. 이러한 맵핑은 기하 영역 "내로(into)" 될 수있고, 영역 "상으로(onto)" 될 필요는 없는데, 즉, 기하 영역 내에 임의의 열에 대응되지 않은 점들이 있을 수 있다.) 다른 한 편으로, 유한한 길이 라인 세그먼트 상에 또는 유한한 영역 직사각형 내에 비가산적으로 무한한 수의 점들 및 우리가 우리 자신을 이 가산적으로 무한한 수의 이러한 점들은 유리(rational) 좌표로 제한할 때에도 가산적으로 무한한 수의 이러한 점들이 있다. 이는, 우리가 무한한 길이의 열을 허용하더라도, 열의 수보다 이러한 유한한 기하 영역내에 더 많은 점들이 있다는 것을 의미한다! 게다가, 기호열(다시 말해 무한하게 긴 열을 포함하는)이 있기 때문에, 임의의 기하 영역 내의 유리 좌표를 가진 정확하게 동일한 수의 점들이 있다.
임의의 길이의 기호열을 수용하기 위한 유한한 크기의 기하 영역 내에 충분한 점들이 있다면, 기하 영역 내의 점들로의 기호열의 단사적 맵핑이 있다. 가장 간단한 예시는 0에서 1까지(비포함) 모든 점들을 포함하는 라인 세그먼트 (0..1)을 고려한다. 우리는, 각각의 열 앞에 간단히 접두사 "0."을 삽입하고, 결과를 유리수로 해석함에 의해, 이러한 라인 세그먼트 내로 숫자 {1, 2, 3, 4, 5, 6, 7, 8, 9}에 대응되는 기호만을 포함하는 임의의 길이의 열을 맵핑할 수 있다는 것을 나타내는 것은 용이하다. 예를 들어, 열 "987654321"은 상기 언급된 라인 세그먼트 상의 점 0.987654321으로 고유하게 맵핑된다. 좀 더 일반적으로, 열 "1"은 점 0.1로 고유하게 맵핑되고, "1"로 시작하는 모든 열들은 라인 세그먼트 [0.1 .. 0.2) 상의 어딘가로 맵핑된다. 마찬가지로, 열 "2"는 점 0.2로 고유하게 맵핑되고, "2"로 시작하는 모든 열들은 [0.2 .. 0.3) (라인 세그먼트 0.2 내지 0.3, 후자는 포함하지 않음) 상의 어딘가로 맵핑된다. 맵핑은 단사적이지 전단사적(bijective)이지 않다는 것에 유의해야 하는데, 다시 말해, 모든 열은 라인 세그먼트 상의 고유한 점 상으로 맵핑되나, 라인 상의 모든 점이 열에 대응되지 않는다(가령, 0은 공 열(empty string)에 대응되고, 0.1 미만의 점 또는 정확하게 0.1 내지 0.11은 임의의 유한한 열에 대응되지 않음).
0 내지 1 사이의 점(p)으로 숫자 "D1 D2 D3 ... Dk... DN"의 열의 맵핑은 다음과 같은 의미에 있어서 반복적이다. 우리는 초기점 p(0) = 0 및 초기 길이 L(0) = 1로 설정함에 의해 반복적 절차를 개시한다. 제1 단계에서, 우리는 10개로 간격 길이를 나누고, 즉, L(1) = L(0)/10이고, p(1) = p(0) + D1*L(1)를 계산한다. 제2 단계에서, 우리는 간격 길이 L(2) = L(1)/10으로 업데이트하면, p(2) = p(1) + D2*L(2)이다. 우리는, kth 단계가 p(k) = p(k-l) + Dk*L(k)이 되는 반복적 관계로 유사한 방식으로 지속한다. N 개의 숫자의 유한한 길이의 열에 대하여, N 개의 단계 이후에 반복이 종료된다.
동일한 라인 세그먼트 (0 .. 1) 내로 임의의 비-수치적 기호를 포함하는 열에 대한 맵핑을 마찬가지로 정의한다. 도 1에서, 우리는 100으로 라벨링된 라인 세그먼트 (0 .. 1) 내로의 101로 라벨링된 라틴 알파벳의 26개 (대) 문자의 맵핑을 볼 수 있다. 단일 문자 "A"로 구성된 열은 점 1/27 상으로 맵핑되고, 단일 문자 "B"로 구성된 열은 점 2/27 등으로 맵핑되며, "Z"는 26/27 상으로 맵핑된다. 각각의 단일 문자열이 맵핑된 값은 102로 라벨링된다.
길이 2 또는 그 보다 큰 열은 숫자의 열에 대해 상기 기술된 것과 유사한 반복을 통해, 도면에 도시된 점들 사이에 맵핑된다. 반복은 공 열에 대응되는, 점을 0에 설정함에 의해 시작된다. 제1 단계는 라인 세그먼트 (0 .. 1)를 고려하고, 첫번째 문자에 대응되는 점에 도달할 때까지, 점을 오른쪽으로 이동시킨다. 제2 단계에서, 우리는 방금 발견했던 점의 오른쪽으로 길이 1/27의 라인 세그먼트에 우리 자신을 한정하고, "A"에서 "Z"까지의 문자를 이렇게 감소된 라인 세그먼트 상으로 맵핑하며, 두 번째 문자에 대응되는 점에 도달할 때까지, 점을 오른쪽으로 이동시킨다. 그리고 나서, 우리는 점의 오른쪽까지 1/27의 인자에 의해 다시 한번 감소된 길이의 라인 세그먼트를 고려하고, "A"에서 "Z"까지의 문자를 이렇게 감소된 라인 세그먼트로 다시 한번 맵핑하며, 세 번째 문자에 대응되는 점에 도달할 때까지, 점을 오른쪽으로 이동시킨다. 우리는 열 내의 나머지 문자에 대해 반복적으로 계속한다.
예를 들어, 문자 "A"로 시작하는 열은 라인 세그먼트 [1/27 .. 2/27), 즉, "A"를 나타내는 점과 "B"를 나타내는 점(후자는 비포함) 사이의 라인 세그먼트 내로 맵핑된다. 도 2는, 200으로 라벨링되는 이러한 라인 세그먼트로 "A", "AA", "AB" 등과 같은 문자 "A"로 시작하는 최대 2까지의 길이의 기호열(201로 라벨링됨)의 맵핑을 나타낸다. 문자 "A"는 점 1/27 상으로 맵핑되고, 열 "AB"는 1/27 + 1/272 = 28/272 상으로 맵핑되어서, "AZ"는 1/27 + 26/272 = 53/272 상으로 맵핑되는 것을 알 수 있다. 각각의 두개의 문자열이 맵핑되는 값은 202로 라벨링된다. 마찬가지로, 문자 "B"로 시작하는 열은 라인 세그먼트 [2/27 .. 3/27) 내로 맵핑된다.
길이 N의 열이 소진될 때까지(N 단계 이후) 반복은 계속된다. 간단한 일차원의 경우에, 반복을 전개시키고, 문자열 "C1 C2 C3 ... Ck ... CN"이 고유하게 맵핑되는 점(p)에 대한 양함수 표시의 공식을 찾는 것은 어렵지 않다.
Figure pct00001
여기서, Ok는 Ck의 k 번째의 서수 값(ordinal value)인데, 즉, Ck="A"에 대해 Ok=1, Ck="B"에 대해 Ok=2, Ck="Z"에 대해 Ok=26이다. 이러한 공식은 숫자열 앞에 "0."을 삽입하는 간단한 절차의 아날로그이다.
이러한 맵핑의 반복적인 성질 때문에, 테스트열의 접두사는 라인 세그먼트 (0 .. 1) 내부에 엄격하게 포함된 라인 세그먼트로 맵핑되고, 결국, 더 작은 라인 세그먼트는 가능한 접미사를 포함하기 위해 더욱 서브분할된다. 좀 더 일반적으로, 이러한 타입의 반복 맵핑을 위해, 접두사는 초기 기하 영역의 서브-영역을 고유하게 결정하고, 이는 결국, 텍스트 열의 가능한 접미사를 포함하기 위해, 유사한 방식으로 원래의 영역을 서브분할한다.
이러한 반복 맵핑 절차는, 우리가 "팬-줌 입력"이라고 하는 방법인, 장치 내로 텍스트 또는 임의의 다른 정보를 입력하기 위한 실용적인 방법을 생성하는데 사용될 수 있다. 도 3은 팬-줌 입력을 구현하는 장치의 스크린을 나타낸다. 제로 높이의 라인 세그먼트를 묘사하기 보다는, 본 방법은 300으로 라벨링된 임의의, 그러나 편리한 직사각형 높이로서 라인 세그먼트를 나타낸다. 간격 (0 .. 1)을 나타내는 물리적 스크린상의 직사각형의 너비는 바람직하게 스크린의 전체 너비에 가깝게 적절히 선택된다. 이러한 직사각형은, 타이프라이터 키보드 상의 키와 유사한 우리가 "키(key)"라고 하는 더 작은 직사각형으로 서브분할된다. 문자 A를 나타내는 키는 301로 라벨링된다. 각각의 키는 문자로 표시되는데, 가령, 문자 K를 나타내는 키의 표시는 302로 라벨링된다. 각각의 키의 너비에 대한 높이의 비율은 중요하지 않지만, 순전히 미적인 이유로, 정사각형으로 선택될 수 있다. 마찬가지로, 우리는 종래의 가상 키보드와 유사하기 때문에, 직사각형을 "키보드"라고 할 수 있다.
각각의 키는 알파벳 문자들 중 하나를 나타내는 기호로 표시되고, 이러한 문자로 시작하는 모든 열을 나타낸다. 예를 들어, "A"로 표시된 키는 문자 "A"로 시작하는 모든 열을 나타내는 라인 세그먼트 [0.1 .. 0.2)에 걸친 직사각형을 차지한다. 이러한 규약은 도 1의 것보다 더욱 직관적이라는 것을 알 수 있는데, 각각의 문자는 길이 1의 열로 맵핑되는 점으로 표시되었다. 길이 1의 열 "A"는 이러한 라인 세그먼트의 시작점으로 맵핑된다.
이러한 직사각형이 종래의 가상 키보드라면, 원하는 열을 입력하는 것은 열 내의 연속적인 문자에 대응되는 키를 누름에 의해 반복적으로 진행될 것이다. 팬-줌 입력은, 현대 장치의 멀티-터치 능력을 사용하여, 완전히 상이하다. 사용자는, 원하는 열의 첫 번째 문자로 표시된 키가 직사각형의 기하 중심에 있을 때까지, 키보드를 팬(pan)하고, 이러한 키가 직사각형을 채울때까지, 줌(zoom)한다. 충분히 줌하면, 사용자는 원하는 키가 자체적으로 키보드를 포함하는 키로 서브분할되는 것을 인지하고, 완전히 줌되면, 이러한 새로운 키보드는 직사각형을 완전히 차지하고, 원래의 키보드와 본질적으로 동일하게 보인다. 그리고 나서, 사용자는 원하는 열의 두 번째 문자를 선택하는 등을 위해 팬 및 줌 동작을 수행한다.
팬-줌 입력은, 사용자가 팬 및 줌 동작을 장치로 전달할 수 있는 임의의 메카니즘을 사용하여 실행될 수 있다. 우리는, 팬 및 줌 동작이 제스쳐 인식 장치로서의 역할을 하는 멀티-터치 스크린 상의 손가락 제스쳐를 사용하여 실행되었던 팬-줌 입력의 실시예를 상기에 기술하였다. 대안적으로 또는 추가적으로, 적어도 하나의 카메라는 제스쳐 인식 시스템으로서의 역할을 하여서, 공간에서 손 제스쳐 또는 왼쪽/오른쪽 및 위/아래의 눈 움직임에 의해 표현된 팬 및/또는 줌 입력을 캡쳐할 수 있다. 옵션으로, 카메라는 삼차원 카메라이다. 대안적으로 또는 추가적으로, 마이크로폰은 제스쳐 인식 시스템으로서을 역할을 하여서, 볼륨과 주파수를 증가/감소하는 휘슬링이나 시그널링에 의해 표현된 팬 및/또는 줌 입력을 캡쳐할 수 있다.
키보드를 사용하는 종래의 텍스트 입력은 반복적인 임무인데, 사용자는 순차적 방식으로 문자 다음에 문자를 입력한다. 단어가 타이핑되면, 사용자는 공간 및/또는 구두점을 타이핑하고, 그리고 나서, 입력된 다음 단어를 계속한다. 초기 영역 내부의 점들로 맵핑되는 임의의 길이의 열을 이해하는 팬-줌 입력의 사용자는 입력된 전체 텍스트에 대응되는 점을 반복적으로 검색한다. 이러한 검색은 팬 및 줌 동작에 의해 달성되고, 팬은 열의 접두사를 변경하고, 줌 인은 더 긴 열을 관측하도록 하는 고배율을 위함이고, 줌아웃은 더 짧은 열을 관측하도록 하는 저배율을 위함이다. 원칙적으로, 전체적인 책은 볼 수 있는 전체 책의 텍스트에 대응되는 점에 대해 충분한 배율로 줌 인함에 의해 하나의 연속적인 동작으로 입력될 수 있다.
간단한 예시로서, 도 4는 일차원 영역 상의 팬-줌 입력을 사용하여 단어 'THE'의 입력을 나타낸다. 상기 주어진 식으로부터, 'THE'는 점
Figure pct00002
으로 맵핑되는 것을 알 수 있는데, 이는 400으로 라벨링된 원래의 선형 키보드 상에 T로 표시된 키([20/27 .. 21/27)에 걸침) 내부의 어딘가에 위치되고, 좀 더 구체적으로, 왼쪽으로부터 키의 너비의 사분의 일 내지 삼분의 일 사이의 어딘가에 위치된다. 그러나, 개방 레졸루션 때문에, 사용자는 초기에 오직 "T"만 보고, "TH"를 볼 수 있는 반복적 서브분할을 보지 못하며, "THE"를 볼 수 있는 2차 서브분할을 확실히 보지 못한다. 그러나, 연속적인 패닝 및 줌인은 이들 서브분할을 밝혀내어서, 사용자가 원하는 점을 찾을 수 있도록 한다. 문자 T로 시작하는 열에 대응되는 세그먼트는 도면에서 401로 라벨링되고, 원래의 키보드의 크기로 줌되어서 도시된다. 작은 디스플레이를 가진 장치에 대하여, 다음의 가능한 문자만을 가진 키들을 표시하는 반면, 더 큰 디스플레이상에서는, 일부분의 내역(가령, 본 예시에서, TA, TB, TC, ... ,TZ)으로 키들을 표시하도록 선택할 수 있는 것이 바람직하다. 두 개의 문자 TH로 시작하는 열에 대응되는 세그먼트는 도면에서 402로 라벨링되고, 원래의 키보드의 크기로 다시 줌된다. 최종적으로, 열 "THE"에 대응되는 점은 화살표로 표시된다.
공간과 구두점에 의해 분리된 복수의 단어로 구성된 임의의 텍스트를 입력하기 위해, 단순히 기술된 맵핑은 입력될 단어에 대해 개별적으로 수행될 수 있고, 별도의 메카니즘에 공간과 구두점 키들이 제공된다. 그러나, 인터-단어 공간과 구두점에 대응되는 맵핑에 영역을 추가하고, 전체의 원하는 텍스트가 입력될 때까지 동일한 프로세스를 지속하는 것이 좀 더 자연스럽다.
텍스트 입력의 어떤 단계에서, 사용자는, 오타가 발생하고, 입력된 테스트 열이 부정확하다는 것을 발견할 수 있다. 종래의 키보드는 이를 위해 별도의 "삭제" 또는 "백스페이스" 키를 포함한다. 텍스트의 팬-줌 입력으로, 텍스트 열 내의 마지막 문자가 오타라면, 사용자는 프로세스를 단순히 되돌리고, 문자가 텍스트 열에서 제거될 때까지 줌아웃하고, 정확한 문자에 팬한다. 오타가 이전 문자라면, 사용자는 여러번 줌아웃하여, 텍스트 열에서 문자 다음의 문자를 제거한다.
이전 단락의 워딩은, 사용자가 원하는 키가 중앙에 있을 때까지 (가령, 단일 손가락을 사용하여) 우선 팬해야 하고, 그리고 나서, 키의 반복적 서브분할이 인지될 때까지, (두 개의 손가락을 분리시킴에 의해) 줌하는 것을 의미하는 것으로 보일 수 있다. 그러한 스타일이 원하는 효과를 가지더라도, 그것은 서두르고 시간 낭비일 것이다. 좀 더 선호되는 스타일은 일반적으로 두 개의 손가락을 사용하여, 원하는 반복적 서브분할이 인지될 때까지 동시에 그리고 연속적으로 패닝과 줌인을 하는 것과 관련되다. 사용자가 익숙해지면, 터치-스크린에서 손가락을 들어올리지 않고, 여러 문자들이 입력될 수 있다.
사용자가 원하는 키를 찾고, 팬하고, 줌 인 하는데 각각의 단계에서 요하는 시간은 "확률적 키 크기"에 의해 최소로 될 수 있다. 확률적 키 크기는, 각각의 키의 크기가 원하는 키의 확률에 비례하여, 키보드의 불균일한 서브분할이 키 내로 표시된다. 도 5는 500으로 라벨링된, 선형 키보드 직사각형의 확률적 크기를 나타낸다. 이러한 간단한 예시에서, 각각의 키는 문맥과 관련없이, 영어 언어에서 상대적 빈도수에 비례한 너비를 가진다. 예를 들어, 문자 A로 시작하는 열에 대응되는 키는 501로 라벨링된다. 각각의 키는 대응되는 문자로 표시되고, 가장 넓은 키 상의 표시(문자 E로 시작하는 열에 대응됨)는 502로 라벨링된다. 디스플레이된 영역 내에 오직 10개의 가장 확률 높은 문자에 대응되는 키들이 문자로 표시된다. 표시되지 않은 빈도수 적은 문자가 요구되는 경우에, 줌인하면 추가적인 표시가 보일 수 있도록 한다.
도 5에서, 다양한 키의 너비가 이들의 확률에 따라 수정되었으나, 중앙 포지션은 변하지 않았다. 우리는 "확률적 키보드 와핑*probabilistic keyboard warping"을 사용함에 의해, 효율성과 사용의 용이성을 더욱 증가시킬 수 있다. 확률적 키보드 와핑은 낮은 확률의 문자의 인접 영역의 비선형적 압축을 추가로 수행함에 의해 확률적 키 크기를 증가시킨다. 도 6은 10개의 가장 확률 높은 키가 이들의 문자로 표시된 선형 키보드(600)를 나타낸다. 다른 문자는 601 내지 605로 라벨링된, 조화된 크기의 5개의 표시된 영역으로 병합된다. 이들 표시되지 않은 영역 내로의 줌인은 낮은 확률 문자를 밝혀낸다. 줌되지 않을 때, 높은 확률 문자는 더 크고 함께 더 가까이 나타나서, 이들의 입력을 용이하게 한다.
상기 예시에서, 키의 크기는 전체적으로 언어에서의 문자의 빈도수에 종속적이었다. 그러나, 나타나는 문자의 확률은 그 문자 이전의 문자에 실제로 의존적이다. 예를 들어, "U"는 그 자체로 빈도수가 상대적으로 적으나, "Q" 다음에는 거의 확실하다. 마찬가지로, "Z"는 아마도 일반적인 언어에서 가장 적은 빈도수를 가진 문자이지만, 열 "HERT" 다음에는 거의 확실하다. "H"가 "E" 단독으로 취할 때 거의 절반의 빈도수를 가지고 발생하는 반면, "TH"는 영어에서가장 빈도수가 많은 문자 바이그램(bigram)이고, "TE"보다 60% 더 많이 발생한다. 그러므로, 확률적 키 크기가 문맥-민감한 확률을 사용할 때, 더욱 효과적인데, 즉, 키 너비는 이전 문자가 있을 때, 다음 문자의 확률에 의존해야 한다.
문맥-민감한 확률은 다음 문자에 대한 확률을 예측하기 위해, 실험적 n-그램 또는 흔한 단어의 리스트와 같이 알려진 기술을 사용하여 얻어낼 수 있다. 문맥-민감한 확률은 단일 문자뿐만 아니라 더욱 확률이 높은 바이그램 또는 트라이그램을 예측하는 경우도 있을 수 있다. 이러한 경우에, 둘 이상의 문자는 단일 키로 맵핑될 수 있다. 문맥-민감한 확률 모델은 사용자에게 적응될 수 있어서, 시스템이 사용자의 작문 스타일과 익숙함을 얻어서 개선될 수 있다.
종래의 예측 타이핑 시스템은 전통적으로, 처음 몇몇 문자에 기초하여 전체 원하는 단어를 추론하는 것을 시도한다. 이러한 시스템은 가능한 단어 완성의 스크롤-다운 리스트를 제시하고, 타이핑하는 동안 사용자가 이 리스트를 모니터하도록 요구하며, 원하는 단어가 나타나기를 예상한다. 원하는 단어가 나타나면, 사용자는 키보드에서 벗어나, 리스트를 스크롤 다운하여, 원하는 단어를 선택하여야 한다. 이는 사용자가 두 개의 본질적으로 상이한 입력 모드 사이에서 멀티-임무를 하도록 한다. 이와 대비하여, 확률적 키 크기를 사용하는 텍스트의 팬-줌 입력은 n-그램 확률을 이음매 없이 통합하고, 사용자가 단일 선형 임무에 집중하도록 유지시킬 수 있다. 추가적으로, 문맥-민감한 확률적 크기는 아날로그 방식으로 다음의 원하는 문자(들)을 강조하는 예측 힌트를 제공하고, 가능한 단어 완성의 별개의 리스트와 대비되게, 텍스트 입력의 흐름을 유지하고 오타율을 줄인다.
이제까지 논의된 일차원 키보드 컨피규레이션은 장치 스크린의 이차원 영역을 최적으로 사용하지 않는다. 이러한 문제에 대한 하나의 해결책은 선형 키보드를 원형 링으로 구부리는 것이다. 도 7은 키가 링(700)으로 펼쳐진 키보드 컨피규레이션을 사용하여 텍스트의 팬-줌 입력의 실시예를 나타낸다. 문자 E에 대응되는 키는 701로 라벨링되고, 그 키에 표시(702)된다. 도 8은 오직 15개의 가장 확률 높은 키가 표시되어, 키의 확률적 크기를 가진 링 키보드(800)를 나타낸다. 문자 E에 대응되는 키(801)는 가장 넓은 키인데, 왜냐하면, 그 문자는 가장 확률이 높기 때문이다. 키가 다소 더 크게 되는 반면, 링 컨피규레이션의 스크린 영역 사용은 여전히 차선적이다. 좀 더 효율적으로 스크린 영역을 사용하기 위하여, 우리는 유한 영역의 이차원 영역 상으로 열을 반복적으로 맵핑하기 원한다.
이차원 영역에서 점 상으로 임의의 길이의 열의 맵핑을 명확하게 하기 위하여, 우리는 네 개의 알파벳 문자, A, B, C 및 D의 가상적인 경우를 우선 고려한다. 이러한 가상적인 경우에서, 입력될 텍스트는, "A", "AB", "DABCDABC" 또는 "ABDCDCBAABDCDBD"와 같은 이들 문자의 열로 구성된다. 도 9a에서, 우리는 직사각형(900) 내부의 고유한 점 상으로 하나의 길이의 열(즉, "A", "B", "C", and "C")의 맵핑을 본다. 도 9b에서, 우리는 각각의 문자로 시작하는 열에 대응되는 점을 포함하는 영역을 추가적으로 묘사한다. 그러므로, 문자 A로 시작하는 열은 좌측 상단 사분면(901) 내의 점으로 맵핑되고, 문자 B로 시작하는 열은 우측 상단 사분면(902) 내의 점으로 맵핑되고, 문자 C로 시작하는 열은 우측 하단 사분면(903) 내의 점으로 맵핑되고, 문자 D로 시작하는 열은 우측 하단 사분면(904) 내의 점으로 맵핑된다.
다음으로, 우리는 길이 2의 열(즉, 16개의 열 "AA", "AB", ... "DC", "DD")이 맵핑되는 고유한 점을 찾기 원한다. 이전과 같이, 맵핑은 반복적이고, 주어진 문자로 시작하는 열에 대응되는 각각의 영역은 네 개의 사분면으로 서브분할된다. 도 9c에서, 우리는 직사각형(900) 내부의 고유한 점으로 길이 2의 열의 맵핑을 본다. 도 9e는 최대 길이 2(즉, 하나 또는 둘의 길이)의 열의 직사각형(900) 상으로의 맵핑을 나타낸다. 점들은 적절한 사분면 내에 놓인 것을 분명히 볼 수 있다.
일차원 경우와 같이, 실용적은 실시예에서, 우리는 그 사분면이 시작하는 문자로 전체 사분면을 표시할 수 있고, 이러한 경우에, 길이 1의 열은 사분면의 기하 중앙의 점에 대응된다.
도 9d는 도 9c의 맵핑을 나타내고, 대응되는 2-문자 접두사로 시작하는 열에 대응되는 영역을 추가적으로 묘사한다. 우리는 동일한 방식으로 이러한 각각의 영역을 반복적으로 서브분할함에 의해 길이 3의 열에 대해 계속한다. 도 9f는 4개의 가상 알파벳 문자 A, B, C, D로부터 최대 3개(즉, 길이 1, 2, 또는 3)의 열의 직사각형(900) 상으로의 맵핑을 나타낸다. 유한한 영역의 직사각형 내부의 고유한 점으로의 각각의 맵핑을 어떻게 임의의 길이의 열에 대해 계속하는지 명백하다. 본 발명의 실시예는 임의의 원하는 열에 대응되는 고유한 점을 찾기 위한 메카니즘을 실행한다.
맵핑의 반복적인 성질 때문에, 텍스트 열의 접두사는 초기 직사각형 내부에 엄격하게 포함된 직사각형으로 맵핑되고, 결국, 이 직사각형은 가능한 접미사 내로 추가로 서브분할된다.
좀 더 실제적인 알파벳에 대해, 우리는 어떤 템플릿 형상을 사용하여 이차원 영역 상으로 열을 반복적으로 맵핑한다. 바로 떠오르는 하나의 템플릿은 도 10a에 1000으로 라벨링된 종래의 QWERTY 키보드의 템플릿이다. 이러한 컨피규레이션은 잘 알려졌다는 이점을 가져서, 텍스트 입력의 검색 어구 동안에 현재의 타이핑치는 사람을 보조할 수 있다. 팬-줌 입력을 위한 이러한 템플릿을 사용하기 위하여, QWERTY 키보드와 결합된 불규칙한 이차원 영역 상으로 임의의 길이의 기호열을 맵핑할 필요가 있다. 그 이후의 처방은, 1) 적절한 키의 영역 상으로 주어진 문자로 시작하는 열을 맵핑하고, 2) 유사하고 불규칙한 키보드 템플릿 내로 그 영역을 서브분할하며, 3) 반복적으로 지속한다. 그러나, QWERTY 키보드 형상은 우리의 목적을 위한 템플릿으로서 요구되는 것이 훨씬 많이 있다. 낭비되는 영역이 훨씬 많이 있고, 경계 영역은 종래의 키의 직사각형과 달라서, 반복을 어색하게 한다.
도 10b는 이차원 초기 기하 영역을 사용하여 텍스트의 팬-줌 입력의 또 다른 실시예를 나타내는데, 이번에는 정사각형 영역(1010)을 사용한다. 이러한 실시예는 QWERTY 키보드 템플릿의 상기 언급된 결합을 바로잡고, 낭비되는 영역이 없다. 전반적인 키보드의 형상과 개개의 키의 형상을 매칭시킴에 의해 반복도 간단하게 한다. 그러나, 정사각형 기하 영역은, 25개(알파벳 문자에 있어서 너무 적음), 36개(알파벳 문자에 있어서 충분하나 구두점이 허용되지 않음) 또는 49개(이미 다소 다루기 어려움)와 같이, 키보드당 키의 수가 완전히 정사각형이어야 한다는 점에서 유연성이 결여된다.
이차원 영역을 사용하여 텍스트의 팬-줌 입력의 좀 더 바람직한 실시예는 도 11에서 1100으로 표시된 직사각형 영역을 포함한다. 정사각형과 마찬가지로, 이러한 영역은 낭비되는 영역이 없으나, 키의 수의 선택에 있어 더욱 유연함을 나타낸다. 도면은 전체 30개의 문자에 대해 3행이고 10개의 키를 나타내지만, 이는 3행이고 11개의 키(33개의 문자) 또는 12개의 키(36개의 문자), 또는 4행이고 8개의 키(32개의 문자) 또는 9개의 키(36개의 문자)등으로 용이하게 수정될 수 있다.
실시예에서, 개개의 키와 초기 기하 영역은 모두 직사각형이지만, 우리는 이들을 동일한 높이 대 너비 비율을 가지도록 제한할 필요는 없다(정사각형 영역에 대한 경우도). 예를 들어, 개개의 키는 정사각형인 반면, 키보드 영역은 높이보다 더 넓을 수 있다. 비율이 상이할 때, 반복 맵핑은 아핀 변환(affine transformation)을 사용하여 x 축과 y 축을 별개로 스케일링한다. 실시예는 줌 인자에 따라 이러한 아핀 변환을 부드럽게 적응시킨다.
도 12 내지 15는 단어 "EVEN"을 입력하기 위한 직사각형의 이차원 영역의 사용을 나타낸다. 도 12는 첫 번째 문자 "E"의 입력 동안에 시간에 따른 여러 스냅-샷을 나타낸다. 사용자는 중앙에 문자 "E"를 위치시키기 위해, 도 12a의 전체 키보드 영역으로 시작하고 팬하고, 그 문자를 도 12b와 12c에서 볼 수 있는 바와 같이, 줌인한다. 키의 높이에 대한 너비 비율이 정사각형 키 형상에서 기본 기하 영역의 직사각형으로 변형된다는 점에 주목한다(상기 언급된 아핀 변환의 적용). 충분히 줌되면, 도 12d에서와 같이, 시스템은 입력되는 바와 같이, 문자 "E"를 등록한다. 약간 더 높은 줌 인자에서, 도 12에서 보는 바와 같이, 키의 반복적인 서브분할이 보이기 시작하는 반면, 문자 "E"의 표시는 희미해지기 시작한다. 이러한 경향은, 도 12f 및 12g에서 볼 수 있는 바와 같이, "E"가 최종적으로 없어질때까지 지속되고, 서브분할은 초기 기하 영역과 일치한다.
도 13에서, 우리는 두 번째 문자 "V"의 입력을 본다. 사용자는 도 13a에 도시된 바와 같이, 이전 단계 이후에 남은 전체 키보드 기하 영역으로 시작한다. 이러한 키보드 영역은 초기 기하 영역(도 12a)과 일치하나, 이미 입력된 "E"는 입력된 텍스트의 디스플레이에 저장된 위치에서 나타난다. 중앙에 문자 "V"를 위치시키기 위해 사용자는 팬하는 동안, 도 13b에서 볼 수 있는 바와 같이, 그 문자에 대해 줌인한다. 도 13c에서와 같이 충분히 줌되면, 시스템은 입력되는 문자 "V"를 등록하여서, 텍스트 열이 이제 "EV"로 디스플레이된다. 도 13d에서와 같이 약간 더 높은 줌 인자에서, 키의 반복적인 서브분할은 보이기 시작하면서, 문자 "V"의 표시는 희미해지기 시작한다. 이러한 경향은 도 13fe에서 볼 수 있는 바와 같이, "V"가 최종적으로 없어질때 까지 지속되고, 반복적인 서브분할은 다시 한번 초기 기하 영역과 일치한다.
도 14에서, 우리는 단어 "EVEM"의 두 번째 "E"의 입력을 본다. 사용자는 도 14a에 도시된, 이전 단계 이후에, 전체 키보드 기하 영역에서 시작한다. 이미 입력된 열 "EV"는 텍스트 디스플레이에서 나타난다는 것에 유의한다. 사용자는 중앙에 문자 "E"를 놓기 위해 팬하고, 도 14b에 도시된 바와 같이, 그 문자에 줌인한다. 충분히 줌되면, 도 14c에서와 같이, 시스템은 입력되는 바와 같이, 문자 "E"를 등록하여서, 텍스트 열은 이제 "EVE"이다. 약간 더 높은 줌 인자에서, 도 14d와 같이, 키의 반복적인 서브분할이 보이기 시작하는 반면, 문자 "E"의 표시는 희미해지기 시작한다. 이러한 경향은, 도 14e에서 볼 수 있는 바와 같이, "E"가 최종적으로 없어질때 까지 지속되고, 서브분할은 초기 기하 영역과 다시 한번 일치한다.
도 15에서, 우리는 단어 "EVEN"의 입력의 최종 단계를 본다. 사용자는 도 15a에 도시된, 이전 단계 이후에, 전체 키보드 기하 영역에서 시작하고, 중앙에 문자 "N"을 놓기 위해 팬하고, 도 15b에 도시된 바와 같이, 그 문자에 줌인한다. 충분히 줌되면, 도 15c에서와 같이, 시스템은 입력되는 바와 같이, 문자 "N"을 등록하여서, 텍스트 열은 이제 "EVEN"이다. 약간 더 높은 줌 인자에서, 도 15d와 같이, 키의 반복적인 서브분할이 보이기 시작하는 반면, 문자 "N"의 표시는 희미해지기 시작한다. 이러한 경향은, 도 15e에서 볼 수 있는 바와 같이, "N"이 최종적으로 없어질때 까지 지속되고, 서브분할은 임의의 이후 텍스트의 입력을 위한 초기 기하 영역이 된다.
이러한 절차의 임의의 단계에서, 부정확한 문자가 입력되었다는 것이 발견되면, 사용자는 부정확한 문자가 열에서 제거될 때까지 줌아웃만하면 되고, 텍스트 입력을 지속한다.
도 11에 도시된 실시예의 특징은 키보드의 우측 하단에 1101로 라벨링된 그늘진 영역이다. 키보드의 우측 하단의 영역은 단일 문자를 나타내지 않고, 사용자가 입력하기 원하는 복수의 문자의 그룹을 나타낸다. 종래의 가상 키보드는 사용자가 원하는 모든 문자들을 여러 페이지가 포함하도록 요구한다. 전형적으로, 적어도 일차적인 순수한 알파벳 페이지(소문자와 대문자간의 토글시키기 위한 "시프트"키를 가짐) 및 숫자와 구두점을 가진 이차적 페이지가 있으며, 덜 빈번하게 사용되는 문자를 포함하는 빈번하게 추가적인 페이지가 있다. 다른 언어를 위해 필요한 문자는 더 많은 페이지를 요한다. 이들 페이지의 앞뒤로 넘기는 것은 시간 낭비이고, 텍스트 전체의 흐름을 깬다. 텍스트의 팬-줌 입력의 실시예는 우측 하단의 구별가능한 영역으로 패닝하고, 줌인하도록 한다. 사용자는 그 안에서, 예상치 못한 경우의 알파벳 문자(즉, 대문자일거 같을 때 소문자 또는 소문자일거 같을 때 대문자), 숫자 및 구두 표시를 발견한다. 그 영역의 우측 하단에 추가적인 줌은 특수 기호 및 수학 기호 및 다른 언어의 입력을 위해 필요한 문자를 밝힌다. 이러한 영역으로부터의 문자가 선택되면, 시스템은 이후의 문자에 대한 줌인 영역에서 유지될 수 있다. 사용자는 미리 정의된 제스쳐, 가령, 기하 영역의 왼쪽으로 영역을 두 번 두드림에 의해 원래의 기하 영역으로 되돌아갈 수 있다.
이제까지 논의된 사용자 제스쳐가 텍스트 입력에 있어서 충분하지만, 실시예는 다양한 짧은 제스쳐를 포함할 수 있다. 예를 들어, 팬닝 및 줌 대신에, 중앙에서 멀리 있는 키를 불연속적으로 두드리는 것은 그 문자를 패닝하는 것과 인자 2에 의해 줌하는 것과 등가일 수 있다. 마찬가지로, 이전에 입력된 텍스트 내부의 삭제, 교정 또는 삽입을 간단하게 하는 제스쳐가 실행될 수 있다.
도 16은 확률적 키 크기가 팬-줌 입력의 직사각형 실시예에서 어떻게 실행될 수 있는지를 나타낸다. 초기 직사각형 기하 영역(1600)에서, 각각의 키는 원하는 키의 확률에 비례한 영역을 가진다(즉, 각각의 키의 변은 그 확률의 루트에 비례함). 이러한 예시에서, 나타난 확률은 문맥과 관련없이, 영어 언어에서의 상대적 빈도수에 비례한다. 그러므로, 키(1601)는 문자 "A"를 나타내고, 키(1602)는 문자 "E"(가장 높은 확률의 문자 키), 키(1603)는 공간 문자를 나타내고(가장 큰 키), 우측 하단 키(1604)는 적은 확률의 문자의 집합을 포함한다. 도 17은 동일한 키보드(1600)를 나타내는데, 이는 가장 확률 높은 문자에 대응되는 키만 나타내고, 키의 정사각형이나 문자가 적은 확률의 문자에서 나타나지 않는다. 이러한 문자로만 구성된 하나의 영역은 1705로 라벨링된다. 덜 빈번한 문자를 원하는 경우에, 줌은 추가적인 표시를 볼 수 있게 한다. 우측 하단 키 정사각형은 숫자, 공간 기호 및 다른 언어로부터의 문자와 같은 심지어 더 낮은 확률 문자를 여전히 감춘다.
일차원 경우에 대해 이전에 논의한 바와 같이, 확률적 키 크기가 문맥-민감한 확률, 즉, 주어진 이전 문자의 다음 문자의 확률을 사용할 때, 더욱 효율적이다. 문맥-민감한 확률은 매우 확률이 높은 바이그램이나 트리그램을 예상하는 경우가 있다. 이러한 경우, 둘 이상의 문자는 단일 키로 맵핑될 수 있다. 문맥-민감한 확률 모델은 사용자에게도 적응되어서, 시스템이 사용자의 작문 스타일과 익숙함을 얻음으로서 향상된다. 문맥-의존 확률을 사용할 때, 반복적 서브분할의 각 단계는 일반적으로 이전 것과 구별가능할 것이다. 특히, 우측 하단 영역으로부터 문자를 선택하면, 다음 문자는 그 영역에서 얻거나 아닐 수 있다.
문맥-의존 확률적 키 크기를 사용하는 일부 실시예에서, 왼쪽 두 번 두드림 제스쳐는 이전 확률 분포를 회복, 즉, 키 내로의 직사각형의 초기 분할로 복귀할 수 있다. 이는, 우측 하단 영역에서 문자를 선택하고, 일반 문자로 복귀하기 원할 때, 유용할 수 있고, 이는 가령, 갑자기 작문 스타일이 변할 때와 같이, 문자 예측이 실패할 것으로 예상될 때마다 사용될 수 있다.
도 18은 직사각형 기하 영역에 대한 확률적 키보드 와핑을 가진 실시예를 나타낸다. 이러한 예시에서, 키보드(1800)는 각각의 키를 가지는데, 정사각형의 너비는 문맥과 관련없이 영어 언어의 상대적 빈도수에 비례하고, 가장 확률 높은 키만 나타난다. 가령, 1805로 라벨링된 영역과 같은 인접한 낮은 확률 키의 영역은 비선형적으로 병합되고, 개개의 문자는 줌해야만 볼 수 있다. 더 높은 확률의 키, 가령, 1802와 1803으로 표시된 것은 이전 도면에서보다 비례적으로 더 크다.
기하 영역으로의 기호열의 맵핑은 삼차원 영역에 동일하게 적용될 수 있다. 실시예에서, 삼차원 프리즘 상으로 열을 맵핑할 수 있고, 홀로그래픽 디스플레이이를 사용할 수 있다. 사용자는 원하는 텍스트에 대응되는 점을 찾기 위해, 팬, 옵션으로 회전 및 줌인을 하기 위해 공간 제스쳐를 사용할 수 있다. 이러한 경우, 사용자 경험은 공간에 떠 있는 원하는 텍스트 열을 찾고 그 열을 잡는 것과 유사할 것이다.
이전 설명에서, 우리는 영어 언어 텍스트의 입력을 나타내었다. 본 발명의 실시예가 알파벳 작문 시스템으로 임의의 언어의 입력에 대해 수정없이 사용될 수 있다는 것이 명백하다. 좀 더 일반적으로, 본 발명의 실시예는 유한한 수의 문자를 가진 열의 형태로 인코딩될 수 이쓴 임의의 정보의 입력에 사용될 수 있다. 그러므로, 음표와 코드로 구성된 음악 표시, 기호와 변수로서 라틴 문자나 그리스 문자로 구성된 수학식, 전자 부품과 연결 정보로 구성된 전자 설계, 좌표와 식별자로 구성된 지역 정보 및 그 밖의 다른 타입의 정보가 본 발명의 실시예를 사용하여 입력될 수 있다.
그러므로, 장치 내로 기호열을 입력하기 위한 휴먼 머신 인터페이스가 제공되는데, 상기 휴먼 머신 인터페이스는, 시각 디스플레이와, 사용자에 의해 이루어진 팬 및/또는 줌 제스쳐를 인식하도록 구성된 제스쳐 인식 시스템과, 제어기를 포함하되, 상기 제어기는, 가능한 기호열에 대응되는 점을 포함하는 시각 디스플레이 상의 초기 영역을 나타내고, 사용자에 의해 이루어진 팬 및/또는 줌 제스쳐의 제스처 인식 시스템으로부터 표시를 수신하며, 상기 표시에 응답하여, 공통의 접두사를 공유하는 기호열에 대응되는 점을 포함하는 초기 영역의 서브-영역을 시각 디스플레이상에 디스플레이하고, 팬 제스쳐의 표시에 응답하여, 상기 공통의 접두사를 수정하며, 줌인 제스쳐의 표시에 응답하여, 적어도 하나의 기호를 상기 공통의 접두사에 첨부하고, 줌아웃 제스쳐의 표시에 응답하여, 상기 공통의 접두사에서 적어도 하나의 기호를 삭제하며, 상기 공통의 접두사를 포함하는 기호열을 출력하도록 구성된다.
옵션으로, 상기 팬 및/또는 줌 제스쳐는 사용자가 원하는 횟수만큼 반복적으로 반복될 수 있어서, 임의의 길이의 기호열을 입력할 수 있다.
옵션으로, 기호열은 텍스트 열이다.
옵션으로, 상기 시각 디스플레이는 이차원 디스플레이 스크린이고, 상기 초기 영역 및 상기 서브-영역은 일차원이거나 이차원이다.
옵션으로, 상기 시각 디스플레이는 삼차원 홀로그래픽 디스플레이이고, 상기 초기 영역 및 상기 서브-영역은 삼차원이다.
옵션으로, 상기 서브-영역은 상기 공통의 접두사의 종료 기호 또는 종료 기호들로 상기 시각 디스플레이에 표시된다.
옵션으로, 상기 서브-영역의 크기는 상기 종료 기호 또는 종료 기호들의 확률에 비례한다.
본 개시물의 실시예에서, 상기 제스쳐 인식 시스템은 멀티-터치 디스플레이 스크린을 포함한다. 옵션으로, 상기 팬 및/또는 줌 제스쳐는 적어도 하나의 손가락에 의해 수행되는 촉각 제스쳐를 포함한다. 옵션으로, 상기 팬 및/또는 줌 제스쳐는 두 개의 손가락을 사용하여 동시에 수행된다.
본 개시물의 실시예에서, 상기 제스쳐 인식 시스템은 적어도 하나의 카메라를 포함한다. 옵션으로, 상기 팬 및/또는 줌 제스쳐는 핸드 제스쳐를 포함한다.
본 개시물의 실시예에서, 상기 제스쳐 인식 시스템은 적어도 하나의 카메라를 포함한다. 옵션으로, 상기 팬 및/또는 줌 제스쳐는 공간에서 핸드 제스쳐를 포함한다. 옵션으로, 상기 팬 및/또는 줌 제스쳐는 왼쪽/오른쪽 및 위/아래 눈 움직임을 포함한다.
원하는 기호열을 장치에 입력하기 위한 방법이 제공되는데, 상기 방법은, 가능한 기호열에 대응되는 점을 포함하는 초기 영역을 디스플레이하는 단계와, 상기 원하는 기호열에 대응되는 점을 찾을 때까지 반복적으로 패닝 및 줌을 하는 단계를 포함한다.
옵션으로, 줌인은 적어도 하나의 기호를 기호열의 말단에 첨부하는 것에 해당하고, 줌아웃은 열의 말단에서 적어도 하나의 기호를 삭제하는 것에 해당한다.
옵션으로, 상기 패닝 및 줌의 반복은 임의의 길이의 기호열을 입력하도록 한다.
본 출원의 상세한 설명과 청구항에서, "포함하다", "포함되다" 및 "가지다"와 같은 각각의 동사 및 이의 활용예는 동사의 목적어 또는 목적어들이 구성, 요소 또는 동사의 주어 또는 주어들의 일부의 리스트를 완성할 필요가 없다는 것을 나타내는데 사용된다.
본 출원 내의 본 발명의 실시예의 상세한 설명에는 예시로 제공되고, 본 발명의 범위를 제한하려는 의도는 아니다. 기술된 실시예는 다양한 특징을 포함하고, 이들 모든 특징이 본 발명의 모든 실시예에 요구되는 것은 아니다. 일부 실시예는 특징의 일부만 또는 특징의 가능한 조합을 사용한다. 기술된 본 발명의 실시예의 변형예 및 기술된 실시예에서 주목되는 특징의 다양한 조합을 포함하는 본 발명의 실시예는 기술 분야의 당업자가 알 것이다. 본 발명의 범위는 청구항에 의해서만 제한된다.

Claims (16)

  1. 장치 내로 기호열을 입력하기 위한 휴먼 머신 인터페이스에 있어서, 상기 휴먼 머신 인터페이스는,
    시각 디스플레이와,
    사용자에 의해 이루어진 팬 및/또는 줌 제스쳐를 인식하도록 구성된 제스쳐 인식 시스템과,
    제어기를 포함하되, 상기 제어기는,
    a) 가능한 기호열에 대응되는 점을 포함하는 시각 디스플레이 상의 초기 영역을 나타내고,
    b) 사용자에 의해 이루어진 팬 및/또는 줌 제스쳐의 제스처 인식 시스템으로부터 표시를 수신하며,
    c) 상기 표시에 응답하여, 공통의 접두사를 공유하는 기호열에 대응되는 점을 포함하는 초기 영역의 서브-영역을 시각 디스플레이상에 디스플레이하고,
    d) 팬 제스쳐의 표시에 응답하여, 상기 공통의 접두사를 수정하며,
    e) 줌인 제스쳐의 표시에 응답하여, 적어도 하나의 기호를 상기 공통의 접두사에 첨부하고,
    f) 줌아웃 제스쳐의 표시에 응답하여, 상기 공통의 접두사에서 적어도 하나의 기호를 삭제하며,
    g) 상기 공통의 접두사를 포함하는 기호열을 출력하도록 구성되는, 휴먼 머신 인터페이스.
  2. 제 1 항에 있어서, 상기 팬 및/또는 줌 제스쳐는 사용자가 원하는 횟수만큼 반복적으로 반복될 수 있어서, 임의의 길이의 기호열을 입력하는, 휴먼 머신 인터페이스.
  3. 제 1 항에 있어서, 상기 기호열은 테스트 열인, 휴먼 머신 인터페이스.
  4. 제 1 항에 있어서, 상기 시각 디스플레이는 이차원 디스플레이 스크린이고, 상기 초기 영역 및 상기 서브-영역은 일차원이거나 이차원인, 휴먼 머신 인터페이스.
  5. 제 1 항에 있어서, 상기 시각 디스플레이는 삼차원 홀로그래픽 디스플레이이고, 상기 초기 영역 및 상기 서브-영역은 삼차원인, 휴먼 머신 인터페이스.
  6. 제 1 항에 있어서, 상기 서브-영역은 상기 공통의 접두사의 종료 기호 또는 종료 기호들로 상기 시각 디스플레이에 표시되는, 휴먼 머신 인터페이스.
  7. 제 6 항에 있어서, 상기 서브-영역의 크기는 상기 종료 기호 또는 종료 기호들의 확률에 비례하는, 휴먼 머신 인터페이스.
  8. 제 4 항에 있어서, 상기 제스쳐 인식 시스템은 멀티-터치 디스플레이 스크린을 포함하는, 휴먼 머신 인터페이스.
  9. 제 8 항에 있어서, 상기 팬 및/또는 줌 제스쳐는 적어도 하나의 손가락에 의해 수행되는 촉각 제스쳐를 포함하는, 휴먼 머신 인터페이스.
  10. 제 9 항에 있어서, 상기 팬 및/또는 줌 제스쳐는 두 개의 손가락을 사용하여 동시에 수행되는, 휴먼 머신 인터페이스.
  11. 제 1 항에 있어서, 상기 제스쳐 인식 시스템은 적어도 하나의 카메라를 포함하는, 휴먼 머신 인터페이스.
  12. 제 11 항에 있어서, 상기 팬 및/또는 줌 제스쳐는 공간에서 핸드 제스쳐를 포함하는, 휴먼 머신 인터페이스.
  13. 제 11 항에 있어서, 상기 팬 및/또는 줌 제스쳐는 왼쪽/오른쪽 및 위/아래 눈 움직임을 포함하는, 휴먼 머신 인터페이스.
  14. 원하는 기호열을 장치에 입력하기 위한 방법에 있어서, 상기 방법은,
    a) 가능한 기호열에 대응되는 점을 포함하는 초기 영역을 디스플레이하는 단계와,
    b) 상기 원하는 기호열에 대응되는 점을 찾을 때까지 반복적으로 패닝 및 줌을 하는 단계를 포함하는, 원하는 기호열을 장치에 입력하기 위한 방법.
  15. 제 12 항에 있어서, 줌인은 적어도 하나의 기호를 기호열의 말단에 첨부하는 것이고, 줌아웃은 열의 말단에서 적어도 하나의 기호를 삭제하는 것인, 원하는 기호열을 장치에 입력하기 위한 방법.
  16. 제 12 항에 있어서, 상기 패닝 및 줌의 반복은 임의의 길이의 기호열을 입력하도록 하는, 원하는 기호열을 장치에 입력하기 위한 방법.
KR1020187000494A 2015-06-10 2016-06-10 텍스트의 팬-줌 입력 KR20180017090A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/735,777 2015-06-10
US14/735,777 US11054981B2 (en) 2015-06-10 2015-06-10 Pan-zoom entry of text
PCT/IB2016/053429 WO2016199081A1 (en) 2015-06-10 2016-06-10 Pan-zoom entry of text

Publications (1)

Publication Number Publication Date
KR20180017090A true KR20180017090A (ko) 2018-02-20

Family

ID=57503165

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187000494A KR20180017090A (ko) 2015-06-10 2016-06-10 텍스트의 팬-줌 입력

Country Status (4)

Country Link
US (1) US11054981B2 (ko)
EP (1) EP3308248B1 (ko)
KR (1) KR20180017090A (ko)
WO (1) WO2016199081A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10671181B2 (en) * 2017-04-03 2020-06-02 Microsoft Technology Licensing, Llc Text entry interface
US11073904B2 (en) * 2017-07-26 2021-07-27 Microsoft Technology Licensing, Llc Intelligent user interface element selection using eye-gaze
WO2020125937A1 (de) 2018-12-17 2020-06-25 Symrise Ag Dispenser zur abgabe eines wirkstoffes

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030034990A1 (en) * 2001-08-17 2003-02-20 Roelofs Gregory Robert Nonlinear display method for data of infinite extent
US20030182279A1 (en) * 2002-03-19 2003-09-25 Willows Kevin John Progressive prefix input method for data entry
US20070130547A1 (en) 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8904312B2 (en) 2006-11-09 2014-12-02 Navisense Method and device for touchless signing and recognition
CN101667091A (zh) * 2008-05-15 2010-03-10 杭州惠道科技有限公司 实时预测用户输入的人机界面
KR20110066950A (ko) * 2008-09-24 2011-06-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 다지점 터치 감응 디바이스를 위한 사용자 인터페이스
KR101586627B1 (ko) * 2008-10-06 2016-01-19 삼성전자주식회사 멀티 터치를 이용한 리스트 관리 방법 및 장치
US8605039B2 (en) * 2009-03-06 2013-12-10 Zimpl Ab Text input
CN202142005U (zh) 2009-07-22 2012-02-08 罗技欧洲公司 用于远程、虚拟屏幕输入的系统
US9146674B2 (en) 2010-11-23 2015-09-29 Sectra Ab GUI controls with movable touch-control objects for alternate interactions
US9239674B2 (en) * 2010-12-17 2016-01-19 Nokia Technologies Oy Method and apparatus for providing different user interface effects for different implementation characteristics of a touch event
KR101759252B1 (ko) * 2011-01-21 2017-07-19 삼성전자주식회사 액티브 셔터를 이용한 3차원 홀로그래피 영상 표시 장치
US8847919B2 (en) * 2011-02-02 2014-09-30 Apple Inc. Interactive holographic display device
US20130067398A1 (en) * 2011-09-09 2013-03-14 Theresa B. Pittappilly Semantic Zoom
US9791932B2 (en) 2012-02-27 2017-10-17 Microsoft Technology Licensing, Llc Semaphore gesture for human-machine interface
US20140078063A1 (en) 2012-09-18 2014-03-20 Microsoft Corporation Gesture-initiated keyboard functions
US9448719B2 (en) * 2012-12-14 2016-09-20 Barnes & Noble College Booksellers, Llc Touch sensitive device with pinch-based expand/collapse function
US10372292B2 (en) 2013-03-13 2019-08-06 Microsoft Technology Licensing, Llc Semantic zoom-based navigation of displayed content
US9235338B1 (en) * 2013-03-15 2016-01-12 Amazon Technologies, Inc. Pan and zoom gesture detection in a multiple touch display
US20150177947A1 (en) * 2013-12-20 2015-06-25 Motorola Mobility Llc Enhanced User Interface Systems and Methods for Electronic Devices

Also Published As

Publication number Publication date
US11054981B2 (en) 2021-07-06
EP3308248A4 (en) 2018-04-18
WO2016199081A1 (en) 2016-12-15
US20160364132A1 (en) 2016-12-15
EP3308248A1 (en) 2018-04-18
EP3308248B1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
JP5468665B2 (ja) 多言語環境を有するデバイスのための入力方法
EP2653955B1 (en) Method and device having touchscreen keyboard with visual cues
US20120326988A1 (en) Multilingual key input apparatus and method thereof
US11379650B2 (en) Systems and methods for gesture-based formatting
WO2014147722A1 (ja) 電子機器、方法及びプログラム
JP2006293797A (ja) 情報端末装置、情報入力方法、情報入力プログラム、及び記録媒体
JP6681518B2 (ja) 文字入力装置
US9069391B2 (en) Method and medium for inputting Korean characters using a touch screen
JP6092462B2 (ja) 電子機器、方法及びプログラム
JP2004342101A (ja) データ処理装置及び方法
JP5567097B2 (ja) 電子機器、手書き文書表示方法、及び表示プログラム
JP2006350409A (ja) 文字入力装置
KR20180017090A (ko) 텍스트의 팬-줌 입력
WO2013031516A1 (ja) 文字入力装置及び携帯端末装置
US20100001958A1 (en) Device and method of inputting characters
KR20120063407A (ko) 터치스크린을 이용한 빠른 문자입력방법 및 문자입력장치
JP6057441B2 (ja) 携帯装置およびその入力方法
JP6342194B2 (ja) 電子機器、方法及びプログラム
US9274609B2 (en) Inputting radical on touch screen device
CN104156170A (zh) 基于触摸屏固定路径韵母的汉语拼音输入方法及其系统
US20220261092A1 (en) Method and device for inputting text on a keyboard
JP5965212B2 (ja) 携帯情報装置、文字入力方法、文字入力プログラム、および、プログラム記録媒体
WO2012116497A1 (en) Inputting chinese characters in pinyin mode
KR20230020711A (ko) 음성인식성능 향상을 위한 영어 문자 입력 장치 및 이를 이용한 방법
JP2014238690A (ja) 操作支援プログラム及び操作支援方法並びに情報処理装置