KR20120013410A - 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드 - Google Patents

핸드헬드 디바이스를 위한 적응형 버츄얼 키보드 Download PDF

Info

Publication number
KR20120013410A
KR20120013410A KR1020117028293A KR20117028293A KR20120013410A KR 20120013410 A KR20120013410 A KR 20120013410A KR 1020117028293 A KR1020117028293 A KR 1020117028293A KR 20117028293 A KR20117028293 A KR 20117028293A KR 20120013410 A KR20120013410 A KR 20120013410A
Authority
KR
South Korea
Prior art keywords
keys
user
key
additional
character
Prior art date
Application number
KR1020117028293A
Other languages
English (en)
Other versions
KR101364837B1 (ko
Inventor
브랜 페렌
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20120013410A publication Critical patent/KR20120013410A/ko
Application granted granted Critical
Publication of KR101364837B1 publication Critical patent/KR101364837B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/009—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras having zoom function
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/40—User authentication by quorum, i.e. whereby two or more security principals are required
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10792—Special measures in relation to the object to be scanned
    • G06K7/10801—Multidistance reading
    • G06K7/10811—Focalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4012—Verifying personal identification numbers [PIN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2207/00—Other aspects
    • G06K2207/1011—Aiming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Electromagnetism (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Abstract

다양한 실시예들에서, 버츄얼 키보드 상의 키들의 크기, 모양, 및 배치는 사용자에 의해 생성되는 터치스크린 컨택트들에 기초하여 결정될 수 있다. 또한, 사용자에 의해 생성되는 실제 컨택트 패치는 어떤 컨택트 포인트가 의도되었는지를 해석하기 위해 분석될 수 있으며, 스펠링 및 컨텍스트와 같은 다른 팩터들이 또한 고려될 수 있다. 이러한 팩터들은 캘리브레이션 세션 및/또는 키보드의 동작 중에 계속되는 입력들에 기초하여 결정될 수 있으며, 터치스크린 컨택트들의 미래의 동작의 해석들에 적용될 수 있다.

Description

핸드헬드 디바이스를 위한 적응형 버츄얼 키보드{ADAPTIVE VIRTUAL KEYBOARD FOR HANDHELD DEVICE}
다목적 무선 디바이스들이 표준의 기계/전자 키보드에 비해 너무 작아짐에 따라, 터치스크린 상에 키들의 배열을 표시하는 버츄얼 키보드들이 점점 더 주된 입력 장치로서 사용되고 있다. 사용자들은 단순히 원하는 키가 표시된 위치에서 손가락 끝으로 스크린을 터치함으로써 키 스트로크(keystroke)를 입력할 수 있다. 이들 디바이스들의 작은 크기 및 핸드헬드 속성으로 인해, 많은 사용자들은 통상 그들의 엄지손가락만을 이용하여 데이터를 입력한다. 그러나, 이들 버츄얼 키보드들의 대다수는 키들을 직사각 행렬 형태, 또는 표준 쿼티(QWERTY) 포맷으로 배열한다. 이러한 배열들에서 행들의 선형적인 속성으로 인해 그들은 엄지 손가락들에 의해 사용하기에는 부적절하다. 구체적으로, 엄지손가락을 키들의 행의 길이방향을 따라 움직이거나 또는 키들의 열의 높이방향을 따라 움직이기 위해, 사용자는 그의 엄지손가락의 몇몇 관절들을 상대적으로 자연스럽지 않은 방식으로 움직여야 한다. 실제로, 그러한 배열들에 익숙해지는 것은 사용자로부터 아주 많은 자기 수용적인(proprioceptive) 개발을 필요로 한다. 다목적 무선 디바이스들 상의 일부 물리적 키보드들의 디자인은 (키들의 직사각 행렬에 비해) 향상된 인체공학을 제공하지만, 특정 개인에게 맞춰질 수 있는 이러한 인체공학의 정도는 제한된 채로 남는다. 또한, 이러한 디자인은 상이한 사용자들이 상이한 크기의 손, 손가락 및 엄지손가락을 갖고, 그래서 한 사용자에게 적절히 크기 조정된 키보드가 다른 사용자에게는 더 어려울 수 있다는 사실은 고려하지 않는다.
본 발명의 일부 실시예들은 본 발명의 실시예들을 예시하기 위해 사용되는 첨부 도면들 및 다음의 설명을 참조함으로써 이해될 수 있다.
도 1은 본 발명의 일 실시예에 따른, 다기능 핸드헬드 사용자 디바이스를 도시하는 도면.
도 2는 본 발명의 일 실시예에 따른, 양손 조작을 위해 구현된 버츄얼 키보드를 도시하는 도면.
도 3은 본 발명의 일 실시예에 따른, 개별 사용자에 대하여 키보드의 크기를 캘리브레이션하는 방법의 흐름도.
도 4는 본 발명의 일 실시예에 따른, 초기의 컨택트 패치 캘리브레이션 시퀀스에 대한 방법의 흐름도.
도 5는 본 발명의 일 실시예에 따른, 키 스트로크들을 적응적으로 해석하는 방법의 흐름도.
다음의 설명에서, 다수의 구체적인 상세들이 제시된다. 그러나, 본 발명의 실시예들은 이들 구체적인 상세 없이 실시될 수 있다. 다른 예들에서, 이러한 설명의 이해를 불명료하게 하지 않기 위해서, 공지의 회로, 구조 및 기술은 상세하게 도시되지 않았다.
"일 실시예", "실시예", "예시적인 실시예", "다양한 실시예" 등에 대한 언급은, 설명된 본 발명의 실시예(들)가 특정한 피쳐(feature), 구조, 또는 특징을 포함할 수 있지만, 모든 실시예들이 이 특정한 피쳐, 구조, 또는 특징을 반드시 포함하지는 않는다는 것을 나타낸다. 또한, 일부 실시예들은, 다른 실시예들에 대해 설명된 피쳐들의 일부, 또는 전부를 갖거나, 또는 아무런 피쳐도 갖지 않을 수 있다.
다음의 설명 및 청구범위에서, "결합된" 및 "접속된"이라는 용어가 (그들의 파생어와 함께) 사용될 수 있다. 이들 용어는 서로에 대한 동의어로서 의도되지 않는다는 것이 이해되어야 한다. 오히려, 특정 실시예들에서, "접속된"은 둘 이상의 요소들이 서로에게 직접 물리적 또는 전기적 접촉을 하고 있다는 것을 나타내기 위해 사용된다. "결합된"은 둘 이상의 요소들이 서로 함께 동작하거나 상호작용한다는 것을 나타내기 위해 사용되지만, 이들은 직접 물리적 또는 전기적 접촉을 할 수도 있고 그렇지 않을 수도 있다.
청구범위에서 사용되는 바와 같이, "제1", "제2", "제3" 등과 같은 서수 형용사를 구체적으로 사용하지 않는 한, 공통 요소를 기술하는 것은, 단순히 유사한 요소들의 상이한 예들이 언급되고 있다는 것을 나타내고, 그렇게 기술된 요소들이, 시간적으로, 공간적으로, 순위를 매겨서, 또는 임의의 다른 방식으로, 주어진 순서대로 있어야 한다는 것을 의도하지는 않는다.
본 발명의 다양한 실시예들은 하드웨어, 펌웨어, 및 소프트웨어 중 하나 또는 임의의 조합으로 구현될 수 있다. 본 발명은 또한, 본 명세서에서 설명된 동작들의 수행을 가능하게 하는 하나 이상의 프로세서들에 의해 판독되어 실행될 수 있는 컴퓨터 판독가능한 매체에 포함된 명령어들로서 구현될 수 있다. 컴퓨터 판독가능한 매체는 하나 이상의 컴퓨터들에 의해 판독가능한 형태로 정보를 저장하는 임의의 메커니즘을 포함할 수 있다. 예를 들어, 컴퓨터 판독가능한 매체는 판독 전용 메모리(ROM); 랜덤 액세스 메모리(RAM); 자기 디스크 저장 매체; 광학 저장 매체; 플래시 메모리 디바이스 등과 같은, 그러나 이들로 한정되지 않는 유형의(tangible) 저장 매체를 포함할 수 있다.
본 발명의 다양한 실시예들은 버츄얼 키보드의 터치스크린 상의 버츄얼 키들의 구성에 관한 것이다. 키들은, 곧은 수평의 행들로 배열되기보다는, 디바이스가 사용자의 손에 쥐어질 때 사용자의 엄지손가락에 의해 편리하게 닿을 수 있는 아크(arc)들로 배열될 수 있다. 일부 실시예들에서, 키들의 배치는 개별 사용자의 엄지손가락 및/또는 개인 기호에 부합하도록 커스터마이징될 수 있다. 일부 실시예들에서, 적응형 감지가 사용되어 키의 중심에서 벗어나고/나거나 키보다 큰 사용자의 엄지손가락의 컨택트 표면을 보상할 수 있다.
도 1은 본 발명의 일 실시예에 따른 다기능 핸드헬드 사용자 디바이스를 도시한다. 예시된 디바이스(110)는 사용자에게 정보를 표시하고 사용자가 하나 이상의 특정 위치에서 스크린을 터치할 때 사용자로부터 촉각 입력을 받는 터치스크린(120)을 갖는 것으로 도시된다. 3개의 하드 버튼이 또한 디스플레이 위에 도시된다. 다른 물리적 버튼, 센서, 피쳐 등이 또한 포함될 수 있지만, 과도한 혼란을 방지하기 위해 도면에 도시되지 않는다. 본 명세서의 문맥 내에서, '하드' 버튼은, 이들이 물리적 버튼이고, 특정 영역에 영구적으로 위치하기 때문에 그렇게 불린다. 그러나 디바이스는 또한 본 명세서에서 터치스크린으로서 표시되는 터치-감응 디스플레이 스크린 상에서 이미지로 각각 구성되는 '소프트' 버튼들을 포함할 수 있다. 사용자가 소프트 버튼을 터치하면, 디바이스는 그 터치를 감지하여 그 소프트 버튼과 관련된 기능을 수행한다. 본 명세서에서 '키'라는 용어는 터치스크린 상에 도시된 버츄얼 키보드 상의 개별 키를 나타내는 소프트 버튼을 의미한다.
예시된 디바이스(110)는 버튼들이 특정 위치에 위치되어, 특정 형태, 비율, 및 외형을 갖는 것으로서 도시되지만, 이것은 단순히 예시이고, 본 발명의 실시예들은 이러한 특정 물리적 구성으로 제한되지 않을 수 있다. 예를 들어, 일부 실시예들에서, 다양한 피쳐들이 디바이스의 동일 면 상의 또는 상이한 면들 상의 다른 곳에 위치될 수 있다. 일부 실시예들에서, 디바이스(110)의 전체적인 형태는 도시된 것과 상이할 수 있다.
디바이스(110)는 또한 본 명세서에서 구체적으로 설명되지 않은 다양한 비주얼, 오디오, 및 물리적 입력들과 다양한 비주얼, 오디오, 및 물리적 출력들에 대하여, 무선 통신을 위한 기능을 포함할 수 있다. 일부 실시예들에서, 디바이스는 그것이 속해 있는 모드에 따라 상이한 방식으로 이 기능을 사용할 수 있다.
층으로 된(tiered) 아크들을 갖는 버츄얼 키보드
도 1은 또한 터치스크린 디스플레이 상의 버츄얼 키보드를 도시한다. 버츄얼 키보드에서, 키보드 상의 각각의 키는 터치스크린 상의 소프트 버튼으로서 구현된다. 사용자가 그의 엄지손가락(또는 손가락, 또는 스타일러스, 또는 다른 물체)으로 특정 키를 터치하면, 디바이스(110)는 그 터치를 감지하고, 스크린 상의 어디에서 그 터치가 발생했는지를 결정하고, 어느 키가 그 위치에 연관되어 있는지를 결정하여, 이 터치를 선택된 키의 키 스트로크로서 해석한다. 일부 실시예들에서, 사용자가 최소한의 시간동안 키로부터 손가락을 떼고 그 키에 대한 제2 터치가 등록되기 전에 그 키를 다시 터치해야 하는 이력현상 효과(hysteresis effect)가 사용될 수 있다.
이 예에서, 키보드 상의 키들은 각각이 아크 형태를 따르는 3개의 행들로 배열된다. 이 행들은 사용자의 엄지손가락에 닿기 편하도록 배치된다. 인간의 엄지손가락의 구조 때문에, 아크들은 완벽한 원형이 아닐 수 있고, 오히려 각각의 아크는 가변적인 곡률을 가질 수 있다. 이러한 이유로, 일부 예들에서 아크들이 원형 및/또는 동심일 수 있더라도, '원형의' 및 '동심의'라는 용어는 본 명세서에서 이들을 설명하는데 사용되지 않는다. 이 아크들은 본 명세서에서 '층으로 된' 아크들로서 설명되는데, 왜냐하면 각각의 아크는 거의 동일한 위치에 있는 피봇 포인트(사용자의 엄지손가락의 피봇 포인트)를 갖고, 각각의 아크는 유사한 형태를 가지며, 각각의 아크는, 피봇 포인트로부터 방사상으로 측정될 때, 아크들의 길이 전체에 걸쳐 다음의 인접한 아크로부터 거의 동일한 거리에 있기 때문이다. 엄격한 지리학적 형태보다는, 사용자의 엄지손가락에 의해 닿기 쉽게 하는 것이, 각각의 아크의 곡률 및 위치를 결정할 때의 지도 원칙일 수 있다.
도 1의 예는 키들의 3개의 행들을 도시하지만, 다른 실시예들은, 1개, 2개, 4개, 또는 그 이상의 행들을 가질 수 있다. 키들은 모든 행들에서 같은 크기로 도시되지만, 일부 실시예들에서, 일부 키들은 다른 키들보다 더 크거나 또는 더 작을 수 있다. 예를 들어, 안쪽 행은 바깥쪽 행보다 작은 키들을 가질 수 있다. 이는 키들을 위한 공간이 부족한 안쪽 행에 더 많은 키들이 배치될 수 있게 해주며, 또한 연장된 위치에서 엄지손가락으로 터치되는 바깥쪽 행에 있는 키들에 의해 느껴지는 것보다 더 적은 터치 영역을 제공하는 안쪽 행에 있는 키를 사용자가 그의 엄지손가락 끝으로 터치할 가능성이 높다는 점을 인식한다. 예시된 예는 또한 3개의 행이 서로 동일한 거리만큼 이격되어 있는 것을 도시하지만, 다른 실시예들은 다를 수 있다. 다시 한번, 인간의 엄지손가락의 역학(mechanics) 및 유연성이 이러한 이격을 결정할 수 있다.
각각의 키는 어느 정도 직사각 형태로 도시되지만, 소프트 키들은 임의의 편리한 형태로 표시될 수 있다. 일부 실시예들에서, 상이한 키들은 상이한 형태들을 가져서 사용자에게 추가의 정보를 제공할 수 있다(예를 들어, 대문자에 대해서는 정사각 형태, 소문자에 대해서는 둥근 형태). 상이한 색들이 또한 사용되어, 그 키에 대한 추가의 정보를 표시할 수 있다. 각각의 키는 그것이 나타내는 문자로 라벨링되는 것으로 도시된다. 이러한 라벨들은 모두 (사용자의 판독을 쉽게 하도록) 디바이스의 바닥에 대하여 배향되는 것으로서 도시되지만, 다른 실시예들은 아크들의 방사 중심에 대하여, 또는 일부 다른 정의가능한 기준점에 대하여 라벨을 배향할 수 있다. 일부 실시예들에서, 표시된 문자는 그 키에 의해 그 문자의 대문자 또는 소문자 버전이 표시되는지를 나타내기 위해 대문자 또는 소문자로서 도시될 것이다.
일부 실시예들에서, 디바이스에 의해 키 터치가 등록될 때마다, 그 키에 의해 표시되는 기호는 확대된 버전으로 도시되어 사용자에게 포지티브 피드백을 제공할 것이고, 이 확대된 키의 위치는 사용자의 엄지손가락에 의해 가려지지 않도록 이동될 수 있다. 도 1의 예에서, 사용자는 (사용자의 엄지손가락에 의해 도면에서 숨겨져 있는) 'M' 키를 터치하고, 확대된 버전의 'M' 키가 사용자의 엄지손가락의 바로 위에 도시되어, 일시적으로 그곳에 위치한 다른 키들을 덮는다. 상이한 색, 스타일, 형태 등이 또한 사용되어, 이러한 터치 인디케이터를 다른 키들과 구별시킨다.
도 1의 예는 특정 키 위치들에 할당된 특정 문자들을 도시하지만, 이것은 단순히 예시이다. 다른 실시예들은 쿼티, Dvorak 등의 임의의 원하는 배열의 키 위치들에 문자들을 할당할 수 있다. 일부 실시예들에서, 키 할당은 프로그램가능하다.
도 1에 도시된 구성은 한 손 조작을 위해 디자인되고, 따라서 키보드는 하나의 엄지손가락에 의해 도달가능한 영역으로 제한되기 때문에, 사용자가 타이핑하기 원하는 모든 문자들을 동시에 나타내기에 충분한 공간이 없을 수도 있다. 이를 보상하기 위해, 키 위치들의 전부 또는 일부는 다른 문자들을 나타내기 위해 재할당될 수 있고, 새로운 문자들을 나타내는 새로운 라벨들이 그 키들에 대해 터치스크린 상에 생성될 수 있다. 이러한 변경은 다음으로 제한되지는 않지만 다음과 같은 임의의 편리한 방식으로 활성화될 수 있다: 1) 이 기능에 할당된 키보드 키들 중 하나를 터치함, 2) 키보드 영역 밖의 특정 소프트 키를 터치함, 3) 하드 버튼을 누름, 4) 아크의 상당한 부분을 따라 엄지 손가락을 드래그함, 5) 기타.
일부 실시예들에서, 전체 이용가능한 키보드는 각각의 4분원이 별개의 세트의 문자들을 가지며, 한번에 하나의 4분원만이 터치스크린 상에 보이는(또는 후술되는 양손 동작에 대해서는 2개의 4분원들이 보이는), 4개의 4분원들을 갖는 근사적인 바퀴 모양으로 생각될 수 있다. 사용자는 그 후 디스플레이되기를 원하는 어느 4분원이라도 불러들일 수 있다. 예를 들면, 하나의 4분원은 글자들을 갖는 키들을 포함하고, 또 다른 4분원은 숫자들 및 구두점을 갖는 키들을 포함하고, 또 다른 4분원은 (사용자가 문서들에 삽입하고 싶어하는) 사진들, 아이콘들, 레터헤드들 등을 나타내는 키들을 포함하며, 네 번째 4분면은 공통으로 이용되는 문구들, 문장들, 단락들 등을 포함할 수 있다. 물론, 4개보다 많거나 또는 적은 4분면들이 또한 이용될 수 있는데, 이는 이것이 가상의 개념이고, 실제 물리적 원에 제한되는 것은 아니기 때문이다.
도 1에 도시된 키보드 구성은 키들의 행들이 하단 오른손 코너에 동일한 중심을 가지도록 함으로써 오른손 동작에 대해 설계된다. 키들의 행들이 하단 왼손 코너에 동일한 중심을 가지도록 함으로써, 디바이스는 왼손 동작에 대해 적합하게 될 수 있다. 예시된 키보드는 또한 수직 동작에 대해 구성된 것(즉, 디스플레이의 긴 면이 수직인 것)으로 도시되었다. 일부 실시예들은, 수평 동작으로(즉, 디스플레이의 긴 면이 수평으로) 동작할 수 있다. 일부 실시예들에서, 오른손/왼손 구성 및/또는 수직/수평 동작은 사용자에 의해 선택가능하다. 일부 실시예들에서, 이들 구성들은 자동으로 디바이스에 의해 선택될 수 있다(예를 들면, 중력을 감지하여 수직/수평 동작을 선택하고, 사용자의 엄지 손가락에 의해 터치되는 부분이 어느 부분인지를 감지하여 왼손 또는 오른손 동작을 선택함).
도 2는 본 발명의 실시예에 따른, 양손 동작에 대해 구성된 버츄얼 키보드를 도시한다. 이러한 양손 동작과 도 1의 한손 동작 사이의 주요한 차이는, 버츄얼 키보드에 대한 두 개의 부분들이 존재하며, 하나는 오른손 엄지 손가락과의 동작을 위해 구성되고, 다른 하나는 왼손 엄지 손가락과의 동작을 위해 구성된다는 것이다. 도 1의 한손 구성과 비교하면, 더 많은 키들, 및 이에 따라 더 많은 문자들이 이러한 구성으로 동시에 디스플레이될 수 있다. 두 키보드 부분들은 같거나 다른 수의 행들, 각 행마다 같거나 다른 수의 키들, 상이한 간격 등을 가질 수 있다. 일부 실시예들에서, 개별 키들에 대한 문자들의 할당은 왼손을 선호하는 또는 오른손을 선호하는 사용자들의 편의를 위해 왼쪽 및 오른쪽 영역들 사이에서 스위칭될 수 있다. 한손 동작에 대해 이용가능한 모든 동일한 피쳐들, 기법들, 선택들 등이 이러한 양손 동작에도 적용될 수 있으며, 일부 실시예들은 키보드의 각각의 부분에 대해 개별적으로 적용될 수 있다. 일부 실시예들에서, 사용자는 수동으로 한손 또는 양손 동작 중 하나를 선택할 수 있다. 일부 실시예들에서, 디바이스는, 디바이스 방위 또는 터치스크린의 양쪽 면 상의 터치들을 감지하는 것과 같은, 몇몇 자동으로 감지되는 기준들에 기초하여, 한손 또는 양손 동작을 자동으로 선택할 수 있다.
도 3은 본 발명의 실시예에 따른, 개별 사용자에 대해 키보드의 크기를 캘리브레이션하는 방법의 흐름도를 도시한다. 흐름도(300)의 310에서, 캘리브레이션 프로세스는 사용자에 의해 개시되거나 또는 다음과 같은, 그러나 이에 제한되지는 않는, 몇몇 미리 결정된 기준에 기초하여 자동으로 시작될 수 있다: a) 디바이스의 시동, b) 새로운 사용자 계정의 생성, c) 가상 키보드 상의 문자들의 폰트 사이즈의 변경, d) 기타. 사용자는 그 후 320에서, 그의 손을 정상 데이터-입력 위치에 두고, 터치스크린 표면 상에서 그의 엄지 손가락으로 아크를 그리도록 재촉당할 수 있다. 이러한 아크는 '캘리브레이션 아크'로 칭해지는데, 이는 그의 목적이 키보드 행의 위치를 캘리브레이션하여, 행의 키들이 사용자의 엄지 손가락에 대해 편리한 위치에 있도록 하기 위한 것이기 때문이다. 일부 실시예들에서, 이러한 아크는 사용자에 의해 그려진 후에도 터치스크린 상에서 보일 것이나, 다른 실시예들은 캘리브레이션 아크를 디스플레이하지 않을 수 있다.
어느 경우이든지, 330에서, 디스플레이 스크린 상에서의 이러한 아크의 위치는 기록될 수 있다. 이러한 위치는 대응하는 키들의 행이 스크린 상에서 위치할 장소를 결정하는데 이용될 수 있다. 일부 실시예들에서, 사용자는 하나보다 많은 아크를 입력하도록 재촉당할 수 있다. 예를 들면, 양손 키보드 동작에 대해 디바이스를 캘리브레이션하기 위해, 사용자는 각 엄지 손가락으로 하나씩, 별개의 아크들을 그리도록 재촉당할 수 있다. 하나보다 많은 행이 캘리브레이션되어야 하는 경우, 사용자는 중간 아크, 외부 아크 및/또는 내부 아크를 그리도록 재촉당할 수 있다. 일부 실시예들에서, 디바이스가 그 아크에 대한 평균 위치를 결정하게 할 수 있도록 사용자는 두 번 이상 동일한 아크를 다시 그리도록 재촉당할 수 있다. 이러한 선택 사항들 모두 또는 그 중 임의의 것은 320-330-340에서의 동작들로 수용될 수 있다.
일부 실시예들에서, 단 하나의 키들의 행에 대한 아크가 사용자의 엄지 손가락에 의해 입력되고, 그 엄지에 대한 다른 행들에 대한 다른 아크들의 위치가 그 아크에 대하여 자동으로 정해진다. 이러한 경우에, 다른 아크들의 위치들은 350에서 결정된다. 일 실시예에서, 사용자는, 완전히 뻗거나 또는 완전히 구부리지 않은 중간-위치에서 엄지 손가락으로 아크를 그리도록 재촉당할 수 있으며, 다른 행들이 그 아크에 대하여 더 크고 더 작은 아크들로 배치된다. 또 다른 실시예에서, 사용자는 완전히 뻗은 엄지 손가락으로 아크를 그려 키들의 외부 행의 위치를 표시할 수 있으며, 다른 아크들이 그 아크 내부에 생성된다. 역으로, 사용자는 완전히 구부린 엄지 손가락으로 아크를 그려 키들의 내부 행의 위치를 표시할 수 있으며, 다른 아크들은 그 아크 외부에 생성된다.
일단 아크 위치들이 결정되면, 360에서, 디바이스는 각 아크를 따라 각 키의위치를 할당할 수 있으며, 각 아크는 키들의 행을 나타낸다. 일부 실시예들에서, 동일한 행 상의 인접한 키들 사이에서 미리 결정된 간격이 가정될 수 있다. 다른 실시예들에서, 간격은 변할 수 있다. 예를 들면, 캘리브레이션 프로세스가 다양한 위치에서의 사용자의 엄지 손가락 지문의 폭을 결정할 수 있었다면, 이 정보는 키들 사이의 간격을 결정하는 데에 이용될 수 있다. 넓은 엄지 손가락 지문은 키들 사이의 더 넓은 간격을 야기하여, 에러를 야기할 수 있는 방식으로 다수의 키들을 터치할 가능성을 감소시킬 수 있다.
370에서, 다양한 문자들(글자, 숫자, 구두점 등)이 상이한 행들 상의 다양한 키 위치들에 할당될 수 있다. 일부 실시예들에서, 이러한 배열은 미리 결정될 수 있다. 다른 실시예들에서, 이러한 배열은 다양한 기준들에 기초하여, 맞춤형으로 될 수 있다. 예를 들면, 가장 빈번하게 사용되는 문자들이 중간 행에 위치하여, 엄지 손가락 이동을 감소시킬 수 있다. 그 다음으로 가장 빈번하게 사용되는 문자들이 외부 행에 위치될 수 있는데, 그 이유는 엄지 손가락을 뻗는 것이 일반적으로 엄지 손가락을 구부리는 것보다 쉽다고 간주되기 때문이다. 통상적으로 발생하는 문자들의 시퀀스들(예를 들면, 이중 음자)은 보다 자연스러운 엄지 손가락의 '안쪽 쓸음(inward sweep)' 움직임을 용이하게 하기 위해 아크를 따라 순차적으로 정렬될 수 있다. 양손 동작의 경우에, 통상적으로 발생하는 시퀀스들은 엄지 손가락의 교대 동작을 용이하게 하기 위해 두 엄지 손가락들 사이에서 번갈아 나타나게 될 수 있다. 다른 고려 사항들이 또한 문자들을 키 위치들에 할당하는 데에 이용될 수 있다. 일부 실시예들에서, 사용자는 문자들을 특정 키 위치들에 할당할 수 있다. 380에서, 디바이스는 이러한 문자 위치 할당들에 기초하여 디스플레이 상에 완전한 키보드를 생성할 수 있고, 390에서 캘리브레이션 시퀀스를 빠져나간다. 이들 및 다른 피쳐들에 의하여, 본 발명의 다양한 실시예들은 사용자의 엄지 손가락(들)의 자연스런 움직임에 잘 들어맞고 사용자의 특성들 및 기호들에 맞춤형으로 될 수 있는 버츄얼 키보드를 제공할 수 있다. 본 발명은 이에 의해 사용자가 디바이스 상에서 텍스트를 입력하는 것의 용이함, 속도 및 정확성을 개선할 수 있다.
키들의 근접한 간격 및 사용자들의 엄지 손가락의 비교적 넓은 컨택트 영역에 기인하여, 사용자가 둘 이상의 키를 동시에 빈번하게 접촉할 가능성이 있다. 사용자가 터치하기를 원하는 키를 해석함으로써, 이의 부정적인 영향들을 감소시키도록 다양한 접근 방법들이 취해질 수 있다. 일부 접근 방법들은 사용자의 엄지 손가락에 의해 접촉되는 영역들을 해석하는 것을 포함하는 반면, 다른 방법들은 컨텍스트 및 반복적인 에러들에 기초한다. 양쪽 접근 방법들이 후술된다.
컨택트 패치 조정
'컨택트 패치'는 키 또는 다른 아이콘을 터치하려고 시도할 때 사용자가 터치스크린을 접촉하는 영역이다. 스타일러스가 사용되는 경우, 컨택트 패치는 매오 작고 잘 정의된 형상일 수 있다. 사용자의 손가락 끝이 컨택트의 수단인 경우, 컨택트 패치는 다소 클 수 있고, 그 크기는 사용자가 손가락으로 가하는 압력에 따라 변할 수 있다. 컨택트 패치의 크기 및 형상은 양쪽 모두 손가락이 터치스크린을 접촉하는 각도에 따라 변할 수 있다. 엄지 손가락이 컨택트의 수단으로서 이용되는 경우, 동일한 고려 사항들이 적용되지만, 엄지 손가락이 일반적으로 단면적이 크기 때문에, 손가락 끝보다는 그 크기가 더욱 클 가능성이 있으며, 그 형상 및 크기는 엄지 손가락의 컨택트 각도(손가락의 컨택트 각도보다 일반적으로 더 얕음)에 따라 상당히 변할 수 있다.
컨택트 패치가 터치될 터치스크린 상의 키보다 더욱 크기 때문에, 감지 디바이스는 센서 정보를 해석하여 터치가 의도하는 포인트를 결정해야 할 수 있다. 본 명세서 내에서, 이러한 포인트는, '액티브 포인트'로 불리며, 이것은 컨택트 패치의 센트로이드(지리적 중심)일 수도 있고 아닐 수도 있다. 이러한 산출들은 컨택트 패치의 크기 및 형상이: 1) 키가 있는 행(엄지 손가락의 각도에 영향을 미침), 및 2) 사용자가 데이터를 한손 키보드 동작으로 입력할지 또는 양손 키보드 동작으로 입력할지(손의 위치, 및 이에 따른 엄지 손가락의 각도는 양손 동작에 있을 때 한손 동작에 있는 것과 일반적으로 다름)에 따라 변할 수 있다는 사실에 의해 복잡해질 수 있다. 또한, 실제 컨택트 패치 및/또는 그 컨택트 패치의 실제 센트로이드는 사용자가 인식하는 컨택트 패치 및 센트로이드와 다를 수 있다.
일부 실시예들에서, 디바이스는 특정 키들의 행이 특정 방향으로 배향된 타원을 갖는 타원형 컨택트 패치를 경험하며, 한편 상이한 키들의 행은 상이한 방향으로 배향된 타원을 갖는 타원형 컨택트 패치, 또는 심지어는 원형 컨택트 패치를 경험할 것이라고 가정할 수 있다. 이러한 가정들은 액티브 포인트의 산출 시에 고려될 수 있다. 중간 행에 대한 컨택트 패치에 관해 행해진 가정들은 내부 및 외부 행들에 대한 컨택트 패치들에 관해 행해진 가정들 사이에서 보간될 수 있다. 이들은 단지 예시일 뿐이며, 실제 가정은 사용자의 실제 경험 및/또는 일반적인 대중에 기초한 이전 연구결과에 기초하여 이것과 다를 수 있다.
사용자 인식의 일례로서, 일부 행들에 대해 사용자는 액티브 포인트가 엄지손가락 말단 근처에 있다고 인식할 수 있고, 디바이스는 이러한 인식을 수용하기 위해 센트로이드로부터 멀리 액티브 포인트를 이동시킬 수 있다.
엄지손가락의 각도 및 이에 따라 컨택트 패치의 형상이 양손 동작 중에는 한손 동작 중에서와 일반적으로 상이하기 때문에, 디바이스는 어떠한 동작 모드가 현재 사용되고 있는지 감지하고, 이에 따라 액티브 포인트 산출을 조정할 수 있다. 예를 들어, 양손 키보드가 터치스크린 상에 디스플레이 되었다면 디바이스는 양손 동작이 사용 중인 것으로 가정할 수 있다. 또는 디바이스는 스크린의 양 파트에서의 컨택트를 감지함으로써 동일하게 추정할 수 있다. 다른 실시예에서, 가속도계 또는 다른 센서들에 기초하여, 디바이스가 수직 배향(짧은 치수(dimension)가 수평 방향)으로 쥐어져 있다면 디바이스는 한손 동작을 가정할 수 있고, 디바이스가 수평 배향(긴 치수(dimension)가 수평 방향)으로 쥐어져 있다면 디바이스는 양손 동작을 가정할 수 있다. 그러나, 사용자는 원한다면 수동으로 이러한 가정들을 오버라이드(override)할 수 있다.
일부 실시예들에서, 스크린을 컨택트하는 데에 사용되는 수단의 유형은 컨택트 패치의 크기 및 형상에 기초하여 디바이스에 의해 추정될 수 있다. 컨택트 패치가 상대적으로 크다면, 디바이스는 엄지손가락이 사용된 것으로 가정하고 이에 따라 액티브 포인트를 조정할 수 있다. 컨택트 패치가 더 작다면, 디바이스는 손가락이 사용된 것으로 가정하고, 그 가정에 기초하여 액티브 포인트를 조정할 수 있다. 컨택트 패치가 매우 작다면, 디바이스는 스타일러스가 사용된 것으로 가정하고 어떠한 조정도 하지 않을 수 있다.
적용되는 조정 사항들의 유형에 상관없이, 일부 실시예들에서 이러한 조정 사항들은 파라미터들의 표준 설정에 기초하여, 또는 하나 이상의 캘리브레이션 세션들의 결과에 기초하여, 미리 정의될 수 있다. 다른 실시예들에서, 조정 사항들은 동작의 최근 히스토리에 기초하여, 계속적으로 또는 빈번히 수정될 수 있다. 일부 실시예들에서, 최초 캘리브레이션 및 진행중인 조정 사항들 모두가 통합될 수 있다.
도 4는 본 발명의 실시예에 따라, 컨택트 패치 캘리브레이션 시퀀스에 대한 방법의 흐름도를 도시한다. 흐름도(400)의 방법은 특정 사용자의 특성들로 디바이스를 미리 캘리브레이션하는 데에 사용될 수 있다. 동작들(430-460)은 가상 키보드의 일반적인 동작 동안 진행중인 조정 사항들에 대해 또한 사용될 수 있다. 410에서 컨택트 패치 캘리브레이션 시퀀스에 진입한 후에, 420에서 디바이스는 사용자에게 선택된 키를 누르도록 재촉할 수 있다. 일부 실시예들에서 키보드(예를 들면, 도 3의 키보드 캘리브레이션 시퀀스에 의해 생성되는 키보드) 전체가 모두 디스플레이될 수도 있지만, 다른 실시예들에서는 키는 그 키보드에서 차지하고 있었을 동일한 위치에 독립적으로 보여질 수 있다.
사용자가 선택된 키를 터치할 때, 430에서 디바이스는 컨택트 패치 상의 관련 정보를 결정한다. 터치스크린의 개별 컨택트 센서들로부터의 수치들(readings)에 기초하여, 디바이스는 컨택트 패치의 크기 및 형상을 결정할 수 있고, 일부 실시예들에서는 440에서 컨택트 패치의 상이한 영역에 대해 컨택트 수치들을 기록할 수 있다. 450에서 디바이스는 컨택트 패치에 대한 센트로이드(centroid), 즉, 컨택트 패치의 기하학적 중심을 결정할 수 있다. 일부 절차들에서, 센트로이드는 컨택트 패치에 대한 최초의 액티브 포인트로 고려될 수 있지만, 이전에 설명된 바와 같이, 다른 요소들에 기초하여 재배치될 수 있다. 일부 실시예들에서, 터치스크린은 복수의 컨택트 센서 수치들을 제공하여 디바이스가 센트로이드를 계산하게 하기 보다는, 컨택트 패치에 대해 계산된 센트로이드 위치만을 디바이스에 제공할 수 있다.
460에서, 디바이스는 키보드 상의 다른 키에 대한 컨택트 패치를 캘리브레이션하기 위해 420으로 리턴할 수 있다. 일부 실시예들에서 이러한 프로세스는 키보드상의 모든 키에 대해 반복될 수 있다. 다른 실시예들에서, 단지 일부 키들 또는 터치스크린 위치들만이 이러한 캘리브레이션 절차에 사용되고, 나머지에 대한 캘리브레이션 데이터는 그 키들의 결과로부터 보간될 수 있다. 일부 실시예들에서, 동일한 키가 그 키에 대한 수치들의 평균을 얻기 위해 두 번 이상 캘리브레이션될 수 있다. 직접적으로 또는 보간을 통해 터치스크린의 모든 선택된 키 또는 영역이 캘리브레이션된 후에, 470에서 캘리브레이션 시퀀스를 빠져나갈 수 있다.
키보드 적응
사용자에 의해 두 키 이상이 동시에 터치될 때, 디바이스는 사용자가 터치하고자 했던 키를 결정하는 데에 다양한 기법들을 사용할 수 있다. 일부 기법들은 속성상 문맥적이고, 즉각적으로 수행되지 않을 수 있다. 예를 들면, 디바이스는 스펠링 사전에 기초하여, 어떤 문자가 실제적인 단어를 형성하는지 결정하도록 복수의 컨택트된 문자들을 나머지 단어들과 비교할 수 있다. 가능한 문자들 둘 이상이 실제적인 단어를 형성하면, 어떤 단어가 가장 가능성있게 의도되었는지, 따라서 어떤 문자가 의도되었는지 선택하도록 문장의 콘텍스트가 검사될 수 있다.
일부 경우들에서, 인접 키들 중 특정한 하나가 일반적으로 의도될 때, 이러한 동일한 조합의 인접한 키들을 두드린 것의 이전 히스토리가 있을 수 있고, 이러한 히스토리는 고려될 수 있다.
터치스크린들이 로컬 압력 측정값들을 제공하면, 엄지손가락으로부터 가장 높은 압력을 받는 키가 의도된 키로 가정될 수 있다. 대안적으로, 어떠한 키가 가장 가능성있게 의도되었는지 결정하기 위해, 상이한 컨택트 키들에 대한 상이한 압력값들이, 예측 텍스트 분석에 기초하여, 확률 요소와 곱해진다.
'핫스팟', 즉, 디바이스가 키의 중심이라고 생각하는 스팟은 사용자가 동일한 방향으로 핫스팟을 계속해서 빗맞히면 이동될 수 있다. 예를 들면, 사용자가 's' 키의 핫스팟 아래를 계속해서 타이핑하면, 디바이스는 's' 키의 핫스팟을 아래쪽으로 이동시킬 수 있다. 사용자가 동일한 방향으로 계속해서 빗맞히는 것을 결정하는 것은 다양한 방법으로 결정될 수 있다. 예를 들어, 컨택트 패치의 다양한 포인트에서 감지하는 로컬화된 압력은 컨택트 패치의 가장 높은 압력 포인트가 동일한 방향으로 키의 중심을 계속해서 빗맞히는 것을 결정하는 데에 사용될 수 있다. 다른 예에서, 센트로이드 또는 액티브 포인트가 동일한 방향으로 키 또는 그것의 핫스팟을 계속해서 빗맞히는지가 결정될 수 있다.
다른 예에서, 특정한 문자를 갖는 단어가 동일한 인접 문자로 대체되며 빈번하게 잘못 스펠링될 수 있다. 이것은 예를 들면, 사용자가 그러한 오기들을 수동으로 정정하고/정정하거나 사용자가 자동 스펠링 정정을 수용할 때 검증될 수 있다. 일부 실시예들에서, 키에 대한 핫스팟이 재배치되어도, 그 키의 디스플레이된 위치가 변하지 않은 채로 유지될 수 있다. 다른 실시예들에서는, 키의 디스플레이된 위치가 이동되어 새로운 핫스팟이 디스플레이된 키 내에서 중심에 올 수 있다. 일부 실시예들에서, 디바이스는 단순히 잘못된 문자를 타이핑하는 것(예를 들면, 컨택트된 문자들 어느 것도 단어를 스펠링하지 않거나, 난독 글자 도치(dyslexic letter inversion)가 빈번히 발생하는 것)과 핫스팟을 빗맞히는 것 때문에 발생하는 에러들을 구별하기를 시도하여, 후자에 대응해서만 핫스팟을 조정할 수 있다.
도 5는 본 발명의 실시예에 따라, 키입력들을 적응적으로 해석하는 방법에 대한 흐름도를 도시한다. 흐름도(500)의 510에서 디바이스는 터치스크린으로부터 키가 터치된 것을 가리키는 입력을 수신할 수 있고, 컨택트 패치의 센트로이드를 결정할 수 있다. 일부 실시예들에서 이러한 입력은 컨택트 패치를 정의하는 복수의 컨택트 센서들로부터의 수치들을 포함할 수 있고, 이는 센트로이드의 위치로 전환될 수 있다. 다른 실시예들에서, 터치스크린으로부터의 입력은 터치스크린 로직에 의해 결정되는 바와 같이, 센트로이드의 위치를 단순히 나타낼 수 있다.
어느 경우에나, 액티브 포인트는 520에서 센트로이드의 위치 및 센트로이드와 터치스크린의 그 부분에 대한 액티브 포인트들 간의 이전에 결정된 차이에 기초하여 결정될 수 있다. 액티브 포인트의 위치에 기초하여 의도된 키가 명확하면, 535에서 디바이스는 당해 키가 의도된 것이라고 가정한다. 그러나, 530에서 결정되기를, 어떤 키가 의도되는지 불확실성을 야기할 만큼 액티브 포인트가 복수의 키들에 충분히 가깝다면, 540에서 디바이스는 그 복수의 키들의 핫스팟을 검사할 수 있다. 550에서, 디바이스는 다양한 기준에 기초하여, 이러한 키들 각각이 올바른 키를 나타낼 확률을 결정한다. 키들의 이러한 동일한 그루핑(grouping)에 대한 이전 히스토리가 중요한 기준이 될 수 있다.
이들 및 다른 고려사항들에 기초하여, 560에서 디바이스는 어떤 키가 사용자에 의해 가장 가능성있게 의도되었는지를 선택할 수 있고, 그 문자를 타이핑 시퀀스로 입력할 수 있다. 이때 그 특정한 키입력에 대한 스펠링 및 콘텍스트 고려사항을 보는 것이, 나머지 단어 또는 문장이 완성되지 않았기 때문에 실행가능하지 않을 수 있다. 디바이스는 더 많은 키 입력을 처리하기 위해 530으로 리턴할 수 있다. 565를 통하는 각 패스에서, 디바이스는 그것이 그 특정한 키 입력에 대한 스펠링/콘텍스트 고려사항으로 끝났는지 결정할 수 있다. 그렇다면, 그러한 사항들에 기초하여 570에서 이전에 선택된 키를 변경할 수 있다.
선택된 문자 및 관련 키가 최종 결정되면, 이러한 프로세스로부터 습득한 경험들이 나중의 처리를 위해 통합될 수 있다. 예를 들어, 580에서 그 키에 대한 핫스팟의 위치가 조정될 수 있다. 이 정보는 590에서 나중에 사용되기 위해 기록될 수 있다.
전술된 기재는 설명을 위한 것이며 제한하고자 하는 것이 아니다. 변경들이 당업자에 의해 발생할 수 있다. 그러한 변경들은 후술하는 청구항들의 권리 범위에 의해서만 제한되는 본 발명의 다양한 실시예들에 포함됨이 의도된다.

Claims (15)

  1. 버츄얼 키보드를 표시하기 위한 터치스크린을 포함하는 핸드헬드(handheld) 전자 디바이스
    를 포함하며,
    상기 디바이스는,
    사용자에 의해 상기 터치스크린이 터치될 때 컨택트 패치를 감지하는 동작;
    상기 컨택트 패치에 대한 액티브 포인트를 결정하는 동작;
    상기 액티브 포인트 근처에 위치한 복수의 키들 각각에 대한 핫스팟(hot spot)을 결정하는 동작;
    상기 복수의 키들 중에서 특정 키를 상기 사용자에 의해 의도된 키로서 선택하는 동작; 및
    상기 특정 키에 의해 표시되는 특정 문자를 상기 사용자에 의해 입력되는 진행 중인 텍스트의 스트림에 문자로서 포함시키는 동작
    을 행하는 장치.
  2. 제1항에 있어서, 상기 선택하는 동작은
    상기 액티브 포인트에 대한 상기 핫스팟들 각각의 위치; 및
    상기 액티브 포인트 및 상기 복수의 키들 중 적어도 일부의 이전 히스토리에 적어도 부분적으로 기초한 확률
    로 이루어지는 리스트로부터 선택된 적어도 하나의 기준에 기초하는 장치.
  3. 제1항에 있어서, 상기 디바이스는, 상기 특정 키의 선택으로 이르게 하는 결정들에 적어도 부분적으로 기초하여, 이후의 동작들에 대하여 상기 특정 키에 대한 상기 핫스팟을 재배치하는 장치.
  4. 제1항에 있어서, 상기 디바이스는
    부가적인 컨택트 패치들을 감지하는 동작;
    상기 부가적인 컨택트 패치들에 기초하여 부가적인 키들을 선택하는 동작;
    적어도 하나의 단어가 형성될 때까지 상기 선택된 키들의 각각으로부터의 대응하는 문자를 상기 진행 중인 텍스트의 스트림에 포함시키는 동작;
    상기 단어가 의미 없는 단어라는 것을 결정하는 동작; 및
    상기 특정 문자를 상기 복수의 키들 중 다른 것에 의해 표시되는 다른 문자로 변경하여 유효한 단어를 형성하는 동작
    을 더 행하는 장치.
  5. 제4항에 있어서, 상기 디바이스는 상기 특정 문자의 변경으로 이르게 하는 결정들에 적어도 부분적으로 기초하여 상기 특정 키에 대한 핫스팟을 이동하는 동작을 더 행하는 장치.
  6. 사용자에 의해 핸드헬드(handheld) 전자 디바이스의 터치스크린이 터치될 때 컨택트 패치의 액티브 포인트를 결정하는 단계;
    상기 액티브 포인트가 상기 터치스크린 상의 버츄얼 키보드의 복수의 키들 각각에 대한 핫스팟(hot spot) 근처에 있다는 것을 결정하는 단계;
    상기 복수의 키들 중에서 특정 키를 상기 사용자에 의해 의도된 키로서 선택하는 단계; 및
    상기 특정 키에 의해 표시되는 특정 문자를 상기 사용자에 의해 입력되는 진행 중인 텍스트의 스트림에 문자로서 포함시키는 단계
    를 포함하는 방법.
  7. 제6항에 있어서, 상기 선택하는 단계는
    상기 컨택트 패치에 대한 상기 핫스팟들 각각의 위치; 및
    상기 복수의 키들 및 대응하는 컨택트 패치들의 이전 히스토리에 적어도 부분적으로 기초한 확률
    로 이루어지는 리스트로부터 선택된 적어도 하나의 기준에 기초하는 방법.
  8. 제6항에 있어서, 상기 특정 키를 선택하는 단계로 이르게 하는 결정들에 적어도 부분적으로 기초하여 상기 특정 키에 대한 핫스팟을 이동하는 단계를 더 포함하는 방법.
  9. 제6항에 있어서,
    부가적인 터치들에 의해 생성되는 부가적인 컨택트 패치들에 대한 부가적인 액티브 포인트들을 결정하는 단계;
    상기 부가적인 터치들에 기초하여 부가적인 키들을 선택하는 단계;
    적어도 하나의 단어가 형성될 때까지 상기 선택된 부가적인 키들의 각각으로부터의 대응하는 문자를 상기 진행 중인 텍스트의 스트림에 포함시키는 단계;
    상기 단어가 의미 없는 단어라는 것을 결정하는 단계; 및
    상기 특정 문자를 상기 복수의 키들 중 다른 것에 의해 표시되는 다른 문자로 변경하여 유효한 단어를 형성하는 단계
    를 더 포함하는 방법.
  10. 제9항에 있어서, 상기 특정 문자를 변경하는 단계로 이르게 하는 결정들에 적어도 부분적으로 기초하여 상기 특정 키에 대한 핫스팟을 이동하는 단계를 더 포함하는 방법.
  11. 명령어들을 포함하는 컴퓨터로 판독 가능한 저장 매체를 포함하는 물품으로서,
    상기 명령어들은 하나 이상의 프로세서들에 의해 실행될 때,
    사용자에 의해 핸드헬드(handheld) 전자 디바이스의 터치스크린이 터치될 때 컨택트 패치의 액티브 포인트를 결정하는 동작;
    상기 액티브 포인트가 상기 터치스크린 상의 버츄얼 키보드의 복수의 키들 각각에 대한 핫스팟(hot spot) 근처에 있다는 것을 결정하는 동작;
    상기 복수의 키들 중에서 특정 키를 상기 사용자에 의해 의도된 키로서 선택하는 동작; 및
    상기 특정 키에 의해 표시되는 특정 문자를 상기 사용자에 의해 입력되는 진행 중인 텍스트의 스트림에 문자로서 포함시키는 동작
    을 포함하는 동작들을 수행하게 하는 물품.
  12. 제11항에 있어서, 상기 선택하는 동작은
    상기 컨택트 패치에 대한 상기 핫스팟들 각각의 위치; 및
    상기 복수의 키들 및 대응하는 컨택트 패치들의 이전 히스토리에 적어도 부분적으로 기초한 확률
    로 이루어지는 리스트로부터 선택된 적어도 하나의 기준에 기초하는 물품.
  13. 제11항에 있어서, 상기 동작들은, 상기 특정 키를 선택하는 동작으로 이르게 하는 결정들에 적어도 부분적으로 기초하여 상기 특정 키에 대한 핫스팟을 이동하는 동작을 더 포함하는 물품.
  14. 제11항에 있어서, 상기 동작들은,
    부가적인 터치들에 의해 생성되는 부가적인 컨택트 패치들에 대한 부가적인 액티브 포인트들을 결정하는 동작;
    상기 부가적인 터치들에 기초하여 부가적인 키들을 선택하는 동작;
    적어도 하나의 단어가 형성될 때까지 상기 선택된 부가적인 키들의 각각으로부터의 대응하는 문자를 상기 진행 중인 텍스트의 스트림에 포함시키는 동작;
    상기 단어가 의미 없는 단어라는 것을 결정하는 동작; 및
    상기 특정 문자를 상기 복수의 키들 중 다른 것에 의해 표시되는 다른 문자로 변경하여 유효한 단어를 형성하는 동작
    을 더 포함하는 물품.
  15. 제14항에 있어서, 상기 동작들은, 상기 특정 문자를 변경하는 동작으로 이르게 하는 결정들에 적어도 부분적으로 기초하여 상기 특정 키에 대한 핫스팟을 이동하는 동작을 더 포함하는 물품.
KR1020117028293A 2009-06-16 2009-12-31 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드 KR101364837B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US18752009P 2009-06-16 2009-06-16
US61/187,520 2009-06-16
PCT/US2009/069931 WO2010147611A1 (en) 2009-06-16 2009-12-31 Adaptive virtual keyboard for handheld device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020117026404A Division KR101364814B1 (ko) 2009-06-16 2009-12-31 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드

Publications (2)

Publication Number Publication Date
KR20120013410A true KR20120013410A (ko) 2012-02-14
KR101364837B1 KR101364837B1 (ko) 2014-02-19

Family

ID=58412670

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020117028293A KR101364837B1 (ko) 2009-06-16 2009-12-31 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드
KR1020117028292A KR101364881B1 (ko) 2009-06-16 2009-12-31 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드
KR1020117026404A KR101364814B1 (ko) 2009-06-16 2009-12-31 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020117028292A KR101364881B1 (ko) 2009-06-16 2009-12-31 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드
KR1020117026404A KR101364814B1 (ko) 2009-06-16 2009-12-31 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드

Country Status (7)

Country Link
US (1) US9013423B2 (ko)
EP (1) EP2443532B1 (ko)
JP (1) JP5532499B2 (ko)
KR (3) KR101364837B1 (ko)
BR (1) BRPI0924002B1 (ko)
SG (1) SG175398A1 (ko)
WO (1) WO2010147611A1 (ko)

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
JP2009169456A (ja) * 2008-01-10 2009-07-30 Nec Corp 電子機器、該電子機器に用いられる情報入力方法及び情報入力制御プログラム、並びに携帯端末装置
JP4632102B2 (ja) * 2008-07-17 2011-02-16 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2010110550A1 (en) * 2009-03-23 2010-09-30 Core Logic Inc. Apparatus and method for providing virtual keyboard
EP2437213A1 (en) 2009-06-16 2012-04-04 Intel Corporation Camera applications in a handheld device
US8570289B2 (en) * 2009-10-09 2013-10-29 Egalax—Empia Technology Inc. Method and device for position detection
TWI441049B (zh) 2009-10-09 2014-06-11 Egalax Empia Technology Inc 分辨單觸或雙觸的方法與裝置
US9411504B2 (en) 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US9519356B2 (en) 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US9367205B2 (en) * 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9310994B2 (en) * 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US9965165B2 (en) 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US9342241B2 (en) * 2010-03-03 2016-05-17 Twitch Technologies Llc Matrix keyboarding system
US8384566B2 (en) * 2010-05-19 2013-02-26 Mckesson Financial Holdings Pressure-sensitive keyboard and associated method of operation
US8648809B2 (en) * 2010-06-16 2014-02-11 International Business Machines Corporation Reconfiguration of virtual keyboard
JP2012003545A (ja) * 2010-06-17 2012-01-05 Nec Corp 情報処理端末およびその操作制御方法
US20120047454A1 (en) * 2010-08-18 2012-02-23 Erik Anthony Harte Dynamic Soft Input
WO2012070682A1 (ja) * 2010-11-24 2012-05-31 日本電気株式会社 入力装置及び入力装置の制御方法
KR101821160B1 (ko) * 2010-12-10 2018-03-08 삼성전자 주식회사 휴대단말에서 사용자 키패드 제공 방법 및 장치
TWI432996B (zh) * 2010-12-10 2014-04-01 Compal Electronics Inc 調整一鍵盤介面之顯示外觀的方法
US20120166995A1 (en) * 2010-12-24 2012-06-28 Telefonaktiebolaget L M Ericsson (Publ) Smart virtual keyboard for touchscreen devices
US10365819B2 (en) * 2011-01-24 2019-07-30 Apple Inc. Device, method, and graphical user interface for displaying a character input user interface
JP5361913B2 (ja) * 2011-01-25 2013-12-04 株式会社ソニー・コンピュータエンタテインメント 入力装置、入力方法及びコンピュータプログラム
US9164592B2 (en) * 2011-02-11 2015-10-20 Ideatron Pty Ltd Keypad
JP5813991B2 (ja) * 2011-05-02 2015-11-17 埼玉日本電気株式会社 携帯端末、入力制御方法及びプログラム
ES2735273T3 (es) * 2011-05-23 2019-12-17 Huawei Device Co Ltd Método de entrada, dispositivo de entrada y dispositivo terminal
US8719719B2 (en) * 2011-06-17 2014-05-06 Google Inc. Graphical icon presentation
EP2724667B1 (en) * 2011-06-24 2020-11-18 Murata Manufacturing Co., Ltd. Mobile apparatus with biosensors
US20130002565A1 (en) * 2011-06-28 2013-01-03 Microsoft Corporation Detecting portable device orientation and user posture via touch sensors
US9448724B2 (en) * 2011-07-11 2016-09-20 International Business Machines Corporation Dynamically customizable touch screen keyboard for adapting to user physiology
CN102299996A (zh) * 2011-08-19 2011-12-28 华为终端有限公司 一种手持设备操作方式识别方法及手持设备
US20130057475A1 (en) * 2011-09-01 2013-03-07 Microsoft Corporation Split keyboard for thumb typing
US8730174B2 (en) 2011-10-13 2014-05-20 Blackberry Limited Device and method for receiving input
US20130105239A1 (en) * 2011-10-30 2013-05-02 Hei Tao Fung Telerobot for Facilitating Interaction between Users
KR101972924B1 (ko) * 2011-11-11 2019-08-23 삼성전자주식회사 휴대용 기기에서 부분 영역의 터치를 이용한 전체 영역 지정을 위한 방법 및 장치
KR101340703B1 (ko) 2011-11-25 2013-12-12 삼성전자주식회사 휴대단말기의 키패드 배치장치 및 방법
CN103543853A (zh) * 2011-11-30 2014-01-29 英特尔公司 用于手持设备的自适应虚拟键盘
EP2787422B1 (en) * 2011-12-01 2020-04-08 Panasonic Intellectual Property Management Co., Ltd. Information processing device
CN102591577A (zh) * 2011-12-28 2012-07-18 华为技术有限公司 一种弧形菜单索引显示方法及相关装置
US9519419B2 (en) 2012-01-17 2016-12-13 Microsoft Technology Licensing, Llc Skinnable touch device grip patterns
US8863042B2 (en) * 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
WO2013126905A2 (en) * 2012-02-24 2013-08-29 Moscarillo Thomas J Gesture recognition devices and methods
US10216286B2 (en) * 2012-03-06 2019-02-26 Todd E. Chornenky On-screen diagonal keyboard
TWI536250B (zh) * 2012-03-09 2016-06-01 群邁通訊股份有限公司 輸入法介面顯示系統及方法
KR101999182B1 (ko) 2012-04-08 2019-07-11 삼성전자주식회사 사용자 단말 장치 및 그의 제어 방법
CN102681670A (zh) * 2012-04-09 2012-09-19 中兴通讯股份有限公司 一种移动终端及移动终端虚拟键盘的设置方法
US20130265235A1 (en) * 2012-04-10 2013-10-10 Google Inc. Floating navigational controls in a tablet computer
JP5997921B2 (ja) * 2012-04-13 2016-09-28 株式会社ＭｅｔａＭｏＪｉ 文字入力方法及び文字入力装置
KR101979666B1 (ko) 2012-05-15 2019-05-17 삼성전자 주식회사 표시부에 출력되는 입력 영역 운용 방법 및 이를 지원하는 단말기
US9600167B2 (en) * 2012-09-28 2017-03-21 Facebook, Inc. Systems and methods for a user-adaptive keyboard
US9547375B2 (en) 2012-10-10 2017-01-17 Microsoft Technology Licensing, Llc Split virtual keyboard on a mobile computing device
US9304683B2 (en) * 2012-10-10 2016-04-05 Microsoft Technology Licensing, Llc Arced or slanted soft input panels
US8843845B2 (en) 2012-10-16 2014-09-23 Google Inc. Multi-gesture text input prediction
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
EP2926236A1 (en) 2012-11-27 2015-10-07 Thomson Licensing Adaptive virtual keyboard
EP2926220A1 (en) * 2012-11-27 2015-10-07 Thomson Licensing Adaptive virtual keyboard
US8832589B2 (en) 2013-01-15 2014-09-09 Google Inc. Touch keyboard using language and spatial models
US9535603B2 (en) 2013-03-14 2017-01-03 Carl F. Andersen Columnar fitted virtual keyboard
CN104345944B (zh) * 2013-08-05 2019-01-18 中兴通讯股份有限公司 自适应调整触摸输入面板布局的装置、方法及移动终端
US20150057063A1 (en) * 2013-08-22 2015-02-26 Partygaming Ia Limited Mobile gaming system and method for touch screen game operation
DE102013015635B4 (de) * 2013-09-20 2016-12-15 Audi Ag Bedienungseinrichtung für eine Anlage im Innenraum eines Kraftwagens
US20150089386A1 (en) * 2013-09-25 2015-03-26 At&T Mobility Ii Llc Intelligent Adaptation of Home Screens According to Handedness
US20150089360A1 (en) * 2013-09-25 2015-03-26 At&T Mobility Ii Llc Intelligent Adaptation of User Interfaces
US20150089359A1 (en) * 2013-09-25 2015-03-26 At&T Mobility Ii Llc Intelligent Adaptation of Home Screens
CN103576879B (zh) * 2013-09-29 2016-03-30 罗蒙明 一种实现双手拇指操控宽屏虚拟键盘按键的方法
US9933858B2 (en) 2013-09-29 2018-04-03 Shenzhen Hsmc Technology Co., Ltd. Keyboard operated with two thumbs and key layout method thereof
US10156984B2 (en) 2013-09-29 2018-12-18 Shenzhen Hsmc Technology Co., Ltd. Method for implementing control of keys of virtual keyboard on wide touch screen with two thumbs
WO2015065402A1 (en) 2013-10-30 2015-05-07 Bodhi Technology Ventures Llc Displaying relevant use interface objects
CN104750374B (zh) * 2013-12-27 2019-11-22 深圳富泰宏精密工业有限公司 拨号盘管理方法及系统
WO2015108310A1 (en) * 2014-01-20 2015-07-23 Samsung Electronics Co., Ltd. User interface for touch devices
USD704673S1 (en) 2014-01-25 2014-05-13 Dinesh Agarwal Curved split-screen cellphone
WO2015112179A1 (en) 2014-01-27 2015-07-30 Hewlett-Packard Development Company, L.P. Printer interface selection and control
JP6429288B2 (ja) 2014-02-19 2018-11-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信機、送信方法およびプログラム
CN103885632B (zh) * 2014-02-22 2018-07-06 小米科技有限责任公司 输入方法和装置
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
US9158426B1 (en) * 2014-03-19 2015-10-13 Google Inc. Touch keyboard calibration
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
US20220171530A1 (en) * 2014-06-11 2022-06-02 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
US20150363008A1 (en) * 2014-06-11 2015-12-17 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
US10152227B2 (en) 2014-08-26 2018-12-11 International Business Machines Corporation Free form user-designed single-handed touchscreen keyboard
WO2016036552A1 (en) 2014-09-02 2016-03-10 Apple Inc. User interactions for a mapping application
CN105528169A (zh) * 2014-10-23 2016-04-27 中兴通讯股份有限公司 一种触摸屏设备和对触摸屏设备进行操作的方法
US9626089B2 (en) * 2015-01-16 2017-04-18 Toyota Motor Engineering & Manufacturing Determination and indication of included system features
US20160291747A1 (en) * 2015-03-31 2016-10-06 Prysm,Inc Asset positioning on large touch-screen displays
US9678664B2 (en) 2015-04-10 2017-06-13 Google Inc. Neural network for keyboard input decoding
KR101728045B1 (ko) 2015-05-26 2017-04-18 삼성전자주식회사 의료 영상 디스플레이 장치 및 의료 영상 디스플레이 장치가 사용자 인터페이스를 제공하는 방법
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
CN106293191B (zh) * 2015-06-19 2019-09-10 北京智谷睿拓技术服务有限公司 信息处理方法和设备
CN106325723B (zh) 2015-06-19 2019-09-20 北京智谷睿拓技术服务有限公司 信息处理方法和设备
KR20170002051A (ko) 2015-06-29 2017-01-06 삼성전자주식회사 한 손 조작 사용자 인터페이스 구현 방법 및 이를 수행하는 전자 장치
US10628036B2 (en) 2016-01-18 2020-04-21 Microsoft Technology Licensing, Llc Keyboard customization
US10860199B2 (en) 2016-09-23 2020-12-08 Apple Inc. Dynamically adjusting touch hysteresis based on contextual data
US10671181B2 (en) * 2017-04-03 2020-06-02 Microsoft Technology Licensing, Llc Text entry interface
US10013081B1 (en) 2017-04-04 2018-07-03 Google Llc Electronic circuit and method to account for strain gauge variation
CN106919292A (zh) * 2017-04-13 2017-07-04 芯海科技（深圳）股份有限公司 一种手机侧边虚拟按键的人机交互的方法及装置
US10514797B2 (en) * 2017-04-18 2019-12-24 Google Llc Force-sensitive user input interface for an electronic device
US10635255B2 (en) 2017-04-18 2020-04-28 Google Llc Electronic device response to force-sensitive interface
JP2017134868A (ja) * 2017-04-27 2017-08-03 キヤノン株式会社 情報端末、表示制御方法、およびプログラム
KR102044824B1 (ko) * 2017-06-20 2019-11-15 주식회사 하이딥 터치 감지 및 터치압력 감지가 가능한 장치 및 제어방법
US10671279B2 (en) * 2017-07-11 2020-06-02 Thumba Inc. Interactive virtual keyboard configured to use gestures and having condensed characters on a plurality of keys arranged approximately radially about at least one center point
US20190026120A1 (en) * 2017-07-21 2019-01-24 International Business Machines Corporation Customizing mobile device operation based on touch points
KR101881383B1 (ko) * 2017-10-11 2018-07-24 안지홍 한 손 조작이 용이한 터치 스크린 시스템 및 그 제공방법
CN110347315A (zh) * 2018-04-08 2019-10-18 中兴通讯股份有限公司 一种数据处理方法、终端及存储介质
CN110473311B (zh) * 2018-05-09 2021-07-23 杭州海康威视数字技术股份有限公司 防范非法攻击方法、装置及电子设备
KR102119482B1 (ko) * 2018-09-21 2020-06-05 충남대학교산학협력단 스마트폰 한손 자판 화면 배치 방법 및 문자 입력 방법
CN111309183B (zh) * 2020-02-26 2022-04-15 京东方科技集团股份有限公司 触控显示系统及其控制方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04102911A (ja) * 1990-08-22 1992-04-03 Toshiba Corp ハンドヘルドターミナル
JPH0785216B2 (ja) * 1992-02-07 1995-09-13 インターナショナル・ビジネス・マシーンズ・コーポレイション メニュー表示装置および方法
JPH10232735A (ja) 1997-02-18 1998-09-02 Sharp Corp 情報機器の入力装置
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
GB0201074D0 (en) 2002-01-18 2002-03-06 3G Lab Ltd Graphic user interface for data processing device
WO2004051392A2 (en) 2002-11-29 2004-06-17 Koninklijke Philips Electronics N.V. User interface with displaced representation of touch area
JP2004341813A (ja) 2003-05-15 2004-12-02 Casio Comput Co Ltd 入力装置表示制御方法及び入力装置
JP2005078156A (ja) 2003-08-28 2005-03-24 Seiko Epson Corp 制御用画面表示装置及び方法並びにそのプログラム
KR20060026830A (ko) * 2004-09-21 2006-03-24 송정헌 휴대용 키패드 시스템
JP2006268313A (ja) * 2005-03-23 2006-10-05 Fuji Xerox Co Ltd 表示制御装置およびその表示内容の配置方法
US7694231B2 (en) 2006-01-05 2010-04-06 Apple Inc. Keyboards for portable electronic devices
JP4628295B2 (ja) 2006-03-30 2011-02-09 京セラ株式会社 携帯端末装置における操作キー群のレイアウト方法および携帯端末装置
JP4699955B2 (ja) * 2006-07-21 2011-06-15 シャープ株式会社 情報処理装置
KR20080008750A (ko) 2006-07-21 2008-01-24 주식회사 용마엔지니어링 기계식 댐퍼를 겸비한 면진받침장치 및 이를 이용한면진시공방법
US7843427B2 (en) * 2006-09-06 2010-11-30 Apple Inc. Methods for determining a cursor position from a finger contact with a touch screen display
KR100852401B1 (ko) * 2007-02-27 2008-08-14 삼성전자주식회사 터치 스크린을 갖는 휴대 단말기의 문자 입력 방법
KR101086433B1 (ko) * 2007-03-27 2011-11-23 삼성전자주식회사 디바이스에서의 터치 스크린 키보드 표시 방법 및 장치
KR100837283B1 (ko) * 2007-09-10 2008-06-11 (주)익스트라스탠다드 터치스크린을 구비한 휴대용 단말기
JP2009110286A (ja) * 2007-10-30 2009-05-21 Toshiba Corp 情報処理装置、ランチャー起動制御プログラムおよびランチャー起動制御方法
KR101352994B1 (ko) * 2007-12-10 2014-01-21 삼성전자 주식회사 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
JP2009163278A (ja) * 2007-12-21 2009-07-23 Toshiba Corp 携帯型機器
US20120162078A1 (en) * 2010-12-28 2012-06-28 Bran Ferren Adaptive virtual keyboard for handheld device

Also Published As

Publication number Publication date
SG175398A1 (en) 2011-12-29
EP2443532A4 (en) 2012-11-07
EP2443532A1 (en) 2012-04-25
BRPI0924002B1 (pt) 2021-03-02
JP2012527709A (ja) 2012-11-08
BRPI0924002A2 (pt) 2012-12-11
US20120075194A1 (en) 2012-03-29
WO2010147611A1 (en) 2010-12-23
KR101364881B1 (ko) 2014-02-19
KR20120013409A (ko) 2012-02-14
EP2443532B1 (en) 2018-01-24
KR20120016087A (ko) 2012-02-22
KR101364837B1 (ko) 2014-02-19
KR101364814B1 (ko) 2014-02-19
JP5532499B2 (ja) 2014-06-25
US9013423B2 (en) 2015-04-21

Similar Documents

Publication Publication Date Title
KR101364881B1 (ko) 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드
US10133482B2 (en) Adaptive virtual keyboard for handheld device
JP4518955B2 (ja) 接触エリアの移動させられた表現を用いたユーザインタフェース
US9740399B2 (en) Text entry using shapewriting on a touch-sensitive input panel
KR101636705B1 (ko) 터치스크린을 구비한 휴대 단말의 문자 입력 방법 및 장치
JP2011530937A (ja) データ入力システム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200129

Year of fee payment: 7