WO2014014078A1 - 入力支援プログラム及び入力支援装置 - Google Patents

入力支援プログラム及び入力支援装置 Download PDF

Info

Publication number
WO2014014078A1
WO2014014078A1 PCT/JP2013/069599 JP2013069599W WO2014014078A1 WO 2014014078 A1 WO2014014078 A1 WO 2014014078A1 JP 2013069599 W JP2013069599 W JP 2013069599W WO 2014014078 A1 WO2014014078 A1 WO 2014014078A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
input
unit
definition
controller
Prior art date
Application number
PCT/JP2013/069599
Other languages
English (en)
French (fr)
Inventor
敦 友枝
文彦 川島
Original Assignee
みずほ情報総研 株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by みずほ情報総研 株式会社 filed Critical みずほ情報総研 株式会社
Publication of WO2014014078A1 publication Critical patent/WO2014014078A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Definitions

  • the present invention relates to an input support program and an input support apparatus for supporting character input in a computer terminal.
  • JP 2011-150489 A (first page, FIG. 1)
  • the selected key is specified by the touch position on the software keyboard.
  • the user cannot recognize the keys by the sense of the fingertips as in the hardware keyboard, that is, the physical keyboard. Therefore, the position of each key of the software keyboard assumed by the user and the actual software keyboard Deviation tends to occur between each key position.
  • the tablet terminal can detect various input methods such as a touch method and a touch position. Various input methods differ depending on the user and the usage environment. Since the conventional input device does not consider such an input method and usage environment, there is a problem that an efficient input operation cannot be performed.
  • An object of the present invention is to provide an input support program and an input support apparatus for realizing an efficient input operation.
  • a program for supporting key input in a computer terminal includes an operation detection unit that detects a user operation, a gesture dictionary storage unit that stores a gesture dictionary in which an operation event definition corresponding to a gesture definition related to an input operation is registered, and a control unit that executes an operation event With.
  • the program is stored in a non-transitory computer readable recording medium.
  • the control unit detects an operation in the operation detection unit, the operation content is sequentially stored, and the gesture definition is specified based on the series of stored operation content.
  • a gesture specifying unit for specifying an operation event definition corresponding to the gesture definition in the gesture dictionary storage unit, and an instruction for functioning as an operation event executing unit for executing the operation event specified by the operation event definition.
  • a keystroke trajectory pattern in which a keyboard keystroke trajectory when inputting a character string is associated with a key layout is registered as a gesture definition in the gesture dictionary storage unit.
  • the gesture specifying unit specifies a keystroke locus corresponding to the touch input, and specifies a keystroke locus pattern that approximates the specified keystroke locus in the gesture dictionary storage unit. To do.
  • the computer terminal includes a display unit for displaying characters.
  • the program when executed on the computer terminal, causes the control unit to output a software keyboard to the display unit and to further function as a keyboard control unit that identifies a word composed of characters selected on the software keyboard including.
  • the gesture specifying unit is inputted based on the keystroke locus, a word specified based on the keystroke locus pattern stored in the gesture dictionary storage unit, and a word specified in the keyboard control unit. Predict words.
  • the program includes an instruction that further causes the control unit to function as a grammatical rule determination unit that predicts a part of speech of an input word according to a grammatical rule at the time of writing a sentence when executed on the computer terminal.
  • the gesture specifying unit obtains part-of-speech information of a word to be input next from the grammar rule determining unit according to a character input situation, and based on the keystroke locus and the keystroke locus pattern using the part-of-speech information. To identify the word.
  • the gesture dictionary storage unit stores a gesture definition in association with usage environment information.
  • the program includes an instruction that further causes the control unit to function as an input status acquisition unit (input status acquisition unit) that acquires an input status when the gesture is detected when the program is executed in the computer terminal.
  • the gesture specifying unit specifies an operation event associated with usage environment information corresponding to the input situation.
  • the gesture dictionary storage unit stores user information.
  • the program when executed on the computer terminal, causes the control unit to acquire user information from the gesture dictionary storage unit based on the specified gesture definition, detect an operation detected by the operation detection unit, and the gesture Instructions for further functioning as an identity verification unit (identity verification means) for verifying the identity of the user of the computer terminal based on the difference from the gesture definition specified in the dictionary storage unit.
  • identity verification means identity verification means
  • an operation detection unit that detects a user operation
  • a gesture dictionary storage unit that stores a gesture dictionary in which an operation event definition corresponding to a gesture definition related to an input operation is registered, and an operation event is executed
  • an input support device for supporting input, comprising a control unit for performing the input.
  • the control unit sequentially stores the operation contents, specifies a gesture definition based on the stored series of operation contents, and defines an operation event definition corresponding to the gesture definition.
  • an operation event execution unit that executes an operation event specified in the operation event definition.
  • the control unit when the control unit detects an operation in the operation detection unit, the operation contents are sequentially stored, the gesture definition is specified based on the series of stored operation contents, and the gesture definition is supported.
  • An action event definition to be specified is specified in the gesture dictionary storage unit.
  • the control unit executes an operation event specified by the operation event definition. Thereby, the operation event desired by the user can be efficiently executed from the input gesture.
  • control unit when the control unit detects a touch input in the operation detection unit, the control unit specifies a keystroke locus corresponding to the touch input, and specifies a keystroke locus pattern that approximates the identified keystroke locus in the gesture dictionary storage unit. To do.
  • the character string that the user wants to input can be specified from the keystroke trajectory pattern corresponding to the input keystroke trajectory, and the character string can be input efficiently.
  • control unit outputs a software keyboard to the display unit, and specifies a word composed of characters selected on the software keyboard.
  • the control unit predicts an input word based on the word specified based on the keystroke locus, the keystroke locus pattern stored in the gesture dictionary storage unit, and the identified word. Thereby, the word which should have been designated by the user can be efficiently input from the words composed of the keystroke locus pattern and the characters selected on the software keyboard.
  • control unit predicts the part of speech of the input word according to the grammatical rules at the time of sentence creation.
  • the control unit acquires part-of-speech information of the next word to be input from the grammar rule determination unit according to the character input situation, and uses the part-of-speech information to specify the word using the keystroke locus and the keystroke locus pattern.
  • control unit acquires a gesture input state when a gesture is detected.
  • a control part specifies the operation event linked
  • control unit acquires user information from the gesture dictionary storage unit based on the specified gesture, and the operation detected by the operation detection unit and the gesture definition specified in the gesture dictionary storage unit. Based on the difference, identification of the user of the computer terminal is performed. Thereby, identity verification can be performed using the registered gesture definition.
  • Explanatory drawing of the functional block of the input assistance apparatus of embodiment of this invention Explanatory drawing of the creation process of the gesture dictionary in embodiment of this invention.
  • Explanatory drawing of the input assistance process in embodiment of this invention Explanatory drawing of the creation process of the keystroke locus
  • trajectory pattern dictionary in embodiment of this invention Explanatory drawing of the character input assistance process in embodiment of this invention.
  • FIG. 1 a case will be described in which the tablet terminal 20 is instructed to execute predetermined processing content (operation event) by a series of input operations (gestures). Further, in the present embodiment, it is assumed that English characters corresponding to each key selected on the software keyboard or a gesture detected on the tablet terminal 20 are input.
  • the gesture includes a specific touch detected on the software keyboard and a specific movement detected by the acceleration sensor.
  • the tablet terminal 20 is a computer terminal used by a user. Various applications can be executed on the tablet terminal 20. Information is output or input to the tablet terminal 20 via these applications.
  • the tablet terminal 20 includes a controller 21, a normal dictionary storage unit 22, a gesture dictionary storage unit 24, an acceleration sensor 27, and a touch panel display 30.
  • the touch panel display 30 functions as a display unit (display unit) and an input unit (input unit). Specifically, the touch panel display 30 outputs information on the panel, that is, displays information, and performs various operations (display operation according to the touch situation and acceleration such as an operation (tap) in which the user taps the panel surface). Pointing, key input, etc.) can be performed.
  • a software keyboard 500 is displayed on the touch panel display 30.
  • the software keyboard 500 includes keys for executing processing corresponding to operations such as character input, deletion, and cursor movement.
  • the controller 21 includes a control unit (CPU, RAM, ROM, etc.), and will be described later (display control stage, screen operation stage, sensor information acquisition stage, application execution stage, dictionary creation stage, operation processing stage, etc.) )I do.
  • the controller 21 functions as a display control unit 211, a screen operation unit (screen operation unit) 212, a sensor information acquisition unit (sensor information acquisition unit) 213, and an application execution unit (application execution unit) 214.
  • the controller 21 functions as a dictionary creation unit (dictionary creation unit) 215 and an operation processing unit (operation processing unit) 216 that identifies an operation event corresponding to a gesture by executing an input support program.
  • the screen operation unit 212 and the sensor information acquisition unit 213 function as an operation detection unit (operation detection unit) that detects a user operation.
  • the operation processing unit 216 functions as a gesture specifying unit (gesture specifying means).
  • the display control unit 211 executes processing for controlling display on the touch panel display 30.
  • the screen operation unit 212 executes processing for detecting an operation (gesture) on the touch panel display 30. Examples of the gesture include a touch on the touch panel display 30 and a pinch (an operation for changing an interval between two different touch positions using two fingers or the like). In this case, the screen operation unit 212 identifies the coordinates touched on the touch panel display 30 (touch position) and the movement in the pinch (direction and size of movement). Furthermore, the screen operation unit 212 functions as a keyboard control unit that outputs a software keyboard 500 on the touch panel display 30 and identifies a word composed of characters selected on the software keyboard 500.
  • the sensor information acquisition unit 213 executes processing for acquiring acceleration information (acceleration direction, magnitude, pattern, etc.) from the acceleration sensor 27.
  • the application execution unit 214 functions as an operation event execution unit (operation event execution means), and manages activation, execution, and the like of applications (for example, sentence creation, spreadsheet, browser, etc.) stored in the tablet terminal 20.
  • a character input screen that is a key input target is output to the touch panel display 30, that is, data for displaying the key input screen that is a key input target on the touch panel display 30 is Output to the touch panel display 30.
  • the dictionary creation unit 215 records the action event definition corresponding to the gesture definition in the gesture dictionary storage unit 24. For this reason, the dictionary creation unit 215 outputs a gesture registration screen to the touch panel display 30, acquires the gesture definition and the action event definition set on the gesture registration screen, and records them in the gesture dictionary storage unit 24. Further, in the gesture, the touch position (absolute position coordinates) of the touch panel display 30 is acquired and recorded in the gesture dictionary storage unit 24.
  • the operation processing unit 216 executes processing for instructing the application execution unit 214, an OS (operation system), and the like to execute an operation event corresponding to the gesture.
  • the operation event includes character input and command execution.
  • the operation processing unit 216 specifies an operation event definition corresponding to the detected gesture in the gesture dictionary storage unit 24 and instructs the specified operation event (first action).
  • the operation processing unit 216 originally holds a basic gesture table for basic gestures that the tablet terminal 20 can handle. In the basic gesture table, an operation event is recorded in association with the operation content (gesture).
  • the operation processing unit 216 specifies an operation corresponding to the detected gesture in the basic gesture table, and executes the specified operation event (first action).
  • the operation processing unit 216 includes an input memory for temporarily storing a series of operation contents in time series. If the operation processing unit 216 determines that the series of operation content recorded in the input memory is a composite gesture based on the data recorded in the gesture dictionary storage unit 24, the operation processing unit 216 performs an operation (second) according to the composite gesture. Action). Further, the operation processing unit 216 deletes (clears) a record of a series of operation contents temporarily stored in the input memory when a break is detected or when the second action is executed.
  • the controller 21 functions as a user authentication unit (user authentication means) that authenticates the user. Therefore, the controller 21 stores user information for authenticating the user of the tablet terminal 20, such as a user identifier (ID) and a password.
  • user authentication unit user authentication means
  • ID user identifier
  • password password
  • the controller 21 includes a delimiter information memory that stores delimiter information (for example, command execution, delimiter (delimiter) input) for specifying an input delimiter.
  • delimiter information for example, command execution, delimiter (delimiter) input
  • data related to delimiters such as “comma”, “space”, “tab”, and the like are stored.
  • the normal dictionary storage unit 22 stores dictionary data in which commonly used words (keywords) are spelled out.
  • This headword is composed of a character string composed of a plurality of characters.
  • the gesture dictionary storage unit 24 records a gesture management record for specifying an operation event (instruction to the system) to be executed based on the gesture.
  • This gesture management record is recorded when a gesture definition is registered.
  • an absolute position index and an action event definition are stored for the user ID, the use environment, and the gesture definition.
  • Data relating to an identifier for identifying each user is recorded in the user ID data area.
  • data relating to an identifier for specifying the usage environment in which the gesture input is used is recorded.
  • a usage environment a time zone corresponding to the date and time, an input destination application, and a file name are used.
  • gesture definition data area data related to a gesture (operation content) input in the tablet terminal 20 is recorded.
  • touch patterns key operation, multi-touch, touch time, touch rhythm, touch locus, touch position, etc.
  • acceleration patterns detected by the acceleration sensor 27 are stored.
  • the touch time is the length of time (touch duration) when one place is continuously touched.
  • the touch rhythm is a rhythm (touch duration of each touch and a time interval between touches) touched within a reference time.
  • the absolute position index data area data relating to an index for determining whether or not the touch position for specifying the gesture is fixed at the absolute position (coordinates) on the touch panel display 30 is recorded.
  • This absolute position index indicates a tolerance of deviation between the coordinates of the touch position recorded in the gesture definition data area and the coordinates of the actual touch position. For example, when coordinates for detecting a gesture on the touch panel display 30 are determined, the absolute position index is set high. On the other hand, when the coordinates for detecting the gesture on the touch panel display 30 are not determined, the absolute position index is set low. In the present embodiment, an arbitrary value can be set between the absolute position index: “low” to “high”.
  • the operation processing unit 216 determines a coordinate position tolerance that determines an allowable range of deviation between the gesture-defined touch position and the actual touch position according to the absolute position index.
  • operation event definition data area data for specifying an operation event to be executed based on the detected gesture is recorded.
  • action event definition character string input, command execution, and the like according to the gesture definition are set.
  • the acceleration sensor 27 is an acceleration measuring unit (acceleration measuring means) for measuring the acceleration generated in the tablet terminal 20 in three dimensions.
  • the acceleration sensor 27 temporarily stores acceleration information for a predetermined period.
  • the controller 21 of the tablet terminal 20 executes menu screen output processing (step S1-1).
  • the controller 21 executes a user identification process. Specifically, the controller 21 outputs a user authentication screen to the touch panel display 30.
  • This user authentication screen is provided with an input field for inputting a user ID and a password.
  • the controller 21 collates the input user ID and password with the stored user ID and password.
  • the controller 21 temporarily stores the user ID, and causes the display control unit 211 to display a menu screen on the touch panel display 30. On this menu screen, icons of various applications that can be activated are displayed. By selecting each icon, the corresponding application can be activated.
  • the controller 21 of the tablet terminal 20 executes a gesture registration screen output process (step S1-2).
  • the user selects a gesture registration application icon on the menu screen of the touch panel display 30.
  • the controller 21 executes the activation process of the gesture registration application.
  • the dictionary creation unit 215 of the controller 21 displays a gesture registration screen on the touch panel display 30.
  • the gesture registration screen includes a gesture start button, a gesture end button, a use environment setting field, a use environment setting button, an absolute position index setting field, an action event definition field, and an application end button.
  • the gesture start button is used when starting input of a gesture to be registered.
  • the gesture end button is used to end the input of the gesture to be registered.
  • the usage environment setting field is an input field for setting the usage environment in which the gesture to be registered is used.
  • this use environment setting column for example, a time zone in which this gesture can be used can be set. Therefore, the dictionary creation unit 215 identifies the time zone corresponding to the current date and time as the usage environment and displays it in the usage environment setting column. In this case, the user modifies the usage environment setting field as necessary.
  • this gesture is used for general purposes without limiting the usage environment, the usage environment setting column is left blank.
  • an application that can be used in the tablet terminal 20 can be set.
  • the dictionary creation unit 215 identifies installed applications and applications that have a history of use and displays them in the use environment setting column. Also in this case, the user modifies the application displayed in the use environment setting column as necessary.
  • the use environment setting button is used to register the use environment set in the use environment setting field in association with the gesture.
  • a slider for specifying whether or not the touch position for the gesture is fixed at the absolute position (coordinates) on the touch panel display 30 is displayed.
  • an arbitrary value can be set as an absolute position index between “low” and “high”.
  • “low” is set as the absolute position index
  • an operation event is executed when a gesture is detected at an arbitrary coordinate on the touch panel display 30.
  • “high” is set as the absolute position index
  • the operation event is executed only when a gesture is detected at coordinates registered in the dictionary on the touch panel display 30.
  • the application end button is used to end the gesture registration application.
  • the action event definition field is used to register an action event (character string input or command execution) to be executed in correspondence with a gesture.
  • the controller 21 of the tablet terminal 20 executes gesture definition processing (step S1-3).
  • a gesture is designated by showing a model by a simulated operation.
  • the dictionary creation unit 215 of the controller 21 specifies the operation content acquired from the detection of the gesture start button to the detection of the gesture end button as a gesture definition.
  • the dictionary creation unit 215 detects a touch on the touch panel display 30 and detects the touch pattern acquired from the screen operation unit 212 or the acceleration pattern detected by the acceleration sensor 27 and acquired from the sensor information acquisition unit 213 as a gesture definition. Identify.
  • touch panel display 30 detects a specific key operation or multi-touch or pinch at a plurality of positions at the same time
  • the coordinates of these positions are specified as a key operation pattern.
  • a touch rhythm having a series of touch intervals and a trajectory in which the finger is moved while maintaining the touch state are specified as the gesture definition.
  • the acceleration sensor 27 detects the acceleration of the reciprocating motion in the horizontal direction with respect to the vibration in a specific direction such as left and right
  • the tablet terminal 20 specifies an acceleration pattern formed by a time-series change of the acceleration as a gesture definition.
  • the controller 21 of the tablet terminal 20 executes an operation event definition process corresponding to the gesture (step S1-4). Specifically, the dictionary creation unit 215 of the controller 21 specifies an action event to be executed in association with the gesture definition in the action event definition field. In this action event definition column, input of a character string or execution of a specific command can be designated.
  • the controller 21 of the tablet terminal 20 executes a registration process by associating the gesture with the action event (step S1-5). Specifically, when the dictionary creation unit 215 of the controller 21 detects selection of the use environment setting button, a gesture management record in which the specified operation content (gesture) is recorded in the gesture definition data area in association with the user ID. Is generated. Further, when the usage environment information is set in the usage environment setting column, the dictionary creation unit 215 records the usage environment information in the gesture management record. Further, the dictionary creation unit 215 records the absolute position index and the motion event definition set on the gesture registration screen in each data area of the absolute position index and the motion event definition. The dictionary creation unit 215 records the generated gesture management record in the gesture dictionary storage unit 24.
  • the controller 21 of the tablet terminal 20 executes an application activation process. Specifically, the controller 21 activates an application designated on the application selection screen of the touch panel display 30.
  • an application for inputting characters for example, a document creation application
  • the operation processing unit 216 specifies and temporarily stores the extension of the file used for the activated application.
  • the operation processing unit 216 specifies the file name and file extension of the selected file and temporarily stores them.
  • the application execution unit 214 outputs a display screen (character input screen) to the touch panel display 30.
  • the controller 21 of the tablet terminal 20 executes a software keyboard display process (step S2-1). Specifically, the application execution unit 214 of the controller 21 instructs the display control unit 211 to output the software keyboard 500 when detecting selection of the character input area. In this case, the display control unit 211 displays the software keyboard 500 on the touch panel display 30.
  • the controller 21 of the tablet terminal 20 executes an operation detection process (step S2-2).
  • touch and pinch on the touch panel display 30 and acceleration in the acceleration sensor 27 are detected.
  • the operation processing unit 216 of the controller 21 acquires touch position information and pinch operation information from the screen operation unit 212. Further, the operation processing unit 216 acquires acceleration information detected by the acceleration sensor 27 from the sensor information acquisition unit 213.
  • step S2-3 the controller 21 of the tablet terminal 20 executes a temporary storage process. Specifically, the operation processing unit 216 of the controller 21 stores the operation content in the input memory in association with the use environment (time zone, file extension, and file name). Note that operations whose operation contents are not partially recorded in the gesture dictionary storage unit 24 are filtered to reset the input memory.
  • the controller 21 of the tablet terminal 20 executes a determination process as to whether or not the detected operation content is a registered gesture (step S2-4).
  • the gesture management record corresponding to the user of the tablet terminal 20 and the usage environment the gesture definition corresponding to the operation content is searched.
  • the operation processing unit 216 of the controller 21 specifies the current date and time in the system timer, and specifies the time zone corresponding to the current date and time.
  • the operation processing unit 216 searches the gesture dictionary storage unit 24 for a gesture management record corresponding to the user and the usage environment (time zone, file extension, and file name). In this case, a general-purpose record in which the user ID and the usage environment data area are blank is included in the search target.
  • the operation processing unit 216 searches the gesture dictionary storage unit 24 for a gesture management record in consideration of the coordinate position tolerance.
  • the operation processing unit 216 determines that the operation content is a registered gesture. To do.
  • the controller 21 of the tablet terminal 20 executes the first action process. (Step S2-5). Specifically, the operation processing unit 216 of the controller 21 specifies the action event definition recorded in the gesture dictionary storage unit 24 in association with the registered gesture. The operation processing unit 216 instructs execution of the operation event specified in the operation event definition.
  • the controller 21 determines that the detected operation content is basically A determination process as to whether or not it is a gesture is executed (step S2-6). Specifically, the operation processing unit 216 of the controller 21 searches the held basic gesture table for the detected operation content.
  • step S2-6 When it is determined that the detected operation content is a basic gesture (“YES” in step S2-6), the controller 21 of the tablet terminal 20 executes a first action process (step S2-5). Specifically, the operation processing unit 216 of the controller 21 specifies an operation event recorded in association with the detected gesture in the basic gesture table. The operation processing unit 216 executes the identified operation event.
  • step S2-6 when it is determined that the detected operation content is not a basic gesture (“NO” in step S2-6), the controller 21 of the tablet terminal 20 skips the first action process (step S2-5).
  • the controller 21 of the tablet terminal 20 executes a determination process as to whether or not the operation content temporarily stored in the input memory is a composite gesture (step S2-7).
  • the operation processing unit 216 of the controller 21 is a gesture management record associated with a user ID or usage environment, and a gesture management in which a series of operation contents recorded in the input memory is recorded as a gesture definition.
  • a gesture management record (corresponding gesture management record) corresponding to a record, that is, a series of operation contents is searched in the gesture dictionary storage unit 24.
  • the controller 21 executes the second action process (step S2-8). Specifically, the operation processing unit 216 of the controller 21 specifies the action event definition recorded in the gesture management record in the gesture dictionary storage unit 24. The operation processing unit 216 outputs a replacement confirmation screen to the touch panel display 30.
  • This replacement confirmation screen includes the contents of the action event definition specified in the gesture dictionary storage unit 24. Further, the replacement confirmation screen includes an icon for selecting whether or not replacement is necessary for the operation event specified corresponding to a series of operation contents with respect to the previously performed operation event.
  • the operation processing unit 216 cancels the preceding action event recorded in the input memory as the second action to the application execution unit 214 in the reverse order of the operation order, Instruct to execute the newly specified operation event.
  • the controller 21 skips the second action process (step S2-8).
  • step S2-9 the operation processing unit 216 of the controller 21 determines whether the detected operation content is a delimiter operation recorded in the delimiter information memory.
  • step S2-9 If it is determined that the detected operation content is not a break (in the case of “NO” in step S2-9), the controller 21 of the tablet terminal 20 repeats from step S2-2.
  • step S2 When it is determined that the detected operation content is a break (in the case of “YES” in step S2-9) or after the execution of the second action process (step S2-8), the controller 21 of the tablet terminal 20 stores the temporary storage. A clear process is executed (step S2-10). Specifically, the operation processing unit 216 of the controller 21 erases a series of operation contents recorded in the input memory.
  • a gesture dictionary (keystroke trajectory pattern dictionary) is created using words (keywords) registered in the normal dictionary storage unit 22.
  • the input on the software keyboard 500 is corrected using a gesture dictionary as necessary.
  • the keystroke locus pattern dictionary creation process (FIG. 4) and the input support process (FIG. 5) will be described in this order.
  • the controller 21 of the tablet terminal 20 executes the output process of the character string registration screen (step S3-2).
  • the user selects an icon of the keystroke locus registration application on the menu screen of the touch panel display 30.
  • the controller 21 executes the activation process of the keystroke locus registration application.
  • the dictionary creation unit 215 of the controller 21 displays a character registration screen on the touch panel display 30.
  • the character registration screen includes a designation field for designating characters for registering keystroke trajectories.
  • this designation field an arbitrary word can be input, or a headword included in the normal dictionary storage unit 22 can be designated.
  • this word can be input.
  • a target entry word to be registered can be designated.
  • the controller 21 of the tablet terminal 20 executes a process for specifying a character string to be registered (step S3-3). Specifically, the dictionary creation unit 215 of the controller 21 specifies each character (constituent character) constituting the word input or designated on the character registration screen. When a range of headwords recorded in the normal dictionary storage unit 22 is designated, a character string of headwords included in this range is sequentially specified. On the other hand, when a word not recorded in the normal dictionary storage unit 22 is input, the character string of this word is specified.
  • the controller 21 of the tablet terminal 20 executes a keystroke locus specifying process on the keyboard for the character string (step S3-4).
  • the dictionary creation unit 215 of the controller 21 identifies the position of the key corresponding to each identified character using the key arrangement information stored in the operation processing unit 216.
  • the dictionary creation unit 215 of the controller 21 specifies a keystroke trajectory pattern based on a trajectory obtained by connecting the center coordinates of the key recognition area corresponding to each specified character in the order of the characters constituting the word.
  • the controller 21 of the tablet terminal 20 executes a registration process by associating the character string with the keystroke locus (step S3-5).
  • the dictionary creation unit 215 of the controller 21 generates a gesture management record in which the specified keystroke locus pattern is recorded in the gesture definition data area.
  • the record when the user ID and the usage environment data area are blank, the record is not limited to the user or the usage environment, but is used as a general-purpose record (general-purpose record). Also, “high” is set as the absolute position index.
  • a registered character string (entry word) is set in the action event definition area.
  • the dictionary creation unit 215 records the generated gesture management record in the gesture dictionary storage unit 24.
  • the controller 21 of the tablet terminal 20 executes an application activation process. Specifically, the controller 21 activates an application designated on the application selection screen of the touch panel display 30.
  • an application for inputting characters for example, a document creation application
  • the operation processing unit 216 specifies and temporarily stores the extension of the file used for the activated application.
  • the operation processing unit 216 specifies and temporarily stores the file name and file extension of the file.
  • the application execution unit 214 outputs a display screen (character input screen) to the touch panel display 30.
  • the controller 21 of the tablet terminal 20 executes a software keyboard display process in the same manner as in step S2-1 (step S4-1).
  • the controller 21 of the tablet terminal 20 executes an operation detection process (step S4-2).
  • the touch position on the touch panel display 30 is detected.
  • the operation processing unit 216 of the controller 21 specifies the touch position information acquired from the screen operation unit 212.
  • step S4-3 the controller 21 of the tablet terminal 20 executes a temporary storage process (step S4-3). Specifically, the operation processing unit 216 of the controller 21 stores the operation content in the input memory in association with the use environment (time zone, file extension, and file name). Note that operations that are not recorded in the gesture dictionary storage unit 24 are filtered to reset the input memory.
  • the controller 21 of the tablet terminal 20 executes a determination process as to whether or not the detected operation content is a registered gesture (step S4-4). Specifically, the operation processing unit 216 of the controller 21 searches for a gesture definition corresponding to the operation content using a gesture management record corresponding to the user of the tablet terminal 20 and the usage environment.
  • the controller 21 of the tablet terminal 20 executes a character input process.
  • Step S4-5 the operation processing unit 216 of the controller 21 specifies characters recorded in the gesture dictionary storage unit 24 in association with the registered gesture.
  • the operation processing unit 216 delivers the specified character to the application execution unit 214. Thereby, the input character is displayed on the touch panel display 30.
  • the controller 21 of the tablet terminal 20 detects A determination process as to whether or not the operation content is a key input is executed (step S4-6). Specifically, the operation processing unit 216 of the controller 21 compares the detected gesture with the key layout of the software keyboard 500 on the touch panel display 30. When the recognition area of any key of the software keyboard 500 is touched, it is determined that the key is input.
  • step S4-6 When it is determined that the detected operation content is a key input (in the case of “YES” in step S4-6), the controller 21 of the tablet terminal 20 executes a character input process (step S4-5). Specifically, the operation processing unit 216 of the controller 21 instructs the application execution unit 214 to input the character specified in the arrangement of the software keyboard 500.
  • step S4-6 when it is determined that the detected operation content is not a key input (in the case of “NO” in step S4-6), the controller 21 of the tablet terminal 20 skips the character input process (step S4-5).
  • the controller 21 of the tablet terminal 20 executes a determination process as to whether or not the operation content temporarily stored in the input memory is a registered chunk (step S4-7).
  • the operation processing unit 216 of the controller 21 specifies a keystroke trajectory configured by connecting touch positions in a series of character inputs recorded in the input memory.
  • the keystroke trajectory means a trajectory in which the positions of each character on the keyboard are connected in the order of the characters constituting the word in a chunk (word) that is a lump of data (a plurality of characters).
  • the operation processing unit 216 searches the gesture dictionary storage unit 24 for the specified keystroke locus. In this case, if the difference between the similar shape and the keystroke trajectory is within the allowable range of the coordinate position tolerance, it is determined as a registered chunk.
  • the controller 21 of the tablet terminal 20 executes a character replacement process (step S4-8).
  • the operation processing unit 216 of the controller 21 specifies words recorded in the gesture dictionary storage unit 24 in association with a series of operation contents.
  • the operation processing unit 216 acquires the preceding input characters recorded in the input memory on the touch panel display 30.
  • the operation processing unit 216 instructs the application execution unit 214 to cancel a previously input character and input a newly specified word.
  • the tablet terminal 20 determines whether or not the detected operation content or the key input in the operation is a delimiter (step S4-9). Specifically, the operation processing unit 216 of the controller 21 determines whether or not the key input in the detected operation is a break recorded in the break information memory.
  • step S4-9 If it is determined that the input key is not a delimiter (“NO” in step S4-9), the controller 21 of the tablet terminal 20 repeats from step S4-2. On the other hand, when it is determined that the input key is a break (in the case of “YES” in step S4-9) or after the character replacement process (step S4-8) is executed, the controller 21 of the tablet terminal 20 performs step Similar to S2-10, a temporary storage clear process is executed (step S4-10). Specifically, the operation processing unit 216 of the controller 21 resets a series of operation contents recorded in the input memory.
  • the controller 21 of the tablet terminal 20 performs the gesture definition process (step S1-3), the action event definition process corresponding to the gesture (step S1-4), The registration process (step S1-5) is executed by associating the gesture with the action event.
  • the controller 21 of the tablet terminal 20 executes a determination process as to whether or not the detected operation content is a registered gesture (step S2-4). If the detected operation content is determined to be a registered gesture (“YES” in step S2-4), the controller 21 of the tablet terminal 20 executes a first action process (step S2-5). Thereby, the user can efficiently perform an input operation by using the registered gesture using the tablet terminal 20.
  • the controller 21 of the tablet terminal 20 executes a temporary storage process (step S2-3).
  • the controller 21 of the tablet terminal 20 executes a determination process as to whether or not the operation content temporarily stored in the input memory is a composite gesture (step S2-7).
  • the controller 21 of the tablet terminal 20 executes the second action process (step S2-8). Thereby, the user can efficiently perform an input operation by a composite gesture in which a series of a plurality of operations are combined.
  • step S2-8) when the replacement required icon is selected, the operation processing unit 216 cancels the previously performed operation event and instructs execution of the newly specified operation event. To do. As a result, each operation can be changed to an operation event corresponding to the composite gesture.
  • the controller 21 of the tablet terminal 20 records the gesture definition, the usage environment, and the action event definition specified by the user in the gesture dictionary storage unit 24 in association with each other.
  • the time zone corresponding to the operated date and time, the input destination application and the file name are used as the usage environment.
  • the controller 21 of the tablet terminal 20 executes a process for specifying a character string to be registered (step S3-3).
  • the controller 21 of the tablet terminal 20 executes the keystroke locus specifying process on the keyboard for the character string (step S3-4).
  • the controller 21 of the tablet terminal 20 executes a registration process by associating the character string with the keystroke locus (step S3-5).
  • headwords included in this range are sequentially specified. Thereby, the keystroke trajectory pattern can be registered using the normal dictionary storage unit 22.
  • the controller 21 of the tablet terminal 20 executes a determination process as to whether or not the operation content temporarily stored in the input memory is a registered chunk (step S4-7).
  • the controller 21 of the tablet terminal 20 executes a character replacement process (step S4-8).
  • a more probable word can be specified by specifying a word based on a keystroke locus.
  • the tablet terminal 20 is used as the input support device, but the present invention is not limited to this.
  • the present invention can also be applied to a smartphone terminal that can perform touch input.
  • step S4-8 when the corresponding gesture management record is registered in the gesture dictionary storage unit 24 and the operation content temporarily stored in the input memory is determined to be a registered chunk (“YES” in step S4-7) ), The controller 21 of the tablet terminal 20 executes a character replacement process (step S4-8). In this case, similarly to the second action process (step S2-8), a replacement confirmation screen may be output to confirm whether or not the character string needs to be replaced.
  • step S2--7 if the operation content temporarily stored in the input memory is determined to be a composite gesture (“YES” in step S2-7), the controller 21 of the tablet terminal 20 performs the second action process. Execute (step S2-8). If it is determined that the operation content temporarily stored in the input memory is a registered chunk (“YES” in step S4-7), the controller 21 of the tablet terminal 20 executes a character replacement process (step S4). -8).
  • the necessity of replacement may be determined according to the frequency of replacement.
  • the replacement frequency is registered in association with the gesture definition recorded in the gesture dictionary storage unit 24. When an operation corresponding to the gesture definition is detected, the replacement frequency is updated according to the presence or absence of replacement.
  • the controller 21 of the tablet terminal 20 performs replacement when the replacement frequency exceeds a reference value (for example, 50%).
  • the controller 21 of the tablet terminal 20 when the operation content temporarily stored in the input memory is determined to be a registered chunk (“YES” in step S4-7), the controller 21 of the tablet terminal 20 performs character replacement processing. Execute (Step S4-8).
  • the controller 21 of the tablet terminal 20 may compare the key-input character string with the registered chunk recorded in the gesture dictionary storage unit 24. When the registered chunk matches the keyed character string, the operation processing unit 216 maintains the keyed character string (word) and executes a temporary memory clear process (step S2-10). ). On the other hand, if the two are different, the registered chunk is output to the character input screen as an input candidate. Moreover, when both differ, you may specify the word with high use frequency. This makes it possible to more appropriately identify the word that the user should have input while using the key input character string and the registered chunk together.
  • the operation processing unit 216 may specify the word using the keystroke locus pattern.
  • the time zone, the input destination application and the file name are used as the usage environment, but the usage environment is not limited to this.
  • the surrounding environment of the tablet terminal 20 detected by the acceleration sensor 27 can also be used as the usage environment.
  • the preceding input characters, the number of taps within a predetermined time (tap speed), the period of continuous keyboard input (period in which the interval between inputs was within the predetermined time), and the number of taps during synchronization It is also possible to use the elapsed time from the start of key input.
  • the operation processing unit 216 specifies the word input immediately before and specifies the gesture definition associated with the use environment according to the preceding input word.
  • the tap speed range is registered in the use environment data area of the gesture management record in the gesture dictionary storage unit 24.
  • the operation processing unit 216 counts the number of times tapped within a predetermined reference time, and calculates the tap speed.
  • the operation processing unit 216 identifies a gesture definition associated with a use environment (tap speed range) corresponding to the calculated tap speed.
  • the elapsed time range is registered in the use environment data area of the gesture management record in the gesture dictionary storage unit 24.
  • the operation processing unit 216 temporarily stores the key input start time, and calculates an elapsed time from the key input start time.
  • the operation processing unit 216 changes the gesture definition associated with the use environment (elapsed time range) according to the calculated elapsed time.
  • the controller 21 of the tablet terminal 20 executes a character replacement process.
  • identity verification may be performed based on the detected operation content (gesture).
  • the keystroke trajectory pattern of this reference character is registered for each user in accordance with the reference character string used as the reference for identity verification.
  • the reference character string for example, a person's name or a frequently used word can be used.
  • the operation processing unit 216 uses the keystroke trajectory corresponding to the reference character to specify the characteristics (keystroke position) of the input operation and perform identity verification. Specifically, it is determined that the user is the original user only when the shift of the keystroke position is within a predetermined range with respect to the keystroke locus pattern. Thereby, since a user's identity verification can be performed continuously, security can be improved.
  • the controller 21 of the tablet terminal 20 may learn the characteristics (for example, ⁇ ) of the user's input operation from the user's keystroke locus. Specifically, the controller 21 stores a keystroke locus for a word input by the user in association with the headword. In addition, when a word is corrected by a user's correction input, the key position of the word before correction is compared with the key position of the word after correction, and if these are included in the predetermined range, The keystroke locus before correction is stored in association with the word (headword). These keystroke trajectories are stored in association with the user ID. Thereby, input support according to a user can be performed.
  • ⁇ characteristics of the user's input operation from the user's keystroke locus. Specifically, the controller 21 stores a keystroke locus for a word input by the user in association with the headword. In addition, when a word is corrected by a user's correction input, the key position of the word before correction is compared with the key position of the word after correction, and
  • the key layout of the user's software keyboard 500 may be changed based on the characteristics of the user's input operation. For example, when the word can be identified based on the keystroke locus, the controller 21 changes the key position according to the character string of this word so that the center of the key of this character matches the keystroke position.
  • the keystroke trajectory pattern is compared with the input keystroke trajectory, and if the entire keyboard is displaced, the controller 21 changes the arrangement of the entire keyboard (parallel movement or rotation) according to the amount of displacement. You may do it.
  • the touch panel display 30 and the acceleration sensor are used to specify the operation content (gesture).
  • the means for specifying the gesture is not limited to this, and various sensors (for example, a camera and a microphone) provided in the tablet terminal 20 can be used. In this case, patterns about information that can be detected by various sensors are registered in the gesture dictionary storage unit 24.
  • the controller 21 of the tablet terminal 20 performs a determination process as to whether or not the detected operation content is a registered gesture (steps S2-4 and S4-4). In addition, the controller 21 of the tablet terminal 20 performs a determination process as to whether or not the operation content temporarily stored in the input memory is a composite gesture or a registered chunk (steps S2-7 and S4-7). In this case, if a plurality of approximate gesture definitions can be extracted corresponding to the operation content, an action event definition corresponding to a pattern having a high degree of coincidence may be specified.
  • the operation processing unit 216 determines the coordinate position tolerance that determines the allowable range of deviation between the gesture-defined touch position and the actual touch position in accordance with the absolute position index.
  • the allowable range of this deviation may be changed depending on the word.
  • the gesture dictionary storage unit 24 records an allowable range of deviation for each word. Specifically, the controller 21 of the tablet terminal 20 compares the keystroke trajectory patterns recorded in the gesture dictionary storage unit 24 with each other, and determines the presence or absence of a similar keystroke trajectory pattern. If the controller 21 determines that there is no similar keystroke trajectory pattern, the gesture dictionary storage unit 24 sets a large deviation allowable range in association with this word.
  • a plurality of allowable ranges having different sizes are held in the controller 21 in advance, and when it is determined that there is no keystroke locus pattern, a relatively large allowable range is set.
  • the gesture dictionary storage unit 24 sets a relatively small allowable range in association with this word. That is, when it is determined that there is a similar keystroke locus pattern, a smaller allowable range is set than when it is determined that there is no keystroke locus pattern.
  • the allowable range can be increased and the word can be identified efficiently.
  • the allowable range is decreased and an accurate word is selected. Can be identified.
  • the controller 21 of the tablet terminal 20 executes a determination process as to whether or not the operation content temporarily stored in the input memory is a registered chunk (step S4-7).
  • word narrowing may be executed according to the character input status.
  • the controller 21 is further caused to function as a grammar rule determination unit (grammar rule determination means) that predicts the part of speech of the input word based on the grammar rules at the time of writing. Further, the part of speech is registered for the word recorded in the gesture management record of the gesture dictionary storage unit 24.
  • the operation processing unit 216 of the controller 21 acquires part-of-speech information of the next word input from the grammar rule determination unit according to the character input situation.
  • the operation processing unit 216 uses this part-of-speech information to identify a word based on the gesture definition (keystroke trajectory pattern). Thereby, since the word input based on part-of-speech information can be narrowed down, a word can be specified efficiently and accurately.
  • the operation processing unit 216 acquires touch information (touch position, touch locus, etc.) from the screen operation unit 212.
  • the touch information is not limited to these.
  • touch intensity can be used.
  • the operation processing unit 216 specifies a gesture using an acceleration pattern when a single location is touched.
  • a pressure sensor may be provided in the touch panel display 30, and the operation processing unit 216 may acquire a touch intensity from the pressure sensor and specify a gesture.
  • the controller 21 of the tablet terminal 20 determines whether the detected operation content or the key input in the operation is a separation. Processing is executed (steps S2-9 and S4-9).
  • the determination method of a series of input operations is not limited to this. For example, when the operation processing unit 216 acquires touch operation information (touch rhythm, touch trajectory, etc.) on the touch panel display 30, the touch operation performed continuously from the start of the operation until a certain time interval is available. Are specified as a series of operation contents. Further, when the acceleration processing unit 216 acquires the acceleration information from the acceleration sensor 27, the operation processing unit 216 specifies the acceleration information within a certain time as a series of operation contents.
  • DESCRIPTION OF SYMBOLS 20 ... Tablet terminal, 21 ... Controller, 22 ... Normal dictionary memory

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

効率的な入力操作を実現するための入力支援プログラム及び入力支援装置を提供する。タブレット端末２０は、コントローラ２１、通常辞書記憶部２２及びジェスチャ辞書記憶部２４を備える。ジェスチャ辞書の作成処理において、コントローラ２１は、ジェスチャを動作イベントに対応付けて、対応付けたジェスチャをジェスチャ辞書記憶部２４に登録する。入力支援処理においては、コントローラ２１は、操作を検知し、入力メモリに一時記憶する。検知した操作内容がジェスチャ辞書記憶部２４に登録されており、登録ジェスチャと判定される場合、コントローラ２１は、第１アクション処理を実行する。次に、コントローラ２１は、入力メモリに一時記憶された操作内容に基づいて検知した操作内容が複合ジェスチャかどうかについて判定する。複合ジェスチャと判定される場合、コントローラ２１は、第２アクション処理を実行し、一時記憶をクリアする。

Description

入力支援プログラム及び入力支援装置
　本発明は、コンピュータ端末において文字入力を支援するための入力支援プログラム及び入力支援装置に関する。
　タブレット端末等のコンピュータ端末において、キーボードを画面上に表示し、その画面上でカーソルを移動させて文字に対応するキーを選択することによって文字を入力するソフトウェアキーボードが提案されている（例えば、特許文献１を参照。）。特許文献１に記載された技術では、表示画面上にソフトウェアキーボードが表示され、利用者は画面を触れることによって情報を入力する。更に、この技術では、利用者の各キーの操作位置のバラツキに基づいて、各キーの位置を異なって表示させることが記載されている。
特開２０１１－１５０４８９号公報（第１頁、図１）
　上述のソフトウェアキーボードでは、ソフトウェアキーボード上のタッチ位置により、選択されたキーを特定する。しかしながら、ソフトウェアキーボードの場合、利用者はハードウェアキーボードすなわち物理的キーボードにおけるように指先感覚によるキーの認識ができないことから、利用者が想定しているソフトウェアキーボードの各キーの位置と実際のソフトウェアキーボードの各キーの位置との間にずれが生じやすい。一方、タブレット端末は、ハードウェアキーボードの場合と異なり、タッチ方法やタッチ位置など、各種入力方法を検知することができる。また、各種入力方法は、利用者や利用環境に応じて異なるものである。従来の入力装置では、このような入力方法や利用環境を考慮していなかったので、効率的な入力操作ができないという課題があった。
　本発明の目的は、効率的な入力操作を実現するための入力支援プログラム及び入力支援装置を提供することにある。
　上記目的を達成するため、本発明の一態様では、コンピュータ端末においてキー入力を支援するためのプログラムを提供する。該コンピュータ端末は、利用者の操作を検知する操作検知部と、入力操作に関するジェスチャ定義に対応する動作イベント定義が登録されたジェスチャ辞書を記憶したジェスチャ辞書記憶部と、動作イベントを実行する制御部とを備える。前記プログラムは、非一時的なコンピュータ可読記録媒体に記憶される。前記プログラムは、前記コンピュータ端末における実行時に、前記制御部を、前記操作検知部において操作を検知した場合、この操作内容を順次、記憶し、記憶された一連の操作内容に基づいてジェスチャ定義を特定し、このジェスチャ定義に対応する動作イベント定義を前記ジェスチャ辞書記憶部において特定するジェスチャ特定部、及び前記動作イベント定義に特定される動作イベントを実行する動作イベント実行部として機能させる命令を含む。
　一実施形態では、前記ジェスチャ辞書記憶部には、文字列を入力する際のキーボード打鍵軌跡をキー配置に対応させた打鍵軌跡パターンがジェスチャ定義として登録されている。前記ジェスチャ特定部は、前記操作検知部においてタッチ入力を検知した場合には、タッチ入力に応じた打鍵軌跡を特定し、この特定した打鍵軌跡に近似する打鍵軌跡パターンを前記ジェスチャ辞書記憶部において特定する。
　一実施形態では、前記コンピュータ端末は文字を表示する表示部を備えている。前記プログラムは、前記コンピュータ端末における実行時に、前記制御部を、前記表示部にソフトウェアキーボードを出力し、前記ソフトウェアキーボードにおいて選択された文字により構成された単語を特定するキーボード制御部として更に機能させる命令を含む。前記ジェスチャ特定部は、前記打鍵軌跡と、前記ジェスチャ辞書記憶部に記憶された打鍵軌跡パターンとに基づいて特定された単語と、前記キーボード制御部において特定された単語とに基づいて、入力された単語の予測を行う。
　一実施形態では、前記プログラムは、前記コンピュータ端末における実行時に、前記制御部を、文章作成時の文法規則により、入力される単語の品詞を予測する文法規則判定部として更に機能させる命令を含む。前記ジェスチャ特定部は、文字入力状況に応じて、前記文法規則判定部から次に入力される単語の品詞情報を取得し、前記品詞情報を用いて、前記打鍵軌跡と前記打鍵軌跡パターンとに基づいて単語を特定する。
　一実施形態では、前記ジェスチャ辞書記憶部はジェスチャ定義を利用環境情報に関連付けて記憶している。前記プログラムは、前記コンピュータ端末における実行時に、前記制御部を、前記ジェスチャを検知したときの入力状況を取得する入力状況取得部（入力状況取得手段）として更に機能させる命令を含む。前記ジェスチャ特定部は、前記入力状況に対応する利用環境情報に関連付けられている動作イベントを特定する。
　一実施形態では、前記ジェスチャ辞書記憶部は、利用者情報を記憶している。前記プログラムは、前記コンピュータ端末における実行時に、前記制御部を、前記特定したジェスチャ定義に基づいて、前記ジェスチャ辞書記憶部から利用者情報を取得し、前記操作検知部において検知した操作と、前記ジェスチャ辞書記憶部において特定したジェスチャ定義との間の差異に基づいて、前記コンピュータ端末の利用者についての本人確認を行う本人確認部（本人確認手段）として更に機能させる命令を含む。
　本発明の別の態様では、利用者の操作を検知する操作検知部と、入力操作に関するジェスチャ定義に対応する動作イベント定義が登録されたジェスチャ辞書を記憶したジェスチャ辞書記憶部と、動作イベントを実行する制御部とを備えた、入力を支援するための入力支援装置を提供する。前記制御部は、前記操作検知部において操作を検知した場合、この操作内容を順次、記憶し、記憶された一連の操作内容に基づいてジェスチャ定義を特定し、このジェスチャ定義に対応する動作イベント定義を前記ジェスチャ辞書記憶部において特定するジェスチャ特定部と、前記動作イベント定義に特定される動作イベントを実行する動作イベント実行部とを備える。
　（作用）
　本発明によれば、制御部が、操作検知部において操作を検知した場合、この操作内容を順次、記憶し、記憶された一連の操作内容に基づいてジェスチャ定義を特定し、このジェスチャ定義に対応する動作イベント定義を前記ジェスチャ辞書記憶部において特定する。制御部が、この動作イベント定義に特定される動作イベントを実行する。これにより、入力されたジェスチャから、利用者が所望する動作イベントを、効率的に実行させることができる。
　一実施形態では、制御部が、操作検知部においてタッチ入力を検知した場合には、タッチ入力に応じた打鍵軌跡を特定し、特定した打鍵軌跡に近似する打鍵軌跡パターンをジェスチャ辞書記憶部において特定する。これにより、入力された打鍵軌跡に応じた打鍵軌跡パターンから、利用者が入力したい文字列を特定し、この文字列の入力を効率的に行うことができる。
　一実施形態では、制御部が、表示部にソフトウェアキーボードを出力し、ソフトウェアキーボードにおいて選択された文字により構成された単語を特定する。制御部が、打鍵軌跡と、ジェスチャ辞書記憶部に記憶された打鍵軌跡パターンとに基づいて特定された単語と、特定された単語とに基づいて、入力された単語の予測を行う。これにより、打鍵軌跡パターンとソフトウェアキーボードにおいて選択された文字により構成された単語から、利用者が指定したはずの単語を効率的に入力することができる。
　一実施形態では、制御部が、文章作成時の文法規則により、入力される単語の品詞を予測する。制御部が、文字入力状況に応じて、文法規則判定部から次に入力される単語の品詞情報を取得し、品詞情報を用いて、打鍵軌跡と打鍵軌跡パターンを用いて単語を特定する。これにより、単語の品詞を特定することにより単語の絞り込みを行って、打鍵軌跡パターンを用いて、より効率よく単語を特定することができる。
　一実施形態では、制御部が、ジェスチャを検知したときのジェスチャの入力状況を取得する。制御部が、この入力状況に対応する利用環境情報に関連付けられている動作イベントを特定する。これにより、そのときの入力状況を考慮して、動作イベントを特定して実行することができる。
　一実施形態では、制御部が、特定したジェスチャに基づいて、ジェスチャ辞書記憶部から利用者情報を取得し、操作検知部において検知した操作と、ジェスチャ辞書記憶部において特定したジェスチャ定義との間の差異に基づいて、コンピュータ端末の利用者についての本人確認を行う。これにより、登録されたジェスチャ定義を用いて、本人確認を行うことができる。
本発明の実施形態の入力支援装置の機能ブロックの説明図。 本発明の実施形態におけるジェスチャ辞書の作成処理の説明図。 本発明の実施形態における入力支援処理の説明図。 本発明の実施形態における打鍵軌跡パターン辞書の作成処理の説明図。 本発明の実施形態における文字入力支援処理の説明図。
　以下、本発明を具体化した入力支援装置の一実施形態を図１～図５に従って説明する。本実施形態では、図１に示すように、タブレット端末２０に、一連の入力操作（ジェスチャ）によって、所定の処理内容（動作イベント）の実行を指示する場合を説明する。また、本実施形態では、ソフトウェアキーボード上で選択された各キーや、タブレット端末２０において検知したジェスチャに対応する英文字を入力する場合を想定する。ここで、ジェスチャには、ソフトウェアキーボード上で検知した特定のタッチや、加速度センサにおいて検知した特定の動きがある。
　タブレット端末２０は、利用者が用いるコンピュータ端末である。タブレット端末２０上では各種アプリケーションを実行させることが可能である。それらのアプリケーションを介して、タブレット端末２０に情報が出力や入力される。本実施形態では、このタブレット端末２０は、コントローラ２１、通常辞書記憶部２２、ジェスチャ辞書記憶部２４、加速度センサ２７、タッチパネルディスプレイ３０を備えている。
　タッチパネルディスプレイ３０は、表示部（表示手段）及び入力部（入力手段）として機能する。具体的には、タッチパネルディスプレイ３０は、パネル上に情報を出力すなわち表示するとともに、利用者がパネル表面を軽く叩く操作（タップ）等のタッチ状況や加速度に応じた表示内容に基づいて各種操作（ポインティング、キー入力等）に対応した処理を実行するように動作できる。本実施形態では、このタッチパネルディスプレイ３０には、ソフトウェアキーボード５００が表示される。このソフトウェアキーボード５００には、文字の入力や、削除やカーソル移動等の操作に対応した処理を実行させるためのキーが含まれている。
　コントローラ２１は、制御部（ＣＰＵ、ＲＡＭ、ＲＯＭ等）を備え、後述する処理（表示制御段階、画面操作段階、センサ情報取得段階、アプリケーション実行段階、辞書作成段階、操作処理段階等の各処理等）を行う。コントローラ２１は、表示制御部２１１、画面操作部（画面操作手段）２１２、センサ情報取得部（センサ情報取得手段）２１３、アプリケーション実行部（アプリケーション実行手段）２１４として機能する。更に、コントローラ２１は、入力支援プログラムを実行することにより、辞書作成部（辞書作成手段）２１５、及びジェスチャに応じた動作イベントを特定する操作処理部（操作処理手段）２１６として機能する。ここで、画面操作部２１２、センサ情報取得部２１３は、利用者の操作を検知する操作検知部（操作検知手段）として機能する。また、操作処理部２１６は、ジェスチャ特定部（ジェスチャ特定手段）として機能する。
　表示制御部２１１は、タッチパネルディスプレイ３０における表示を制御する処理を実行する。
　画面操作部２１２は、タッチパネルディスプレイ３０における操作（ジェスチャ）を検知する処理を実行する。このジェスチャには、タッチパネルディスプレイ３０上でのタッチやピンチ（２本の指などによる２つの異なるタッチ位置の間の間隔の変更動作）などがある。この場合、画面操作部２１２は、タッチパネルディスプレイ３０上でタッチされた座標（タッチ位置）や、ピンチにおける動き（動きの方向や大きさ）を特定する。更に、画面操作部２１２は、タッチパネルディスプレイ３０上にソフトウェアキーボード５００を出力し、ソフトウェアキーボード５００において選択された文字により構成された単語を特定するキーボード制御部として機能する。
　センサ情報取得部２１３は、加速度センサ２７からの加速度情報（加速度の方向、大きさ及びパターン等）を取得する処理を実行する。
　アプリケーション実行部２１４は、動作イベント実行部（動作イベント実行手段）として機能し、タブレット端末２０に格納されたアプリケーション（例えば、文章作成、表計算、ブラウザ等）の起動、実行等の管理を行う。本実施形態においては、このアプリケーションの実行により、キー入力対象である文字入力画面をタッチパネルディスプレイ３０に出力する、すなわち、キー入力対象であるキー入力画面をタッチパネルディスプレイ３０に表示するためのデータを、タッチパネルディスプレイ３０に出力する。
　辞書作成部２１５は、ジェスチャ定義に対応する動作イベント定義をジェスチャ辞書記憶部２４に記録する。このため、辞書作成部２１５は、ジェスチャ登録画面をタッチパネルディスプレイ３０に出力し、このジェスチャ登録画面において設定されたジェスチャ定義、動作イベント定義を取得して、ジェスチャ辞書記憶部２４に記録する。更に、ジェスチャにおいて、タッチパネルディスプレイ３０のタッチ位置（絶対位置座標）を取得して、ジェスチャ辞書記憶部２４に記録する。
　操作処理部２１６は、ジェスチャに応じた動作イベントの実行をアプリケーション実行部２１４やＯＳ（オペレーションシステム）等に指示する処理を実行する。動作イベントとしては、文字入力やコマンド実行等がある。この操作処理部２１６は、検知したジェスチャに応じた動作イベント定義をジェスチャ辞書記憶部２４において特定し、特定した動作イベント（第１アクション）の指示を行う。また、操作処理部２１６は、本来、タブレット端末２０が対応可能な基本ジェスチャについての基本ジェスチャテーブルを保持している。この基本ジェスチャテーブルには、操作内容（ジェスチャ）に関連付けて動作イベントが記録されている。操作処理部２１６は、検知したジェスチャに応じた動作を基本ジェスチャテーブルにおいて特定し、特定した動作イベント（第１アクション）を実行する。
　また、操作処理部２１６は、一連の操作内容を時系列に一時記憶する入力メモリを備えている。操作処理部２１６は、入力メモリに記録された一連の操作内容がジェスチャ辞書記憶部２４において記録されているデータに基づき複合ジェスチャと判定された場合には、この複合ジェスチャに応じた動作（第２アクション）の指示を行う。また、操作処理部２１６は、区切りを検知した場合や第２アクションを実行した場合には、入力メモリに一時記憶された一連の操作内容の記録を消去（クリア）する。
　更に、コントローラ２１は、利用者を認証する利用者認証部（利用者認証手段）として機能する。このため、コントローラ２１は、このタブレット端末２０の利用者を認証するための利用者情報、例えば、利用者識別子（ＩＤ）、パスワードなど、を記憶している。
　また、コントローラ２１は、入力の区切りを特定するための区切り情報（例えば、コマンド実行、区切り文字（デリミタ）の入力）を記憶した区切り情報メモリを備えている。このデリミタとして、例えば、「カンマ」、「スペース」、「タブ」等の区切り文字に関するデータが記憶されている。
　通常辞書記憶部２２には、一般的に用いられる単語（見出し語）をスペル表記した辞書データが記録されている。この見出し語は、複数の文字からなる文字列によって構成される。
　ジェスチャ辞書記憶部２４には、ジェスチャに基づいて、実行させる動作イベント（システムに対する指示）を特定するためのジェスチャ管理レコードが記録される。このジェスチャ管理レコードは、ジェスチャ定義が登録された場合に記録される。このジェスチャ管理レコードには、利用者ＩＤ、利用環境、ジェスチャ定義に対して、絶対位置指標、動作イベント定義が記憶されている。
　利用者ＩＤデータ領域には、各利用者を特定するための識別子に関するデータが記録される。
　利用環境データ領域には、ジェスチャ入力を利用する利用環境を特定するための識別子に関するデータが記録される。利用環境として、年月日や時刻に対応するタイムゾーン、入力先のアプリケーションやファイル名が用いられる。
　ジェスチャ定義データ領域には、タブレット端末２０において入力するジェスチャ（操作内容）に関するデータが記録される。ジェスチャ定義として、画面操作部２１２において検知したタッチパターン（キー操作、マルチタッチ、タッチ時間、タッチリズム、タッチ軌跡、タッチ位置等）や、加速度センサ２７において検知した加速度パターンが記憶されている。ここで、タッチ時間は、一箇所が継続的にタッチされた時間の長さ（タッチ継続時間）である。タッチリズムは、基準時間内にタッチされたリズム（各タッチのタッチ継続時間及びタッチ同士の間の時間間隔）である。
　絶対位置指標データ領域には、ジェスチャを特定するためのタッチ位置が、タッチパネルディスプレイ３０上の絶対位置（座標）において固定されているかどうかを判定するための指標に関するデータが記録される。この絶対位置指標は、ジェスチャ定義データ領域に記録されたタッチ位置の座標と、実際のタッチ位置の座標とのずれの許容度を示す。例えば、タッチパネルディスプレイ３０上でジェスチャを検知する座標が決められている場合には、絶対位置指標を高く設定しておく。一方、タッチパネルディスプレイ３０上でジェスチャを検知する座標が決められていない場合には、絶対位置指標を低く設定しておく。本実施形態では、絶対位置指標：「低」～「高」までの間において、任意の値を設定することができる。操作処理部２１６は、この絶対位置指標に応じて、ジェスチャ定義のタッチ位置と実際のタッチ位置とのずれの許容範囲を決める座標位置許容度を定める。
　動作イベント定義データ領域には、検知したジェスチャに基づいて実行される動作イベントを特定するためのデータが記録される。この動作イベント定義には、ジェスチャ定義に応じた文字列の入力やコマンド実行等が設定される。
　加速度センサ２７は、タブレット端末２０において生じた加速度を３次元で測定するための加速度計測部（加速度計測手段）である。加速度センサ２７は、所定期間分の加速度情報を仮記憶する。
　（ジェスチャ辞書の作成処理）
　次に、ジェスチャ辞書の作成処理について図２に従って説明する。
　まず、タブレット端末２０のコントローラ２１は、メニュー画面の出力処理を実行する（ステップＳ１－１）。タブレット端末２０の使用時には、コントローラ２１は、利用者の特定処理を実行する。具体的には、コントローラ２１は、利用者認証画面をタッチパネルディスプレイ３０に出力する。この利用者認証画面には、利用者ＩＤ、パスワードを入力するための入力欄が設けられている。ここで、利用者ＩＤ、パスワードが入力された場合、コントローラ２１は、入力された利用者ＩＤ、パスワードを記憶している利用者ＩＤ、パスワードと照合する。コントローラ２１は、照合を完了した場合、利用者ＩＤを仮記憶し、表示制御部２１１により、タッチパネルディスプレイ３０にメニュー画面を表示する。このメニュー画面には、起動可能な各種アプリケーションのアイコンが表示されており、各アイコンを選択することにより、対応するアプリケーションを起動することができる。
　ジェスチャ辞書の作成の場合、タブレット端末２０のコントローラ２１は、ジェスチャ登録画面の出力処理を実行する（ステップＳ１－２）。ここで、利用者は、タッチパネルディスプレイ３０のメニュー画面において、ジェスチャ登録アプリケーションのアイコンを選択する。これにより、コントローラ２１は、ジェスチャ登録アプリケーションの起動処理を実行する。具体的には、コントローラ２１の辞書作成部２１５は、ジェスチャ登録画面をタッチパネルディスプレイ３０に表示する。
　ジェスチャ登録画面には、ジェスチャ開始ボタン、ジェスチャ終了ボタン、利用環境設定欄、利用環境設定ボタン、絶対位置指標設定欄、動作イベント定義欄及びアプリケーション終了ボタンが含まれる。ジェスチャ開始ボタンは、登録対象のジェスチャの入力を開始する場合に用いられる。ジェスチャ終了ボタンは、登録対象のジェスチャの入力を終了する場合に用いられる。
　利用環境設定欄は、登録するジェスチャが用いられる利用環境の設定を行うための入力欄である。この利用環境設定欄においては、例えば、このジェスチャを利用できる時間帯を設定することができる。このため、辞書作成部２１５は、現在日時に対応するタイムゾーンを、利用環境として特定し、利用環境設定欄に表示する。この場合、必要に応じて、利用者は利用環境設定欄を修正する。なお、このジェスチャを、利用環境を限定せずに汎用的に利用する場合には、利用環境設定欄を空欄にしておく。
　また、タブレット端末２０において利用可能なアプリケーションを設定することができる。この場合、辞書作成部２１５は、インストールされているアプリケーションや、利用実績があるアプリケーションを特定し、利用環境設定欄に表示する。この場合も、必要に応じて、利用者は利用環境設定欄に表示されたアプリケーションを修正する。
　なお、利用環境に依存しないジェスチャについては、利用環境設定欄を空欄にしておく。利用環境設定ボタンは、利用環境設定欄において設定された利用環境を、ジェスチャに関連付けて登録するために用いられる。
　絶対位置指標設定欄には、ジェスチャについてのタッチ位置が、タッチパネルディスプレイ３０上の絶対位置（座標）において固定されているかどうかを特定するためのスライダが表示される。このスライダを用いて、絶対位置指標として、「低」～「高」までの間において、任意の値を設定することができる。絶対位置指標として「低」が設定されている場合には、タッチパネルディスプレイ３０上の任意座標でジェスチャを検知した場合に、動作イベントを実行する。一方、絶対位置指標として「高」が設定されている場合には、タッチパネルディスプレイ３０上で辞書登録された座標でジェスチャを検知した場合のみ、動作イベントを実行する。
　アプリケーション終了ボタンは、ジェスチャ登録アプリケーションを終了するために用いられる。
　動作イベント定義欄は、ジェスチャに対応させて実行させる動作イベント（文字列の入力やコマンド実行）を登録するために用いられる。
　タブレット端末２０のコントローラ２１は、ジェスチャの定義処理を実行する（ステップＳ１－３）。ここでは、タブレット端末２０を用いて、模擬操作によって手本を示すことにより、ジェスチャを指定する。具体的には、コントローラ２１の辞書作成部２１５は、ジェスチャ開始ボタンの選択を検知してからジェスチャ終了ボタンの選択を検知するまでの間に取得した操作内容をジェスチャ定義として特定する。ここでは、辞書作成部２１５は、タッチパネルディスプレイ３０においてタッチを検知し、画面操作部２１２から取得したタッチパターンや、加速度センサ２７において検知し、センサ情報取得部２１３から取得した加速度パターンをジェスチャ定義として特定する。
　例えば、タッチパネルディスプレイ３０において、特定のキー操作や、同時期に複数の位置におけるマルチタッチやピンチを検知した場合には、これらの位置の座標をキー操作パターンとして特定する。また、一連のタッチ間隔を有するタッチリズムや、タッチ状態を維持して指を動かした軌跡をジェスチャ定義として特定する。また、タブレット端末２０は、左右等の特定方向の振動について、加速度センサ２７において水平方向の往復運動の加速度を検知した場合には、この加速度の時系列変化からなる加速度パターンをジェスチャ定義として特定する。
　次に、タブレット端末２０のコントローラ２１は、ジェスチャに対応させる動作イベントの定義処理を実行する（ステップＳ１－４）。具体的には、コントローラ２１の辞書作成部２１５は、動作イベント定義欄において、ジェスチャ定義に対応させて実行させる動作イベントを特定する。この動作イベント定義欄では、文字列の入力や、特定のコマンド実行を指定することができる。
　次に、タブレット端末２０のコントローラ２１は、ジェスチャと動作イベントとを対応付けて登録処理を実行する（ステップＳ１－５）。具体的には、コントローラ２１の辞書作成部２１５は、利用環境設定ボタンの選択を検知した場合、利用者ＩＤに関連付けて、特定した操作内容（ジェスチャ）をジェスチャ定義データ領域に記録したジェスチャ管理レコードを生成する。また、辞書作成部２１５は、利用環境設定欄において利用環境情報が設定されている場合には、この利用環境情報をジェスチャ管理レコードに記録する。更に、辞書作成部２１５は、ジェスチャ登録画面において設定された絶対位置指標や動作イベント定義を、絶対位置指標、動作イベント定義の各データ領域に記録する。辞書作成部２１５は、生成したジェスチャ管理レコードをジェスチャ辞書記憶部２４に記録する。
　（入力支援処理）
　次に、タブレット端末２０において行われる入力支援処理について図３に従って説明する。タブレット端末２０を使用する場合には、タブレット端末２０のコントローラ２１は、利用者のログイン認証を行い、認証した利用者ＩＤを仮記憶する。
　タブレット端末２０のコントローラ２１は、アプリケーションの起動処理を実行する。具体的には、コントローラ２１は、タッチパネルディスプレイ３０のアプリケーション選択画面において指定されたアプリケーションを起動する。ここでは、文字入力を行うアプリケーション（例えば文書作成アプリケーション）を起動する場合を想定する。この場合、操作処理部２１６は、起動されたアプリケーションに用いられるファイルの拡張子を特定して仮記憶する。また、特定のファイルが選択された場合には、操作処理部２１６は、この選択されたファイルのファイル名とファイル拡張子を特定して仮記憶する。アプリケーション実行部２１４は、タッチパネルディスプレイ３０に表示画面（文字入力画面）を出力する。
　更に、タブレット端末２０のコントローラ２１は、ソフトウェアキーボードの表示処理を実行する（ステップＳ２－１）。具体的には、コントローラ２１のアプリケーション実行部２１４は、文字入力領域の選択を検知した場合、表示制御部２１１に対して、ソフトウェアキーボード５００の出力を指示する。この場合、表示制御部２１１は、タッチパネルディスプレイ３０に、ソフトウェアキーボード５００を表示させる。
　タブレット端末２０のコントローラ２１は、操作検知処理を実行する（ステップＳ２－２）。ここでは、タッチパネルディスプレイ３０におけるタッチやピンチ、加速度センサ２７における加速度の検知を行う。具体的には、コントローラ２１の操作処理部２１６は、画面操作部２１２からタッチ位置情報やピンチ操作情報を取得する。また、操作処理部２１６は、センサ情報取得部２１３から、加速度センサ２７において検知した加速度情報を取得する。
　次に、タブレット端末２０のコントローラ２１は、一時記憶処理を実行する（ステップＳ２－３）。具体的には、コントローラ２１の操作処理部２１６は、利用環境（タイムゾーン、ファイル拡張子及びファイル名）に関連付けて、操作内容を入力メモリに記憶する。なお、操作内容が、部分的にもジェスチャ辞書記憶部２４に記録されていない操作についてはフィルタリングして、入力メモリをリセットする。
　次に、タブレット端末２０のコントローラ２１は、検知した操作内容が登録ジェスチャかどうかについての判定処理を実行する（ステップＳ２－４）。ここでは、タブレット端末２０の利用者や利用環境に対応するジェスチャ管理レコードを用いて、操作内容に対応するジェスチャ定義を検索する。具体的には、コントローラ２１の操作処理部２１６は、システムタイマにおいて現在日時を特定し、この現在日時に対応するタイムゾーンを特定する。操作処理部２１６は、利用者や利用環境（タイムゾーン、ファイル拡張子及びファイル名）に対応するジェスチャ管理レコードをジェスチャ辞書記憶部２４において検索する。この場合、利用者ＩＤ、利用環境データ領域が空欄となっている汎用レコードを検索対象に含める。操作処理部２１６は、ジェスチャ辞書記憶部２４において、座標位置許容度を考慮して、ジェスチャ管理レコードを検索する。利用者ＩＤや利用環境に関連付けられ、操作内容に対応するジェスチャ定義が記録されたジェスチャ管理レコードが、ジェスチャ辞書記憶部２４から抽出された場合、操作処理部２１６は前記操作内容を登録ジェスチャと判定する。
　検知した操作内容がジェスチャ辞書記憶部２４に登録されており、登録ジェスチャと判定された場合（ステップＳ２－４において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、第１アクション処理を実行する（ステップＳ２－５）。具体的には、コントローラ２１の操作処理部２１６は、ジェスチャ辞書記憶部２４において、登録ジェスチャに関連付けて記録された動作イベント定義を特定する。操作処理部２１６は、この動作イベント定義に特定される動作イベントの実行を指示する。
　一方、検知した操作内容がジェスチャ辞書記憶部２４に登録されておらず、登録ジェスチャでないと判定された場合（ステップＳ２－４において「ＮＯ」の場合）、コントローラ２１は、検知した操作内容が基本ジェスチャかどうかについての判定処理を実行する（ステップＳ２－６）。具体的には、コントローラ２１の操作処理部２１６は、検知した操作内容について、保持している基本ジェスチャテーブルを検索する。
　検知した操作内容が基本ジェスチャと判定された場合（ステップＳ２－６において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、第１アクション処理を実行する（ステップＳ２－５）。具体的には、コントローラ２１の操作処理部２１６は、基本ジェスチャテーブルにおいて、検知したジェスチャに関連付けて記録された動作イベントを特定する。操作処理部２１６は、特定した動作イベントを実行する。
　一方、検知した操作内容が基本ジェスチャでないと判定された場合（ステップＳ２－６において「ＮＯ」の場合）、タブレット端末２０のコントローラ２１は、第１アクション処理（ステップＳ２－５）をスキップする。
　次に、タブレット端末２０のコントローラ２１は、入力メモリに一時記憶された操作内容が複合ジェスチャかどうかについての判定処理を実行する（ステップＳ２－７）。具体的には、コントローラ２１の操作処理部２１６は、利用者ＩＤや利用環境に関連付けられたジェスチャ管理レコードであって、入力メモリに記録された一連の操作内容がジェスチャ定義として記録されたジェスチャ管理レコード、すなわち、一連の操作内容に対応するジェスチャ管理レコード（対応ジェスチャ管理レコード）を、ジェスチャ辞書記憶部２４において検索する。
　対応ジェスチャ管理レコードがジェスチャ辞書記憶部２４に登録されており、入力メモリに一時記憶された操作内容が複合ジェスチャと判定された場合（ステップＳ２－７において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、第２アクション処理を実行する（ステップＳ２－８）。具体的には、コントローラ２１の操作処理部２１６は、ジェスチャ辞書記憶部２４において、ジェスチャ管理レコードに記録された動作イベント定義を特定する。操作処理部２１６は、タッチパネルディスプレイ３０に、置き換え確認画面を出力する。この置き換え確認画面には、ジェスチャ辞書記憶部２４において特定した動作イベント定義の内容を含める。更に、置き換え確認画面には、先に行われた動作イベントに対して、一連の操作内容に対応して特定した動作イベントに置き換え要否を選択させるためのアイコンを含める。置き換え要アイコンが選択された場合には、操作処理部２１６は、アプリケーション実行部２１４に対して、第２アクションとして、入力メモリに記録された先行動作イベントを、操作された順番の逆順で取り消し、新たに特定した動作イベントを実行する指示を行う。一方、置き換え不要アイコンが選択された場合には、コントローラ２１は、第２アクション処理（ステップＳ２－８）をスキップする。
　一方、入力メモリに記録された一連の操作内容がジェスチャ辞書記憶部２４に登録されておらず、複合ジェスチャでないと判定された場合（ステップＳ２－７において「ＮＯ」の場合）、タブレット端末２０のコントローラ２１は、検知した操作内容が区切りかどうかについての判定処理を実行する（ステップＳ２－９）。具体的には、コントローラ２１の操作処理部２１６は、検知した操作内容が、区切り情報メモリに記録された区切り操作かどうかについて判定する。
　検知した操作内容が区切りでないと判定された場合（ステップＳ２－９において「ＮＯ」の場合）、タブレット端末２０のコントローラ２１は、ステップＳ２－２から繰り返す。
　検知した操作内容が区切りと判定された場合（ステップＳ２－９において「ＹＥＳ」の場合）や第２アクション処理（ステップＳ２－８）の実行後には、タブレット端末２０のコントローラ２１は、一時記憶のクリア処理を実行する（ステップＳ２－１０）。具体的には、コントローラ２１の操作処理部２１６は、入力メモリに記録された一連の操作内容を消去する。
　〔文字入力〕
　次に、ソフトウェアキーボードを用いて、文字入力を行う場合の具体例を説明する。この場合には、通常辞書記憶部２２に登録されている単語（見出し語）を用いてジェスチャ辞書（打鍵軌跡パターン辞書）を作成する。文字入力時には、必要に応じてソフトウェアキーボード５００における入力を、ジェスチャ辞書を用いて修正する。ここでも、打鍵軌跡パターン辞書の作成処理（図４）、入力支援処理（図５）の順番に説明する。
　（打鍵軌跡パターン辞書の作成処理）
　まず、打鍵軌跡パターン辞書の作成処理について図４に従って説明する。
　ここでは、タブレット端末２０のコントローラ２１は、ステップＳ１－１と同様に、メニュー画面の出力処理を実行する（ステップＳ３－１）。
　この場合、タブレット端末２０のコントローラ２１は、文字列登録画面の出力処理を実行する（ステップＳ３－２）。ここで、利用者は、タッチパネルディスプレイ３０のメニュー画面において、打鍵軌跡登録アプリケーションのアイコンを選択する。これにより、コントローラ２１は、打鍵軌跡登録アプリケーションの起動処理を実行する。具体的には、コントローラ２１の辞書作成部２１５は、文字登録画面をタッチパネルディスプレイ３０に表示する。
　文字登録画面には、打鍵軌跡を登録する文字を指定する指定欄が含まれる。この指定欄においては、任意の単語を入力したり、通常辞書記憶部２２に含まれる見出し語を指定したりすることができる。任意の単語についての打鍵軌跡を登録する場合には、この単語を入力することができる。また、通常辞書記憶部２２に含まれる単語（見出し語）についての打鍵軌跡を登録する場合には、登録する見出し語の対象を指定することができる。
　タブレット端末２０のコントローラ２１は、登録する文字列の特定処理を実行する（ステップＳ３－３）。具体的には、コントローラ２１の辞書作成部２１５は、文字登録画面において入力され、又は指定された単語を構成する各文字（構成文字）を特定する。通常辞書記憶部２２に記録されている見出し語の範囲が指定された場合には、この範囲に含まれる見出し語の文字列を、順次、特定する。一方、通常辞書記憶部２２に記録されていない単語が入力された場合には、この単語の文字列を特定する。
　次に、タブレット端末２０のコントローラ２１は、文字列についてキーボード上の打鍵軌跡の特定処理を実行する（ステップＳ３－４）。具体的には、コントローラ２１の辞書作成部２１５は、特定した各文字に対応するキーの位置を、操作処理部２１６に記憶されているキー配置情報を用いて特定する。具体的には、コントローラ２１の辞書作成部２１５は、特定した各文字に対応するキーの認識領域の中心座標を、単語を構成する文字の順番に連結した軌跡により、打鍵軌跡パターンを特定する。
　次に、タブレット端末２０のコントローラ２１は、文字列と打鍵軌跡とを対応付けて登録処理を実行する（ステップＳ３－５）。具体的には、コントローラ２１の辞書作成部２１５は、特定した打鍵軌跡パターンをジェスチャ定義データ領域に記録したジェスチャ管理レコードを生成する。このジェスチャ管理レコードにおいては、利用者ＩＤ、利用環境データ領域が空欄となっている場合には、利用者や利用環境に限定されることなく汎用的に利用されるレコード（汎用レコード）とする。また、絶対位置指標としては「高」を設定する。動作イベント定義領域には、登録文字列（見出し語）を設定する。辞書作成部２１５は、生成したジェスチャ管理レコードをジェスチャ辞書記憶部２４に記録する。
　（文字入力支援処理）
　次に、タブレット端末２０において行われる文字入力支援処理について図５に従って説明する。ここでは、アプリケーションの利用時にキー入力を行う場面を想定する。タブレット端末２０を使用する場合には、タブレット端末２０のコントローラ２１は、利用者のログイン認証を行い、認証した利用者ＩＤを記憶する。
　タブレット端末２０のコントローラ２１は、アプリケーションの起動処理を実行する。具体的には、コントローラ２１は、タッチパネルディスプレイ３０のアプリケーション選択画面において指定されたアプリケーションを起動する。ここでは、文字入力を行うアプリケーション（例えば文書作成アプリケーション）を起動する場合を想定する。この場合、操作処理部２１６は、起動されたアプリケーションに用いられるファイルの拡張子を特定して仮記憶する。また、特定のファイルが選択された場合には、操作処理部２１６は、このファイルのファイル名とファイル拡張子を特定して仮記憶する。アプリケーション実行部２１４は、タッチパネルディスプレイ３０に表示画面（文字入力画面）を出力する。
　更に、タブレット端末２０のコントローラ２１は、ステップＳ２－１と同様に、ソフトウェアキーボードの表示処理を実行する（ステップＳ４－１）。
　タブレット端末２０のコントローラ２１は、操作検知処理を実行する（ステップＳ４－２）。ここでは、タッチパネルディスプレイ３０におけるタッチ位置の検知を行う。具体的には、コントローラ２１の操作処理部２１６は、画面操作部２１２から取得したタッチ位置情報を特定する。
　次に、タブレット端末２０のコントローラ２１は、一時記憶処理を実行する（ステップＳ４－３）。具体的には、コントローラ２１の操作処理部２１６は、利用環境（タイムゾーン、ファイル拡張子及びファイル名）に関連付けて、操作内容を入力メモリに記憶する。なお、ジェスチャ辞書記憶部２４に記録されていない操作についてはフィルタリングして、入力メモリをリセットする。
　次に、タブレット端末２０のコントローラ２１は、検知した操作内容が登録ジェスチャかどうかについての判定処理を実行する（ステップＳ４－４）。具体的には、コントローラ２１の操作処理部２１６は、タブレット端末２０の利用者や利用環境に対応するジェスチャ管理レコードを用いて、操作内容に対応するジェスチャ定義を検索する。
　検知した操作内容がジェスチャ辞書記憶部２４に登録されており、登録ジェスチャと判定された場合（ステップＳ４－４において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、文字入力処理を実行する（ステップＳ４－５）。具体的には、コントローラ２１の操作処理部２１６は、ジェスチャ辞書記憶部２４において、登録ジェスチャに関連付けて記録された文字を特定する。操作処理部２１６は、特定した文字をアプリケーション実行部２１４に引き渡す。これにより、タッチパネルディスプレイ３０には、入力された文字が表示される。
　一方、検知した操作内容がジェスチャ辞書記憶部２４に登録されておらず、登録ジェスチャでないと判定された場合（ステップＳ４－４において「ＮＯ」の場合）、タブレット端末２０のコントローラ２１は、検知した操作内容がキー入力かどうかについての判定処理を実行する（ステップＳ４－６）。具体的には、コントローラ２１の操作処理部２１６は、検知したジェスチャについて、タッチパネルディスプレイ３０上のソフトウェアキーボード５００のキー配置と比較する。ソフトウェアキーボード５００のいずれかのキーの認識領域がタッチされた場合にはキー入力と判定する。
　検知した操作内容がキー入力と判定された場合（ステップＳ４－６において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、文字入力処理を実行する（ステップＳ４－５）。具体的には、コントローラ２１の操作処理部２１６は、アプリケーション実行部２１４に対して、ソフトウェアキーボード５００の配置において特定した文字の入力を指示する。
　一方、検知した操作内容がキー入力でないと判定された場合（ステップＳ４－６において「ＮＯ」の場合）、タブレット端末２０のコントローラ２１は、文字入力処理（ステップＳ４－５）をスキップする。
　次に、タブレット端末２０のコントローラ２１は、入力メモリに一時記憶された操作内容が登録チャンクかどうかについての判定処理を実行する（ステップＳ４－７）。具体的には、コントローラ２１の操作処理部２１６は、入力メモリに記録された一連の文字入力におけるタッチ位置を繋げて構成された打鍵軌跡を特定する。ここで、打鍵軌跡は、ひとまとまりのデータ（複数の文字）の塊であるチャンク（単語）において、この単語を構成する文字の順番に各文字のキーボード上の位置を繋げた軌跡を意味する。操作処理部２１６は、特定した打鍵軌跡について、ジェスチャ辞書記憶部２４を検索する。この場合には、この相似形と打鍵軌跡とのずれが座標位置許容度の許容範囲内の場合には、登録チャンクと判定する。
　入力メモリに一時記憶された操作内容がジェスチャ定義として記録されたジェスチャ管理レコード、すなわち、対応ジェスチャ管理レコードがジェスチャ辞書記憶部２４に登録されており、入力メモリに一時記憶された操作内容が登録チャンクと判定された場合（ステップＳ４－７において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、文字の置き換え処理を実行する（ステップＳ４－８）。具体的には、コントローラ２１の操作処理部２１６は、ジェスチャ辞書記憶部２４において、一連の操作内容に関連付けて記録された単語を特定する。操作処理部２１６は、タッチパネルディスプレイ３０に、入力メモリに記録された先行入力文字を取得する。操作処理部２１６は、アプリケーション実行部２１４に対して、先に入力された文字を取り消し、新たに特定した単語を入力する指示を行う。
　一方、入力メモリに記録された一連の操作内容がジェスチャ辞書記憶部２４に登録されておらず、登録チャンクでないと判定された場合（ステップＳ４－７において「ＮＯ」の場合）、タブレット端末２０のコントローラ２１は、検知した操作内容又は該操作において入力されたキーが区切りかどうかについての判定処理を実行する（ステップＳ４－９）。具体的には、コントローラ２１の操作処理部２１６は、検知した操作において入力されたキーが、区切り情報メモリに記録された区切りかどうかについて判定する。
　入力されたキーが区切りでないと判定された場合（ステップＳ４－９において「ＮＯ」の場合）、タブレット端末２０のコントローラ２１は、ステップＳ４－２から繰り返す。
　一方、入力されたキーが区切りと判定された場合（ステップＳ４－９において「ＹＥＳ」の場合）や文字の置き換え処理（ステップＳ４－８）の実行後には、タブレット端末２０のコントローラ２１は、ステップＳ２－１０と同様に、一時記憶のクリア処理を実行する（ステップＳ４－１０）。具体的には、コントローラ２１の操作処理部２１６は、入力メモリに記録された一連の操作内容をリセットする。
　本実施形態によれば、以下に示す利点を得ることができる。
　（１）本実施形態では、ジェスチャ辞書の作成処理において、タブレット端末２０のコントローラ２１は、ジェスチャの定義処理（ステップＳ１－３）、ジェスチャに対応させる動作イベントの定義処理（ステップＳ１－４）、ジェスチャと動作イベントとを対応付けて登録処理（ステップＳ１－５）を実行する。入力支援処理において、タブレット端末２０のコントローラ２１は、検知した操作内容が登録ジェスチャかどうかについての判定処理を実行する（ステップＳ２－４）。ここで、検知した操作内容が登録ジェスチャと判定された場合（ステップＳ２－４において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、第１アクション処理を実行する（ステップＳ２－５）。これにより、利用者は、タブレット端末２０を用いて、登録されたジェスチャにより、入力操作を効率的に行うことができる。
　（２）本実施形態では、入力支援処理において、タブレット端末２０のコントローラ２１は、一時記憶処理を実行する（ステップＳ２－３）。タブレット端末２０のコントローラ２１は、入力メモリに一時記憶された操作内容が複合ジェスチャかどうかについての判定処理を実行する（ステップＳ２－７）。入力メモリに一時記憶された操作内容がジェスチャ定義として記録されたジェスチャ管理レコード、すなわち、対応ジェスチャ管理レコードがジェスチャ辞書記憶部２４に登録されており、入力メモリに一時記憶された操作内容が複合ジェスチャと判定された場合（ステップＳ２－７において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、第２アクション処理を実行する（ステップＳ２－８）。これにより、利用者は、一連の複数の操作を組み合わせた複合ジェスチャにより、入力操作を効率的に行うことができる。
　この第２アクション処理（ステップＳ２－８）において、置き換え要アイコンが選択された場合には、操作処理部２１６は、先に行われた動作イベントを取り消し、新たに特定した動作イベントの実行を指示する。これにより、個々の操作を、複合ジェスチャに対応した動作イベントに変更することができる。
　（３）本実施形態では、タブレット端末２０のコントローラ２１は、利用者によって特定したジェスチャ定義、利用環境及び動作イベント定義を関連付けて、ジェスチャ辞書記憶部２４に記録する。この場合、利用環境として、操作された日時に対応するタイムゾーン、入力先となるアプリケーションやファイル名を用いる。これにより、操作時の状況に応じて、ジェスチャ定義を特定することができるので、状況に応じて動作イベントを効率的に実行させることができる。
　（４）本実施形態では、入力支援処理において、検知した操作内容（又は該操作において入力されたキーが）区切りと判定された場合（ステップＳ２－９、Ｓ４－９において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、一時記憶のクリア処理を実行する（ステップＳ２－１０、Ｓ４－１０）。これにより、複合ジェスチャの可能性がなくなった場合、入力メモリに記録された一連の操作内容を消去し、新たな複合ジェスチャやチャンクを検知することができる。
　（５）本実施形態では、打鍵軌跡パターン辞書の作成処理において、タブレット端末２０のコントローラ２１は、登録する文字列の特定処理を実行する（ステップＳ３－３）。タブレット端末２０のコントローラ２１は、文字列についてキーボード上の打鍵軌跡の特定処理を実行する（ステップＳ３－４）。タブレット端末２０のコントローラ２１は、文字列と打鍵軌跡とを対応付けて登録処理を実行する（ステップＳ３－５）。ここで、通常辞書記憶部２２に記録されている見出し語の範囲が指定された場合には、この範囲に含まれる見出し語を、順次、特定する。これにより、通常辞書記憶部２２を用いて、打鍵軌跡パターンを登録することができる。
　（６）本実施形態では、タブレット端末２０のコントローラ２１は、入力メモリに一時記憶された操作内容が登録チャンクかどうかについての判定処理を実行する（ステップＳ４－７）。ここで、入力メモリに一時記憶された操作内容がジェスチャ定義として記録されたジェスチャ管理レコード、すなわち、対応ジェスチャ管理レコードがジェスチャ辞書記憶部２４に登録されており、入力メモリに一時記憶された操作内容が登録チャンクと判定された場合（ステップＳ４－７において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、文字の置き換え処理を実行する（ステップＳ４－８）。これにより、打鍵軌跡に基づいて単語を特定することで、より確からしい単語を特定することができる。
　また、上記実施形態は、以下の態様に変更してもよい。
　・　上記各実施形態では、入力支援装置としてタブレット端末２０を用いたが、これに限定されるものではない。例えば、タッチ入力可能なスマートフォン端末等にも適用することが可能である。
　・上記実施形態においては、対応ジェスチャ管理レコードがジェスチャ辞書記憶部２４に登録されており、入力メモリに一時記憶された操作内容が登録チャンクと判定された場合（ステップＳ４－７において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、文字の置き換え処理を実行する（ステップＳ４－８）。この場合、第２アクション処理（ステップＳ２－８）と同様に、置き換え確認画面を出力し、文字列の置き換え要否を確認するようにしてもよい。
　・上記実施形態においては、入力メモリに一時記憶された操作内容が複合ジェスチャと判定された場合（ステップＳ２－７において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、第２アクション処理を実行する（ステップＳ２－８）。また、入力メモリに一時記憶された操作内容が登録チャンクと判定された場合（ステップＳ４－７において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、文字の置き換え処理を実行する（ステップＳ４－８）。ここで、置き換えの頻度に応じて、置き換えの要否を判断するようにしてもよい。この場合に、ジェスチャ辞書記憶部２４に記録されたジェスチャ定義に関連付けて、置き換え頻度を登録しておく。ジェスチャ定義に対応する操作を検知した場合に、置き換えの有無に応じて置き換え頻度を更新する。タブレット端末２０のコントローラ２１は、置き換え頻度が基準値（例えば５０％）を超えている場合には、置き換えを実行する。
　・上記実施形態においては、入力メモリに一時記憶された操作内容が登録チャンクと判定された場合（ステップＳ４－７において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、文字の置き換え処理を実行する（ステップＳ４－８）。ここで、タブレット端末２０のコントローラ２１が、キー入力された文字列とジェスチャ辞書記憶部２４に記録された登録チャンクとを比較するようにしてもよい。登録チャンクとキー入力された文字列とが一致した場合には、操作処理部２１６は、キー入力された文字列（単語）を維持するとともに、一時記憶のクリア処理を実行する（ステップＳ２－１０）。一方、両者が異なる場合には、入力候補として登録チャンクを文字入力画面に出力する。また、両者が異なる場合には、使用頻度が高い単語を特定してもよい。これにより、キー入力の文字列と登録チャンクとを併用しながら、利用者が入力したはずの単語を、より適切に特定することができる。
　また、通常辞書記憶部２２において見出し語を特定できない場合のみ、操作処理部２１６が打鍵軌跡パターンを利用して単語を特定するようにしてもよい。
　・　上記実施形態では、利用環境として、タイムゾーン、入力先となるアプリケーションやファイル名を用いたが、利用環境はこれに限定されるものではない。加速度センサ２７によって検知されるタブレット端末２０の周囲環境を利用環境として用いることも可能である。また、先行入力文字、所定時間内にタップされた回数（タップ速度）、継続してキーボードの入力が行われた期間（入力同士の間隔が所定時間内であった期間）、同期間におけるタップ回数、キー入力開始からの経過時間を用いることも可能である。
　ここで、先行入力文字については、ジェスチャ辞書記憶部２４において、先に入力された文字や単語を、ジェスチャ管理レコードの利用環境データ領域に登録しておく。パターンマッチングを行う場合、操作処理部２１６は、直前に入力された単語を特定して、この先行入力単語に応じた利用環境に関連付けられたジェスチャ定義を特定する。
　また、タップ速度については、ジェスチャ辞書記憶部２４において、ジェスチャ管理レコードの利用環境データ領域にタップ速度範囲を登録しておく。パターンマッチングを行う場合、操作処理部２１６は、所定の基準時間内にタップされた回数をカウントし、タップ速度を算出する。操作処理部２１６は、算出したタップ速度に応じた利用環境（タップ速度範囲）に関連付けられたジェスチャ定義を特定する。
　また、キー入力開始からの経過時間については、ジェスチャ辞書記憶部２４において、ジェスチャ管理レコードの利用環境データ領域に経過時間範囲を登録しておく。パターンマッチングを行う場合、操作処理部２１６は、キー入力開始時刻を仮記憶し、このキー入力開始時刻からの経過時間を算出する。操作処理部２１６は、算出した経過時間に応じた利用環境（経過時間範囲）に関連付けられたジェスチャ定義を変更する。
　・　上記実施形態では、入力メモリに一時記憶された操作内容が登録チャンクと判定された場合（ステップＳ４－７において「ＹＥＳ」の場合）、タブレット端末２０のコントローラ２１は、文字の置き換え処理を実行する（ステップＳ４－８）。これに代えて、検知した操作内容（ジェスチャ）に基づいて、本人確認を行うようにしてもよい。この場合には、本人確認の基準とする基準文字列に応じて、利用者毎に、この基準文字の打鍵軌跡パターンを登録しておく。基準文字列として、例えば、本人の名前や、よく使用する単語を用いることができる。操作処理部２１６は、基準文字列を特定した場合に、この基準文字に対応する打鍵軌跡を用いて、入力操作の特徴（打鍵位置）を特定して本人確認を行う。具体的には、打鍵軌跡パターンに対して打鍵位置のずれが所定範囲内にある場合のみ、本来の利用者と判定する。これにより、利用者の本人確認を継続的に行うことができるので、セキュリティを向上させることができる。
　更に、タブレット端末２０のコントローラ２１において、利用者の打鍵軌跡から利用者の入力操作の特徴（例えば癖）を学習するようにしてもよい。具体的には、コントローラ２１は、利用者によって入力された単語についての打鍵軌跡を、見出し語に関連付けて記憶する。また、利用者の修正入力によって単語が修正された場合、修正前の単語のキーの位置と修正後の単語のキーの位置とを比較し、これらが所定範囲に含まれる場合には、修正後の単語（見出し語）に関連付けて、修正前の打鍵軌跡を記憶する。これらの打鍵軌跡は、利用者ＩＤに関連付けて記憶する。これにより、利用者に応じた入力支援を行うことができる。
　更に、利用者の入力操作の特徴から、この利用者のソフトウェアキーボード５００のキー配置を変更するようにしてもよい。例えば、コントローラ２１は、打鍵軌跡に基づいて単語が特定できた場合、この単語の文字列に応じて、この文字のキーの中心を、打鍵位置に一致するように、キー位置を変更する。
　また、打鍵軌跡パターンと入力された打鍵軌跡とを比較し、キーボード全体がずれている場合には、コントローラ２１は、このずれ量に応じて、キーボード全体の配置を変更（平行移動や回転）するようにしてもよい。
　・　上記実施形態では、操作内容（ジェスチャ）を特定するために、タッチパネルディスプレイ３０や加速度センサを用いる。ここで、ジェスチャを特定する手段は、これに限定されるものではなく、タブレット端末２０に設けられた各種センサ（例えば、カメラやマイク等）を用いることができる。この場合には、各種センサにおいて検知できる情報についてのパターンをジェスチャ辞書記憶部２４において登録しておく。
　・　上記実施形態では、タブレット端末２０のコントローラ２１は、検知した操作内容が登録ジェスチャかどうかについての判定処理を実行する（ステップＳ２－４、Ｓ４－４）。また、タブレット端末２０のコントローラ２１は、入力メモリに一時記憶された操作内容が複合ジェスチャ、登録チャンクかどうかについての判定処理を実行する（ステップＳ２－７、Ｓ４－７）。この場合に、操作内容に対応して、近似する複数のジェスチャ定義を抽出できる場合には、一致度が高いパターンに応じた動作イベント定義を特定するようにしてもよい。
　・　上記実施形態では、操作処理部２１６は、この絶対位置指標に応じて、ジェスチャ定義のタッチ位置と実際のタッチ位置とのずれの許容範囲を決める座標位置許容度を定める。このずれの許容範囲は、単語によって変更するようにしてもよい。この場合、ジェスチャ辞書記憶部２４において、単語毎にずれの許容範囲を記録する。具体的には、タブレット端末２０のコントローラ２１は、ジェスチャ辞書記憶部２４に記録された打鍵軌跡パターンを相互に比較し、類似した打鍵軌跡パターンの有無を判定する。コントローラ２１は、類似した打鍵軌跡パターンがないと判定した場合には、ジェスチャ辞書記憶部２４において、この単語に関連付けて、ずれの許容範囲を大きく設定する。この場合、例えば、コントローラ２１に異なる大きさを有する複数の許容範囲を予め保持させておき、打鍵軌跡パターンがないと判定した場合には相対的に大きい許容範囲を設定する。一方、類似した打鍵軌跡パターンがあると判定された場合には、ジェスチャ辞書記憶部２４において、この単語に関連付けて、相対的に小さい許容範囲を設定する。すなわち、類似した打鍵軌跡パターンがあると判定された場合には、打鍵軌跡パターンがないと判定された場合よりも小さい許容範囲を設定する。これにより、類似する打鍵軌跡パターンがない場合には、許容範囲を大きくして効率的に単語を特定できるとともに、類似する打鍵軌跡パターンがある場合には、許容範囲を小さくして的確な単語を特定することができる。
　・　上記実施形態では、タブレット端末２０のコントローラ２１は、入力メモリに一時記憶された操作内容が登録チャンクかどうかについての判定処理を実行する（ステップＳ４－７）。ここで、登録チャンクを特定する場合に、文字入力状況に応じて、単語の絞り込みを実行してもよい。具体的には、公知の技術を用いて、コントローラ２１を、文章作成時の文法規則により、入力される単語の品詞を予測する文法規則判定部（文法規則判定手段）として更に機能させる。更に、ジェスチャ辞書記憶部２４のジェスチャ管理レコードに記録された単語に対して、品詞を登録しておく。コントローラ２１の操作処理部２１６は、文字入力状況に応じて、文法規則判定部から次に入力される単語の品詞情報を取得する。操作処理部２１６は、この品詞情報を用いて、ジェスチャ定義（打鍵軌跡パターン）を基づいて単語を特定する。これにより、品詞情報に基づいて入力される単語を絞り込むことができるので、効率的かつ的確に単語の特定を行うことができる。
　・　上記実施形態では、この操作処理部２１６は、画面操作部２１２からタッチ情報（タッチ位置、タッチ軌跡等）を取得する。タッチ情報は、これらに限定されるものではない。例えば、タッチ強度を用いることも可能である。このタッチ強度を用いる場合には、操作処理部２１６は、一箇所をタッチされたときの加速度パターンを用いて、ジェスチャを特定する。なお、タッチパネルディスプレイ３０に圧力センサを設けて、操作処理部２１６は、この圧力センサからタッチ強度を取得して、ジェスチャを特定するようにしてもよい。
　・　上記実施形態では、一連の入力操作を判定するために、区切り情報メモリを用いて、タブレット端末２０のコントローラ２１は、検知した操作内容又は該操作において入力されたキーが区切りかどうかについての判定処理を実行する（ステップＳ２－９、Ｓ４－９）。一連の入力操作の判定方法はこれに限定されるものではない。例えば、操作処理部２１６は、タッチパネルディスプレイ３０におけるタッチ操作情報（タッチリズムやタッチ軌跡等）を取得した場合には、操作開始から、一定の時間間隔が空くまでに連続して行われたタッチ操作を、一連の操作内容として特定する。また、操作処理部２１６は、加速度センサ２７から加速度情報を取得した場合には、一定時間内の加速度情報を、一連の操作内容として特定する。
　２０…タブレット端末、２１…コントローラ、２２…通常辞書記憶部、２４…ジェスチャ辞書記憶部、２７…加速度センサ、３０…タッチパネルディスプレイ、２１１…表示制御部、２１２…画面操作部、２１３…センサ情報取得部、２１４…アプリケーション実行部、２１５…辞書作成部、２１６…操作処理部、５００…ソフトウェアキーボード。

Claims (7)

  1. 　利用者の操作を検知する操作検知部と、
    　入力操作に関するジェスチャ定義に対応する動作イベント定義が登録されたジェスチャ辞書を記憶したジェスチャ辞書記憶部と、
    　動作イベントを実行する制御部とを備えたコンピュータ端末において入力を支援するためのプログラムを記憶した非一時的なコンピュータ可読記録媒体であって、
    　前記プログラムは、前記コンピュータ端末における実行時に、前記制御部を、
    　前記操作検知部において操作を検知した場合、この操作内容を順次、記憶し、記憶された一連の操作内容に基づいてジェスチャ定義を特定し、このジェスチャ定義に対応する動作イベント定義を前記ジェスチャ辞書記憶部において特定するジェスチャ特定部、及び
    　前記動作イベント定義に特定される動作イベントを実行する動作イベント実行部
    として機能させる命令を含むコンピュータ可読記録媒体。
  2. 　前記ジェスチャ辞書記憶部には、文字列を入力する際のキーボード打鍵軌跡をキー配置に対応させた打鍵軌跡パターンがジェスチャ定義として登録されており、
    　前記ジェスチャ特定部は、前記操作検知部においてタッチ入力を検知した場合には、タッチ入力に応じた打鍵軌跡を特定し、
    　特定した打鍵軌跡に近似する打鍵軌跡パターンを前記ジェスチャ辞書記憶部において特定する請求項１に記載のコンピュータ可読記録媒体。
  3. 　前記コンピュータ端末は文字を表示する表示部を備えており、
    　前記プログラムは、前記コンピュータ端末における実行時に、前記制御部を、前記表示部にソフトウェアキーボードを出力し、前記ソフトウェアキーボードにおいて選択された文字により構成された単語を特定するキーボード制御部として更に機能させ、
    　前記ジェスチャ特定部は、前記打鍵軌跡と、前記ジェスチャ辞書記憶部に記憶された打鍵軌跡パターンとに基づいて特定された単語と、前記キーボード制御部において特定された単語とに基づいて、入力された単語の予測を行う請求項２に記載のコンピュータ可読記録媒体。
  4. 　前記プログラムは、前記コンピュータ端末における実行時に、前記制御部を、文章作成時の文法規則により、入力される単語の品詞を予測する文法規則判定部として更に機能させ、
    　前記ジェスチャ特定部は、文字入力状況に応じて、前記文法規則判定部から次に入力される単語の品詞情報を取得し、
    　前記品詞情報を用いて、前記打鍵軌跡と前記打鍵軌跡パターンとに基づいて単語を特定する請求項２又は３に記載のコンピュータ可読記録媒体。
  5. 　前記ジェスチャ辞書記憶部はジェスチャ定義を利用環境情報に関連付けて記憶しており、
    　前記プログラムは、前記コンピュータ端末における実行時に、前記制御部を、前記ジェスチャを検知したときの入力状況を取得する入力状況取得部として更に機能させ、
    　前記ジェスチャ特定部は、前記入力状況に対応する利用環境情報に関連付けられている動作イベントを特定する請求項１～４のいずれか１項に記載のコンピュータ可読記録媒体。
  6. 　前記ジェスチャ辞書記憶部は、利用者情報を記憶しており、
    　前記プログラムは、前記コンピュータ端末における実行時に、前記制御部を、
    　前記特定したジェスチャ定義に基づいて、前記ジェスチャ辞書記憶部から利用者情報を取得し、
    　前記操作検知部において検知した操作と、前記ジェスチャ辞書記憶部において特定したジェスチャ定義との間の差異に基づいて、前記コンピュータ端末の利用者についての本人確認を行う本人確認部として更に機能させる請求項１～５のいずれか１項に記載のコンピュータ可読記録媒体。
  7. 　利用者の操作を検知する操作検知部と、
    　入力操作に関するジェスチャ定義に対応する動作イベント定義が登録されたジェスチャ辞書を記憶したジェスチャ辞書記憶部と、
    　動作イベントを実行する制御部とを備えて、入力を支援するための入力支援装置であって、
    　前記制御部が、
    　前記操作検知部において操作を検知した場合、この操作内容を順次、記憶し、記憶された一連の操作内容に基づいてジェスチャ定義を特定し、このジェスチャ定義に対応する動作イベント定義を前記ジェスチャ辞書記憶部において特定するジェスチャ特定部と、
    　前記動作イベント定義に特定される動作イベントを実行する動作イベント実行部と
    を備えた入力支援装置。
PCT/JP2013/069599 2012-07-20 2013-07-19 入力支援プログラム及び入力支援装置 WO2014014078A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-161997 2012-07-20
JP2012161997A JP2014021864A (ja) 2012-07-20 2012-07-20 入力支援プログラム及び入力支援装置

Publications (1)

Publication Number Publication Date
WO2014014078A1 true WO2014014078A1 (ja) 2014-01-23

Family

ID=49948898

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/069599 WO2014014078A1 (ja) 2012-07-20 2013-07-19 入力支援プログラム及び入力支援装置

Country Status (2)

Country Link
JP (1) JP2014021864A (ja)
WO (1) WO2014014078A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017527928A (ja) * 2015-06-25 2017-09-21 小米科技有限責任公司Ｘｉａｏｍｉ Ｉｎｃ． テキスト入力方法、装置、プログラム及び記録媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400559B2 (en) * 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
JP5855794B1 (ja) * 2014-08-13 2016-02-09 楽天株式会社 動作入力システム、動作入力方法およびプログラム
CN105242870A (zh) * 2015-10-30 2016-01-13 小米科技有限责任公司 具有触摸屏的终端的防误触方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10275046A (ja) * 1997-03-31 1998-10-13 Toshiba Corp 単語入力装置及び方法
JPH11250048A (ja) * 1997-12-16 1999-09-17 Ai Soft Kk 文字入力装置、文字入力方法および文字入力制御プログラムを記録した記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10275046A (ja) * 1997-03-31 1998-10-13 Toshiba Corp 単語入力装置及び方法
JPH11250048A (ja) * 1997-12-16 1999-09-17 Ai Soft Kk 文字入力装置、文字入力方法および文字入力制御プログラムを記録した記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017527928A (ja) * 2015-06-25 2017-09-21 小米科技有限責任公司Ｘｉａｏｍｉ Ｉｎｃ． テキスト入力方法、装置、プログラム及び記録媒体

Also Published As

Publication number Publication date
JP2014021864A (ja) 2014-02-03

Similar Documents

Publication Publication Date Title
JP6276290B2 (ja) 円形タッチセンシティブキーボードの入力方法及び装置
EP2877914B1 (en) Enhanced user interface for pressure sensitive touch screen
US20150123928A1 (en) Multi-touch text input
US20140306898A1 (en) Key swipe gestures for touch sensitive ui virtual keyboard
KR20110098729A (ko) 소프트 키보드 제어
JP5520273B2 (ja) 情報入力装置、方法及びプログラム
KR101709228B1 (ko) 정전용량식 및 전자기식 듀얼 모드 터치스크린의 터치제어방법 및 핸드헬드 전자장치
US9489086B1 (en) Finger hover detection for improved typing
EP2474890A1 (en) Virtual keyboard configuration putting fingers in rest positions on a multitouch screen, calibrating key positions thereof
WO2014014078A1 (ja) 入力支援プログラム及び入力支援装置
CN106445369A (zh) 一种输入的方法和装置
JP5475821B2 (ja) 入力支援プログラム及び入力支援装置
US20140298275A1 (en) Method for recognizing input gestures
CN104503591A (zh) 一种基于折线手势的信息输入方法
JP6014170B2 (ja) 情報処理装置及び情報更新プログラム
CN105739810A (zh) 移动电子装置与用户界面显示方法
CN105260065B (zh) 信息处理的方法及装置
CN105468182A (zh) 虚拟键盘显示系统及方法
JP2013196465A (ja) オブジェクト選択時に触覚応答が付与されるユーザインタフェース装置、触覚応答付与方法及びプログラム
KR101375924B1 (ko) 멀티 터치 스크린에서의 탭핑을 이용하여 문자를 입력하는 장치 및 방법
JP2016066254A (ja) タッチ検出装置を備えた電子装置
JP2018151946A (ja) 文字入力装置、文字入力方法、および、文字入力プログラム
JP2012118840A (ja) キー入力装置およびキー入力プログラム
KR101307062B1 (ko) 터치패드의 입력 정보 제어방법 및 장치
JP2016164726A (ja) 電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13820685

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13820685

Country of ref document: EP

Kind code of ref document: A1