WO2016024349A1 - 動作入力システム、動作入力方法およびプログラム - Google Patents

動作入力システム、動作入力方法およびプログラム Download PDF

Info

Publication number
WO2016024349A1
WO2016024349A1 PCT/JP2014/071400 JP2014071400W WO2016024349A1 WO 2016024349 A1 WO2016024349 A1 WO 2016024349A1 JP 2014071400 W JP2014071400 W JP 2014071400W WO 2016024349 A1 WO2016024349 A1 WO 2016024349A1
Authority
WO
WIPO (PCT)
Prior art keywords
registration
new
similar
registered
unit
Prior art date
Application number
PCT/JP2014/071400
Other languages
English (en)
French (fr)
Inventor
敦 矢島
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to JP2015516310A priority Critical patent/JP5855794B1/ja
Priority to CN201480082334.6A priority patent/CN107077737B/zh
Priority to PCT/JP2014/071400 priority patent/WO2016024349A1/ja
Priority to US15/503,404 priority patent/US10474886B2/en
Priority to ES14899908T priority patent/ES2912139T3/es
Priority to EP14899908.9A priority patent/EP3208772B1/en
Publication of WO2016024349A1 publication Critical patent/WO2016024349A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Definitions

  • the present invention relates to an operation input system, an operation input method, and a program.
  • a device that recognizes a figure drawn by a user on a touch panel or the like and a gesture performed by the user (hereinafter referred to as “motion”), outputs a character or a character string by the recognized motion, and executes a special process. For example, in the case of outputting a character string, the device collates a graphic input by the user with feature information indicating the characteristics of the graphic stored in the dictionary in advance, and the feature closest to the input graphic. Outputs the character string associated with the information.
  • Patent Document 1 discloses a handwritten character string recognition method for recognizing a character string input by handwriting.
  • the device for recognizing the operation causes the user to input the operation desired to be recognized, and registers the operation in association with the character string or the command.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide an operation input system, method, and program capable of preventing inconvenience from registering an operation that a user desires to register. There is.
  • a registration operation is registered in association with registration information, and the user operation is associated with the registration operation similar to the user operation.
  • Information processing means for executing information processing according to registered information, reception means for receiving a new action and new information associated with the new action, which are to be newly registered in the information processing means, and received by the reception means
  • a determination unit that determines whether or not the new operation is similar to the registration operation registered in the information processing unit, and the new operation and the new information that are received by the reception unit.
  • registration processing means for executing different processes in accordance with the determination by the determination means.
  • the operation input method includes an information processing according to the registration information associated with the registration operation similar to the user operation, according to a registration operation and a user operation registered in association with the registration information. , A step of receiving a new operation and new information associated with the new operation to be newly registered to execute the information processing, and the received new operation are registered. Determining whether the new operation is similar to the registration operation, and registering the accepted new operation and the new information, depending on whether the new operation is similar to the registered operation registered. Performing different processes.
  • the program according to the present invention performs information processing according to the registration information associated with the registration operation similar to the user operation according to the registration operation and the user operation registered in association with the registration information. Executes and accepts a new operation to be newly registered to execute the information processing and new information associated with the new operation, and the received new operation is similar to the registered operation registered. A process for determining whether or not to register the new operation and the new information to be accepted, depending on whether the new operation is similar to the registered operation that is registered Is executed on the computer.
  • Notification means for notifying the user to that effect may be further included.
  • the registration unit determines that the new operation received by the receiving unit is similar to the registration operation registered in the information processing unit.
  • Information may be registered and a criterion for determining whether or not the new operation is similar to the user operation may be changed.
  • the registration unit is similar to the new operation when the new operation received by the receiving unit is determined to be similar to the registration operation registered in the information processing unit.
  • the new information may be associated with the determined registration operation and registered.
  • the information processing means is the registration information associated with the registration operation similar to the user operation according to a processing condition associated with the registration information and a user operation, Information processing according to registered information that satisfies the conditions may be executed.
  • FIG. 1 It is a figure which shows an example of the hardware constitutions of the figure recognition apparatus concerning embodiment of this invention. It is a block diagram which shows the function which a figure recognition apparatus implement
  • the present embodiment focuses on drawing a figure as an operation input by the user.
  • the graphic recognition apparatus allows a user to input a graphic using a touch panel or the like as an operation and recognize the graphic.
  • the figure recognition apparatus will be described below, a system including a plurality of apparatuses may be used in practice.
  • the figure mainly includes handwritten characters and symbols.
  • the technique for recognizing handwritten characters and symbols may be a so-called online handwritten character recognition technique or an offline handwritten character recognition technique.
  • Online handwritten character recognition is a technique for recognizing characters and symbols using information including the order in which lines are drawn.
  • Offline handwritten character recognition is a method for recognizing characters and symbols from an image drawn by a user, and this method does not use the order in which lines are drawn.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of the figure recognition apparatus.
  • the graphic recognition device includes a processor 11, a storage unit 12, a communication unit 13, a display unit 14, and an input unit 15.
  • the figure recognition apparatus is, for example, a tablet terminal or a personal computer.
  • the processor 11 operates according to a program stored in the storage unit 12.
  • the processor 11 controls the communication unit 13, the display unit 14, and the input unit 15.
  • the program may be provided via the Internet or the like, or may be provided by being stored in a computer-readable storage medium such as a flash memory or a DVD-ROM. .
  • the storage unit 12 includes a memory element such as a RAM or a flash memory, and a hard disk drive.
  • the storage unit 12 stores the program.
  • the storage unit 12 stores information input from each unit and calculation results.
  • the communication unit 13 realizes a function of communicating with other devices, and is configured by, for example, a wired LAN integrated circuit or a connector terminal. Based on the control of the processor 11, the communication unit 13 inputs information received from another device to the processor 11 or the storage unit 12 and transmits the information to the other device.
  • the display unit 14 is a display output device (display means) such as a liquid crystal panel or a circuit that controls the display output device, and is configured by a liquid crystal display panel, a graphic chip, or the like.
  • the display unit 14 outputs an image to the display output device based on the control of the processor 11. Note that the document processing apparatus does not necessarily have a built-in display output device, and the display unit 14 may display an image on an external display output device.
  • the input unit 15 includes an input device such as a touch panel and a controller that acquires data from an input device such as a keyboard and a mouse. Based on the control of the processor 11, the input unit 15 acquires operations and data input by a user operating a touch panel and an input device.
  • the figure recognition apparatus has a display panel with a touch panel in which a display output device and a touch panel are integrated.
  • FIG. 2 is a block diagram showing functions realized by the figure recognition apparatus.
  • the figure recognizing device functionally includes a registration instruction acquisition unit 51, a feature extraction unit 52, a similarity calculation unit 53, a similarity determination unit 54, a registration unit 55, a notification unit 56, and a recognition target acquisition unit 57. And a recognition processing unit 58.
  • These functions are realized by the processor 11 executing a program stored in the storage unit 12 and controlling the communication unit 13, the display unit 14, and the input unit 15.
  • the registration unit 55 functionally includes a dictionary registration unit 61 and a similarity criterion setting unit 62
  • the recognition processing unit 58 functionally includes a feature extraction unit 66, a figure recognition unit 67, and an operation processing unit 68.
  • the dictionary storage unit 71 is included.
  • the recognition processing unit 58 registers feature data indicating an operation and related information associated with the feature data.
  • the feature data here is data indicating the feature of a figure including characters and symbols.
  • the related information is a command that is executed using a character string or an operation as a trigger.
  • the dictionary storage unit 71 included in the recognition processing unit 58 is mainly realized by the storage unit 12.
  • the dictionary storage unit 71 is dictionary data registered in the recognition processing unit 58 and stores dictionary data including a plurality of feature data and a plurality of related information respectively associated with any one of the feature data.
  • FIG. 3 is a diagram illustrating an example of data stored in the dictionary storage unit 71.
  • the dictionary storage unit 71 for example, feature data, related information, and a similar range are stored.
  • the content of the feature data shown in FIG. 3 is information on a plurality of feature points indicating the features of a graphic among drawn lines, and is an example in the case of online handwriting recognition.
  • the similarity criterion is information used as a criterion for determining similarity when a figure is recognized, and details thereof will be described later.
  • the dictionary data may further include graphic image data in association with the feature data.
  • the feature data may be a feature vector having a plurality of dimensions, for example.
  • the feature vector has, for example, the number of elements obtained by multiplying the number of sub-regions into which the figure is divided by four. If the sub area is obtained by dividing the figure area into 64 areas, the number of dimensions of the feature vector is 256.
  • FIG. 4 is a flowchart showing an example of processing of the registration instruction acquisition unit 51, feature extraction unit 52, similarity calculation unit 53, similarity determination unit 54, registration unit 55, and notification unit 56.
  • the functions of the registration instruction acquisition unit 51, the feature extraction unit 52, the similarity calculation unit 53, the similarity determination unit 54, the registration unit 55, and the notification unit 56 will be described with reference to the flowchart shown in FIG.
  • the registration instruction acquisition unit 51 is mainly realized by the processor 11, the storage unit 12, the display unit 14, and the input unit 15.
  • the registration instruction acquisition unit 51 receives a new operation to be newly registered in the registration unit 55 and new related information associated with the new operation. More specifically, the registration instruction acquisition unit 51 acquires data of a desired graphic that the user wants to register and is input by the user, and related information associated with the desired graphic (step S101).
  • the registration instruction acquisition unit 51 acquires data indicating a graphic drawn by the user with a stylus or a finger within the area on the touch panel of the input unit 15 as data of a desired graphic.
  • the desired figure data is of the same type as the figure data obtained during figure recognition.
  • the data of the desired graphic may include information indicating the movement of the stylus at the time of drawing and the writing order, or may include image data of a simple graphic.
  • the registration instruction acquisition unit 51 acquires character string information input by the user via the input unit 15 and the like, and acquires the character string information as related information.
  • FIG. 5 is a diagram illustrating an example of a registration information input screen displayed by the registration instruction acquisition unit 51.
  • a graphic input area 31 is an area for inputting a desired graphic that the user desires to register, and the inputted graphic is drawn.
  • the character string input area 32 is an area for inputting a character string associated with a desired graphic as related information.
  • the reset button 33 is a button for erasing the input graphic.
  • the related information may be information that associates a graphic with a command that causes a program to perform some operation. Note that the user does not necessarily have to input related information every time.
  • the registration instruction acquisition unit 51 may display the related information input last time on the registration information input screen, and may acquire the related information input last time when the registration button 35 is pressed as it is.
  • the feature extraction unit 52 is mainly realized by the processor 11 and the storage unit 12.
  • the feature extraction unit 52 normalizes the size of the desired graphic (step S102), and extracts characteristic data indicating the characteristic of the desired graphic from the normalized data of the desired graphic (step S103).
  • the feature data may be a sequence of feature points extracted in order from the desired graphic, or may be a feature vector of a predetermined dimension. Since the method by which the feature extraction unit 52 extracts feature data is well known, detailed description thereof is omitted.
  • the similarity calculation unit 53 is realized mainly by the processor 11 and the storage unit 12.
  • the similarity calculation unit 53 calculates the similarity between the feature data of the desired graphic and at least a part of the plurality of feature data registered in the dictionary (step S104), so that the plurality of the graphic registered in the dictionary and the desired graphic are obtained.
  • the similarity with any of the figures is calculated.
  • the method of calculating the similarity between the feature data of the desired figure and the feature data registered in the dictionary may be a so-called hidden Markov model (Hidden Markov Model), or DP matching and calculation of the distance between feature vectors. It may be. When the hidden Markov model is used, the calculated probability corresponds to the similarity.
  • the similarity determination unit 54 is mainly realized by the processor 11 and the storage unit 12.
  • the similarity determination unit 54 determines whether the desired graphic and the graphic registered in the dictionary are similar based on the calculated similarity. More specifically, the similarity determination unit 54 selects feature data of a graphic most similar to the desired graphic from the feature data registered in the dictionary based on the similarity (step S105). Based on the similarity between the feature data and the feature data of the desired graphic, it is determined whether or not the selected graphic is similar to the desired graphic (step S106). When the two figures are more similar as the similarity value is larger, the similarity determination unit 54 determines in step S106 that the selected figure is similar to the desired figure, for example, when the similarity is larger than a predetermined threshold value. .
  • the registration unit 55 is mainly realized by the processor 11 and the storage unit 12.
  • the registration unit 55 performs different processing according to the determination of the similarity determination unit 54 in order to register the new operation and new related information received by the registration instruction acquisition unit 51 in the recognition processing unit 58.
  • this processing may be such that the registration unit 55 notifies the user to that effect, or the new operation is registered to the registered operation.
  • it may be possible to change a criterion for determining whether or not the operation input by the user is similar to the new operation, or the operation determined to be similar and the new information It may be associated and registered in the recognition processing unit 58. Details of the processing of the registration unit 55 will be described below.
  • the dictionary registration unit 61 included in the registration unit 55 is mainly realized by the processor 11 and the storage unit 12.
  • the dictionary registration unit 61 associates the characteristic data of the desired graphic with the related information and registers them in the dictionary (step S108). .
  • the notification unit 56 is mainly realized by the processor 11, the storage unit 12, and the display unit 14. When it is determined that the selected graphic is similar to the desired graphic (N in step S107), the notification unit 56 notifies the user that the desired graphic is similar to the graphic registered in the dictionary (step S109).
  • FIG. 6 is a diagram illustrating an example of a message output to the user by the notification unit 56 when a similar graphic exists.
  • an input graphic display area 37 that is an area for displaying a desired graphic
  • a similar graphic display area 38 that is an area for displaying a graphic similar to the desired graphic are confirmed.
  • Button 39 is arranged.
  • the desired graphic and related information are registered depending on whether or not the operation (feature data extracted from) input for registration by the user is determined to be similar to the already registered operation (feature data).
  • the user can register other similar operations by confirming that the input operation is similar to the registered operation.
  • the user can easily think of a new desired graphic that is not similar to other graphic.
  • FIG. 7 is a flowchart showing another example of processing when the desired graphic is similar to any graphic in the dictionary. This figure may be executed instead of the process of step S109 of FIG.
  • the notification unit 56 first registers the desired graphic or associates the related information with the similar graphic, A message for allowing the user to select whether the desired graphic or the related information is not registered is output (step S151).
  • FIG. 8 is a diagram illustrating another example of a message output to the user by the notification unit 56 when a similar graphic exists.
  • the message screen that the notification unit 56 outputs to the display output device includes an input graphic display area 41 that is an area for displaying a desired graphic, a similar graphic display area 42 that is an area for displaying a similar graphic, a registration button 43, and the like.
  • An update button 44 and a cancel button 45 are arranged.
  • the registration button 43 is a button for instructing the user to register a desired graphic after knowing that a similar graphic exists.
  • the update button 44 is a button for instructing the user to update the dictionary so as to associate the related information acquired by the registration instruction acquisition unit 51 with the similar graphic.
  • the cancel button 45 is a button that is pressed when the desired graphic or related information is not registered in the dictionary.
  • the dictionary registration unit 61 acquires the user's instruction (step S152). If the instruction acquired from the user is an instruction for associating the related information acquired by the registration instruction acquiring unit 51 with a similar graphic (Y in step S153), the dictionary registration unit 61 associates the related information with the similar graphic and creates a dictionary. The data is stored in the storage unit 71 (step S154). By associating the related information with the similar graphic, it is possible to input the related information by inputting the graphic of the user while preventing inconvenience caused by registering a new desired graphic.
  • a plurality of related information may be associated with similar figures.
  • the plurality of pieces of related information associated with one similar graphic may include related information acquired by the registration instruction acquisition unit 51 and information associated with the similar graphic from the beginning. If the graphic is a character, the information originally associated with the similar graphic may be a code indicating the character.
  • the dictionary registration unit 61 may store the related information associated with the similar graphic in the dictionary storage unit 71 after step S154 in association with the related graphic data. Furthermore, the related information acquired by the registration instruction acquisition unit 51 may be associated with the similar graphic.
  • the dictionary registration unit 61 determines whether an instruction to register the desired graphic has been acquired (step S153). S155). If the acquired instruction is not an instruction to register a desired graphic (N in step S155), an instruction to register nothing is acquired, and the process shown in FIG. On the other hand, if an instruction to register the desired graphic is acquired (Y in step S155), the dictionary registration unit 61 stores the data of the desired graphic and the related information in association with each other and stores them in the dictionary storage unit 71 (step S156). .
  • the similarity criterion setting unit 62 included in the registration unit 55 is mainly realized by the processor 11 and the storage unit 12.
  • the similarity criterion setting unit 62 determines that a new action to be registered by the user is similar to an already registered action, and a new action and new related information similar to the new action are registered.
  • the judgment standard registered in the recognition processing unit 58 and the judgment standard for judging whether the new action is similar to the user action (hereinafter referred to as “similarity standard”) are changed. More specifically, the similarity criterion setting unit 62 determines that the desired graphic and the graphic included in the dictionary are similar and the desired graphic data is registered in the dictionary (after step S156).
  • the similarity criterion for determining the similarity between the figure input by the user and the registered figure is adjusted based on the similarity between the figure and the figure included in the dictionary (step S157).
  • This similarity criterion is, for example, a similarity threshold for determining whether or not they are similar, and the graphic recognition unit 67 included in the recognition processing unit 58 determines whether or not the input graphic is a graphic registered in the dictionary. Used when.
  • the similarity criterion may be set for each user or may be set for each feature data. The similarity criterion is set so that the similarity range becomes narrower as the similarity between the desired graphic and the similar graphic indicates that the two graphics are closer to each other.
  • similar parameters are set for each feature data.
  • the similarity reference setting unit 62 changes the similarity parameter for the similar figure from 70 to 80.
  • the figure inputted at the time of figure recognition Conventionally, if the similar figure is not similar to the similar figure, the similar figure is not recognized as the inputted figure.
  • This similarity criterion may be used when the similarity determination unit 54 determines whether the desired graphic and the dictionary graphic are similar.
  • FIG. 9 is a flowchart illustrating an example of processing of the recognition target acquisition unit 57 and the recognition processing unit 58. Below, the function of the recognition target acquisition part 57 and the recognition process part 58 is demonstrated using the process flow of FIG.
  • the recognition target acquisition unit 57 is mainly realized by the processor 11, the storage unit 12, the display unit 14, and the input unit 15.
  • the recognition target acquisition unit 57 acquires data of an input figure that is a figure input by the user and is a target for recognition of the figure (step S201).
  • the recognition processing unit 58 is mainly realized by the processor 11, the storage unit 12, the display unit 14, and the input unit 15.
  • the recognition processing unit 58 performs information processing according to related information associated with feature data indicating an operation similar to the user operation in response to a user operation in which a user inputs a figure.
  • the feature extraction unit 66 included in the recognition processing unit 58 is mainly realized by the processor 11 and the storage unit 12.
  • the feature extraction unit 66 normalizes the size of the area to be recognized in the input figure (step S202).
  • the area to be recognized is, for example, an input figure area.
  • the feature extraction unit 66 may cut out a region to be recognized for each character.
  • the feature extraction unit 66 extracts feature data indicating the feature of the input figure from the normalized input figure data (step S203).
  • the method for extracting the feature data is the same as that for the feature extraction unit 52.
  • the figure recognition unit 67 included in the recognition processing unit 58 is mainly realized by the processor 11 and the storage unit 12.
  • the figure recognizing unit 67 outputs related information associated with any one figure as a figure recognition result.
  • the figure recognizing unit 67 includes the extracted feature data and each of a plurality of feature data for a plurality of figures stored in the dictionary storage unit 71 (registered with respect to the recognition processing unit 58). Is calculated (step S204). Then, the graphic recognizing unit 67 selects a graphic in the dictionary similar to the input graphic based on the similarity calculated for the plurality of feature data (step S206).
  • a figure corresponding to the feature data for which the highest similarity is calculated is selected from the feature data having the similarity within the similarity range indicated by the similarity parameter.
  • the graphic recognizing unit 67 may simply select a graphic corresponding to each feature data having a similarity within the similar range indicated by the similar parameter. In this case, only one piece of related information may be associated with one piece of feature data registered in the dictionary.
  • the graphic recognizing unit 67 may output related information associated with a registered operation that satisfies the processing condition and is similar to the operation based on the processing condition associated with the related information and the user's operation. . More specifically, the graphic recognizing unit 67 may select a graphic in the dictionary similar to the input graphic based on the similarity and information registered in association with each feature data. For example, feature data that satisfies a processing condition associated with feature data in the dictionary and that has a similarity higher than a threshold value may be acquired.
  • the processing condition may be, for example, a period represented by a start date and an end date, a start time and an end time for identifying the Christmas season, etc., and what other programs pass recognized information Alternatively, it may be whether a character code is output or an instruction is input.
  • the registration instruction acquisition unit 51 may acquire the activation condition from the user, and the dictionary registration unit 61 may register the activation condition in the dictionary.
  • the operation processing unit 68 included in the recognition processing unit 58 is mainly realized by the processor 11, the storage unit 12, and the display unit 14.
  • the operation processing unit 68 executes processing according to the related information.
  • the operation processing unit 68 performs a process according to the related information (step S207). More specifically, when the related information is a character string, the operation processing unit 68 outputs the character string to the display unit.
  • the related information is a command
  • the operation processing unit 68 performs processing corresponding to the command (for example, start of an application program). Or character deletion processing).
  • the operation processing unit 68 directs an image for selecting one of the plurality of pieces of related information to the user via the display unit 14. And related information is selected by the user via the input unit 15 (step S208). And the operation process part 68 performs the process according to the selected relevant information (step S209).
  • FIG. 10 is a diagram showing an example of a screen for inputting a graphic to be recognized.
  • This screen includes a figure input area 81 and an area for displaying a character string corresponding to the figure.
  • the figure input to the figure input area 81 is recognized as a figure registered in the dictionary via the screen shown in FIG.
  • the string “Fujisan” is output.

Abstract

　ユーザが登録を希望する図形を登録することにより不都合が生じることを防ぐこと　図形入力装置は、ユーザが入力する図形を示す登録図形データと、当該図形に関連づけられる関連情報とを取得し、前記登録図形データと辞書に登録されている複数の図形データのうちいずれかとの類似度を算出し、前記算出された類似度に基づいて、前記入力された図形と前記いずれかの図形データが示す図形とが類似するか否か判定し、前記入力された図形と前記いずれかの図形データが示す図形とが類似しない場合に、前記登録図形データと前記関連情報とを関連づけて前記辞書に登録する。

Description

動作入力システム、動作入力方法およびプログラム
　本発明は動作入力システム、動作入力方法およびプログラムに関する。
　ユーザがタッチパネル等で描く図形やユーザが行うジェスチャ（以下、「動作」という）を認識し、認識された動作により文字や文字列を出力したり、特別な処理を実行する装置がある。その装置は、例えば、文字列を出力する場合で説明すると、ユーザが入力する図形と、予め辞書に格納されている図形の特徴を示す特徴情報とを照合し、入力された図形に最も近い特徴情報に紐付けられた文字列を出力する。
　特許文献１には、手書き入力された文字列を認識する手書き文字列認識方式が開示されている。
特開２０１２－９８９０５号公報
　例えばユーザがタッチパネル等で１つの図形を描く操作をするだけで複数の文字を含む文字列を入力できるようにしたり、命令を入力できるようにすることが考えられる。この場合、動作を認識する装置は、ユーザに認識を希望する動作を入力させ、その動作と、文字列や命令などとを関連づけて辞書に登録する。
　ここで、ユーザが登録を希望する動作に類似する動作がすでに辞書に登録されている場合がある。このような場合に希望される動作をそのまま登録すると、ユーザがその動作や類似する動作を認識させる際に不都合が生じる場合があった。
　特に、ユーザごとに、描画の再現力やジェスチャの再現力に差異がある。描画スキルの高い画家などのユーザは、辞書登録に使うような簡単な図形であれば、僅かな違いで実質的に同じ図形を描くことができる。一方、絵心の無いユーザは、辞書登録に使うような簡単な図形であっても、実質的に同じ図形を描くことは困難である。総てのユーザに同一・類似の判定を一律に適用すると、図形の辞書登録の際だけでなく、文字列の出力の際においても、非常に煩雑な操作をユーザに強いるという不都合があった。
　本発明は上記課題に鑑みてなされたものであって、その目的は、ユーザが登録を希望する動作を登録することにより不都合が生じることを防ぐことのできる動作入力システム、方法およびプログラムを提供することにある。
　上記課題を解決するために、本発明にかかる動作入力システムは、登録動作が登録情報に関連づけて登録されており、ユーザ動作に応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行する情報処理手段と、前記情報処理手段に新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付ける受付手段と、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似するか否かを判断する判断手段と、前記受付手段により受け付けられる前記新動作と前記新情報とを前記情報処理手段に対して登録するため、前記判断手段による判断に応じて異なる処理を実行する登録処理手段と、含む。
　また、本発明にかかる動作入力法は、登録情報に関連づけて登録される登録動作とユーザ動作とに応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行するステップと、前記情報処理を実行するために新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付けるステップと、前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似するか否かを判断するステップと、前記受け付けられる前記新動作と前記新情報とを登録するため、前記新動作が前記登録されている前記登録動作に類似するかに応じて異なる処理を実行するステップと、を含む。
　また、本発明にかかるプログラムは、登録情報に関連づけて登録されている登録動作とユーザ動作とに応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行し、前記情報処理を実行するために新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付け、前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似するか否かを判断し、前記受け付けられる前記新動作と前記新情報とを登録するため、前記新動作が前記登録されている前記登録動作に類似するかに応じて異なる処理を実行する、処理をコンピュータに実行させる。
　本発明によれば、ユーザが操作を情報と関連づけて登録すことにより不都合が生じることを防ぐことができる。
　本発明の一態様では、前記動作入力装置は、前記判断手段により、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似すると判断される場合に、その旨を前記ユーザに通知する通知手段をさらに含んでもよい。
　本発明の一態様では、前記登録手段は、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似すると判断される場合に、該新動作と前記新情報を登録するとともに、前記ユーザ動作に該新動作が類似するか否かの判断する際の判断基準を変更してもよい。
　本発明の一態様では、前記登録手段は、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似すると判断される場合に、前記新動作に類似すると判断された前記登録動作に、前記新情報を関連付けて登録してもよい。
　本発明の一態様では、前記情報処理手段は、登録情報に関連付けられた処理条件とユーザ動作とに応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報であって前記処理条件を満たす登録情報に応じた情報処理を実行してもよい。
本発明の実施形態にかかる図形認識装置のハードウェア構成の一例を示す図である。 図形認識装置が実現する機能を示すブロック図である。 辞書格納部に格納されるデータの一例を示す図である。 登録指示取得部、特徴抽出部、類似度算出部、類似判定部、登録部、通知部の処理の一例を示すフロー図である。 登録情報入力画面の一例を示す図である。 類似する図形が存在する場合に出力されるメッセージの一例を示す図である。 希望図形が辞書内のいずれかの図形と類似する場合の処理の他の一例を示すフロー図である。 類似する図形が存在する場合に出力されるメッセージの他の一例を示す図である。 認識対象取得部、認識処理部の処理の一例を示すフロー図である。 認識対象となる図形を入力する画面の一例を示す図である。
　以下では、本発明の実施形態について図面に基づいて説明する。出現する構成要素のうち同一機能を有するものには同じ符号を付し、その説明を省略する。本実施形態は、ユーザが入力する動作として、図形の描画に着目したものである。本実施形態にかかる図形認識装置は、ユーザに動作としてタッチパネル等で図形を入力させ、その図形を認識する。以下では図形認識装置について説明するが、実際には複数の装置を含むシステムであってもよい。
　図形には主に手書きの文字や記号が含まれる。手書きの文字や記号を認識する手法は、いわゆるオンライン手書き文字認識の手法であってもオフライン手書き文字認識の手法であってもよい。オンライン手書き文字認識は、線が描画される順序を含む情報を用いて文字や記号を認識する手法である。オフライン手書き文字認識は、ユーザが描画した画像から文字や記号を認識する手法であり、こちらの手法では線が描画される順序は用いられない。
　図１は、図形認識装置のハードウェア構成の一例を示す図である。図形認識装置は、プロセッサ１１、記憶部１２、通信部１３、表示部１４、入力部１５を含む。図形認識装置は、例えばタブレット端末やパーソナルコンピュータである。
　プロセッサ１１は、記憶部１２に格納されているプログラムに従って動作する。またプロセッサ１１は通信部１３、表示部１４、入力部１５を制御する。なお、上記プログラムは、インターネット等を介して提供されるものであってもよいし、フラッシュメモリやＤＶＤ－ＲＯＭ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよい。
　記憶部１２は、ＲＡＭやフラッシュメモリ等のメモリ素子やハードディスクドライブによって構成されている。記憶部１２は、上記プログラムを格納する。また、記憶部１２は、各部から入力される情報や演算結果を格納する。
　通信部１３は、他の装置と通信する機能を実現するものであり、例えば有線ＬＡＮの集積回路やコネクタ端子などにより構成されている。通信部１３は、プロセッサ１１の制御に基づいて、他の装置から受信した情報をプロセッサ１１や記憶部１２に入力し、他の装置に情報を送信する。
　表示部１４は、液晶パネルなどの表示出力デバイス（表示手段）やそれを制御する回路であり、液晶表示パネルやグラフィックチップなどにより構成される。表示部１４は、プロセッサ１１の制御に基づいて、画像を表示出力デバイスに対して出力する。なお、文書処理装置は必ずしも表示出力デバイスを内蔵していなくてもよく、表示部１４は外部にある表示出力デバイスに画像を表示させてもよい。
　入力部１５は、タッチパネルなどの入力デバイスや、キーボードやマウスなどの入力デバイスからのデータを取得するコントローラなどにより構成される。入力部１５は、プロセッサ１１の制御に基づいて、タッチパネルや入力デバイスをユーザが操作することにより入力される動作やデータを取得する。本実施形態では、図形認識装置が表示出力デバイスとタッチパネルとが一体化したタッチパネル付き表示パネルを有している。
　図２は、図形認識装置が実現する機能を示すブロック図である。図形認識装置は、機能的に、登録指示取得部５１と、特徴抽出部５２と、類似度算出部５３と、類似判定部５４と、登録部５５と、通知部５６と、認識対象取得部５７と、認識処理部５８とを含む。これらの機能は、プロセッサ１１が記憶部１２に格納されたプログラムを実行し、通信部１３や表示部１４、入力部１５を制御することで実現される。また、登録部５５は、機能的に、辞書登録部６１と、類似基準設定部６２とを含み、認識処理部５８は、機能的に、特徴抽出部６６、図形認識部６７、操作処理部６８、辞書格納部７１を含む。
　認識処理部５８は、動作を示す特徴データと、その特徴データに関連付けられる関連情報とが登録される。特徴データは、ここでは文字や記号を含む図形の特徴を示すデータである。また、関連情報は文字列や動作をトリガとして実行する命令である。
　認識処理部５８に含まれる辞書格納部７１は、主に記憶部１２により実現される。辞書格納部７１は、認識処理部５８に登録される辞書のデータであって、複数の特徴データと、それぞれ特徴データのいずれかに関連づけられる複数の関連情報とを含む辞書のデータを格納する。
　図３は、辞書格納部７１に格納されるデータの一例を示す図である。辞書格納部７１には、例えば、特徴データと、関連情報と、類似範囲とが格納されている。図３に示す特徴データの内容は、描画される線のうち図形の特徴を示す複数の特徴点の情報であり、オンライン手書き認識の場合の例である。類似基準は、図形の認識の際に類似を判定する基準として用いられる情報であり、詳細については後述する。なお、図示しないが、辞書データは特徴データに関連付けて図形の画像データをさらに含んでもよい。
　なお、オフライン手書き認識の場合、特徴データは例えば複数の次元を有する特徴ベクトルであってよい。特徴ベクトルは、例えば、図形が分割されたサブ領域の数に４をかけた数の要素を有する。サブ領域が、図形の領域を６４の領域に分割したものであるとすると、特徴ベクトルの次元の数は２５６になる。また、サブ領域ごとにそのサブ領域内に上下方向、左右方向、２種の斜め方向の線があるか否かを示す４つの特徴値が存在し、特徴ベクトルの複数の要素のそれぞれには、その特徴値が配置されている。
　次に、図形認識装置にユーザが図形を登録する処理について説明する。図４は、登録指示取得部５１、特徴抽出部５２、類似度算出部５３、類似判定部５４、登録部５５、通知部５６の処理の一例を示すフロー図である。以下では、登録指示取得部５１、特徴抽出部５２、類似度算出部５３、類似判定部５４、登録部５５、通知部５６の機能について、図４に示すフロー図を用いて説明する。
　登録指示取得部５１は、主にプロセッサ１１、記憶部１２、表示部１４および入力部１５により実現される。登録指示取得部５１は、登録部５５に新たに登録されるべき、新たな動作とその新たな動作に関連付ける新たな関連情報とを受け付ける。より具体的には、登録指示取得部５１は、ユーザが登録を希望する希望図形であってユーザが入力する希望図形のデータと、希望図形に関連づける関連情報とを取得する（ステップＳ１０１）。登録指示取得部５１は、ユーザが入力部１５のタッチパネル上の領域内でスタイラスや指により描画された図形を示すデータを希望図形のデータとして取得する。希望図形のデータは図形認識の際に取得される図形のデータと同種のものである。希望図形のデータは描画の際のスタイラス等の動きや書き順を示す情報を含んでいてもよいし、単なる図形の画像データを含んでいてもよい。また、登録指示取得部５１は、入力部１５等を介してユーザが入力する文字列情報を取得し、その文字列情報を関連情報として取得する。
　図５は、登録指示取得部５１により表示される登録情報入力画面の一例を示す図である。登録情報入力画面には、図形入力領域３１と、文字列入力領域３２と、リセットボタン３３と、キャンセルボタン３４と、登録ボタン３５とが配置される。図形入力領域３１は、ユーザが登録を希望する希望図形を入力するための領域であり、入力された図形が描画される。文字列入力領域３２は、関連情報として、希望図形に関連づける文字列を入力するための領域である。リセットボタン３３は入力された図形を消去するためのボタンである。登録指示取得部５１は、登録ボタン３５が押下されると、図形入力領域３１に入力された希望図形のデータと、文字列入力領域３２により入力された関連情報とを取得する。なお、関連情報は、図形をプログラムに何らかの動作をさせる命令と関連づける情報であってもよい。なお、ユーザは必ずしも毎回関連情報を入力しなくてもよい。例えば、登録指示取得部５１は登録情報入力画面に前回入力された関連情報を表示し、そのまま登録ボタン３５が押下された場合に、その前回入力された関連情報を取得してもよい。
　特徴抽出部５２は、主にプロセッサ１１、記憶部１２により実現される。特徴抽出部５２は、希望図形の大きさを正規化し（ステップＳ１０２）、正規化された希望図形のデータから、希望図形の特徴を示す特徴データを抽出する（ステップＳ１０３）。特徴データは、希望図形から順に抽出される特徴点の列であってもよいし、所定の次元の特徴ベクトルであってもよい。特徴抽出部５２が特徴データを抽出する手法は公知であるので詳細の説明は省略する。
　類似度算出部５３は、主にプロセッサ１１、記憶部１２により実現される。類似度算出部５３は希望図形の特徴データと辞書に登録されている複数の特徴データの少なくとも一部との類似度を算出することにより（ステップＳ１０４）、希望図形と辞書に登録されている複数の図形のうちいずれかとの類似度を算出する。希望図形の特徴データと辞書に登録されている特徴データとの類似度を算出する手法は、いわゆる隠れマルコフモデル(Hidden Markov Model)であってもよいし、ＤＰマッチングや特徴ベクトル間の距離の計算であってもよい。隠れマルコフモデルを用いる場合、算出される確率が類似度に相当する。
　類似判定部５４は、主にプロセッサ１１、記憶部１２により実現される。類似判定部５４は、算出された類似度に基づいて、希望図形と辞書に登録されている図形とが類似するか否か判定する。より具体的には、類似判定部５４は類似度に基づいて、辞書に登録されている特徴データのうち、希望図形に最も似ている図形の特徴データを選択し（ステップＳ１０５）、選択された特徴データと希望図形の特徴データとの類似度に基づいて、選択された図形が希望図形に類似するか否かを判定する（ステップＳ１０６）。類似度の値が大きいほど２つの図形が類似する場合、類似判定部５４はステップＳ１０６において、例えば類似度が予め定められた設定閾値より大きい場合に選択された図形が希望図形に類似すると判定する。
　登録部５５は、主にプロセッサ１１、記憶部１２により実現される。登録部５５は、登録指示取得部５１が受け付けた新たな動作と新たな関連情報とを認識処理部５８に対して登録するため、類似判定部５４の判断に応じて異なる処理を実行する。この処理は、その新たな動作が登録されている動作に類似する場合に、登録部５５がユーザにその旨を通知することであってもよいし、その新たな動作が登録されている動作に類似する場合にユーザが入力する動作とその新たな動作とが類似するか否か判断する際の判断基準を変更することであってもよいし、類似すると判断された動作とその新たな情報と関連付けて認識処理部５８に登録することであってもよい。以下では登録部５５の処理の詳細について説明する。
　登録部５５に含まれる辞書登録部６１は、主にプロセッサ１１、記憶部１２により実現される。辞書登録部６１は、選択された図形が希望図形に類似しないと判定された場合に（ステップＳ１０７のＹ）、希望図形の特徴データと関連情報とを関連づけて前記辞書に登録する（ステップＳ１０８）。
　通知部５６は、主にプロセッサ１１、記憶部１２、表示部１４により実現される。通知部５６は、選択された図形が希望図形に類似すると判定された場合に（ステップＳ１０７のＮ）、希望図形が辞書に登録された図形に類似することをユーザに通知する（ステップＳ１０９）。
　図６は、類似図形が存在する場合に通知部５６によりユーザに対して出力されるメッセージの一例を示す図である。通知部５６が表示出力デバイスに出力させるメッセージの画面には、希望図形を表示する領域である入力図形表示領域３７と、希望図形に類似する図形を表示する領域である類似図形表示領域３８と確認ボタン３９とが配置される。
　このように、ユーザが登録するために入力した動作（から抽出される特徴データ）と既に登録されている動作（の特徴データ）とが類似すると判定されたか否かにより希望図形や関連情報を登録するための処理を異ならせることにより、ユーザが既に登録された動作に類似する動作を登録することによる問題の発生を抑えることが可能になる。
　また、ユーザは、入力された動作が登録されている動作に類似することを確認することにより、他の類似しない動作を登録することが可能となる。特に、希望図形に類似する類似図形が表示されることにより、ユーザは他の図形に類似しない新たな希望図形を考えることが容易になる。
　ここで、希望図形が辞書内のいずれかの図形と類似する場合に、必ずしも一律的に希望図形の登録を拒否しなくてもよい。描画スキルの高い画家などのユーザは、辞書登録に使うような簡単な図形であれば、僅かな違いで実質的に同じ図形を描くことができる。このようなユーザは、既存（既登録）の類似基準に基づいて、希望図形が辞書内のいずれかの図形と類似すると判定された場合であっても、個人の描画スキルによって希望図形を再現する選択ができる。もちろん、それ以外のユーザに対しても、図形の登録を拒否しなくてもよい
　図７は、希望図形が辞書内のいずれかの図形と類似する場合の処理の他の一例を示すフロー図である。本図は、図４のステップＳ１０９の処理の代わりに実行されてよい。　希望図形が辞書内のいずれかの図形と類似する場合に、図７に示す例では、まず通知部５６は、希望図形を登録するか、類似図形に対して関連情報を関連づけて登録するか、希望図形も関連情報も登録しないかユーザに選択させるメッセージを出力する（ステップＳ１５１）。
　図８は、類似図形が存在する場合に通知部５６によりユーザに対して出力されるメッセージの他の一例を示す図である。通知部５６が表示出力デバイスに出力させるメッセージの画面には、希望図形を表示する領域である入力図形表示領域４１と、類似図形を表示する領域である類似図形表示領域４２と、登録ボタン４３と更新ボタン４４と、キャンセルボタン４５とが配置される。登録ボタン４３は、ユーザが、類似図形が存在することを承知した上で希望図形を登録することを指示するためのボタンである。更新ボタン４４は、ユーザが類似図形に登録指示取得部５１が取得した関連情報を関連づけるよう辞書を更新することを指示するためのボタンである。キャンセルボタン４５は辞書に希望図形や関連情報を登録しない場合に押下されるボタンである。
　ユーザが登録ボタン４３等を押下することにより登録に関する指示をすると、辞書登録部６１はユーザのその指示を取得する（ステップＳ１５２）。そして、ユーザから取得した指示が類似図形に登録指示取得部５１が取得した関連情報を関連づける指示である場合には（ステップＳ１５３のＹ）、辞書登録部６１は類似図形に関連情報を関連づけて辞書格納部７１に格納する（ステップＳ１５４）。類似図形に関連情報を関連づけることで、新たな希望図形を登録することによる不都合を防ぎつつ、ユーザの図形の入力により関連情報を入力することが可能になる。
　ここで、類似図形に複数の関連情報が関連づけられていてもよい。１つの類似図形に関連付けられる複数の関連情報は、登録指示取得部５１が取得した関連情報と、元から類似図形に関連づけられている情報とを含んでよい。元から類似図形に関連付けられている情報は、図形が文字である場合には、その文字を示すコードであってよい。
　なお、辞書登録部６１は、ステップＳ１５４の後に希望図形のデータに類似図形に関連づけられた関連情報を関連付けて辞書格納部７１に記憶させてもよい。さらに、類似図形に登録指示取得部５１が取得した関連情報を関連づけてもよい。
　一方、辞書登録部６１が類似図形に関連情報を関連づける指示を取得していない場合には（ステップＳ１５３のＮ）、辞書登録部６１は、希望図形を登録する指示を取得したか判定する（ステップＳ１５５）。取得された指示が希望図形を登録する指示でない場合には（ステップＳ１５５のＮ）、何も登録しない指示を取得しているので、図７に示す処理を終了する。一方、希望図形を登録する指示を取得している場合には（ステップＳ１５５のＹ）、辞書登録部６１は希望図形のデータと関連情報とを関連づけて辞書格納部７１に記憶させる（ステップＳ１５６）。
　登録部５５に含まれる類似基準設定部６２は、主にプロセッサ１１および記憶部１２により実現される。類似基準設定部６２は、ユーザが登録しようとする新たな動作が既に登録されている動作に類似すると判断され、新たな動作とその新たな動作に類似する新たな関連情報が登録された場合に、認識処理部５８に登録される判断基準であって、ユーザ動作にその新たな動作が類似するか否かを判断する際の判断基準（以下では「類似基準」と記載する）を変更する。より具体的には、類似基準設定部６２は、希望図形と辞書に含まれる図形とが類似すると判定され、かつ辞書に希望図形のデータが登録された場合（ステップＳ１５６の後）に、希望図形と辞書に含まれる図形との類似度に基づいて、ユーザが入力する図形と登録されている図形との類似を判定するための類似基準を調整する（ステップＳ１５７）。この類似基準は例えば類似であるか否かを判定する類似度の閾値であり、認識処理部５８に含まれる図形認識部６７が、入力された図形が辞書に登録した図形か否かを判定する際に用いられる。類似基準はユーザ毎に設定されてもよいし、特徴データごとに設定されてもよい。類似基準は、希望図形と類似図形との類似度が、この２つの図形がより近いことを示すほど、類似の範囲がより狭い範囲になるように設定される。
　ユーザが類似する図形があっても希望図形を登録する指示をしている場合には、ユーザが図形を正確に入力する自信がある蓋然性が高い。したがって、希望図形を辞書に登録しても問題が生じる可能性は低い。一方で、ユーザが入力する図形が辞書に登録されている図形に類似すると判定する基準が変わらないと、ユーザに対し不要な候補が表示される恐れがある。ここで、類似基準を変更することにより、その恐れを軽減することができる。
　例えば、図３の例では、類似パラメータは特徴データごとに設定されている。類似基準設定部６２はＩＤが１１０１である辞書データに対応する図形が類似図形である場合に、その類似図形について類似パラメータを７０から８０に変更し、例えば図形認識の際に入力される図形が従来よりこの類似図形に類似していないと、この類似図形が入力された図形として認識されないようになる。なお、この類似基準は、類似判定部５４が希望図形と辞書の図形とが類似であるか判定する際に用いられてもよい。
　次に、ユーザが入力する図形を図形認識装置が認識する処理について説明する。図９は、認識対象取得部５７、認識処理部５８の処理の一例を示すフロー図である。以下では、認識対象取得部５７、認識処理部５８の機能について、図９の処理フローを用いて説明する。
　認識対象取得部５７は、主にプロセッサ１１、記憶部１２、表示部１４、入力部１５により実現される。認識対象取得部５７は、ユーザが入力する図形であって、図形の認識の対象となる入力図形のデータを取得する（ステップＳ２０１）。
　認識処理部５８は、主にプロセッサ１１、記憶部１２、表示部１４、入力部１５により実現される。認識処理部５８は、ユーザが図形を入力するユーザ動作に応じて、そのユーザ動作に類似する動作を示す特徴データに関連付けられた関連情報に応じた情報処理を実行する。
　認識処理部５８に含まれる特徴抽出部６６は、主にプロセッサ１１、記憶部１２により実現される。特徴抽出部６６は、入力図形のうち認識対象とする領域の大きさを正規化する（ステップＳ２０２）。認識対象とする領域は、例えば入力された図形の領域である。複数の図形（文字列）が入力されている場合には、特徴抽出部６６は文字ごとに認識対象とする領域を切り出してよい。また、特徴抽出部６６は、正規化された入力図形のデータから、入力図形の特徴を示す特徴データを抽出する（ステップＳ２０３）。特徴データを抽出する手法は特徴抽出部５２と同じ手法である。
　認識処理部５８に含まれる図形認識部６７は、主にプロセッサ１１、記憶部１２により実現される。図形認識部６７は、入力図形が辞書に登録されたいずれかの図形に類似する場合に、そのいずれかの図形に関連づけられた関連情報を、図形の認識結果として出力する。
　より具体的には、図形認識部６７は、抽出された特徴データと辞書格納部７１に格納された（認識処理部５８に対して登録された）複数の図形についての複数の特徴データのそれぞれとの類似度を算出する（ステップＳ２０４）。そして、図形認識部６７は、複数の特徴データについて算出された類似度に基づいて、入力図形に類似する辞書中の図形を選択する（ステップＳ２０６）。ここで、類似する図形を選択する判断する手法としては、類似パラメータが示す類似範囲内にある類似度を有する特徴データのうち、最も高い類似度が算出された特徴データに対応する図形を選択する。なお、図形認識部６７は単に類似パラメータが示す類似範囲内にある類似度を有する特徴データのそれぞれに対応する図形を選択してもよい。この場合、辞書に登録されている１つの特徴データに対して１つの関連情報のみが関連づけられていてよい。
　また、図形認識部６７は関連情報に関連付けられた処理条件とユーザの動作とに基づいて、処理条件を満たしかつその動作に類似する登録された動作に関連づけられた関連情報を出力してもよい。より具体的には、図形認識部６７は、類似度と、各特徴データに関連づけて登録された情報とに基づいて、入力図形に類似する辞書中の図形を選択してもよい。例えば、辞書中の特徴データに関連づけられた処理条件を満たし、かつ閾値より高い類似度が算出された特徴データを取得してよい。処理条件は、例えばクリスマスシーズンなどを識別するための開始日および終了日、開始時刻と終了時刻などで表される期間であってもよいし、認識された情報を渡す他のプログラムが何であるかでもよいし、文字コードを出力するか命令を入力するか否かであってもよい。例えば、登録指示取得部５１がユーザから発動条件を取得し、辞書登録部６１がこの発動条件を辞書に登録してよい。
　処理条件を用いることにより、例えば木の図形に対して、クリスマスシーズンにはクリスマスの文字を出力させ、夏には森林浴の文字を出力させるといったことが可能になる。
　認識処理部５８に含まれる操作処理部６８は、主にプロセッサ１１、記憶部１２、表示部１４により実現される。操作処理部６８は、関連情報に応じた処理を実行する。
　より具体的には、操作処理部６８は、選択された図形に１つの関連情報が関連づけられる場合には（ステップＳ２０６のＹ）、その関連情報に応じた処理をする（ステップＳ２０７）。より具体的には、操作処理部６８は関連情報が文字列の場合は表示手段にその文字列を出力し、関連情報が命令の場合には、その命令に応じた処理（例えばアプリケーションプログラムの開始や文字の削除処理）を実行する。一方、選択された図形に複数の関連情報が関連づけられる場合には（ステップＳ２０６のＮ）、操作処理部６８は表示部１４を介して複数の関連情報から１つを選択させる画像をユーザに向けて出力し、入力部１５を介してユーザに関連情報を選択させる（ステップＳ２０８）。そして、操作処理部６８はその選択された関連情報に応じた処理を実行する（ステップＳ２０９）。
　図１０は、認識対象となる図形を入力する画面の一例を示す図である。この画面には、図形入力領域８１と、その図形に対応する文字列を表示する領域とが存在する。本図の例では、図形入力領域８１に入力された図形が、図５などに示す画面を介して辞書に登録された図形であると認識され、文字列表示欄８２に関連情報である「Mt.Fujisan」の文字列が出力されている。
　１１　プロセッサ、１２　記憶部、１３　通信部、１４　表示部、１５　入力部、３１，８１　図形入力領域、３２　文字列入力領域、３３　リセットボタン、３４　キャンセルボタン、３５　登録ボタン、３７，４１　入力図形表示領域、３８，４２　類似図形表示領域、３９　確認ボタン、４３　登録ボタン、４４　更新ボタン、４５　キャンセルボタン、５１　登録指示取得部、５２，６６　特徴抽出部、５３　類似度算出部、５４　類似判定部、５５　登録部、５６　通知部、５７　認識対象取得部、５８　認識処理部、６１辞書登録部、６２　類似基準設定部、６７　図形認識部、６８　操作処理部、７１　辞書格納部、８２　文字列表示欄。

Claims (7)

  1. 　登録動作が登録情報に関連づけて登録されており、ユーザ動作に応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行する情報処理手段と、
    　前記情報処理手段に新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付ける受付手段と、
    　前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似するか否かを判断する判断手段と、
    　前記受付手段により受け付けられる前記新動作と前記新情報とを前記情報処理手段に対して登録するため、前記判断手段による判断に応じて異なる処理を実行する登録処理手段と、
    　を含む動作入力システム。
  2. 　請求項１に記載の動作入力システムにおいて、
    　前記判断手段により、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似すると判断される場合に、その旨を前記ユーザに通知する通知手段をさらに含む、
    　動作入力システム。
  3. 　請求項１又は２に記載の動作入力システムにおいて、
    　前記登録処理手段は、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似すると判断される場合に、該新動作と前記新情報を登録するとともに、前記ユーザ動作に該新動作が類似するか否かの判断する際の判断基準を変更する、
    　動作入力システム。
  4. 　請求項１から３のいずれかに記載の動作入力システムにおいて、
    　前記登録処理手段は、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似すると判断される場合に、前記新動作に類似すると判断された前記登録動作に、前記新情報を関連付けて登録する、
    　動作入力システム。
  5. 　請求項１から４のいずれかに記載の動作入力システムにおいて、
    　前記情報処理手段は、登録情報に関連付けられた処理条件とユーザ動作とに応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報であって前記処理条件を満たす登録情報に応じた情報処理を実行する、
    　動作入力システム。
  6. 　登録動作が登録情報に関連づけて登録されており、ユーザ動作に応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行するステップと、
    　前記情報処理を実行するために新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付けるステップと、
    　前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似するか否かを判断するステップと、
    　前記受け付けられる前記新動作と前記新情報とを登録するため、前記新動作が前記登録されている前記登録動作に類似するかに応じて異なる処理を実行するステップと、
    　を含む動作入力方法。
  7. 　登録情報に関連づけて登録されている登録動作とユーザ動作とに応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行し、
    　前記情報処理を実行するために新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付け、
    　前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似するか否かを判断し、
    　前記受け付けられる前記新動作と前記新情報とを登録するため、前記新動作が前記登録されている前記登録動作に類似するかに応じて異なる処理を実行する、
    　処理をコンピュータに実行させるためのプログラム。
PCT/JP2014/071400 2014-08-13 2014-08-13 動作入力システム、動作入力方法およびプログラム WO2016024349A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2015516310A JP5855794B1 (ja) 2014-08-13 2014-08-13 動作入力システム、動作入力方法およびプログラム
CN201480082334.6A CN107077737B (zh) 2014-08-13 2014-08-13 动作输入装置、动作输入方法
PCT/JP2014/071400 WO2016024349A1 (ja) 2014-08-13 2014-08-13 動作入力システム、動作入力方法およびプログラム
US15/503,404 US10474886B2 (en) 2014-08-13 2014-08-13 Motion input system, motion input method and program
ES14899908T ES2912139T3 (es) 2014-08-13 2014-08-13 Sistema de entrada de operación, método de entrada de operación y programa
EP14899908.9A EP3208772B1 (en) 2014-08-13 2014-08-13 Operation input system, operation input method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/071400 WO2016024349A1 (ja) 2014-08-13 2014-08-13 動作入力システム、動作入力方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2016024349A1 true WO2016024349A1 (ja) 2016-02-18

Family

ID=55269208

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/071400 WO2016024349A1 (ja) 2014-08-13 2014-08-13 動作入力システム、動作入力方法およびプログラム

Country Status (6)

Country Link
US (1) US10474886B2 (ja)
EP (1) EP3208772B1 (ja)
JP (1) JP5855794B1 (ja)
CN (1) CN107077737B (ja)
ES (1) ES2912139T3 (ja)
WO (1) WO2016024349A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003076991A (ja) * 2001-08-31 2003-03-14 Japan Science & Technology Corp 自動検査装置及び方法並びに画像信号の処理方法
JP2005071208A (ja) * 2003-08-27 2005-03-17 Nippon Telegr & Teleph Corp <Ntt> 処理情報入力装置、処理情報入力方法、この方法のプログラム、およびこのプログラムを記録した記録媒体
JP2013065112A (ja) * 2011-09-15 2013-04-11 Omron Corp ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
JP2013242768A (ja) * 2012-05-22 2013-12-05 Canon Inc 情報処理装置、制御方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152875A (ja) * 1993-11-29 1995-06-16 Toshiba Corp 認識文字登録方法及び認識文字登録装置
JP3453422B2 (ja) * 1994-02-10 2003-10-06 キヤノン株式会社 文字パターンのユーザ辞書への登録方法及び該ユーザ辞書を有する文字認識装置
JP3744997B2 (ja) * 1996-01-12 2006-02-15 キヤノン株式会社 文字認識装置及びその方法
US6404438B1 (en) * 1999-12-21 2002-06-11 Electronic Arts, Inc. Behavioral learning for a visual representation in a communication environment
JP4741908B2 (ja) * 2005-09-08 2011-08-10 キヤノン株式会社 情報処理装置及び情報処理方法
JP2007109118A (ja) * 2005-10-17 2007-04-26 Hitachi Ltd 入力指示処理装置および入力指示処理プログラム
EP2003611A2 (en) * 2006-03-31 2008-12-17 Olympus Corporation Information presentation system, information presentation terminal, and server
JP5252596B2 (ja) 2010-11-02 2013-07-31 国立大学法人東京農工大学 文字認識装置、文字認識方法及びプログラム
KR101858531B1 (ko) * 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101753625B1 (ko) * 2011-03-08 2017-07-20 삼성전자주식회사 휴대용 단말기에서 오입력을 방지하기 위한 방법 및 장치
JP2014021864A (ja) * 2012-07-20 2014-02-03 Mizuho Information & Research Institute Inc 入力支援プログラム及び入力支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003076991A (ja) * 2001-08-31 2003-03-14 Japan Science & Technology Corp 自動検査装置及び方法並びに画像信号の処理方法
JP2005071208A (ja) * 2003-08-27 2005-03-17 Nippon Telegr & Teleph Corp <Ntt> 処理情報入力装置、処理情報入力方法、この方法のプログラム、およびこのプログラムを記録した記録媒体
JP2013065112A (ja) * 2011-09-15 2013-04-11 Omron Corp ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
JP2013242768A (ja) * 2012-05-22 2013-12-05 Canon Inc 情報処理装置、制御方法及びプログラム

Also Published As

Publication number Publication date
ES2912139T3 (es) 2022-05-24
US10474886B2 (en) 2019-11-12
EP3208772B1 (en) 2022-03-23
CN107077737A (zh) 2017-08-18
CN107077737B (zh) 2020-10-09
EP3208772A4 (en) 2018-07-25
EP3208772A1 (en) 2017-08-23
JP5855794B1 (ja) 2016-02-09
US20170300745A1 (en) 2017-10-19
JPWO2016024349A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
US20210406578A1 (en) Handwriting-based predictive population of partial virtual keyboards
US10929013B2 (en) Method for adjusting input virtual keyboard and input apparatus
CN105824559B (zh) 一种误触识别及处理方法和电子设备
CN105810188B (zh) 一种信息处理方法和电子设备
US9824266B2 (en) Handwriting input apparatus and control method thereof
JP5910345B2 (ja) 文字入力プログラム、情報処理装置および文字入力方法
US20150242114A1 (en) Electronic device, method and computer program product
US20120050328A1 (en) Display apparatus and computer-readable medium
US20140184542A1 (en) Electronice device, handwriting input recognition system, and method for recognizing handwritten input thereof
US9280524B2 (en) Combining a handwritten marking with a rendered symbol to modify the rendered symbol
JP5832980B2 (ja) 手書き入力支援装置、方法およびプログラム
JP2011204141A (ja) 手書き入力装置、手書き入力方法及び手書き入力プログラム
TW201604719A (zh) 智能設備的控制方法及裝置
JP5877272B2 (ja) 文書処理装置、文書処理方法、プログラムおよび情報記憶媒体
JP2015200948A (ja) マルチ入力ターゲットに関連付けられた１つ又はそれ以上の入力を入力するためのシステム及び方法
US20210271380A1 (en) Display device
JP6659210B2 (ja) 手書入力装置及び手書入力方法
JP5855794B1 (ja) 動作入力システム、動作入力方法およびプログラム
JP7363235B2 (ja) 情報処理装置及び情報処理プログラム
JP6373664B2 (ja) 電子機器、方法及びプログラム
CN112118491A (zh) 弹幕生成方法、装置及计算机可读存储介质
US20150347004A1 (en) Indic language keyboard interface
JPWO2016031016A1 (ja) 電子機器、方法及びプログラム
JPWO2019181441A1 (ja) 情報処理装置、及び制御方法
JP2011034284A5 (ja)

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015516310

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14899908

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014899908

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014899908

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15503404

Country of ref document: US