WO2020065695A1 - 文字入力支援装置、文字入力システム、および文字入力支援方法 - Google Patents

文字入力支援装置、文字入力システム、および文字入力支援方法 Download PDF

Info

Publication number
WO2020065695A1
WO2020065695A1 PCT/JP2018/035263 JP2018035263W WO2020065695A1 WO 2020065695 A1 WO2020065695 A1 WO 2020065695A1 JP 2018035263 W JP2018035263 W JP 2018035263W WO 2020065695 A1 WO2020065695 A1 WO 2020065695A1
Authority
WO
WIPO (PCT)
Prior art keywords
character
input
narrowing
character string
user
Prior art date
Application number
PCT/JP2018/035263
Other languages
English (en)
French (fr)
Inventor
聡 吉川
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2018/035263 priority Critical patent/WO2020065695A1/ja
Priority to JP2020547612A priority patent/JP7058749B2/ja
Publication of WO2020065695A1 publication Critical patent/WO2020065695A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • the present invention relates to a character input support device that supports character input.
  • characters are input to an electronic device by a user operating a keyboard or a touch panel by hand.
  • an electronic device that enables a user to input characters (handwritten character input) by spelling characters on a screen by moving a mouse by hand or tracing a touch panel by using handwritten character recognition technology.
  • hand input input of characters and the like by a user using a hand.
  • Patent Document 1 discloses a character input system in which a user can manually input a character and also input a reading of a character string to be input by voice, and narrow down prediction candidates of the character string based on the reading. Proposed.
  • Patent Literature 1 the character string prediction candidates are narrowed down based on the input character string reading, so that more efficient character input can be realized.
  • the technique of Patent Document 1 is based on the premise that the user knows the reading of the entire character string input, and is difficult to apply when the user does not know part or all of the reading of the character string. It is. In particular, in a language having characters having a plurality of readings, such as kanji, there are many scenes where the user wants to input a character string whose pronunciation is not understood.
  • the present invention has been made to solve the above problems, and it is possible to narrow down prediction candidates of a character string using voice input even when the user does not know the reading of the entire character string manually input. It is an object of the present invention to provide a character input support device capable of performing the following.
  • a character input support device includes a manually input character recognition unit that recognizes a character that is at least partially manually input by a user, and one or more characters that the user is trying to input based on the manually input character.
  • a prediction candidate generation unit that generates a prediction candidate of a character string composed of: and narrowing information that obtains narrowing information that is clue information of the character string from the voice uttered by the user and includes information other than reading of the entire character string.
  • An acquisition unit and a narrowing-down processing unit that narrows down prediction candidates for character strings based on the narrowing-down information are provided.
  • a user can input the narrowing-down information other than the reading of the whole character string input manually, and narrow down the prediction candidate of a character string based on the narrowing-down information. Will be Therefore, even when the user does not know the reading of the entire character string manually input, it is possible to narrow down the prediction candidates of the character string using voice input.
  • FIG. 1 is a diagram showing a configuration of a character input system according to Embodiment 1.
  • FIG. 7 is a diagram for explaining an example of an operation of the character input system according to the first embodiment.
  • FIG. 7 is a diagram for explaining an example of an operation of the character input system according to the first embodiment.
  • FIG. 7 is a diagram for explaining an example of an operation of the character input system according to the first embodiment.
  • FIG. 7 is a diagram for explaining an example of an operation of the character input system according to the first embodiment.
  • FIG. 7 is a diagram for explaining an example of an operation of the character input system according to the first embodiment.
  • FIG. 7 is a diagram for explaining an example of an operation of the character input system according to the first embodiment.
  • FIG. 7 is a diagram for explaining an example of an operation of the character input system according to the first embodiment.
  • FIG. 7 is a diagram for explaining an example of an operation of the character input system according to the first embodiment.
  • FIG. 7 is a diagram for explaining an example of an operation of the character input system according to the first embodiment.
  • FIG. 7 is a diagram for explaining an example of an operation of the character input system according to the first embodiment.
  • FIG. 7 is a diagram for explaining an example of an operation of the character input system according to the first embodiment.
  • FIG. 7 is a diagram for explaining an example of an operation of the character input system according to the first embodiment.
  • FIG. 7 is a diagram for explaining an example of an operation of the character input system according to the first embodiment.
  • FIG. 7 is a diagram for explaining an example of an operation of the character input system according to the first embodiment.
  • FIG. 5 is a flowchart illustrating an operation of the character input assistance device according to the first embodiment. 5 is a flowchart illustrating an operation of a narrowed-down information acquisition unit of the character input assistance device according to the first embodiment.
  • FIG. 2 is a diagram illustrating a hardware configuration example of a character input support device.
  • FIG. 2 is a diagram illustrating a hardware configuration example of a character input support device.
  • FIG. 10 is a diagram for explaining an example of the operation of the character input system according to Embodiment 2.
  • FIG. 10 is a diagram for explaining an example of the operation of the character input system according to Embodiment 2.
  • FIG. 10 is a diagram for explaining an example of the operation of the character input system according to Embodiment 2.
  • FIG. 10 is a diagram for explaining an example of the operation of the character input system according to Embodiment 2.
  • FIG. 10 is a diagram for explaining an example of the operation of the character input system according to Embodiment 2.
  • FIG. 10 is a diagram for explaining an example of the operation of the character input system according to Embodiment 2.
  • FIG. 10 is a diagram for explaining an example of the operation of the character input system according to Embodiment 2.
  • FIG. 10 is a diagram for explaining an example of the operation of the character input system according to Embodiment 2.
  • FIG. 10 is a diagram for explaining an example of the operation of the character input system according to Embodiment 2.
  • FIG. 10 is a diagram for explaining an example of the operation of the character input system according to Embodiment 2.
  • FIG. 1 is a diagram showing a configuration of a character input system according to Embodiment 1 of the present invention.
  • the character input system includes a character input support device 10 and a display device 21, an operation input device 22, and a voice input device 23 connected thereto.
  • the display device 21 is a means for the character input support device 10 to present various kinds of information to the user in characters or images, and is constituted by, for example, a liquid crystal display device.
  • the operation input device 22 is a means for a user to input an operation on the character input support device 10, and includes, for example, a keyboard, a mouse, a touch pad, and the like.
  • the voice input device 23 is a means for inputting voice uttered by the user to the character input support device 10, and is generally a microphone.
  • the operation input device 22 is a transparent touch pad disposed on the screen of the display device 21, and the display device 21 and the operation input device 22 constitute one touch panel 25. . Therefore, in the following description, for example, the screen of the display device 21 may be expressed as “the screen of the touch panel 25”, and the operation of the operation input device 22 may be expressed as “the operation of the touch panel 25”.
  • the character input support device 10 includes a manually input character recognition unit 11, a prediction candidate generation unit 12, a narrowing information acquisition unit 13, a narrowing processing unit 14, and a display processing unit 15.
  • the hand-input character recognition unit 11 recognizes a character manually input by the user using the operation input device 22.
  • the manually input character recognition unit 11 can also recognize a partially handwritten character, that is, a character in the middle of handwriting.
  • the prediction candidate generation unit 12 has a dictionary of character strings that can be input by the user, and based on the character or a part of the character recognized by the manually input character recognition unit 11, calculates the character string that the user wants to input. Predict and generate a character string prediction candidate. Note that the “character string” does not necessarily include a plurality of characters, and may include only one character. Therefore, the prediction candidate generation unit 12 generates a prediction candidate of a character string including one or more characters.
  • the narrowing-down information acquisition unit 13 acquires, from the voice of the user input to the voice input device 23, “refining-down information” that is information that is a clue to the character string that the user is trying to input.
  • the narrowing-down information includes information other than the reading of the entire character string.
  • the narrowing-down information is (A) Information on the number of characters in a character string (b) Information indicating the position of a manually input character in the character string (c) Information comprising a combination of the number of characters in the character string and the position of the manually input character in the character string (D) information consisting of a combination of a part of a character string reading and a character position corresponding to the part of the character string in the character string; and (e) information relating to the shape of a manually input character. I do.
  • the narrowing information includes (F) There is no problem even if the reading information of the entire character string is included. However, as for the information (f), it is premised that the user knows the reading of the entire character string as in the case of the technique of Patent Literature 1, and the description in this specification will be omitted.
  • the narrowing-down processing unit 14 narrows down the character string prediction candidates generated by the prediction candidate generation unit 12 based on the narrowing information acquired by the narrowing information acquisition unit 13.
  • the display processing unit 15 includes an input screen (character input screen) for the user to input a character and a character string prediction candidate generated by the prediction candidate generation unit 12 (or a prediction candidate after narrowing down by the narrowing down information acquisition unit 13). Is displayed on the screen of the display device 21 (the touch panel 25), thereby providing the user with a character input environment.
  • a part of the function of each element shown in FIG. 1 may be realized on an external device of the character input support device 10, such as a server that can communicate with the character input support device 10.
  • a server performs processing with a high computation load, such as image recognition (handwritten character recognition) processing for the hand-input character recognition unit 11 to recognize handwritten characters, and voice recognition processing performed by the narrowing-down information acquisition unit 13. May go.
  • image recognition handwritten character recognition
  • voice recognition processing performed by the narrowing-down information acquisition unit 13. May go.
  • the calculation load of the character input support device 10 can be reduced.
  • a dictionary of character strings used by the narrow-down processing unit 14 to generate prediction candidates may be provided on the server. Thereby, the storage capacity required for the character input support device 10 can be reduced.
  • the character input system according to the first embodiment is applicable to any electronic device in which character input is performed by a user, such as a mobile phone, a smartphone, a personal computer, and a navigation device.
  • the character input system is applied to a smartphone.
  • the character input support device 10 causes the touch panel 25 to display a character input screen as shown in FIG.
  • the character input screen of FIG. 2 includes a manual input operation area 101 in which the user performs an operation for manually inputting a character, and a prediction candidate display area 102 in which a prediction candidate of a character input by the user is displayed.
  • a confirmed character display area 103 in which a character string whose input has been confirmed is displayed.
  • the hand input operation area 101 is an area in which the user inputs handwritten characters.
  • FIG. 2 shows a state in which the user has written the cattle bias portion of the character of “*”.
  • the manually input character recognizing unit 11 recognizes the cattle bias written in the manual input operation area 101, and the prediction candidate generating unit 12 sets a character string including a character (Kanji) having the cattle bias as a prediction candidate.
  • the prediction candidates generated by the prediction candidate generation unit 12 are displayed in the prediction candidate display area 102.
  • prediction candidates such as “object”, “special”, “object”, “creature”, “special”, and “patent” are displayed in the prediction candidate display area 102.
  • the user can select a character string to be input from the prediction candidates displayed in the prediction candidate display area 102 by a touch operation.
  • the selected character string is determined as a character string to be input by the user, and as shown in FIG. 3, the determined character string (here, “patent”) is determined as a determined character display area. Inserted at 103.
  • the user can also input narrowing information such as the information (a) to (e) into the character input support device 10 through the voice input device 23 while manually inputting characters.
  • narrowing information such as the information (a) to (e) into the character input support device 10 through the voice input device 23 while manually inputting characters.
  • the user may say “two characters”.
  • the user's voice is input from the voice input device 23 to the narrowing-down information obtaining unit 13, and the narrowing-down information obtaining unit 13 converts the voice into the narrowing-down information (information (a)) indicating that the character string input by the user is two characters. Equivalent).
  • the narrowing-down processing unit 14 narrows down the prediction candidates to a character string of two characters including a character having a biased bias based on the narrowing-down information, and the display processing unit 15 displays the narrowed-down prediction candidates as prediction candidates. It is displayed in the area 102.
  • the prediction candidate display area 102 only two character prediction candidates including a character having a cattle bias (“object”, “creature”, “special”, “patent”, etc.) are displayed. Is done.
  • the user can quickly input a character string (here, “patent”) to be input from the prediction candidates. It can be found and character input is made more efficient.
  • the narrowing-down information acquiring unit 13 acquires narrowing-down information (corresponding to information (b)) that the manually input character is the first character of the input character string from the voice.
  • the narrowing-down processing unit 14 further narrows down the prediction candidates to a character string having the first character as the first character based on the narrowing information.
  • a character string composed of two characters and having the first character as a cow bias is displayed in the prediction candidate display area 102.
  • the user can narrow down the prediction candidates in a stepwise manner by continuously speaking a plurality of pieces of narrowing-down information.
  • the user manually inputs characters and then inputs the narrowing-down information by voice, but the order is not limited. That is, the user may input voice of the narrowing-down information first, and then manually input characters. For example, if the user speaks “two characters” before manually inputting characters, the narrowing-down processing unit 14 limits the prediction candidates generated by the narrowing-down information acquiring unit 13 to a character string of two characters. Thereafter, when the user manually inputs the cow bias, the narrowing-down processing unit 14 generates a character string of two characters including the character having the cow bias as a prediction candidate, and as a result, the state becomes the same as that of FIG.
  • the user can also perform the manual input of the character and the voice input of the narrowing-down information in parallel or alternately. For example, when the user wrote the character of “special” from the state of FIG. 4 and further uttered the “first character”, the narrowing-down processing unit 14 sets the prediction candidate to the first character of “special”, and Narrow down to two character strings. As a result, as shown in FIG. 6, in the prediction candidate display area 102, only two character strings (such as "special” and "patent") whose first character is "special" are displayed as prediction candidates.
  • FIGS. 2 to 6 show an example in which the user inputs from the first character of the character string to be input (the “special” character of “patent”). Good.
  • the user may not be able to write the first kanji, but may be able to write the second or third character.
  • the prediction candidate generation unit 12 When the user writes the character of “permission” in the manual input operation area 101, the prediction candidate generation unit 12 generates a character string including the character of “permission” as a prediction candidate. Then, when the user utters “second character”, the narrowing-down information obtaining unit 13 obtains narrowing-down information (corresponding to information (b)) that the manually input character is the second character of the input character string. Then, as shown in FIG. 7, the narrowing-down processing unit 14 narrows down the prediction candidates to a character string including “permissible” as the second character. In the example of FIG. 7, prediction candidates such as “patent”, “license”, “patent right”, and “all licenses” are displayed in the prediction candidate display area 102.
  • the narrowing-down information acquiring unit 13 acquires narrowing-down information (corresponding to information (a)) that the character string input by the user is two characters from the voice, and the narrowing-down processing unit 14 sets the prediction candidates to 2 characters. Further narrow down to character strings.
  • the narrowing-down processing unit 14 sets the prediction candidates to 2 characters. Further narrow down to character strings.
  • FIG. 8 in the prediction candidate display area 102, only character strings (such as "patent” and "license") including two characters and including "permitted” as the second character are displayed. .
  • the user may simultaneously utter information on the number of characters in the input character string and information on the position of the input character. For example, in the case of inputting a character string of “patent”, when the user first writes a character of “permitted” in the manual input operation area 101, the prediction candidate generating unit 12 generates a character string including the character of “permitted” as a prediction candidate. Generate as Then, when the user utters “the second character of the two characters”, the narrowing-down information acquiring unit 13 determines that the input character string is two characters, and the manually input character is the second character of the character string. (Corresponding to information (c)). In this case, the narrowing-down processing unit 14 narrows down the prediction candidates to a character string including two characters and including “permissible” as the second character, as shown in FIG. That is, the state is the same as that in FIG.
  • the narrowing-down information (information) includes a combination of a partial reading of the input character string and a position of a character corresponding to the partial reading in the character string. (D)) may be input to the character input support device 10 by voice.
  • the prediction candidate generation unit 12 predicts a character string including a character having a cattle bias. Generate as a candidate.
  • the narrowing-down information obtaining unit 13 obtains narrowing-down information that reads the second character of the input character string as “Kyo”.
  • the narrowing-down processing unit 14 sets the prediction candidate to a character string that includes a character having a cow bias and the second character of which is “Kyo” (“Patent” (read: Tokkyo) and "patent rights” (read: Tokken).
  • the user may also input narrowing-down information (information (e)) on the shape of the manually input character to the character input support device 10 by voice.
  • information (e) information on the shape of the manually input character
  • the prediction candidates generated by the prediction candidate generation unit 12 include not only a character string including a character having a bias but also a character string including a character having an arrow deviation. Therefore, as shown in FIG. 11, in the prediction candidate display area 102, a character string including a character having a cattle bias such as “knowledge”, “short”, “object”, and “special” and a character having an arrow bias are included. Both the included character strings are displayed as prediction candidates.
  • the narrowing-down information acquiring unit 13 determines that the left part of the manually input character has a shape similar to “cow”. To get. In this case, the narrowing-down processing unit 14 narrows down the prediction candidates to character strings (such as “things” and “specials”) that include characters having cattle bias as shown in FIG.
  • FIG. 13 is an example in which the manual input operation area 101 is configured by a software keyboard.
  • the user speaks “two characters” after manually inputting the characters “*” using the software keyboard the prediction candidates are narrowed down to two-character strings including the characters “*” as shown in FIG. .
  • the keyboard for the user to manually input characters may be a hardware keyboard.
  • the configuration of the character input screen displayed on the display device 21 (the touch panel 25) by the display processing unit 15 is not limited to the above example, and when the user manually inputs a character, a prediction candidate of a character string to be input is set. Any configuration may be used as long as it can be presented to the user.
  • FIG. 15 is a flowchart showing the operation of the character input support device 10.
  • FIG. 16 is a flowchart showing the operation of the narrowed-down information acquisition unit 13 of the character input assistance device 10. The flow in FIG. 15 starts when the user starts manual input of characters, and the flow in FIG. 16 starts when the user's voice is input to the character input support device 10 through the voice input device 23. And executed.
  • the operation of the character input support device 10 will be described with reference to the flowcharts of FIGS. 15 and 16.
  • the flow of FIG. 15 starts, and the manually input character recognition unit 11 recognizes a character or a part of a character manually input by the user (step S101). ). Then, the prediction candidate generation unit 12 generates a character string prediction candidate based on the recognition result of the manually input character recognition unit 11 (Step S102).
  • the character input support apparatus 10 confirms whether or not the narrowing-down information acquiring unit 13 has acquired the narrowing-down information in the processing of FIG. 16 (step S103).
  • the narrow-down processing unit 14 narrows down the prediction candidates based on the narrow-down information (step S104).
  • the display processing unit 15 causes the prediction candidates that have been narrowed down by the narrowing-down processing unit 14 to be displayed in the prediction candidate display area 102 (step S105). If the narrow-down information acquisition unit 13 has not acquired the narrow-down information (NO in step S103), the current prediction candidate is maintained and displayed in the prediction candidate display area 102.
  • the character input support device 10 checks whether the user's manual input of characters or voice input of the narrowing down information is ongoing (step S106). If character input or voice input is ongoing (YES in step S106), the process returns to step S101.
  • step S106 the character input support device 10 waits for the user to select a character string from the prediction candidates, and displays the character string selected by the user.
  • the character string to be input is determined (step S107).
  • the display processing unit 15 inserts the determined character string into the determined character display area 103 (step S108), and the flow in FIG. 15 ends.
  • the narrow-down information acquisition unit 13 recognizes the voice (step S201).
  • the narrowing-down information acquisition unit 13 obtains information on the number of characters of the character string input by the user (step S202), information indicating the position of the manually input character in the character string (step S203), Information (Step S204) consisting of a combination of a part of the reading and the position of the character corresponding to the part of the reading in the character string, and information on the shape of the manually input character (Step S205) are extracted.
  • the narrowed-down information acquisition unit 13 confirms whether any information has been extracted in steps S202 to S205 (step S206). If any information has been extracted (YES in step S206), the information is acquired as narrowing information, and the acquired narrowing information is input to the prediction candidate generating unit 12 (step S207). If any information has not been extracted (NO in step S206), the narrow-down information acquisition unit 13 does not acquire the narrow-down information, and the processing in FIG. 16 ends.
  • the above information (c) (information comprising a combination of the number of characters in a character string and the position of a manually input character in the character string) is created by combining the information extracted in steps S202 and S203.
  • the flow of FIG. 16 may include a step of extracting the above information (f) (information of reading the entire character string) as the narrowing-down information.
  • FIGS. 17 and 18 are diagrams each showing an example of the hardware configuration of the character input support device 10.
  • Each function of the components of the character input support device 10 shown in FIG. 1 is realized by, for example, a processing circuit 50 shown in FIG. That is, the character input support device 10 recognizes a character that is at least partially manually input by the user, and, based on the manually input character, predicts a character string including one or more characters that the user intends to input. From the voice uttered by the user, obtain narrowing information that is information that is a key to the character string and includes information other than reading of the entire character string, and narrow down prediction candidates of the character string based on the narrowing information. And a processing circuit 50 for performing the above.
  • the processing circuit 50 may be dedicated hardware, or may be a processor (Central Processing Unit (CPU), a processing device, an arithmetic device, a microprocessor, a microcomputer, or the like) that executes a program stored in a memory. It may be configured using a DSP (also called Digital Signal Processor).
  • processor Central Processing Unit (CPU)
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the processing circuit 50 When the processing circuit 50 is dedicated hardware, the processing circuit 50 includes, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable). Gate Array) or a combination of these.
  • Each function of the components of the character input support device 10 may be realized by an individual processing circuit, or the functions may be realized by one processing circuit.
  • FIG. 18 shows an example of a hardware configuration of the character input support device 10 when the processing circuit 50 is configured using a processor 51 that executes a program.
  • the functions of the components of the character input assistance device 10 are realized by software or the like (software, firmware, or a combination of software and firmware).
  • Software and the like are described as programs and stored in the memory 52.
  • the processor 51 realizes the function of each unit by reading and executing the program stored in the memory 52. That is, when the character input support device 10 is executed by the processor 51, the character input support device 10 recognizes at least a part of the character manually input by the user, and the user attempts to input based on the manually input character.
  • this program causes a computer to execute the procedure and method of the operation of the components of the character input assisting device 10.
  • the memory 52 is a non-volatile or non-volatile memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), and an EEPROM (Electrically Erasable Programmable Read Only Memory). Volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disc) and its drive device, or any storage medium used in the future. You may.
  • the present invention is not limited to this, and a configuration may be adopted in which some components of the character input support device 10 are realized by dedicated hardware, and some other components are realized by software or the like.
  • the function is realized by the processing circuit 50 as dedicated hardware, and for other components, the processing circuit 50 as the processor 51 executes a program stored in the memory 52. The function can be realized by reading and executing.
  • the character input support device 10 can realize the above-described functions by hardware, software, or the like, or a combination thereof.
  • the character input support device 10 can be used for any language other than Japanese (for example, Chinese, Korean, Germanic languages (for example, English, German language, etc.), Latin languages (eg, Italian, Spanish, French, etc.), Slavic languages (eg, Russian, etc.) can be applied.
  • Chinese, Korean, Germanic languages for example, English, German language, etc.
  • Latin languages eg, Italian, Spanish, French, etc.
  • Slavic languages eg, Russian, etc.
  • the display processing unit 15 of the character input support device 10 includes a hand input operation area 101 on the screen of the touch panel 25 as the display device 21 where the user performs an operation for manually inputting characters. 19, including a prediction candidate display area 102 in which a prediction candidate of a character input by the user is displayed and a confirmed character display area 103 in which a character string whose input has been confirmed is displayed. An input screen shall be displayed.
  • the manual input operation area 101 is an area in which the user inputs handwritten characters.
  • FIG. 19 shows a state in which the user has written a character portion of “p”.
  • the manually input character recognition unit 11 recognizes the character “p” written in the manual input operation area 101, and the prediction candidate generation unit 12 sets the word including “p” as a character string prediction candidate.
  • the prediction candidates generated by the prediction candidate generation unit 12 are displayed in the prediction candidate display area 102.
  • prediction candidates such as “paint”, “paper”, “park”, “party”, “pass”, and “patent” are displayed in the prediction candidate display area 102.
  • the user can select a character string to be input from the prediction candidates displayed in the prediction candidate display area 102 by a touch operation.
  • the selected character string is determined as a character string to be input by the user, and as shown in FIG. 20, the determined character string (here, “patent”) is displayed in the determined character display area. Inserted at 103.
  • the user can input narrowing-down information to the character input support device 10 through the voice input device 23 while manually inputting characters. For example, in the state of FIG. 19, when the user wants to narrow down the prediction candidates to words of six characters, the user may say “six characters”.
  • the user's voice is input from the voice input device 23 to the narrowing-down information acquiring unit 13, and the narrowing-down information acquiring unit 13 converts the voice into narrowing-down information (information (a)) indicating that the character string input by the user is six characters. Equivalent).
  • the narrowing-down processing unit 14 narrows down the prediction candidates to a character string of 6 characters based on the narrowing-down information, and the display processing unit 15 displays the narrowed-down prediction candidates in the prediction candidate display area 102.
  • the display processing unit 15 displays the narrowed-down prediction candidates in the prediction candidate display area 102.
  • FIG. 21 only six character prediction candidates (“packet”, “patent”, etc.) are displayed in the prediction candidate display area 102. Since the number of prediction candidates displayed in the prediction candidate display area 102 is reduced by narrowing the prediction candidates in this way, the user can quickly input a character string (here, “patent”) to be input from the prediction candidates. It can be found and character input is made more efficient.
  • the user input from the first character of the input character string (the character “p” of “patent”), but the user may input from any character of the character string.
  • the prediction candidate generation unit 12 When the user writes the character “n” in the manual input operation area 101, the prediction candidate generation unit 12 generates a character string including the character “n” as a prediction candidate. Then, when the user speaks “fifth character”, the narrowing-down information acquiring unit 13 acquires narrowing-down information (corresponding to information (b)) that the manually input character is the fifth character of the input character string.
  • the narrowing-down processing unit 14 narrows the prediction candidates to words including "n" in the fifth character as shown in FIG.
  • prediction candidates such as “begin”, “ground”, and “patent” are displayed in the prediction candidate display area 102.
  • the narrowing-down information acquiring unit 13 acquires narrowing-down information (corresponding to information (a)) indicating that the character string input by the user is six characters from the voice, and the narrowing-down processing unit 14 determines six prediction candidates. Further narrow down to character strings.
  • the narrowing-down processing unit 14 determines six prediction candidates.
  • FIG. 23 in the prediction candidate display area 102, only character strings (such as “ground” and “patent”) including six characters and including “n” as the fifth character are displayed. .
  • the user can narrow down the prediction candidates in a stepwise manner by continuously speaking a plurality of pieces of narrowing-down information.
  • the user may simultaneously utter information on the number of characters in the input character string and information on the position of the input character. For example, in the case of inputting the character string “patent”, when the user first writes the character “n” in the manual input operation area 101, the prediction candidate generation unit 12 converts the character string including the character “n” into the prediction candidate Generate as Then, when the user utters “fifth character out of six characters”, the narrowing-down information acquiring unit 13 determines that the input character string is six characters and the manually input character is the fifth character of the character string. (Corresponding to information (c)). In this case, the narrowing-down processing unit 14 narrows the prediction candidates to words including six characters and including “n” in the fifth character, as shown in FIG. That is, the state is the same as that of FIG.
  • FIG. 25 is an example in which the manual input operation area 101 is configured by a software keyboard.
  • the user speaks “6 characters” after manually inputting the character “p” using the software keyboard the prediction candidates are narrowed down to a character string of 6 characters including the character “p” as shown in FIG. .
  • the keyboard for the user to manually input characters may be a hardware keyboard.
  • the configuration of the character input screen displayed on the display device 21 (the touch panel 25) by the display processing unit 15 is not limited to the above example, and when the user manually inputs a character, a prediction candidate of a character string to be input is set. Any configuration may be used as long as it can be presented to the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

文字入力支援装置（１０）において、手入力文字認識部（１１）は、ユーザにより少なくとも一部分が手入力された文字を認識する。予測候補生成部（１２）は、ユーザが手入力した文字に基づいて、ユーザが入力しようとしている１文字以上の文字からなる文字列の予測候補を生成する。絞り込み情報取得部（１３）は、ユーザが発話した音声から、文字列の手掛かりとなる情報であり、文字列全体の読み以外の情報を含む絞り込み情報を取得する。絞り込み処理部（１４）は、絞り込み情報取得部（１３）が取得した絞り込み情報に基づいて、予測候補生成部（１２）が生成した文字列の予測候補の絞り込みを行う。

Description

文字入力支援装置、文字入力システム、および文字入力支援方法
　本発明は、文字の入力を支援する文字入力支援装置に関するものである。
　一般に、電子機器への文字入力は、ユーザがキーボードやタッチパネルを手で操作して行われる。また、手書き文字の認識技術を利用して、ユーザが手でマウスを動かしたりタッチパネルをなぞったりして画面上に文字を綴ることで文字を入力すること（手書き文字入力）を可能にした電子機器も普及している。以下、ユーザが手を使って文字等を入力することを「手入力」という。
　ユーザが文字を手入力する際に、入力される文字列を予測し、予測の結果得られた文字列の候補（以下「予測候補」という）をユーザに提示して選択させることで、文字入力の効率化を図る文字入力システムが知られている。例えば下記の特許文献１には、ユーザが文字を手入力するとともに、入力する文字列の読みを音声入力することができ、その読みに基づいて文字列の予測候補の絞り込みを行う文字入力システムが提案されている。
特開昭６０－１８９０７０号公報
　特許文献１の文字入力システムでは、入力される文字列の読みに基づいて文字列の予測候補が絞り込まれるため、より効率的な文字入力を実現できる。しかし、特許文献１の技術は、ユーザが入力する文字列全体の読みを知っていることが前提となっており、ユーザが文字列の読みの一部または全部を知らない場合には適用が困難である。特に、漢字など、複数の読みを持つ文字を有する言語では、ユーザが読み方の分からない文字列を入力したい場面は少なくない。
　本発明は以上のような課題を解決するためになされたものであり、ユーザが手入力する文字列全体の読みを知らない場合でも、音声入力を利用した文字列の予測候補の絞り込みを行うことが可能な文字入力支援装置を提供することを目的とする。
　本発明に係る文字入力支援装置は、ユーザにより少なくとも一部分が手入力された文字を認識する手入力文字認識部と、手入力された文字に基づいて、ユーザが入力しようとしている１文字以上の文字からなる文字列の予測候補を生成する予測候補生成部と、ユーザが発話した音声から、文字列の手掛かりとなる情報であり、文字列全体の読み以外の情報を含む絞り込み情報を取得する絞り込み情報取得部と、絞り込み情報に基づいて、文字列の予測候補の絞り込みを行う絞り込み処理部と、を備える。
　本発明に係る文字入力支援装置によれば、ユーザは、手入力する文字列全体の読み以外の絞り込み情報を音声入力することができ、その絞り込み情報に基づいて文字列の予測候補の絞り込みが行われる。そのため、ユーザが手入力する文字列全体の読みを知らない場合でも、音声入力を利用した文字列の予測候補の絞り込みを行うことが可能である。
　本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態１に係る文字入力システムの構成を示す図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力システムの動作の例を説明するための図である。 実施の形態１に係る文字入力支援装置の動作を示すフローチャートである。 実施の形態１に係る文字入力支援装置の絞り込み情報取得部の動作を示すフローチャートである。 文字入力支援装置のハードウェア構成例を示す図である。 文字入力支援装置のハードウェア構成例を示す図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。 実施の形態２に係る文字入力システムの動作の例を説明するための図である。
　＜実施の形態１＞
　図１は、本発明の実施の形態１に係る文字入力システムの構成を示す図である。図１のように、当該文字入力システムは、文字入力支援装置１０と、それに接続された表示装置２１、操作入力装置２２および音声入力装置２３とを備えている。
　表示装置２１は、文字入力支援装置１０が各種の情報を文字や画像でユーザに提示するための手段であり、例えば液晶表示装置などで構成される。操作入力装置２２は、ユーザが文字入力支援装置１０に対する操作を入力するための手段であり、例えばキーボード、マウス、タッチパッドなどで構成される。音声入力装置２３は、ユーザが発話した音声を文字入力支援装置１０に入力するための手段であり、一般的にはマイクである。
　本実施の形態では、操作入力装置２２は、表示装置２１の画面上に配置された透明なタッチパッドであり、表示装置２１および操作入力装置２２は１つのタッチパネル２５を構成しているものとする。そのため以下の説明では、例えば、表示装置２１の画面を「タッチパネル２５の画面」と表現したり、操作入力装置２２の操作を「タッチパネル２５の操作」と表現したりする場合もある。
　図１に示すように、文字入力支援装置１０は、手入力文字認識部１１、予測候補生成部１２、絞り込み情報取得部１３、絞り込み処理部１４および表示処理部１５を備えている。
　手入力文字認識部１１は、ユーザが操作入力装置２２を用いて手入力した文字を認識する。特に、文字の入力が手書き文字入力によって行われる場合、手入力文字認識部１１は、一部分だけが手書きされた文字、つまり手書きの途中段階の文字を認識することもできる。
　予測候補生成部１２は、ユーザが入力可能な文字列の辞書を有しており、手入力文字認識部１１によって認識された文字または文字の一部分に基づいて、ユーザが入力しようとしている文字列を予測し、文字列の予測候補を生成する。なお、「文字列」は、複数の文字からなるとは限らず、１つの文字のみからなる場合もある。そのため、予測候補生成部１２は、１文字以上の文字からなる文字列の予測候補を生成する。
　絞り込み情報取得部１３は、音声入力装置２３に入力されたユーザの音声から、ユーザが入力しようとしている文字列の手掛かりとなる情報である「絞り込み情報」を取得する。絞り込み情報には文字列全体の読み以外の情報が含まれる。本実施の形態では、絞り込み情報は、
（ａ）文字列の文字数の情報
（ｂ）文字列における手入力された文字の位置を示す情報
（ｃ）文字列の文字数と、文字列における手入力された文字の位置との組み合わせからなる情報
（ｄ）文字列の一部の読みと、文字列における当該一部の読みに対応する文字の位置との組み合わせからなる情報
（ｅ）手入力された文字の形状に関する情報
のいずれであるものとする。
　なお、絞り込み情報には、
（ｆ）文字列全体の読みの情報
が含まれても問題は無い。ただし、情報（ｆ）については、特許文献１の技術と同様にユーザが文字列全体の読みを知っていることが前提となるため、本明細書での説明は省略する。
　絞り込み処理部１４は、絞り込み情報取得部１３が取得した絞り込み情報に基づいて、予測候補生成部１２が生成した文字列の予測候補の絞り込みを行う。
　表示処理部１５は、ユーザが文字を入力するための入力画面（文字入力画面）や、予測候補生成部１２が生成した文字列の予測候補（または絞り込み情報取得部１３による絞り込み後の予測候補）、入力が確定した文字列、などを表示装置２１（タッチパネル２５）の画面に表示させ、それによって、ユーザに文字の入力環境を提供する。
　なお、図１に示した各要素の機能の一部は、例えば文字入力支援装置１０と通信可能なサーバなど、文字入力支援装置１０の外部装置上で実現されてもよい。例えば、手入力文字認識部１１が手書き文字を認識するための画像認識（手書き文字認識）の処理や、絞り込み情報取得部１３が行う音声認識の処理など、演算負荷の高い処理を外部のサーバで行ってもよい。それにより、文字入力支援装置１０の演算負荷の低減を図ることができる。また、例えば絞り込み処理部１４が予測候補の生成に使用する文字列の辞書をサーバ上に設けてもよい。それにより、文字入力支援装置１０に必要とされる記憶容量の低減を図ることができる。
　次に、実施の形態１に係る文字入力システムの動作の具体例を示す。実施の形態１に係る文字入力システムは、携帯電話やスマートフォン、パーソナルコンピュータ、ナビゲーション装置など、ユーザによる文字入力が行われるあらゆる電子機器に適用可能であるが、ここでは当該文字入力システムがスマートフォンに適用されたものと仮定し、文字入力支援装置１０は、タッチパネル２５に、図２のような文字入力画面を表示させるものとする。図２の文字入力画面は、ユーザが文字を手入力するための操作を行う領域である手入力操作領域１０１と、ユーザが入力する文字の予測候補が表示される領域である予測候補表示領域１０２と、入力が確定した文字列が表示される領域である確定文字表示領域１０３とを備えている。またここでは、手入力操作領域１０１は、ユーザが手書き文字入力を行う領域であるものとする。
　例えば、ユーザが「特許」（読み：とっきょ）という文字列を入力する場合を考える。この場合、まず、ユーザは手入力操作領域１０１をなぞって「特」の文字を書く。図２には、ユーザが「特」の文字の牛偏の部分を書いた状態が示されている。この状態では、手入力文字認識部１１は、手入力操作領域１０１に書かれた牛偏を認識し、予測候補生成部１２は、牛偏を持つ文字（漢字）を含む文字列を予測候補として生成する。予測候補生成部１２が生成した予測候補は、予測候補表示領域１０２に表示される。図２の例では、「物」、「特」、「物体」、「生物」、「特別」、「特許」などの予測候補が予測候補表示領域１０２に表示されている。
　ユーザは、予測候補表示領域１０２に表示された予測候補のうちから、入力する文字列を、タッチ操作で選択することができる。ユーザが予測候補のいずれかを選択すると、選択された文字列が、ユーザが入力する文字列として確定し、図３のように、確定した文字列（ここでは「特許」）が確定文字表示領域１０３に挿入される。
　また、ユーザは、文字を手入力しながら、上記の情報（ａ）～（ｅ）のような絞り込み情報を、音声入力装置２３を通して文字入力支援装置１０に入力できる。例えば図２の状態で、予測候補を２文字の文字列に絞り込みたい場合、ユーザは「２文字」と発話すればよい。ユーザの音声は、音声入力装置２３から絞り込み情報取得部１３に入力され、絞り込み情報取得部１３は、当該音声から、ユーザが入力する文字列は２文字であるという絞り込み情報（情報（ａ）に相当）を取得する。
　絞り込み処理部１４は、その絞り込み情報に基づいて、予測候補を、牛偏を持つ文字を含み、且つ、２文字の文字列に絞り込み、表示処理部１５は、絞り込み後の予測候補を予測候補表示領域１０２に表示させる。その結果、図４のように、予測候補表示領域１０２には、牛偏を持つ文字を含む２文字の予測候補（「物体」、「生物」、「特別」、「特許」など）のみが表示される。このように、予測候補が絞り込まれることで、予測候補表示領域１０２に表示される予測候補の数が少なくなるため、ユーザは予測候補の中から入力したい文字列（ここでは「特許」）を素早く見つけ出すことができ、文字入力が効率化される。
　さらに図４の状態から、ユーザが、予測候補を、手入力した文字を１文字目に含む文字列に絞り込みたい場合、「１文字目」と発話すればよい。絞り込み情報取得部１３は、当該音声から、手入力された文字が入力される文字列の１文字目であるという絞り込み情報（情報（ｂ）に相当）を取得する。
　絞り込み処理部１４は、その絞り込み情報に基づいて、予測候補を、１文字目に牛偏を持つ文字列にさらに絞り込む。その結果、図５のように、予測候補表示領域１０２には、２文字からなり、且つ、１文字目に牛偏を持つ文字列のみが表示される。このように、ユーザは、複数の絞り込み情報を連続して発話することで、予測候補を段階的に絞り込むことができる。
　ここでは、ユーザが、文字を手入力した後に、絞り込み情報の音声入力を行う例を示したがその順番に制約はない。すなわち、ユーザは、先に絞り込み情報の音声入力を行い、その後に文字を手入力してもよい。例えば、ユーザが文字を手入力する前に「２文字」と発話すると、絞り込み処理部１４は、絞り込み情報取得部１３が生成する予測候補を２文字の文字列に制限する。その後、ユーザが牛偏を手入力すると、絞り込み処理部１４は、牛偏を持つ文字を含む２文字の文字列を予測候補として生成し、結果として、図４と同じ状態になる。
　また、ユーザは、文字の手入力と、絞り込み情報の音声入力とを、並列あるいは交互に行うこともできる。例えば、ユーザが、図４の状態から「特」の文字を書き上げ、さらに「１文字目」と発話すると、絞り込み処理部１４は、予測候補を、１文字目が「特」であり、且つ、２文字の文字列に絞り込む。その結果、図６のように、予測候補表示領域１０２には、１文字目が「特」の２文字の文字列（「特別」、「特許」など）のみが予測候補として表示される。
　図２～図６では、ユーザが、入力する文字列の１文字目（「特許」の「特」の文字）から入力した例を示したが、ユーザは文字列のどの文字から入力してもよい。例えば、ユーザが１文字目の漢字は書けないが、２文字目や３文字目は書けるような場合もある。
　例えば、ユーザが「特許」の２文字目の「許」から入力する場合を考える。ユーザが手入力操作領域１０１に「許」の文字を書くと、予測候補生成部１２は、「許」の文字を含む文字列を予測候補として生成する。そして、ユーザが「２文字目」と発話すると、絞り込み情報取得部１３が、手入力された文字が入力される文字列の２文字目であるという絞り込み情報（情報（ｂ）に相当）を取得し、絞り込み処理部１４が、図７のように、予測候補を２文字目に「許」を含む文字列に絞り込む。図７の例では、「特許」、「免許」、「特許権」、「免許皆伝」などの予測候補が予測候補表示領域１０２に表示されている。
　また図７の状態で、予測候補を２文字の文字列に絞り込みたい場合、ユーザは「２文字」と発話すればよい。その場合、絞り込み情報取得部１３は、当該音声から、ユーザが入力する文字列は２文字であるという絞り込み情報（情報（ａ）に相当）を取得し、絞り込み処理部１４は、予測候補を２文字の文字列にさらに絞り込む。その結果、図８のように、予測候補表示領域１０２には、２文字からなり、且つ、２文字目に「許」を含む文字列（「特許」、「免許」など）のみが表示される。
　ユーザは、音声入力による予測候補の絞り込みを行う際、入力する文字列の文字数の情報と、入力した文字の位置の情報とを同時に発話してもよい。例えば、「特許」の文字列を入力する場合、ユーザが最初に手入力操作領域１０１に「許」の文字を書くと、予測候補生成部１２は「許」の文字を含む文字列を予測候補として生成する。そして、ユーザが「２文字中、２文字目」と発話すると、絞り込み情報取得部１３が、入力される文字列は２文字であり、手入力された文字はその文字列の２文字目であるという絞り込み情報（情報（ｃ）に相当）を取得する。この場合、絞り込み処理部１４は、図９のように、予測候補を、２文字からなり、且つ、２文字目に「許」を含む文字列に絞り込む。すなわち、図８と同じ状態になる。
　また、ユーザは、音声入力による予測候補の絞り込みを行う際、入力する文字列の一部の読みと、文字列における当該一部の読みに対応する文字の位置との組み合わせからなる絞り込み情報（情報（ｄ））を、音声で文字入力支援装置１０に入力してもよい。例えば、ユーザが「特許」の文字列を入力するために、手入力操作領域１０１に「特」の牛偏を書くと、予測候補生成部１２は、牛偏を持つ文字を含む文字列を予測候補として生成する。そして、ユーザが「２文字目の読みが『きょ』」と発話すると、絞り込み情報取得部１３が、入力される文字列の２文字目は「きょ」と読むという絞り込み情報を取得する。この場合、絞り込み処理部１４は、図１０のように、予測候補を、牛偏を持つ文字を含み、且つ、２文字目の読みが「きょ」である文字列（「特許」（読み：とっきょ）、「特許権」（読み：とっきょけん）など）に絞り込む。
　また、ユーザは、手入力された文字の形状に関する絞り込み情報（情報（ｅ））を、音声で文字入力支援装置１０に入力してもよい。例えば図１１のように、ユーザが手入力操作領域１０１に「特」の牛偏の一部までしか書いていない状態では、それが「牛」の形を持つ牛偏の一部なのか、「矢」の形を持つ矢偏の一部なのか区別がつかない。そのため、予測候補生成部１２が生成する予測候補には、牛偏を持つ文字を含む文字列だけでなく、矢偏を持つ文字を含む文字列も含まれることになる。よって、図１１のように、予測候補表示領域１０２には、「知」、「短」、「物」、「特」など、牛偏を持つ文字を含む文字列と、矢偏を持つ文字を含む文字列との両方が、予測候補として表示される。
　図１１の状態で、ユーザが「左部分が『牛』っぽい」と発話すると、絞り込み情報取得部１３が、手入力された文字の左部分は「牛」に似た形状であるという絞り込み情報を取得する。この場合、絞り込み処理部１４は、図１２のように、予測候補を、牛偏を持つ文字を含む文字列（「物」、「特」など）に絞り込む。
　また、以上の説明では、ユーザが手書き文字入力によって文字を入力する例を示したが、ユーザが文字を手入力する方法はこれに限られず、例えば、キーボードを用いた文字入力でもよい。図１３は、手入力操作領域１０１がソフトウェアキーボードで構成された例である。ユーザは、ソフトウェアキーボードを用いて「特」の文字を手入力した後、「２文字」と発話すると、図１４のように予測候補が「特」の文字を含む２文字の文字列に絞り込まれる。なお、ユーザが文字を手入力するためのキーボードは、ハードウェアのキーボードでもよい。
　また、表示処理部１５が表示装置２１（タッチパネル２５）に表示させる文字入力画面の構成は、上に示した例に限られず、ユーザが文字を手入力する際に、入力する文字列の予測候補をユーザに提示できるものであれば、任意の構成でよい。
　図１５は、文字入力支援装置１０の動作を示すフローチャートである。また図１６は、文字入力支援装置１０の絞り込み情報取得部１３の動作を示すフローチャートである。図１５のフローは、ユーザが文字の手入力を開始すると起動し、図１６のフローは、ユーザの音声が音声入力装置２３を通して文字入力支援装置１０に入力されると起動し、両フローは並行して実行される。以下、図１５および図１６のフローチャートを参照しつつ、文字入力支援装置１０の動作を説明する。
　ユーザが操作入力装置２２を用いて文字の手入力を開始すると、図１５のフローが起動し、手入力文字認識部１１が、ユーザが手入力した文字または文字の一部を認識する（ステップＳ１０１）。そして、予測候補生成部１２が、手入力文字認識部１１の認識結果に基づいて、文字列の予測候補を生成する（ステップＳ１０２）。
　次に、文字入力支援装置１０は、絞り込み情報取得部１３が図１６の処理で絞り込み情報を取得したか否かを確認する（ステップＳ１０３）。絞り込み情報取得部１３が絞り込み情報を取得していた場合（ステップＳ１０３でＹＥＳ）、絞り込み処理部１４は、その絞り込み情報に基づいて、予測候補の絞り込みを行う（ステップＳ１０４）。そして、表示処理部１５は、絞り込み処理部１４によって絞り込みがなされた後の予測候補を、予測候補表示領域１０２に表示させる（ステップＳ１０５）。絞り込み情報取得部１３が絞り込み情報を取得していない場合（ステップＳ１０３でＮＯ）は、現状の予測候補が維持されて、予測候補表示領域１０２に表示される。
　その後、文字入力支援装置１０は、ユーザによる文字の手入力または絞り込み情報の音声入力が継続中か否かを確認する（ステップＳ１０６）。文字入力または音声入力が継続中であれば（ステップＳ１０６でＹＥＳ）、ステップＳ１０１へ戻る。
　文字入力または音声入力が継続中でなければ（ステップＳ１０６でＮＯ）、文字入力支援装置１０は、ユーザが予測候補から文字列を選択するのを待ち、ユーザにより選択された文字列を、ユーザが入力する文字列として確定する（ステップＳ１０７）。最後に、表示処理部１５が、確定した文字列を確定文字表示領域１０３に挿入し（ステップＳ１０８）、図１５のフローは終了する。
　ここで、図１６を用いて、絞り込み情報取得部１３が絞り込み情報を取得する処理について説明する。
　ユーザの音声が音声入力装置２３を通して文字入力支援装置１０に入力されると、絞り込み情報取得部１３がその音声を認識する（ステップＳ２０１）。絞り込み情報取得部１３は、認識したユーザの音声から、ユーザが入力する文字列の文字数の情報（ステップＳ２０２）、文字列における手入力された文字の位置を示す情報（ステップＳ２０３）、文字列の一部の読みと、文字列における当該一部の読みに対応する文字の位置との組み合わせからなる情報（ステップＳ２０４）、手入力された文字の形状に関する情報（ステップＳ２０５）を抽出する。
　そして、絞り込み情報取得部１３は、ステップＳ２０２～ステップＳ２０５でいずれかの情報が抽出されたか否かを確認する（ステップＳ２０６）。いずれかの情報が抽出されていれば（ステップＳ２０６でＹＥＳ）、その情報を絞り込み情報として取得し、取得した絞り込み情報を予測候補生成部１２へ入力する（ステップＳ２０７）。いずれかの情報が抽出されていなければ（ステップＳ２０６でＮＯ）、絞り込み情報取得部１３は絞り込み情報を取得せず、図１６の処理は終了する。
　なお、上記の情報（ｃ）（文字列の文字数と、文字列における手入力された文字の位置との組み合わせからなる情報）は、ステップＳ２０２，Ｓ２０３で抽出された情報を組み合わせて作成される。また、図１６のフローに、絞り込み情報として上記の情報（ｆ）（文字列全体の読みの情報）を抽出するステップが含まれていてもよい。
　図１７および図１８は、それぞれ文字入力支援装置１０のハードウェア構成の例を示す図である。図１に示した文字入力支援装置１０の構成要素の各機能は、例えば図１７に示す処理回路５０により実現される。すなわち、文字入力支援装置１０は、ユーザにより少なくとも一部分が手入力された文字を認識し、手入力された文字に基づいて、ユーザが入力しようとしている１文字以上の文字からなる文字列の予測候補を生成し、ユーザが発話した音声から、文字列の手掛かりとなる情報であり、文字列全体の読み以外の情報を含む絞り込み情報を取得し、絞り込み情報に基づいて、文字列の予測候補の絞り込みを行うための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。
　処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。文字入力支援装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。
　図１８は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における文字入力支援装置１０のハードウェア構成の例を示している。この場合、文字入力支援装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、文字入力支援装置１０は、プロセッサ５１により実行されるときに、ユーザにより少なくとも一部分が手入力された文字を認識する処理と、手入力された文字に基づいて、ユーザが入力しようとしている１文字以上の文字からなる文字列の予測候補を生成する処理と、ユーザが発話した音声から、文字列の手掛かりとなる情報であり、文字列全体の読み以外の情報を含む絞り込み情報を取得する処理と、絞り込み情報に基づいて、文字列の予測候補の絞り込みを行う処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、文字入力支援装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。
　ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
　以上、文字入力支援装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、文字入力支援装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　以上のように、文字入力支援装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　＜実施の形態２＞
　実施の形態１では、文字入力支援装置１０による日本語入力の例を示したが、文字入力支援装置１０は日本語以外のあらゆる言語（例えば、中国語、韓国語、ゲルマン系言語（例えば英語、ドイツ語等）、ラテン系言語（例えばイタリア語、スペイン語、フランス語等）、スラブ系言語（例えばロシア語等）など）の入力適用可能である。実施の形態２では、文字入力支援装置１０を英語入力に適用した例を示す。
　実施の形態２でも、文字入力支援装置１０の表示処理部１５は、表示装置２１としてのタッチパネル２５の画面に、ユーザが文字を手入力するための操作を行う領域である手入力操作領域１０１と、ユーザが入力する文字の予測候補が表示される領域である予測候補表示領域１０２と、入力が確定した文字列が表示される領域である確定文字表示領域１０３とを含む図１９のような文字入力画面を表示させるものとする。また、手入力操作領域１０１は、ユーザが手書き文字入力を行う領域であるものとする。
　例えば、ユーザが「ｐａｔｅｎｔ」という文字列を入力する場合を考える。この場合、まず、ユーザはタッチパネル２５（操作入力装置２２）の手入力操作領域１０１をなぞって「ｐ」の文字を書く。図１９には、ユーザが「ｐ」の文字の部分を書いた状態が示されている。この状態では、手入力文字認識部１１は、手入力操作領域１０１に書かれた「ｐ」の文字を認識し、予測候補生成部１２は、「ｐ」を含む単語を文字列の予測候補として生成する。予測候補生成部１２が生成した予測候補は、予測候補表示領域１０２に表示される。図１９の例では、「ｐａｉｎｔ」、「ｐａｐｅｒ」、「ｐａｒｋ」、「ｐａｒｔｙ」、「ｐａｓｓ」、「ｐａｔｅｎｔ」などの予測候補が予測候補表示領域１０２に表示されている。
　ユーザは、予測候補表示領域１０２に表示された予測候補のうちから、入力する文字列を、タッチ操作で選択することができる。ユーザが予測候補のいずれかを選択すると、選択された文字列が、ユーザが入力する文字列として確定し、図２０のように、確定した文字列（ここでは「ｐａｔｅｎｔ」）が確定文字表示領域１０３に挿入される。
　また、ユーザは、文字を手入力しながら、絞り込み情報を音声入力装置２３を通して文字入力支援装置１０に入力できる。例えば図１９の状態で、ユーザが予測候補を６文字の単語に絞り込みたい場合、「６文字」と発話すればよい。ユーザの音声は、音声入力装置２３から絞り込み情報取得部１３に入力され、絞り込み情報取得部１３は、当該音声から、ユーザが入力する文字列は６文字であるという絞り込み情報（情報（ａ）に相当）を取得する。
　絞り込み処理部１４は、その絞り込み情報に基づいて、予測候補を６文字の文字列に絞り込み、表示処理部１５は、絞り込み後の予測候補を予測候補表示領域１０２に表示させる。その結果、図２１のように、予測候補表示領域１０２には６文字の予測候補（「ｐａｃｋｅｔ」、「ｐａｔｅｎｔ」など）のみが表示される。このように、予測候補が絞り込まれることで、予測候補表示領域１０２に表示される予測候補の数が少なくなるため、ユーザは予測候補の中から入力したい文字列（ここでは「ｐａｔｅｎｔ」）を素早く見つけ出すことができ、文字入力が効率化される。
　上では、ユーザが、入力する文字列の１文字目（「ｐａｔｅｎｔ」の「ｐ」の文字）から入力した例を示したが、ユーザは文字列のどの文字から入力してもよい。例えば、ユーザが「ｐａｔｅｎｔ」の５文字目の「ｎ」から入力する場合を考える。ユーザが手入力操作領域１０１に「ｎ」の文字を書くと、予測候補生成部１２は、「ｎ」の文字を含む文字列を予測候補として生成する。そして、ユーザが「５文字目」と発話すると、絞り込み情報取得部１３が、手入力された文字が入力される文字列の５文字目であるという絞り込み情報（情報（ｂ）に相当）を取得し、絞り込み処理部１４が、図２２のように、予測候補を５文字目に「ｎ」を含む単語に絞り込む。図２２の例では、「ｂｅｇｉｎ」、「ｇｒｏｕｎｄ」、「ｐａｔｅｎｔ」などの予測候補が予測候補表示領域１０２に表示されている。
　また図２２の状態で、予測候補を６文字の文字列に絞り込みたい場合、ユーザは「６文字」と発話すればよい。その場合、絞り込み情報取得部１３は、当該音声から、ユーザが入力する文字列は６文字であるという絞り込み情報（情報（ａ）に相当）を取得し、絞り込み処理部１４は、予測候補を６文字の文字列にさらに絞り込む。その結果、図２３のように、予測候補表示領域１０２には、６文字からなり、且つ、５文字目に「ｎ」を含む文字列（「ｇｒｏｕｎｄ」、「ｐａｔｅｎｔ」など）のみが表示される。このように、ユーザは、複数の絞り込み情報を連続して発話することで、予測候補を段階的に絞り込むことができる。
　ユーザは、音声入力による予測候補の絞り込みを行う際、入力する文字列の文字数の情報と、入力した文字の位置の情報とを同時に発話してもよい。例えば、「ｐａｔｅｎｔ」の文字列を入力する場合、ユーザが最初に手入力操作領域１０１に「ｎ」の文字を書くと、予測候補生成部１２は「ｎ」の文字を含む文字列を予測候補として生成する。そして、ユーザが「６文字中、５文字目」と発話すると、絞り込み情報取得部１３が、入力される文字列は６文字であり、手入力された文字はその文字列の５文字目であるという絞り込み情報（情報（ｃ）に相当）を取得する。この場合、絞り込み処理部１４は、図２４のように、予測候補を、６文字からなり、且つ、５文字目に「ｎ」を含む単語に絞り込む。すなわち、図２３と同じ状態になる。
　以上では、ユーザが手書き文字入力によって文字を入力する例を示したが、ユーザが文字を手入力する方法はこれに限られず、例えば、キーボードを用いた文字入力でもよい。図２５は、手入力操作領域１０１がソフトウェアキーボードで構成された例である。ユーザは、ソフトウェアキーボードを用いて「ｐ」の文字を手入力した後、「６文字」と発話すると、図２６のように予測候補が「ｐ」の文字を含む６文字の文字列に絞り込まれる。なお、ユーザが文字を手入力するためのキーボードは、ハードウェアのキーボードでもよい。
　また、表示処理部１５が表示装置２１（タッチパネル２５）に表示させる文字入力画面の構成は、上に示した例に限られず、ユーザが文字を手入力する際に、入力する文字列の予測候補をユーザに提示できるものであれば、任意の構成でよい。
　なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
　本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
　１０　文字入力支援装置、１１　手入力文字認識部、１２　予測候補生成部、１３　絞り込み情報取得部、１４　絞り込み処理部、１５　表示処理部、２１　表示装置、２２　操作入力装置、２３　音声入力装置、２５　タッチパネル、１０１　手入力操作領域、１０２　予測候補表示領域、１０３　確定文字表示領域、５０　処理回路、５１　プロセッサ、５２　メモリ。

Claims (10)

  1. 　ユーザにより少なくとも一部分が手入力された文字を認識する手入力文字認識部と、
    　前記手入力された文字に基づいて、前記ユーザが入力しようとしている１文字以上の文字からなる文字列の予測候補を生成する予測候補生成部と、
    　前記ユーザが発話した音声から、前記文字列の手掛かりとなる情報であり、前記文字列全体の読み以外の情報を含む絞り込み情報を取得する絞り込み情報取得部と、
    　前記絞り込み情報に基づいて、前記文字列の予測候補の絞り込みを行う絞り込み処理部と、
    を備える文字入力支援装置。
  2. 　前記絞り込み情報は、前記文字列の文字数の情報を含む、
    請求項１に記載の文字入力支援装置。
  3. 　前記絞り込み情報は、前記文字列における前記手入力された文字の位置を示す情報を含む、
    請求項１に記載の文字入力支援装置。
  4. 　前記絞り込み情報は、前記文字列の文字数と、前記文字列における前記手入力された文字の位置との組み合わせからなる情報を含む、
    請求項１に記載の文字入力支援装置。
  5. 　前記絞り込み情報は、前記文字列の一部の読みと、前記文字列における前記一部の読みに対応する文字の位置との組み合わせからなる情報を含む、
    請求項１に記載の文字入力支援装置。
  6. 　前記絞り込み情報は、前記手入力された文字の形状に関する情報を含む、
    請求項１に記載の文字入力支援装置。
  7. 　前記文字列の予測候補を表示装置に表示させる表示処理部をさらに備え、
    　前記表示処理部は、前記文字列の予測候補の絞り込みが行われると、絞り込み後の予測候補を前記表示装置に表示させる
    請求項１に記載の文字入力支援装置。
  8. 　請求項７に記載の文字入力支援装置と、
    　前記表示装置と、
    を備える文字入力システム。
  9. 　請求項１に記載の文字入力支援装置と、
    　手入力の操作を受け付ける操作入力装置と、
    を備える文字入力システム。
  10. 　文字入力支援装置の手入力文字認識部が、ユーザにより少なくとも一部分が手入力された文字を認識し、
    　前記文字入力支援装置の予測候補生成部が、前記手入力された文字に基づいて、前記ユーザが入力しようとしている１文字以上の文字からなる文字列の予測候補を生成し、
    　前記文字入力支援装置の絞り込み情報取得部が、前記ユーザが発話した音声から、前記文字列の手掛かりとなる情報であり、前記文字列全体の読み以外の情報を含む絞り込み情報を取得し、
    　前記文字入力支援装置の絞り込み処理部が、前記絞り込み情報に基づいて、前記文字列の予測候補の絞り込みを行う
    文字入力支援方法。
PCT/JP2018/035263 2018-09-25 2018-09-25 文字入力支援装置、文字入力システム、および文字入力支援方法 WO2020065695A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/035263 WO2020065695A1 (ja) 2018-09-25 2018-09-25 文字入力支援装置、文字入力システム、および文字入力支援方法
JP2020547612A JP7058749B2 (ja) 2018-09-25 2018-09-25 文字入力支援装置、文字入力システム、および文字入力支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/035263 WO2020065695A1 (ja) 2018-09-25 2018-09-25 文字入力支援装置、文字入力システム、および文字入力支援方法

Publications (1)

Publication Number Publication Date
WO2020065695A1 true WO2020065695A1 (ja) 2020-04-02

Family

ID=69950379

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/035263 WO2020065695A1 (ja) 2018-09-25 2018-09-25 文字入力支援装置、文字入力システム、および文字入力支援方法

Country Status (2)

Country Link
JP (1) JP7058749B2 (ja)
WO (1) WO2020065695A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116088692B (zh) * 2021-11-03 2024-04-19 百度国际科技（深圳）有限公司 用于呈现候选字符串和训练判别式模型的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11110379A (ja) * 1997-09-30 1999-04-23 Sanyo Electric Co Ltd 情報検索方法及びその装置
JPH11167569A (ja) * 1997-12-02 1999-06-22 Sony Corp 文章入力装置及び方法並びに記録媒体
JP2000200269A (ja) * 1998-12-11 2000-07-18 Nedekkusu:Kk 文字検索装置、文字入力装置、熟語検索装置および熟語入力装置
JP2012079252A (ja) * 2010-10-06 2012-04-19 Fujitsu Ltd 情報端末装置、文字入力方法および文字入力プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2002029620A1 (ja) 2000-10-02 2004-02-12 富士通株式会社 文字検索システム、文字検索方法およびコンピュータ読み取り可能な記憶媒体
JP2005283797A (ja) 2004-03-29 2005-10-13 Nissan Motor Co Ltd 音声認識装置および音声認識方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11110379A (ja) * 1997-09-30 1999-04-23 Sanyo Electric Co Ltd 情報検索方法及びその装置
JPH11167569A (ja) * 1997-12-02 1999-06-22 Sony Corp 文章入力装置及び方法並びに記録媒体
JP2000200269A (ja) * 1998-12-11 2000-07-18 Nedekkusu:Kk 文字検索装置、文字入力装置、熟語検索装置および熟語入力装置
JP2012079252A (ja) * 2010-10-06 2012-04-19 Fujitsu Ltd 情報端末装置、文字入力方法および文字入力プログラム

Also Published As

Publication number Publication date
JPWO2020065695A1 (ja) 2021-03-11
JP7058749B2 (ja) 2022-04-22

Similar Documents

Publication Publication Date Title
US10614802B2 (en) Method and device for recognizing speech based on Chinese-English mixed dictionary
US10586533B2 (en) Method and device for recognizing speech based on Chinese-English mixed dictionary
US9519641B2 (en) Photography recognition translation
KR101300839B1 (ko) 음성 검색어 확장 방법 및 시스템
US9411801B2 (en) General dictionary for all languages
US20120245922A1 (en) Insertion of Translation in Displayed Text
CN112905735A (zh) 用于自然语言处理的方法和设备
CN107710191B (zh) 与单个词语音输入的翻译相关的方法和计算装置
CN107346183B (zh) 一种词汇推荐方法和电子设备
WO2017166631A1 (zh) 语音信号处理方法、装置和电子设备
JP2014186372A (ja) 図絵描画支援装置、方法、及びプログラム
CN111489735B (zh) 语音识别模型训练方法及装置
CN111611349A (zh) 语音查询方法、装置、计算机设备及存储介质
CN112825249A (zh) 语音处理方法和设备
CN110032734B (zh) 近义词扩展及生成对抗网络模型训练方法和装置
US11120219B2 (en) User-customized computer-automated translation
WO2015161823A1 (zh) 手写识别方法和设备
WO2020065695A1 (ja) 文字入力支援装置、文字入力システム、および文字入力支援方法
CN115983294B (zh) 翻译模型的训练方法、翻译方法及设备
US20230076073A1 (en) Method and apparatus for speech recognition
KR20200084945A (ko) 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치 및 그 동작 방법
KR102168316B1 (ko) 입력 문자에 대한 오타 보정 처리가 가능한 터치스크린이 구비된 전자 단말 장치 및 그 동작 방법
JP6805927B2 (ja) インデックス生成プログラム、データ検索プログラム、インデックス生成装置、データ検索装置、インデックス生成方法、及びデータ検索方法
JP7038919B2 (ja) 多言語音声認識装置および多言語音声認識方法
CN111816164A (zh) 用于语音识别的方法及设备

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020547612

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18934581

Country of ref document: EP

Kind code of ref document: A1