WO2005004041A1 - 手書き入力装置、手書き入力方法、手書き入力プログラム、および、プログラム記録媒体 - Google Patents

手書き入力装置、手書き入力方法、手書き入力プログラム、および、プログラム記録媒体 Download PDF

Info

Publication number
WO2005004041A1
WO2005004041A1 PCT/JP2004/009767 JP2004009767W WO2005004041A1 WO 2005004041 A1 WO2005004041 A1 WO 2005004041A1 JP 2004009767 W JP2004009767 W JP 2004009767W WO 2005004041 A1 WO2005004041 A1 WO 2005004041A1
Authority
WO
WIPO (PCT)
Prior art keywords
handwritten information
prediction candidate
input
search target
information
Prior art date
Application number
PCT/JP2004/009767
Other languages
English (en)
French (fr)
Inventor
Satoshi Suzuki
Hitoshi Hirose
Yasushi Ishizuka
Mitsuhiro Hakaridani
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Publication of WO2005004041A1 publication Critical patent/WO2005004041A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting

Definitions

  • Handwriting input device handwriting input method, handwriting input program, and program recording medium
  • the present invention relates to a handwriting input device, a handwriting input method, a handwriting input program, and a program recording medium.
  • Patent Document 1 discloses a text input device that searches for a word dictionary, an example dictionary, and the like, and presents a character string candidate in which an omitted part is complemented by inputting an abbreviation symbol in the middle or continuation of a character string to be input. It has been disclosed.
  • Patent Document 2 discloses a handwritten character symbol that searches handwritten information similar to handwritten information input by an operator for search specification from a handwritten information dictionary when searching for previously input handwritten information.
  • a processing device is disclosed.
  • the conventional text input device and handwritten character / symbol processing device have the following problems. That is, the sentence input device described in Patent Document 1 searches a word dictionary, an example dictionary, and the like to complement the omitted part. Therefore, it is possible to reduce the burden of inputting characters when the final output is printed. However, there is a problem that it cannot be used when the handwritten information input by the operator is processed as the input image.
  • an object of the present invention is to provide a handwriting input device, a handwriting input method, a handwriting input program, and a handwriting input device capable of reducing the operator's load during handwriting input when processing handwritten information input by the operator as an image. It is to provide a program recording medium.
  • a handwriting input device comprises:
  • a prediction candidate generation unit (3) for generating a prediction catch of handwriting information intended for input based on the handwritten information input from the input unit (1);
  • the display unit (5) is configured to display the selected candidate in the case where the predictive catch is selected by the predictive catch selection unit (4).
  • the “handwritten information” in this specification means information relating to a set of one or more strokes constituting a character, a graphic, or the like.
  • the “prediction candidate” refers to the handwritten information that the operator finally wants to input. Refers to each candidate obtained at that time.
  • the operator inputs handwritten information from the input unit until the desired prediction candidate is displayed on the display unit, and the displayed desired prediction candidate is selected.
  • characters and figures can be input without actually inputting all the handwritten information (characters and figures) intended for input. Therefore, when processing the input handwritten information as an image, the labor of handwriting input is greatly reduced, and the input efficiency is greatly improved.
  • the prediction candidate generation unit (3) uses, as search target handwritten information, part or all of the handwritten information input from the input unit (1).
  • the input handwritten information includes the search target handwritten information,
  • the display unit (5) displays the selected prediction candidate together with the search target handwritten information. I have.
  • the operator inputs handwritten information from the input unit until the desired prediction candidate is displayed on the display unit, and the displayed desired prediction candidate is selected.
  • characters and figures can be input without actually handwriting inputting all the handwritten information (characters and figures) intended for input. Therefore, when input handwritten information is processed as an image, the time and effort of handwritten input is greatly reduced, and input efficiency is greatly improved.
  • a handwritten information dictionary in which various handwritten information is registered as a dictionary entry is provided, and the prediction candidate generation unit (3) uses part or all of the handwritten information input from the input unit (1) as search target handwritten information.
  • a dictionary entry partially similar to the search target handwritten information is extracted from the handwritten information dictionary, and the extracted dictionary is extracted. Generating a prediction candidate for handwritten information intended to be input based on the entry; the input handwritten information includes the search target handwritten information;
  • the display unit (5) displays a part similar to the search target handwritten information from the selected prediction candidate. Is deleted and displayed together with the search target handwritten information.
  • the operator inputs handwritten information from the input unit until the desired prediction candidate is displayed on the display unit, and the displayed desired prediction candidate is selected.
  • a handwritten information dictionary in which various handwritten information is registered as a dictionary entry is provided, and the prediction candidate generation unit (3) uses part or all of the handwritten information input from the input unit (1) as search target handwritten information. Extracting, from the handwritten information dictionary, a dictionary entry partially similar to the searched handwritten information, generating a prediction candidate of the handwritten information intended to be input based on the extracted dictionary entry;
  • the input handwritten information includes the search target handwritten information,
  • the display unit (5) sets the already displayed search target handwritten information to a non-display state, The selected prediction candidate is displayed.
  • the operator inputs handwritten information from the input unit until the desired prediction candidate is displayed on the display unit, and the displayed desired prediction candidate is selected.
  • characters and figures can be input without actually handwriting inputting all the handwritten information (characters and figures) intended for input. Therefore, when input handwritten information is processed as an image, the time and effort of handwritten input is greatly reduced, and input efficiency is greatly improved.
  • the prediction candidate generation unit (3) includes: a size and a direction of the search target handwritten information; After changing the size and direction of the entire dictionary entry so that the size and direction of the portion similar to the search target handwritten information in the extracted dictionary entry match, the overall size of the dictionary entry is changed. The prediction candidate is generated based on the dictionary entry whose direction has been changed.
  • the display unit (5) when displaying the prediction candidate generated by the prediction candidate generation unit (3), determines the position of a part of the prediction candidate similar to the search target handwritten information or The position where the above part was present is displayed so as to match the position of the above-mentioned handwritten information to be searched.
  • the search target handwritten information and the predicted catch are displayed in a continuous state. Therefore, the operator can check the image when the above-mentioned predicted prediction is selected.
  • the display unit (5) When displaying the prediction candidate selected by the prediction candidate selection unit (4), the display unit (5) displays the search target handwriting in the dictionary entry used to generate the selected prediction candidate. After determining the degree of deviation of the size and direction of the part similar to the information with respect to the size and direction of the search target handwritten information, and after changing the size and direction of the entire selection prediction candidate in accordance with the degree of deviation, The position of the part similar to the search target handwritten information or the position where the part existed in the selection prediction candidate is displayed so as to match the position of the search target handwritten information.
  • the display unit (5) displays the prediction candidate in a display form different from the input handwritten information.
  • the prediction candidate selection section (4) is composed of buttons or menus displayed near the prediction candidates by the display section (5).
  • the operation for selecting a desired prediction catch from the prediction candidates displayed on the display unit is facilitated, and the operability is improved.
  • the prediction candidate selection section (4) is composed of a button or a menu displayed near the writing end point of the search target handwritten information by the display section (5). According to this embodiment, the operation for selecting a desired prediction candidate from the prediction candidates displayed on the display unit is facilitated, and the prediction candidates after handwriting input can be quickly selected. And operability is improved.
  • the predictive catch selection section (4) is composed of a button or a menu displayed near the writing end point of the predictive catch on the display section (5).
  • the operation for selecting a desired prediction candidate from the prediction candidates displayed on the display unit is facilitated, and the transition to the next handwriting input after the selection of the prediction candidates is facilitated. And operability is improved.
  • the handwriting input method of the present invention includes:
  • characters and figures are input without actually handwriting inputting all the handwritten information (characters and figures) intended for input. Therefore, when input handwritten information is processed as an image, the time and effort of handwritten input are greatly reduced, and input efficiency is greatly improved.
  • the prediction candidate generation step extracts a dictionary entry partially similar to the search target handwritten information from the handwriting information dictionary by using part or all of the input handwritten information as search target handwritten information, and By removing a part similar to the above-described handwritten information to be searched from the dictionary entry thus created, a prediction candidate of the handwritten information that is intended to be input is generated,
  • the handwritten information displayed in the display step includes the search target handwritten information, and the selected prediction candidate display step displays the selected prediction candidate together with the search target handwritten information.
  • characters and figures are input without actually handwriting inputting all of the handwritten information (characters and figures) intended for input. Therefore, when input handwritten information is processed as an image, the time and effort of handwritten input is greatly reduced, and input efficiency is greatly improved.
  • the prediction candidate generation step extracts a dictionary entry partially similar to the search target handwritten information from the handwriting information dictionary, using part or all of the input handwritten information as search target handwritten information.
  • the handwritten information displayed in the display step includes the search target handwritten information, and the selected prediction candidate display step deletes a portion similar to the search target handwritten information from the selected prediction candidate, and It is displayed together with the search target handwritten information.
  • the prediction candidate generation step extracts a dictionary entry partially similar to the search target handwritten information from the handwriting information dictionary, using part or all of the input handwritten information as search target handwritten information. Generating a predictive cue of the handwritten information intended for input based on the input dictionary entry;
  • the handwritten information displayed in the display step includes the search target handwritten information, and the selection prediction candidate display step sets the search target handwritten information that has already been displayed to a non-display state. Display prediction candidates.
  • characters and figures are input without actually handwriting inputting all of the handwritten information (characters and figures) intended for input. Therefore, when input handwritten information is processed as an image, the time and effort of handwritten input is greatly reduced, and input efficiency is greatly improved.
  • the handwriting input program of the present invention comprises:
  • the input unit, the prediction candidate generation unit, the display unit, and the prediction candidate selection unit in the handwriting input device of the present invention are configured to control the input unit, the prediction candidate generation unit, the display unit, and the prediction candidate selection unit in the handwriting input device of the present invention.
  • characters and figures can be input only by manually inputting a part of handwritten information (characters and figures) intended to be input. Therefore, when processing the input handwritten information as an image, the labor of handwritten input is greatly reduced, and the input efficiency is greatly improved.
  • program recording medium of the present invention comprises:
  • a handwriting input program according to the present invention is recorded.
  • FIG. 1 is a functional block diagram of the handwriting input device of the present invention.
  • FIG. 2 is a diagram showing a specific hardware configuration of the handwriting input device shown in FIG.
  • FIG. 3 is a flowchart of the handwriting input processing operation executed under the control of the CPU in FIG.
  • FIGS. 4A, 4B, 4C, and 4D show examples of handwritten information prepared in advance in the handwritten information dictionary.
  • FIG. 5 is a flowchart of the prediction candidate generation processing operation executed in the handwriting input processing operation shown in FIG.
  • 6A, 6B, 6C, and 6D are diagrams showing an example of a search target handwriting and a dictionary entry to be subjected to DP matching.
  • FIGS. 7A and 7B are diagrams showing the correspondence between the search handwritten information shown in FIGS. 6A, 6B, 6C and 6D and dictionary entries.
  • 8A and 8B are diagrams illustrating an example of search target handwritten information having different sizes and directions and dictionary entries.
  • FIGS. 9A and 9B are explanatory diagrams in the case where prediction candidates are generated by matching the size and direction of the dictionary entry in FIGS. 8A and 8B with the handwritten information to be searched.
  • FIGS. 1OA and 1OB show an example of a case where a selected prediction candidate is displayed in a window.
  • FIGS. 11A and 11B are diagrams showing display examples of prediction candidates different from those in FIGS. 10A and 10B.
  • FIG. 12 is a diagram illustrating an example of a case where the candidate selecting unit in FIG. 1 is configured by a button area displayed on the input unit.
  • FIGS. 13A and 13B are diagrams illustrating a configuration example of a button area different from that in FIG.
  • FIGS. 14A and 14B are explanatory diagrams of determining the display position of the button area shown in FIGS. 13A and 13B.
  • FIG. 15 is a diagram illustrating an example of a method of displaying the selection prediction candidates.
  • FIG. 16 is a diagram illustrating a method of displaying a selection prediction candidate different from that of FIG.
  • FIG. 17 is a diagram illustrating a display example of the selected prediction candidates when the prediction candidates from which the portion corresponding to the search target handwritten information has been deleted are displayed in a window.
  • Figures 18A and 18B show the selected prediction candidates when the predicted catch including the part corresponding to the handwritten information to be searched is displayed according to the position, size, and direction of the handwritten information to be searched. It is a figure showing the example of a display of.
  • Figure 19 shows a display example of selected prediction candidates when the prediction candidate from which the portion corresponding to the search target handwritten information has been deleted is displayed according to the position and size of the search target handwritten information. is there.
  • FIG. 1 is a functional block diagram showing a functional configuration of the handwriting input device according to the present embodiment.
  • This handwriting input device is configured on a simple computer, and includes an input unit 1, a storage unit 2, a candidate generation unit 3, a candidate selection unit 4, and a display unit 5.
  • the input unit 1 includes a tablet and the like, and strokes such as characters and figures are input by handwriting by an operator. Then, handwritten information including a set of strokes input by handwriting from the input unit 1 is stored in the storage unit 2.
  • the candidate generation unit 3 predicts handwritten information intended to be input (that is, handwritten information that the operator ultimately wants to input) based on the input handwritten information stored in the storage unit 2, Generate
  • the candidate selection unit 4 is configured by a specific area such as a tablet that constitutes the input unit 1, or is configured by hardware different from the input unit 1 such as a keyboard and buttons, and is provided by an operator. The prediction candidate is selected according to the instruction.
  • the display unit 5 displays the handwritten information input from the input unit 1 and the prediction candidates generated by the candidate generation unit 3.
  • the prediction candidates selected by the candidate selection unit 4 are displayed.
  • the above-mentioned stroke refers to a trajectory of a handwriting obtained from a time point when the input unit 1 touches the input surface to a time point when the contact ends.
  • the stroke information refers to the coordinate sequence information, vector sequence information, or image information of the stroke obtained from the input unit 1.
  • the stroke information may include time information such as input time and time required for writing, writing speed information, writing pressure information, circumscribed rectangle information, stroke length information, and the like.
  • handwritten information refers to information on a set of one or more strokes, and may include, in addition to information on included strokes, various circumscribed rectangle information and various types of information used for shape matching of handwritten information. .
  • the input unit 1 and the display unit 5 may be provided separately, or may be provided as a display-integrated tablet formed by stacking transparent tablets on a display device. Further, the input unit 1 may be configured by a device that acquires a handwriting using a camera or the like, or a device that acquires a handwriting by acquiring a three-dimensional position such as a pen or a fingertip.
  • FIG. 2 shows the hardware configuration of the handwriting input device shown in FIG.
  • the handwriting input device includes a program memory 11 for storing various programs including a program for executing various processes to be described later, a data memory 12 for configuring a storage unit 2 for storing various information including the handwritten information, and an input.
  • External storage medium 17 such as F16, CD-ROM (compact disk 'read. Only' memory), etc. is set and external storage medium driver 18 accesses this external storage medium 17, and program memory 1 1.
  • CPU Central Processing Unit
  • CPU Central Processing Unit
  • FIG. 3 is a flowchart of the handwriting input processing operation executed under the control of the CPU 19.
  • this handwriting input processing operation is performed every time a stroke input to the input unit 1 is started, and starts when a stroke input to the input unit 1 is started by the operator.
  • step SI the stroke being input is displayed on the display unit 5 in real time.
  • the storage unit 2 stores the stroke information.
  • step S2 it is determined based on information from the input unit 1 whether or not the stroke input has been completed. As a result, if the processing has been completed, the process proceeds to step S3. If the processing has not been completed, the process returns to step S1 to continue the processing of the input Srotalk.
  • step S1 is repeated until the end of the stroke input by the operator is detected.
  • step S3 it is determined whether or not the candidate generation unit 3 starts generating prediction candidates. As a result, when the generation of the prediction candidate is started, the process proceeds to step S4, and when not started, the handwriting input processing operation is ended as it is.
  • the method of determining the start of generation of the prediction candidate is not particularly limited, but, for example, the following method is effective.
  • any one of the above-described discrimination methods may be used, or any combination of two or more discrimination methods may be used.
  • a gesture that is input by handwriting to the input unit 1 in the same manner as handwritten information may be used.
  • the aforementioned gesture is defined by a shape composed of one or more predetermined strokes. This is a trigger for executing a predetermined process.
  • there are two methods for distinguishing the handwritten information of characters and figures from the above-described gesture a character / graphic input mode for inputting characters and figures to the input unit 1 and a gesture input mode for inputting the above gesture.
  • step S4 the prediction candidate is generated by the candidate generation unit 3 based on the handwriting information stored in the storage unit 2. The method of generating the prediction candidates will be described later.
  • step S 5 the display unit 5, the predicted candidates generated in the step S 4 is displayed. Then, when a desired prediction candidate is selected by the candidate selection unit 4, the selected prediction candidate is displayed. The method of displaying the predicted prediction will be described later. After that, the handwriting input processing operation ends.
  • the plurality of predetermined values may be set so as to increase at regular intervals, such as 5 ⁇ 10 ⁇ 15, or as 5 ⁇ 8 (+3) ⁇ 10 (+2). The amount of increase may be varied.
  • the second or subsequent predetermined value in the above example, “10”, “15” or “8”, “10”
  • Prediction candidates can also be generated. By doing so, for example, when generating the above-mentioned prediction candidates every three strokes, if the operator does not find any of the prediction candidates generated and displayed at the time of writing 'Predictions that are generated' and displayed when you write The candidate excludes previously generated prediction candidates (that is, prediction candidates that are not intent). Therefore, it is possible to increase the accuracy rate of the generated prediction.
  • step S4 the prediction candidate generation processing operation executed in step S4 in the handwriting input processing operation shown in FIG. 3 will be described in more detail.
  • the method of generating a predicted catch there is no particular limitation on the method of generating a predicted catch, but a method of generating the predicted catch by applying a handwritten information search technique as follows is considered. That is, the handwritten information to be generated as a prediction candidate is set as a dictionary entry, and a prediction candidate is generated by searching for a dictionary entry similar to the input handwritten information from the handwritten information dictionary obtained by collecting the dictionary entries.
  • the handwritten information dictionary is provided so as to be searchable by the candidate generation unit 3.
  • all the dictionary entries may be prepared in the handwritten information dictionary in advance, or the dictionary entries may be updated or deleted as needed according to the handwriting input by the operator.
  • FIG. 5 is a flowchart of the above-mentioned predicted prediction generation processing operation.
  • the prediction candidate generation processing operation is started.
  • step Sll from the input handwritten information stored in the storage unit 2, search information used when searching the handwritten information dictionary is generated.
  • the method of determining the input handwritten information to be searched from the stored input handwritten information is roughly divided into the following two methods.
  • extraction method (B2a) and extraction method (B2b) it is necessary to obtain the input time order of each stroke, but this is performed by inputting each stroke into the storage unit 2 in a data structure such as an array or a list. This can be realized by storing in chronological order or by storing the input time in the storage unit 2 as the stroke information.
  • the instruction from the search target handwritten information instruction unit by the operator is the same as the “instruction to the input unit 1” in the determination method (A 5).
  • the search target handwritten information is determined according to the positional relationship between the stroke determined to be the gesture and the strokes of handwritten characters or figures other than the gesture.
  • step S12 the handwritten information dictionary is searched based on the generated search information, and a dictionary entry that partially matches the search target handwritten information that is the search information is extracted.
  • the method of matching the above-mentioned handwritten information to be searched with the handwritten information dictionary is not particularly limited. However, various pattern matching methods used in online character recognition and OCR (Optical Character Reader) can be applied. It is.
  • FIG. 6A shows search target handwritten information
  • FIG. 6B shows one dictionary entry.
  • the black circles on the strokes indicate the coordinates.
  • DP matching may be performed directly using these coordinates.
  • a polygonal line approximation process such as sampling is performed, and DP matching is performed using the coordinates of both ends and the polygonal portion of the polygonal line. It is common.
  • FIG. 6C corresponds to the coordinates shown in FIG. 6D. Since this match may be a partial match, DP matching must be terminated when the coordinates shown in FIG. 6C correspond to any of the coordinates shown in FIG. 6D.
  • Fig. 7A shows the correspondence between the search handwritten information and the dictionary entries in two dimensions. The vertical axis is each coordinate in Fig. 6C, the horizontal axis is each coordinate in Fig. 6D, and the black circle is The correspondence is shown. That is, according to FIG. 7A, the correspondence shown in FIG. 7B is obtained. In the case of the above-mentioned matching method, it is possible that correspondence may be obtained only up to the coordinates in the middle of a certain spoke in the dictionary entry, so that the association is terminated up to the end point of any of the spokes. You may.
  • step S13 after the prediction candidates are generated based on the extracted dictionary entries, the process returns to step S5 of the handwriting input processing operation shown in FIG.
  • the prediction candidate may be generated using the extracted dictionary entry strokes as they are, or may be matched with the search target handwritten information strokes in the DP matching in step S12.
  • the generated part may be deleted and generated.
  • the coordinates It is only necessary to generate a predictive catch from V based on the coordinate sequence of the columns P d9 to P d27 before the polygonal line approximation.
  • a prediction candidate When a prediction candidate is generated using the extracted dictionary entry strokes as they are, when the generated prediction candidate is selected, the prediction candidate matches the stroke of the search target handwritten information.
  • the portion is deleted and displayed, or the search target handwritten information is deleted and only the prediction candidate is displayed. This will be described later.
  • a pattern matching method is known that can extract even a dictionary entry (FIG. 8B) having a different size ⁇ direction but a similar shape.
  • the size and direction of the above-described handwritten information to be searched match the size and direction of the portion similar to the above-described handwritten information to be searched in the extracted dictionary entry.
  • the prediction candidate may be generated based on the dictionary entry with the changed overall size and direction.
  • the contents of the handwritten information dictionary may be updated based on the change in the size and direction of the dictionary entry, or the size and direction of the dictionary entry may be temporarily changed to generate prediction candidates.
  • the contents of the handwritten information dictionary may not be updated only by changing the information.
  • the size and direction of the dictionary entry can be changed by a vector vl connecting the writing start point in the search target handwritten information and the coordinate point farthest from the writing start point. And so that the vector V2 corresponding to the vector vl in the extracted dictionary entry is equal (that is, the directions and magnitudes of both vectors V1 and V2 are equal), This can be realized by generating a prediction candidate based on a rotated and resized version of the dictionary entry.
  • the prediction candidate display processing executed in step S5 in the handwriting input processing operation shown in FIG. 3 will be described in further detail.
  • the display method of the prediction candidate is not limited, but the following display method is conceivable.
  • (C1) A method of displaying all prediction candidates in a specific area.
  • (C 2) A method of displaying only the first prediction candidate according to the position, size, and direction of the handwritten information to be searched.
  • (C3) A method in which the first prediction candidate is displayed according to the position, size, and direction of the handwritten information to be searched, and the second and subsequent prediction candidates are displayed in a specific area.
  • FIG. 1OA shows a display result when a prediction candidate including a portion corresponding to the search target handwritten information is generated. That is, when the input character “te” 21 is the search target handwritten information, the predicted catches 22 to 24 including the part corresponding to the search target handwritten information “te” are displayed.
  • FIG. 10B shows a display result when a prediction candidate in which a portion corresponding to the search target handwritten information is deleted is generated.
  • the prediction candidates 26 to 28 in which the portion corresponding to the character “te” 25 being input is deleted are displayed.
  • the buttons 29 and 30 in FIG. 1 OA and the buttons 31 and 32 in FIG. 1 OB indicate the prediction candidates other than the currently displayed prediction candidates 22-24, 26 to 28. This is a button for displaying.
  • the prediction candidates generated according to the size and direction of the search target handwritten information are displayed, but the size and direction of the extracted dictionary entries are displayed. You may also display a prediction sentiment that reflects the as it is. Alternatively, reduced prediction candidates may be displayed in consideration of screen size restrictions and the listability of a plurality of prediction candidates.
  • FIGS. 11A and 11B are display examples according to the display method (C 2).
  • FIG. 11A shows a display result when a prediction candidate including a portion corresponding to the search target handwritten information is generated.
  • the first prediction candidate “sharp” (the thin line in FIG. 11A) including the part corresponding to the character “shi” being input (the thick line in FIG. 11A: handwritten information to be searched) is It is displayed superimposed on the handwritten information to be searched.
  • Fig. 11B shows the display result when the predicted catch is generated by deleting the part corresponding to the handwritten information to be searched.
  • the first prediction candidate “Yap J” the thin line in FIG.
  • buttons 41 in FIG. 11A and the button 42 in FIG. 11B are buttons for displaying prediction candidates other than the currently displayed prediction candidate. is there.
  • FIG. 11A the above-described handwritten information to be searched and the prediction candidates are displayed so that they can be identified by changing the line thickness. Showing it is also effective.
  • the writing is continued without selecting the displayed prediction candidate, the currently generated prediction candidate is generated. If the displayed prediction candidates are hidden or displayed in a different display form, such as by displaying the color or density more lightly, the effect of improving the visibility during writing can be obtained.
  • the candidate selection unit 4 is configured by a specific area such as a tablet constituting the input unit 1 or hardware different from the input unit 1 such as a keyboard and buttons.
  • the specific area of the input unit 1 is, for example, a rectangular area that includes each of the prediction candidates 22-24 and 26 to 28 in FIGS. 10A and 10B.
  • the button areas 43 to 45 displayed in a rectangular area including each of the plurality of prediction candidates may be set as the specific area of the input unit 1.
  • a prediction candidate in the rectangular area corresponding to the button area is selected. Note that portions within the rectangular area other than the button areas 43 to 45 can be input by handwriting.
  • the button areas 43 to 45 are provided in the rectangular area. In the latter case, the parts in the rectangular area other than the button areas 43 to 45 can be input by handwriting. Even if the rectangular area is set in the vicinity of the display position, problems are unlikely to occur.
  • (D 2) As shown in FIG. 13B, a method of displaying a button 47 for selecting a prediction candidate near the writing end point Pe 2 of the displayed prediction candidate.
  • the writing end point of the prediction candidate in the above selection method (D 2) refers to the writing end point of the last stroke when the handwritten information of the above-mentioned prediction candidate is input by actual writing. For example, if stroke information and stroke coordinate sequence information included in handwritten information are stored in chronological order, the last coordinate of the last stroke corresponds to that.
  • the selection method (D 1) since the distance from the writing end point (handwriting input end point) of the search target handwritten information to the prediction candidate selection button 46 is short, the prediction candidate is selected from the handwriting input power. Can be performed quickly, improving operability.
  • the selection method (D 2) the position near the writing end point when handwriting information intended for input is actually written from the input unit 1 without selecting a prediction candidate. Thus, since the operation of selecting the predictive catch is completed, the operator can start the next handwriting input from the vicinity thereof, thereby improving the input efficiency and the operational feeling.
  • a circumscribed rectangle of only the search target handwritten information may be targeted.
  • the prediction candidate selection button and the prediction candidate may contact each other.
  • the button may be displayed so that the closest point that does not touch the prediction target is touched or the button is pressed. Needs to be displayed translucently.
  • This display position determination method (E 1) requires a small amount of processing.
  • the button is pressed even if there is space around the writing end point. The drawback is that it is displayed far away.
  • the display position may be set to a vertex of a regular polygon centered on the writing end point of the search target handwritten information.
  • Fig. 14B it is a regular hexagon. If any of the vertices of the regular polygon comes into contact with the handwritten information to be searched or each stroke of the prediction candidate, the same processing is performed for a plurality of points whose distance from the writing end point is d 2 (> dl) Should be performed. If the contact is made even when the distance is d 2, the same processing is performed for a plurality of points at d 3 (> d 2).
  • the same processing is repeated by increasing the distance from the writing end point until a point where no contact is finally found, and a button is displayed at the position of the finally obtained point.
  • the display position determination method (E 2) requires a larger processing amount than the display position determination method (E 1). If there is a space in, a button can be displayed near the end point.
  • the candidate selection unit 4 In the configuration of the candidate selection unit 4 described above, it is effective to use a menu or the like capable of giving a processing instruction other than selection, instead of the candidate selection button.
  • FIG. 15 A display example in the case of the display processing method (F 1) is shown in FIG.
  • the display processing method (F 1) is a method in which the strokes actually input by handwriting are used as they are.
  • Fig. 16 shows a display example in the case of the display processing method (F2).
  • the display processing method (F 2) is a method of using a prediction candidate instead of an input stroke.
  • the size and direction of the selected prediction candidate are changed in accordance with the handwritten information to be searched. It is not necessary if this has already been done at the time of generation. Also, of course, it is possible to keep the size and direction of the prediction candidate unchanged. '
  • FIG. 10B a selection is made when a prediction candidate in which a portion corresponding to the search target handwritten information is deleted is displayed in a window, or when a similar display is performed in a predetermined display area.
  • a display processing method of a prediction candidate will be described.
  • a display similar to the search target handwritten information is displayed in accordance with the position where the search target handwritten information was present. What is necessary is just to display in a form.
  • FIG. 10A it is unnecessary to change the size and the direction when the prediction candidate is already generated at the time of generating the above-described prediction candidate.
  • FIG. 17 shows a display example when this display processing method is used.
  • the prediction candidate including the portion corresponding to the search target handwritten information is searched.
  • the selection prediction candidate there are the following two display processing methods of the selection prediction candidate.
  • (G 1) A method in which a portion corresponding to the handwritten information to be searched is deleted from the above-mentioned prediction candidates and displayed in the same display form as the input handwritten information according to the position of the handwritten information to be searched.
  • G2 A method in which the search target handwritten information is deleted (hidden), and the prediction candidate is displayed in the same display form as the input handwritten information according to the position where the search target handwritten information was present.
  • FIGS. 18A and 18B show display examples by the above display processing methods (Gl) and (G2).
  • method 1 in FIGS. 18A and 18B corresponds to the above display processing method (G 1), and the first character “shi” of the displayed prediction candidate “sharp” is replaced with the “shi” of the search target handwritten information. Has been replaced.
  • method 2 corresponds to the above display processing method (G 2), and the displayed prediction candidate “sharp” is displayed as it is.
  • FIG. 11B a display processing method for displaying a prediction candidate in which a portion corresponding to the above-described handwritten information to be searched is deleted according to the position, size and direction of the handwritten information to be searched Will be described. In this case, it is only necessary to display the selected predicted catch in the same display form as the search target handwritten information.
  • Figure 19 shows a display example.
  • the method of changing the size and direction of the selection prediction candidate performed when displaying the selection prediction candidate and aligning the position with the search target handwritten information is not particularly limited. And do it.
  • the dictionary used when the above-mentioned catch generation unit 3 generates the selection prediction candidate is read.
  • the vector v2 shown in FIG. 9B of the part corresponding to the search target handwritten information in the dictionary entry is compared with the vector v1 shown in FIG. 9A of the search target handwritten information, and the vector v2 Obtain the degree of deviation of the size and direction of the vector vl from the size and direction.
  • the size and direction of the entire selection prediction candidate are changed according to the degree of the shift, and the size of the selection prediction candidate is changed.
  • the direction and the direction substantially match the size and direction of the search target handwritten information.
  • the position of the portion corresponding to the search target handwritten information in the selected prediction candidate (or the position where the portion corresponding to the search target handwritten information in the selected prediction candidate was present) is determined by the search target. It is displayed in accordance with the position where the handwritten information was present (or the position of the search target handwritten information).
  • information relating to a set of strokes input by handwriting from input unit 1 is stored in storage unit 2 as handwritten information.
  • a handwritten information dictionary is formed and stored as a dictionary entry using the input handwritten information and handwritten information prepared in advance.
  • the candidate generation unit 3 stores it in the storage unit 2.
  • the handwritten information to be searched is determined from the handwritten information. Further, the handwritten information dictionary is searched based on the handwritten information to be searched, and a predicted catch is generated based on a dictionary entry that matches the handwritten information to be searched. Then, among the prediction candidates displayed on the display unit 5, the selected prediction candidates selected by the catch detection selection unit 4 are displayed on the display unit 5 as if they were handwritten information input from the input unit 1.
  • the operation when processing the information input by handwriting from the input unit 1 as an image as it is, the operation may be performed by handwriting input from the input unit 1 until a desired prediction candidate is generated and displayed.
  • a prediction candidate corresponding to the handwritten information intended for input can be obtained at the stage when the catch is displayed. In this way, the burden of handwriting input on the operator can be reduced.
  • a plurality of processing methods are exemplified for the prediction candidate generation processing and the prediction candidate display processing by the candidate generation unit 3 and the prediction candidate selection processing by the candidate selection unit 4. Or to run selectively.
  • the present invention is not limited to this, and may have a configuration in which switching can be performed as appropriate according to the instruction of the operator.
  • This embodiment is based on a handwriting input program for realizing the various functions described in the first embodiment, and a compilation in which the handwriting input program is recorded.
  • the present invention relates to a data readable recording medium.
  • This recording medium is a memory necessary for performing a handwriting input process by the handwriting input device shown in FIG. 2.
  • the program memory 11 itself may be a program medium, or an external storage medium driver. It may be a program medium (magnetic tape, CD-ROM, or the like) that is mounted on the program reading device as 18 and is read.
  • the program stored in the program medium may be directly accessed and executed by the CPU 19, or may be read out once and read out from the predetermined program storage area in FIG. (For example, the program may be loaded into a program memory area of the program memory 11) and then read and executed by the CPU 19. It is assumed that the above-mentioned program for the password is stored in the device in advance.
  • the above-mentioned program medium is configured to be separable from the main body of the apparatus, and is a tape system such as a magnetic tape or a cassette tape, a magnetic disk such as a flexible disk or a hard disk, or a CD-ROM, MO (magneto-optical) disk , MD (mini-disc), DVD (digital versatile disc) and other optical discs, IC (integrated circuit) cards (including memory cards), optical cards and other card systems, mask ROM, EPR OM ( Any medium that can carry a fixed program, including semiconductor memory systems such as UV, line erase type ROM, EEPROM (electrically erase type ROM), and flash ROM, may be used.
  • the recording medium in the present embodiment means that the program media having the above configuration is added to the handwriting processing operation shown in FIG. It is recorded by a handwriting program that executes the examples.
  • the handwriting input device has a configuration connectable to a communication network 15 including the Internet via a communication I / F 16. Therefore, the program medium may be a medium that carries the program in a fluid manner by downloading from the communication network 15 or the like. In this case, it is assumed that a download program to be downloaded from the communication network 15 is stored in the device in advance. Or another It is assumed that it is installed in the apparatus main body in advance from an external recording medium.
  • what is recorded on the recording medium is not limited to only a program, but data can also be recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Discrimination (AREA)

Description

明 細 書 手書き入力装置、 手書き入力方法、 手書き入力プログラム、 および、 プログラム 記録媒体 技術分野
この発明は、 手書き入力装置,手書き入力方法,手書き入力プログラムおよびプ ログラム記録媒体に関する。 背景技術
ト等の座標入力装置を介して操作者が文字や図形を手書き入力する装 置が知られている。 これらの装置では、 入力した文字や図形に対して文字認識や 図形認識が行われ、 その認識結果を手書きの文字や図形に置き換えることによつ て、 入力や編集等の処理が行われる。 また、 文字認識や図形認識等を行わずに、 入力された文字や図形をイメージのまま処理する技術も知られている。
上記文字認識や図形認識等を行う前者の技術に関しては、 手書きで文字を入力 する際の操作者の負荷を軽減するために、 文字列の一部を省略して入力すること を可能にする技術が提案されている(例えば、 特開平 7 - 1 9 1 9 8 6号公報 (特 許文献 1 )参照)。 この特許文献 1には、 入力したい文字列の途中または続きに省 略記号を入力することによって、 単語辞書および用例辞書等を検索して省略部を 補完した文字列候補を提示する文章入力装置が開示されている。
また、 上記文字認識や図形認識等を行わない後者の技術に関しては、 手書きで 入力された文字や図形等の情報を検索する技術が提案されている(例えば、 特開 平 1 0 - 2 1 4 2 6 7号公報 (特許文献 2 )参照)。 この特許文献 2には、 以前に 入力された手書き情報を検索するに際し、 検索指定のために操作者が入力した手 書き情報に類似している手書き情報を手書き情報辞書から検索する手書き文字記 号処理装置が開示されている。
しかしながら、 上記従来の文章入力装置および手書き文字記号処理装置には、 以下のような問題がある。 すなわち、 上記特許文献 1に記載された文章入力装置では、 単語辞書および用 例辞書等を検索して省略部を補完するようにしている。 したがって、 最終的な出 力が活字である場合における文字入力時の負担を軽減することは可能である。 と ころが、 操 が入力した手書き情報を入カイメージのまま処理する場合には活 用することができないと言う問題がある。
一方、 上記特許文献 2に記載の手書き文字記号処理装置では、 操作者が手書き 入力した文字や図形をィメージのままで処理して、 以前に入力した手書き情報を 検索することが可能になっている。 ところが、 上述のように、 検索指定のために 操作者は入力を意図している文字や図形の総てを手書き入力する必要があり、 手 書き入力時の負荷を軽減することは全く考慮されてはいない。 発明の開示
そこで、 この発明の目的は、 操作者が入力した手書き情報をイメージのまま処 理するに際して手書き入力時の操作者の負荷を軽減することが可能な手書き入力 装置,手書き入力方法,手書き入力プログラムおよびプログラム記録媒体を提供す ることにある。
上記目的を達成するため、 この発明の手書き入力装置は、
手書きによつて手書き情報が入力される入力部( 1 )と、
上記入力部( 1 )から入力された手書き情報に基づいて、 入力を意図している手 書き情報の予測候捕を生成する予測候補生成部( 3 )と、
上記入力された手書き情報および予測候補を表示する表示部( 5 )と、 操作者によつて操作されると共に、 上記表示部( 5 )によつて表示された予測候 捕から所望の予測候補を選択する予測候補選択部( 4 )
を備えて、
上記表示部( 5 )は、 上記予測候捕選択部( 4 )によつて予測候捕の選択が行われ た場合には、 この選択され'た予測侯補を表示するようになっている。
ここで、 上記「手書き情報」とは、 本明細書においては、 文字や図形等を構成す る 1つ以上のストロークの集合に関する情報を意味する。 また、 上記「予測候補」 とは、 本明細書においては、 操作者が最終的に入力したい手書き情報を予測した 際に得られた各候補を指す。
上記構成によれば、 操作者によって、 上記表示部に所望の予測候補が表示され るまで上記入力部から手書き情報が入力され、 上記表示された所望の予測候補が 選択される。 こうして、 入力を意図している手書き情報 (文字や図形)の総てを実 際に手書き入力することなく、 文字や図形の入力が行われる。 したがって、 入力 した手書き情報をイメージのまま処理するに際して、 手書き入力の手間が大きく 軽減され、 入力効率が大幅に向上される。
また、 1実施の形態の手書き入力装置では、
種々の手書き情報が辞書ェントリとして登録された手書き情報辞書を備え、 上記予測候補生成部(3 )は、 上記入力部(1 )から入力された手書き情報の一部 あるいは全てを検索対象手書き情報として、 上記手書き情報辞書から上記検索対 象手書き情報と一部が類似している辞書ェントリを抽出し、 この抽出された辞書 エントリから上記検索対象手書き情報に類似している部分を削除することによつ て入力を意図している手書き情報の予測候補を生成し、
上記入力された手書き情報は、 上記検索対象手書き情報を含み、
上記表示部( 5 )は、 上記予測候補選択部( 4 )によつて予測候補の選択が行われ た場合には、 この選択された予測候補を上記検索対象手書き情報と共に表示する ようになっている。
この実施の形態によれば、 操作者によって、 上記表示部に所望の予測候補が表 示されるまで上記入力部から手書き情報が入力され、 上記表示された所望の予測 候補が選択される。 こうして、 入力を意図している手書き情報 (文字や図形)の総 てを実際に手書き入力することなく、 文字や図形の入力が行われる。 したがって、 入力した手書き情報をイメージのまま処理するに際して、 手書き入力の手間が大 きく軽減され、 入力効率が大幅に向上される。
また、 1実施の形態の手書き入力装置では、
種々の手書き情報が辞書ェントリとして登録された手書き情報辞書を備え、 上記予測候補生成部( 3 )は、 上記入力部( 1 )から入力された手書き情報の一部 あるいは全てを検索対象手書き情報として、 上記手書き情報辞書から上記検索対 象手書き情報と一部が類似している辞書ェントリを抽出し、 この抽出された辞書 エントリに基づいて入力を意図している手書き情報の予測候補を生成し、 上記入力された手書き情報は、 上記検索対象手書き情報を含み、
上記表示部( 5 )は、 上記予測候補選択部( 4 )によつて予測候捕の選択が行われ た場合には、 この選択された予測候補から上記検索対象手書き情報に類似してい る部分を削除して上記検索対象手書き情報と共に表示するようになっている。 この実施の形態によれば、 操作者によって、 上記表示部に所望の予測候補が表 示されるまで上記入力部から手書き情報が入力され、 上記表示された所望の予測 候補が選択される。 こうして、 入力を意図している手書き情報 (文字や図形)の総 てを実際に手書き入力することなく、 文字や図形の入力が行われる。 したがって、 入力した手書き情報をイメージのまま処理するに際して、 手書き入力の手間が大 きく軽減され、 入力効率が大幅に向上される。
また、 1実施の形態の手書き入力装置では、
種々の手書き情報が辞書ェントリとして登録された手書き情報辞書を備え、 上記予測候補生成部( 3 )は、 上記入力部( 1 )から入力された手書き情報の一部 あるいは全てを検索対象手書き情報として、 上記手書き情報辞書から上記検索対 象手書き情報と一部が類似している辞書ェントリを抽出し、 この抽出された辞書 エントリに基づいて入力を意図している手書き情報の予測候補を生成し、
上記入力された手書き情報は、 上記検索対象手書き情報を含み、
上記表示部( 5 )は、 上記予測候補選択部( 4 )によつて予測候補の選択が行われ た場合には、 既に表示している上記検索対象手書き情報を非表示状態とした後、 上記選択された予測候補を表示するようになっている。
この実施の形態によれば、 操作者によって、 上記表示部に所望の予測候補が表 示されるまで上記入力部から手書き情報が入力され、 上記表示された所望の予測 候補が選択される。 こうして、 入力を意図している手書き情報 (文字や図形)の総 てを実際に手書き入力することなく、 文字や図形の入力が行われる。 したがって、 入力した手書き情報をイメージのまま処理するに際して、 手書き入力の手間が大 きく軽減され、 入力効率が大幅に向上される。
また、 1実施の形態の手書き入力装置では、
上記予測候補生成部( 3 )は、 上記検索対象手書き情報のサイズぉよび方向と、 上記抽出された辞書ェントリにおける上記検索対象手書き情報に類似している部 分のサイズおよび方向とがー致するように、 当該辞書ェントリ全体のサイズおよ び方向を変更した後に、 この全体のサイズおよび方向が変更された当該辞書ェン トリに基づいて上記予測候補を生成するようになっている。
この実施の形態によれば、 上記検索対象手書き情報と形状は似ているが、 サイ ズゃ方向が異なる辞書ェントリに基づいて予測候補を生成する場合に、 見栄えが 上記入力を意図する手書き情報に近 、予測候補が生成される。
また、 1実施の形態の手書き入力装置では、
上記表示部( 5 )は、 上記予測候補生成部( 3 )によつて生成された予測候補を表 示する場合には、 当該予測候補における上記検索対象手書き情報に類似している 部分の位置あるいは上記部分が存在していた位置が、 上記検索対象手書き情報の 位置に合うように表示するようになっている。
この実施の形態によれば、 上記検索対象手書き情報と予測候捕とが連続した状 態で表示される。 したがって、 操作者は、 上記表示された予測候捕を選択した場 合のイメージを確認することが可能になる。
また、 1実施の形態の手書き入力装置では、
上記表示部( 5 )は、 上記予測候補選択部( 4 )によつて選択された予測候補を表 示する場合には、 当該選択予測候補の生成に用いられた辞書ェントリにおける上 記検索対象手書き情報に類似している部分のサイズおよび方向の上記検索対象手 書き情報のサイズおよび方向に対するずれの度合を求め、 このずれの度合に応じ て当該選択予測候補全体のサイズおよび方向を変更した後に、 当該選択予測候補 における上記検索対象手書き情報に類似している部分の位置あるいは上記部分が 存在していた位置が、 上記検索対象手書き情報の位置に合うように表示するよう になっている。
この実施の形態によれば、 サイズおよび方向が上記検索対象手書き情報と合つ ていない予測候補が生成 ·表示された場合であっても、 所望の予測候補を選択し た場合には、 サイズおよび方向を上記検索対象手書き情報に合わせた選択予測候 補が表示される。 したがって、 入力を意図している手書き情報により近い選択予 測候補が表示される。 また、 1実施の形態の手書き入力装置では、
上記表示部(5 )は、 上記予測候補を、 上記入力手書き情報とは異なる表示形態 で表示するようになつている。
この実施の形態によれば、 上記表示部に表示された実際に手書き入力された上 記検索対象手書き情報と上記予測候捕との識別が容易になる。
また、 1実施の形態の手書き入力装置では、
上記予測候補選択部( 4 )は、 上記表示部( 5 )によつて上記予測候補の近傍に表 示されたボタンあるいはメニューで構成されている。
この実施の形態によれば、 上記表示部に表示された予測候補から所望の予測候 捕を選択する際の操作が容易になり、 操作性が向上される。
また、 1実施の形態の手書き入力装置では、
上記予測候補選択部( 4 )は、 上記表示部( 5 )によつて上記検索対象手書き情報 の筆記終了点の近傍に表示されたポタンあるいはメュュ一で構成されている。 この実施の形態によれば、 上記表示部に表示された予測候補から所望の予測候 補を選択する際の操作が容易になると共に、 手書き入力後の予測候補選択を素早 く行うことが可能になり、 操作性が向上される。
また、 1実施の形態の手書き入力装置では、
上記予測候捕選択部( 4 )は、 上記表示部( 5 )によって上記予測候捕の筆記終了 点の近傍に表示されたボタンあるいはメニューで構成されている。
この実施の形態によれば、 上記表示部に表示された予測候補から所望の予測候 補を選択する際の操作が容易になると共に、 予測候補選択後の次の手書き入力へ の移行が容易になり、 操作性が向上される。
また、 この発明の手書き入力方法は、
手書きによって手書き情報を入力する入力ステップと、
上記入力された手書き情報に基づいて、 入力を意図している手書き情報の予測 候補を生成する予測候補生成ステップと、
上記入力された手書き情報および予測候補を表示する表示ステップと、 上記表示された予測候補から所望の予測候補を選択する予測候補選択ステップ と、 上記選択された予測候捕を表示する選択予測候補表示ステツプ
を有している。
上記構成によれば、 入力を意図している手書き情報 (文字や図形)の総てを実際 に手書き入力することなく、 文字や図形の入力が行われる。 したがって、 入力し た手書き情報をイメージのまま処理するに際して、 手書き入力の手間が大きく軽 減され、 入力効率が大幅に向上される。
また、 1実施の形態の手書き入力方法では、
上記予測候補生成ステツプは、 上記入力された手書き情報の一部あるいは全て を検索対象手書き情報として、 手書き情報辞書から上記検索対象手書き情報と一 部が類似している辞書エントリを抽出し、 この抽出された辞書エントリから上記 検索対象手書き情報に類似している部分を削除することによって入力を意図して Vヽる手書き情報の予測候補を生成し、
上記表示ステップで表示される手書き情報は、 上記検索対象手書き情報を含み、 上記選択予測候補表示ステップは、 上記選択された予測候補を上記検索対象手 書き情報と共に表示する。
この実施の形態によれば、 入力を意図している手書き情報 (文字や図形)の総て を実際に手書き入力することなく、 文字や図形の入力が行われる。 したがって、 入力した手書き情報をイメージのまま処理するに際して、 手書き入力の手間が大 きく軽減され、 入力効率が大幅に向上される。
また、 1実施の形態の手書き入力方法では、
上記予測候補生成ステップは、 上記入力された手書き情報の一部あるいは全て を検索対象手書き情報として、 手書き情報辞書から上記検索対象手書き情報と一 部が類似している辞書ェントリを抽出し、 この抽出された辞書ェントリに基づい て入力を意図している手書き情報の予測候補を生成し、
上記表示ステップで表示される手書き情報は、 上記検索対象手書き情報を含み、 上記選択予測候補表示ステツプは、 上記選択された予測候補から上記検索対象 手書き情報に類似している部分を削除して上記検索対象手書き情報と共に表示す る。
この実施の形態によれば、 入力を意図している手書き情報 (文字や図形)の総て を実際に手書き入力することなく、 文字や図形の入力が行われる。 したがって、 入力した手書き情報をィメージのまま処理するに際して、 手書き入力の手間が大 きく軽減され、 入力効率が大幅に向上される。
また、 1実施の形態の手書き入力方法では、
上記予測候補生成ステップは、 上記入力された手書き情報の一部あるいは全て を検索対象手書き情報として、 手書き情報辞書から上記検索対象手書き情報と一 部が類似している辞書ェントリを抽出し、 この抽出された辞書ェントリに基づい て入力を意図している手書き情報の予測候捕を生成し、
上記表示ステップで表示される手書き情報は、 上記検索対象手書き情報を含み、 上記選択予測候補表示ステップは、 既に表示されている上記検索対象手書き情 報を非表示状態とした後、 上記選択された予測候補を表示する。
この実施の形態によれば、 入力を意図している手書き情報 (文字や図形)の総て を実際に手書き入力することなく、 文字や図形の入力が行われる。 したがって、 入力した手書き情報をイメージのまま処理するに際して、 手書き入力の手間が大 きく軽減され、 入力効率が大幅に向上される。
また、 この発明の手書き入力プログラムは、
コンピュータを、
この発明の手書き入力装置における上記入力部,予測候補生成部,表示部および 予測候補選択部
として機能させる。
上記構成によれば、 入力を意図している手書き情報 (文字や図形)の一部を手書 き入力するだけで、 文字や図形の入力が行われる。 したがって、 入力した手書き 情報をイメージのまま処理するに際して、 手書き入力の手間が大きく軽減され、 入力効率が大幅に向上される。
また、 この発明のプログラム記録媒体は、
この発明の手書き入力プログラムが記録されている。
上記構成によれば、 手書き入力プログラムをコンピュータで読み出して実行す ることによって、 入力を意図している手書き情報 (文字や図形)の総てを実際に手 書き入力することなく、 文字や図形の入力が行われる。 したがって、 入力した手 書き情報をィメージのまま処理するに際して、 手書き入力の手間が大きく軽減さ れ、 入力効率が大幅に向上される。 図面の簡単な説明
図 1は、 この発明の手書き入力装置における機能プロック図である。
図 2は、 図 1に示す手書き入力装置の具体的ハードウユア構成を示す図である。 図 3は、 図 2における C PUによる制御の下に実行される手書き入力処理動作 のフローチヤ一トである。
図 4A, 4B, 4C, 4Dは、 手書き情報辞書内に予め用意される手書き情報の 一例を示す図である。
図 5は、 図 3に示す手書き入力処理動作において実行される予測候補生成処理 動作のフローチヤ一トである。
図 6A, 6B, 6C, 6Dは、 D Pマッチングの対象となる検索対象手書と辞書 エントリとの一例を示す図である。
図 7A, 7Bは、 図 6 A, 6 B, 6 C, 6 Dに示す検索手書き情報と辞書エントリ との対応関係を示す図である。
図 8A, 8Bは、 サイズや方向は異なる検索対象手書き情報と辞書エントリと の一例を示す図である。
図 9 A, 9 Bは、 図 8 A, 8 Bにおいて辞書ェントリのサイズおよび方向を検索 対象手書き情報に合わせて予測候補を生成する場合の説明図である。
図 1 OA, 1 OBは、 選択された予測候補をウィンドウ表示する場合の一例を 示す図である。
図 11 A, 11 Bは、 図 10 A, 10 Bとは異なる予測候補の表示例を示す図で ある。
図 12は、 図 1における候補選択部を入力部に表示されたボタン領域で構成し た場合の一例を示す図である。
図 13 A, 13 Bは、 図 12とは異なるポタン領域の構成例を示す図である。 図 14A, 14Bは、 図 13A, 13Bに示すボタン領域の表示位置決定の説明 図である。 図 1 5は、 選択予測候補の表示方法の一例を示す図である。
図 1 6は、 図 1 5とは異なる選択予測候補の表示方法を示す図である。
図 1 7は、 検索対象手書き情報に対応する部分を削除した予測候補をウィンド ゥ表示している場合における選択予測候補の表示例を示す図である。
図 1 8 A, 1 8 Bは、 検索対象手書き情報に対応する部分を含む予測候捕を検 索対象手書き情報の位置,サイズぉよび方向に合わせて表示している場合におけ る選択予測候補の表示例を示す図である。
図 1 9は、 検索対象手書き情報に対応する部分を削除した予測候補を検索対象 手書き情報の位置,サイズぉよぴ方向に合わせて表示している場合における選択 予測候補の表示例を示す図である。 発明を実施するための最良の形態
以下、 この発明を図示の実施の形態により詳細に説明する。
•第 1実施の形態
図 1は、 本実施の形態の手書き入力装置における機能的構成を示す機能プロッ ク図である。 この手書き入力装置は簡単なコンピュータ上に構成されて、 入力部 1 ,記憶部 2,候補生成部 3 ,候補選択部 4およぴ表示部 5を含んで構成されてい る。
上記入力部 1はタブレツト等を含んで構成され、 操作者によって文字や図形等 のストロークが手書き入力される。 そして、 入力部 1から手書き入力されたスト ロークの集合から成る手書き情報は記憶部 2に記憶される。 候補生成部 3は、 記 憶部 2に記憶されている入力手書き情報に基づいて、 入力を意図している手書き 情報 (すなわち、 操作者が最終的に入力したい手書き情報)を予測し、 予測候補を 生成する。 候補選択部 4は、 入力部 1を構成するタブレット等の特定の領域で構 成され、 または、 キーボードやボタン等の入力部 1とは異なるハードウェアによ つて構成されており、 操作者からの指示によって上記予測候補の選択を行う。 表 示部 5は、 入力部 1から入力された上記手書き情報や候補生成部 3によつて生成 された予測候補を表示する。 さらに、 候補選択部 4によって選択された予測候補 を表示する。 ここで、 上記ストロークとは、 入力部 1の入力面への接触開始時点から接触終 了時点までの間に得られた筆記の軌跡を指す。 また、 ストローク情報とは、 入力 部 1から得られるストロークの座標列情報またはべクトル列情報またはィメージ 情報を指す。 尚、 上記ストローク情報は、 入力時刻や筆記に要した時間等の時間 情報,筆記速度情報,筆圧情報,外接矩形情報,ストロークの長さ情報等を含んでい ても差し支えない。
また、 上記手書き情報とは 1つ以上のストロークの集合に関する情報を指し、 包含するストロークの情報に加えて、 全体の外接矩形情報や手書き情報同志の形 状照合に使用する各種情報を含んでもよい。
尚、 上記入力部 1及び表示部 5は、 個別に設けても良いし、 表示装置上に透明 のタブレツトを積層配置して成る表示一体型タブレツトとして設けても差し支え ない。 また、 入力部 1は、 カメラ等を用いて筆跡を取得するような装置や、 ペン や指先等の 3次元位置を取得して筆跡を取得するような装置で構成してもよい。 図 1に示す手書き入力装置のハードウエア構成を図 2に示す。 この手書き入力 装置は、 後述する各種処理を実行するプログラムを含む各種プログラムを記憶す るプログラムメモリ 1 1、 記憶部 2を構成して上記手書き情報を含む各種情報を 記憶するデータメモリ 1 2、 入力部 1および予測候補選択部 4を構成する入力装 置 1 3、 表示部 5を構成する表示装置 1 4、 外部のインターネット等の通信ネッ トワーク 1 5と本手書き入力装置とを接続する通信 I /F 1 6、 C D - R OM (コ ンパクトディスク 'リード。オンリ 'メモリ)等の外部記録媒体 1 7がセットされて この外部記録媒体 1 7をアクセスする外部記憶媒体ドライバ 1 8、 プログラムメ モリ 1 1,データメモリ 1 2 ,入力装置 1 3,表示装置 1 4 ,通信 I /F 1 6および 外部記憶媒体ドライバ 1 8を制御して、 手書き入力処理動作等を実行する C P U (中央演算処理装置) 1 9を含んで構成されている。
図 3は、 上記 C P U 1 9による制御の下に実行される手書き入力処理動作のフ ローチャートである。 以下、 図 3に従って、 上記手書き入力処理動作について詳 細に説明する。 尚、 この手書き入力処理動作は、 入力部 1に対してストローク入 力が開始される毎に行われ、 操作者によって入力部 1へのストローク入力が開始 されるとスタートする。 ステップ S Iで、 上記表示部 5によって、 入力中のストロークがリアルタイム に表示される。 それと同時に、 記憶部 2によって、 上記ストローク情報が記憶さ れる。 ステップ S 2で、 入力部 1からの情報に基づいて、 ス トローク入力が終了 した力否かが判別される。 その結果、 終了している場合にはステップ S 3に進む 一方、 終了していなければ上記ステップ S 1に戻って入力中のスロトークの処理 が続行される。 こうして、 操作者によるストローク入力の終了が検知されるまで 上記ステップ S 1による処理が繰り返される。 ステップ S 3で、 候補生成部 3によ る予測候補の生成を開始するカゝ否かが判別される。 その結果、 予測候補の生成を 開始する場合にはステップ S 4に進む一方、 開始しない場合にはそのまま手書き 入力処理動作を終了する。
ここで、 上記予測候補の生成開始の判別方法については特に限定しないが、 例 えば以下のような方法が効果的である。
( A 1 ) ストローク入力後、 次のストロークの入力操作や後述する予測候補の選 択操作等が行われないまま所定時間が経過した場合に、 上記予測候補の生成を開 始すると判別する。
(A 2 ) 入力済のストロークの合計数が所定値に達した場合に、 上記予測候補の 生成を開始すると判別する。
(A 3 ) 入力済のストロークの合計長が所定値に達した場合に、 上記予測侯補の 生成を開始すると判別する。
(A 4 ) 最初の入カストロークの筆記開始時点から経過時間が所定時間に達した 場合に、 上記予測候捕の生成を開始すると判別する。
(A 5 ) 入力部 1あるいは別途設けられた予測候補生成指示部 (図示せず)に対し て操作者によって指示が行われた場合に、 上記予測候補の生成を開始すると判別 する。
但し、 上述した判別方法は、 何れか 1つの判別方法のみを用いてもよいし、 任 意の 2つ以上の判別方法を組み合わせて用いても差し支えない。 また、 上記判別 方法 (A 5 )における「上記入力部 1に対する指示」としては、 入力部 1に手書き情 報と同様に手書き入力されるジエスチヤを用いてもよい。 尚、 上記ジエスチヤと は、 予め定められた 1以上のストロークで構成された形状によって定義され、 特 定の処理を実行するためのトリガとなるものである。 また、 文字や図形の手書き 情報と上記ジエスチヤとを判別する方法としては、 入力部 1に文字や図形を入力 する「文字図形入力モード」と上記ジエスチヤを入力する「ジエスチヤ入力モード」 との 2つのモードを設ける方法や、 特にモードは設けずに入力されたストローク の形状からジエスチヤであるか否かを逐次判定する方法が、 特に知られている。 ステップ S 4で、 上記候補生成部 3によって、 記憶部 2に記憶されている手書 き情報に基づいて上記予測候補が生成される。 尚、 上記予測候補の生成方法に関 しては後述する。 ステップ S 5で、 表示部 5によって、 上記ステップ S 4において 生成された予測候補が表示される。 そして、 候補選択部 4によって所望の予測候 捕が選択されると、 この選択予測候補が表示される。 尚、 上記予測侯捕の表示方 法に関しては後述する。 そうした後、 手書き入力処理動作を終了する。
尚、 図 3に示すフローチャートにおいては、 説明が煩雑になるので省略してい るが、 上記ステップ S 4およびステップ S 5においては、 次のストロークが入力さ れて次の手書き入力処理動作が開始され、 次の手書き入力処理動作における上記 ステップ S 3において予測候補生成開始の判別が開始された場合には、 上記予測 候補生成および予測候捕表示の処理を中止するようになつている。
また、 図 3に示すフローチャートにおける上記ステツプ S 3において用いられ る判別方法 (A 1 )の「所定時間 (何も行われない経過時間)」,判別方法 ( A 2 )の「所 定値 (ストローク数)」,判別方法 (A 3 )の「所定値 (ストローク長)」および判另 IJ方法 (A 4 )の「所定時間 (筆記開始からの経過時間)」の夫々を複数設ける。 そして、 夫々の所定値に達した際に上記予測候捕を生成し直すようにしてもよレヽ。 その場 合における上記複数の所定値は、 5→ 1 0→ 1 5のごとく一定間隔で増加するよ うに設定してもよいし、 5→8 (+ 3 )→1 0 (+ 2 )のごとく増加幅に変化を持た せてもよい。
さらに、 2番目以降の所定値 (上述の例では「1 0」,「1 5」または「8」,「1 0」) に達した場合には、 それまでに生成した予測候捕とは異なる予測候補を生成する こともできる。 そうすることによって、 例えば 3ストローク毎に上記予測候補を 生成する場合、 操作者が「シ Jと筆記した時点で生成'表示された予測候補に意中 のものが無い場合に、 続けて「シヤー」まで筆記した時点で生成'表示される予測 候補では、 前回まで生成された予測候補 (つまり、 意中ではない予測候補)は除外 されている。 したがって、 生成される予測侯捕の正解率を上げることができるの である。
次に、 上記図 3に示す手書き入力処理動作における上記ステップ S 4において 実行される予測候補生成処理動作について、 さらに詳細に説明する。 この発明に おいては、 予測候捕生成方法については特に限定しないが、 手書き情報検索技術 を応用して以下のように生成する方法が考えられる。 すなわち、 予測候補として 生成したい手書き情報を辞書ェントリとし、 辞書ェントリを集めた手書き情報辞 書から入力手書き情報と類似する辞書ェントリを検索することによって、 予測候 補を生成するのである。
上記手書き情報辞書は、 図 1においては省略されているが、 候補生成部 3によ つて検索可能に設けられている。 その場合、 手書き情報辞書には、 予め総ての辞 書ェントリを用意してもよいし、 操作者の手書き入力に応じて適宜辞書ェントリ を追カロ '更新'削除してもよい。
前者の場合、 例えば、 図4 , 4 8, 4じ, 4 0に示すような手書き情報を予め 上記手書き情報辞鲁内に用意しておけば、 顔の輪郭に相当する〇を筆記した時点 で、 色々な種類の顔イラストを予測候補として生成し、 表示させることが可能に なる。 他にも、 簡単なストロークの入力で予測候補を表示できるような様々なィ ラスト等を上記手書き情報辞書内に用意しておけば、 ィラスト等を描くのが苦手 な人であっても表現力豊かな手書きイメージを作成することが可能になる。 また、 後者の場合には、 テストの添削を行う際に、 手書きした解答を一度入力しておけ ば、 先頭数ストロークを筆記した時点で上記解答を予測することが可能となり、 各答案に対する解答入力の手間を大幅に軽減することができるのである。 当然な がら、 これらの方法は適宜組み合わせて使用しても効果的である。
図 5は、 上記予測侯捕生成処理動作のフローチャートである。 以下、 図 5に従 つて、 図 3に示す手書き入力処理動作の上記ステップ S 4において実行される上 記予測候補生成処理動作について説明する。 上記手書き入力処理動作の上記ステ ップ S 3において予測候補の生成を開始すると判別されると、 予測候補生成処理 動作がスタートする。 ステップ S llで、 上記記憶部 2に記憶されている入力手書き情報から、 上記手 書き情報辞書を検索する際に使用する検索用情報が生成される。 ここで、 上記記 憶されている入力手書き情報から検索対象となる入力手書き情報を決定する方法 としては、 大きく以下の 2つの方法に分けられる。
(B 1 ) 上記記憶部 2に記憶されている全てのス トロークを対象とする。
(B 2 ) 上記記憶部 2に記憶されている一部のストロークを対象とする。
さらに、 上記方法(B 2 )において、 記憶部 2に記憶されているストロークのう ちから対象となるストロークを抽出する方法としては、 次のものが考えられる。 (B 2 a) 上記記憶部 2に記憶されているストロークのうち、 入力時刻順に最新 のストロークから所定数分のストロークを対象とする。
(B 2 b) 上記記憶部 2に記憶されているストロークのうち、 入力時刻順に最新 のストロークから合計長が所定値に達するまでのストロークを対象とす る。
(B 2 c) 上記記憶部 2に記憶されているストロークのうち、 現時点より所定時 間前の時点以降に入力された総てのストロークを対象とする。
(B 2 d) あるストロークの入力終了から次のストロークの入力開始までの経過 時間が所定値を超えた場合をタイムァゥトとし、 記憶部 2に記憶されて いるストロークのうち、 最新のタイムァゥト発生以降に入力されたスト ロークを対象とする。
( B 2 e) 上記記憶部 2に記憶されているス トロークのうち、 別途設けられた検 索対象手書き情報指示部 (図示せず)からの操作者の指示によつて指定さ れたス トロークを対象とする。
上記抽出方法(B 2 a)および抽出方法(B 2 b)においては、 各ストロークの入力 時刻順序を得る必要があるが、 これは記憶部 2に各ストロークを配列やリスト等 のデータ構造で入力時刻順に記憶したり、 記憶部 2に上記ストローク情報として 入力時刻をも記憶したりすることによって、 実現可能である。
また、 上記抽出方法(B 2 e)における上記検索対象手書き情報指示部からの操 作者による指示は、 上記判別方法 (A 5 )における「上記入力部 1に対する指示」の 場合と同様に、 入力部 1に手書き情報と同様に手書き入力されるジエスチヤを用 いてもよい。 その場合、 ジエスチヤと判定されたス トロークとジエスチヤ以外の 手書き文字や図形のストロークとの位置関係に応じて、 検索対象手書き情報を決 定する。
尚、 上記抽出方法(B 2 a)〜抽出方法(B 2 e)以外にも、 これらに類する抽出方 法によって抽出した一部のストロークを探索対象としても差し支えない。 更に、 上記方法(B 1 )および方法(B 2 ) (=抽出方法(B 2 a)〜抽出方法(B 2 e) )は、 何 れか 1つのみを用いてもよいし、 任意の 2つ以上を糸且み合わせて用いてもよい。 上述のようにして決定されたストローク群でなる手書き情報が、 検索対象手書 き情報すなわち検索用情報として決定される。
ステップ S 12で、 上記生成された検索用情報に基づ 、て上記手書き情報辞書が 検索され、 上記検索用情報である検索対象手書き情報と部分的にマッチする辞書 エントリが抽出される。 ここで、 上記検索対象手書き情報と手書き情報辞書との 照合方法は特に限定しないが、 オンライン文字認識や O C R (Optical Character Reader:光学式文字読み取り装置)等で使用される各種パターンマッチング法が 適用可能である。
以下、 一例として、 上記ストローク情報として座標列を保持し、 D P (Dynamic Programing:動的計画法)マッチングを用いて照合する場合について、 図 6 A, 6 B , 6 C, 6 Dおよび図 7 A, 7 Bに従って説明する。
図 6 Aは検索対象手書き情報を示し、 図 6 Bは 1つの辞書ェントリを示してい る。 尚、 図 6 Aおよび図 6 Bにおいて、 ストローク上の黒丸が各座標を表わして いる。 これらの座標を用いて直接 D Pマッチングを行ってもよい。 しかしながら、 処理量を減らすために、 図 6 Cおよび図 6 Dに示すように、 サンプリング等によ る折れ線近似処理を行い、 この折れ線の両端部や折れ部の座標を用いて D Pマツ チングを行うのが一般的である。
上記折れ線近似によって、 図 6 Cに示す検索手書き情報の座標列 P sl〜P s7と、 図 6 Dに示す辞書ェントリの座標列 P dl〜 P d27とが得られたものとする。 但し、 上記辞書ェントリの座標については後の説明で不要な座標のラベル P dlO〜P d26 を省略している。 尚、 上記辞書エントリの折れ線近似座標列は、 予め算出して辞 書エントリと共に保持しておいてもよい。 この場合、 上記手書き情報辞書の記憶 容量は増力 flするが、 照合時の処理量を減らすことができる。
上記 D Pマツチングでは、 図 6 Cに示す各座標と図 6 Dに示す各座標との対応 が取られる。 本照合は部分マッチでよいので、 図 6 Cに示す各座標が図 6 Dに示 す何れかの座標との対応が取れた時点で D Pマツチングを終了すればょ 、。 図 7 Aは検索手書き情報と辞書ェントリとの対応を 2次元で表わしたものであ り、 縦軸が図 6 Cにおける各座標であり、 横軸が図 6 Dの各座標であり、 黒丸が 対応を表わしている。 すなわち、 図 7 Aによれば、 図 7 Bに示すような対応関係 が得られている。 上述のマッチング方法の場合は、 辞書エントリ内のあるスト口 ークの途中の座標までしか対応が取れない場合があり得るので、 何れかのスト口 ークの終了点までで対応付けを終了してもよい。
こうして対応付けが終了した時点で、 形状類似の評価スコアが得られる。 この 評価スコアの順に辞書ェントリをソートすることによって、 類似度の高い順に並 んだ辞書ェントリリストが取得される。 尚、 最終的に抽出される辞書ェントリの 数は、 最も信頼度が高い辞書エントリを 1つだけ抽出してもよいし、 信頼度の高 い順に複数の辞書ェントリを抽出してもよい。
ステップ S 13で、 上記抽出された辞書ェントリに基づいて予測候補が生成され た後、 図 3に示す手書き入力処理動作の上記ステップ S 5にリターンする。
その場合における上記予測候補は、 上記抽出された辞書ェントリのストローク をそのまま用いて生成してもよいし、 上記辞書ェントリカ、ら上記ステツプ S 12で の D Pマッチングにおいて上記検索対象手書き情報のストロークとマッチした部 分を削除して生成してもよい。 例えば、 図 6 A, 6 B , 6 C, 6 Dおよび図 7 A, 7 Bに示す例においては、 辞書ェントリの座標列 P dl〜P d8が検索対象手書き情報 に対応しているので、 座標列 P d9〜 P d27に関する折れ線近似前の座標列に基づ V、て予測候捕を生成すればよいのである。
尚、 上記抽出された辞書エントリのストロークをそのまま用いて予測候補を生 成する場合、 上記生成された予測候補が選択された際には、 この予測候補から検 索対象手書き情報のストロークとマッチする部分を削除して表示する、 または、 上記検索対象手書き情報を削除して予測候補のみを表示することになるが、 これ については後述する。 また、 図 8 A, 8 Bに示すように、 サイズゃ方向は異なるものの形状は類似し ている辞書ェントリ(図 8 B )の場合でも抽出可能なパターンマッチング手法が知 られている。 このパターンマッチング手法を利用した場合には、 上記検索対象手 書き情報のサイズおよび方向と、 抽出された辞書ェントリにおける上記検索対象 手書き情報に類似している部分のサイズおよび方向とがー致するように、 当該辞 書ェントリ全体のサイズぉよび方向を変更した後に、 この全体のサイズぉよぴ方 向が変更された当該辞書ェントリに基づいて上記予測候補を生成してもよい。 そ の場合には、 当該辞書ェントリのサイズおよび方向の変更に基づいて上記手書き 情報辞書の内容を更新してもよいし、 予測候補生成のために仮に当該辞書ェント リのサイズおょぴ方向を変更するのみで上記手書き情報辞書の内容は更新しない ようにしてもよい。
上記辞書ェントリのサイズおよび方向の変更は、 例えば、 図 9 A, 9 Bに示す ように、 上記検索対象手書き情報における筆記開始点とこの筆記開始点から最も 離れている座標点とを結ぶベタトル v lと、 抽出された辞書エントリにおける上 記べクトル v lに対応するべクトル V 2と力 等しくなるように(つまり、 両べク トル V 1, V 2の方向と大きさとが等しくなるように)、 当該辞書ェントリを回転お ょぴリサイズしたものに基づいて予測候補を生成することによつて実現できる。 次に、 上記図 3に示す手書き入力処理動作における上記ステップ S 5において 実行される予測候補表示処理について、 さらに詳細に説明する。 本実施の形態に おいては、 上記予測候補の表示方法を限定するものではないが、 以下のような表 示方法が考えられる。
( C 1 ) 全予測候補を特定領域に表示する方法。
(C 2 ) 第 1予測候補のみを検索対象手書き情報の位置,サイズおよび方向に合 わせて表示する方法。
( C 3 ) 第 1予測候補を検索対象手書き情報の位置,サイズぉよび方向に合わせ て表示し、 第 2以降の予測候補は特定領域に表示する方法。
上記表示方法(C 1 )の場合、 上記表示部 5における予測侯補表示用に予め定め られた領域に表示してもよいし、 図 1 O A, 1 O Bに示すように検索対象手書き 情報の近傍にウィンドゥ表示してもよい。 図 1 0 A, 1 0 Bにおいて、 図 1 O Aは、 上記検索対象手書き情報に対応する 部分を含む予測侯補を生成した場合の表示結果を示している。 つまり、 入力中の 文字「テ」 2 1が検索対象手書き情報である場合に、 検索対象手書き情報「テ」に対 応する部分をも含む予測候捕 2 2〜2 4が表示されている。 また、 図 1 0 Bは、 検索対象手書き情報に対応する部分を削除した予測候補を生成した場合の表示結 果を示している。 つまり、 入力中の文字「テ」 2 5に対応する部分が削除された予 測候補 2 6〜 2 8が表示されている。 ここで、 図 1 O Aにおけるポタン 2 9 , 3 0および図 1 O Bにおけるポタン 3 1 , 3 2は、 現在表示されている予測候補 2 2 - 2 4 , 2 6〜2 8以外の予測候捕を表示させるためのボタンである。
尚、 図 1 O A, 1 0 Bにおいては、 上述したように、 上記検索対象手書き情報 のサイズぉよび方向に合わせて生成した予測候補を表示しているが、 抽出された 辞書ェントリのサイズおよび方向をそのまま反映させた予測候捕を表示してもよ い。 あるいは、 画面サイズの制約や複数予測候補の一覧性を考慮して、 縮小した 予測候補を表示してもよい。
図 1 1 A, 1 1 Bは、 上記表示方法(C 2 )による表示例である。 図 1 1 Aは、 検索対象手書き情報に対応する部分を含む予測候補を生成した場合の表示結果を 示している。 つまり、 入力中の文字「シ」(図 1 1 A中の太線部:検索対象手書き 情報)に対応する部分をも含む第 1予測候補「シャープ」(図 1 1 A中の細線部)が、 検索対象手書き情報に重畳して表示されている。 また、 図 1 1 Bは、 検索対象手 書き情報に対応する部分を削除して予測候捕を生成した場合の表示結果を示して レ、る。 つまり、 入力中の文字「シ」(図 1 1 B中の太線部)に対応する部分が削除さ れた第 1予測候補「ヤープ J (図 1 1 B中の細線部)が表示されている。 これらの表 示は、 図 9 A, 9 Bに示すように、 2つのベクトル v lおよび V 2が等しくなるよ うに回転およびリサイズした後、 これらのべクトル v l, V 2が重なるように予測 候捕を表示すればよい。 ここで、 図 1 1 Aにおけるボタン 4 1およぴ図 1 1 Bに おけるポタン 4 2は、 現在表示されている予測候補以外の予測候補を表示させる ためのポタンである。
尚、 図 1 1 Aにおいては、 上記検索対象手書き情報と予測候補とを線の太さを 変えて識別できるように表示しているが、 色や濃度を変えたり予測候補を点滅表 示させることも効果的である。
また、 図 1 O A, 1 O Bおよび図 1 1 A, 1 1 Bの何れの表示方法においても、 上記表示された予測候補に対して選択が行われずに筆記が継続された場合には、 現在生成されている予測候補を非表示にしたり、 色や濃度をより薄く表示する等 表示形態を変えて表示したりすれば、 筆記時の視認性を向上させる効果を得るこ とができる。
続いて、 上述のように図 3の手書き入力処理動作によって表示部 5に予測候補 が表示された際に、 操作者が候補選択部 4を操作して行う予測候補の選択につい て説明する。 先ず、 候補選択部 4の構成について補足説明を行う。
上記候補選択部 4は、 上述したように、 入力部 1を構成するタブレツト等の特 定の領域、 または、 キーボードやボタン等の入力部 1とは異なるハードウェア、 によって構成されている。 ここで、 入力部 1の特定の領域としては、 例えば、 図 1 O A, 1 0 Bにおける予測候補 2 2 - 2 4 , 2 6〜2 8の夫々が包含されている 矩形領域である。 この場合には、 矩形領域内に対してペンダウン等の指示がある と、 その矩形に含まれている予測候補が選択されるのである。 あるいは、 図 1 2 に示すように、 複数の予測候補の夫々が包含されている矩形領域内に表示された ボタン領域 4 3 ~ 4 5を、 上記入力部 1の特定の領域としてもよい。 この場合に は、 ボタン領域 4 3〜4 5に対してペンダウン等の指示があると、 当該ボタン領 域に対応している矩形領域内の予測候補が選択されるのである。 尚、 ポタン領域 4 3〜4 5以外の矩形領域内の部分は手書き入力可能である。
ここで、 上記矩形領域の全体を選択用領域とする前者の場合には、 上記矩形領 域内への手書き入力は不可能であるため、 検索対象手書き情報の表示位置近傍に 上記矩形領域を設定すると、 何れの予測候補をも選択せずに続けて筆記する場合 に不都合が生じる。 ところが、 上記矩形領域内にポタン領域 4 3〜4 5を設ける 後者の場合には、 ポタン領域 4 3〜4 5以外の矩形領域内の部分は手書き入力が 可能であるため、 検索対象手書き情報の表示位置近傍に上記矩形領域を設定して も、 不具合は生じ難いのである。
さらに、 図 1 1 A, 1 1 Bに示すように、 上記検索対象手書き情報の位置,サイ ズおよび方向に合わせて第 1予測候補のみを表示する場合には、 予測候補の選択 方法として以下の 2通りが考えられる。
(D 1 ) 図 1 3 Aに示すように、 上記検索対象手書き情報の筆記終了点 P elの近 傍に、 予測候補選択用のポタン 4 6を表示する方法。
(D 2 ) 図 1 3 Bに示すように、 表示された予測候補の筆記終了点 P e2の近傍に、 予測候補選択用のポタン 4 7を表示する方法。
ここで、 上記選択方法 (D 2 )における予測候補の筆記終了点とは、 上記予測候 捕の手書き情報が実際の筆記によつて入力された場合の最終ストロークの筆記終 了点を指す。 例えば、 手書き情報に含まれるストローク情報およびストロークの 座標列情報を時系列で保持している場合であれば、 最終ストロークの最終座標が それに当る。
選択方法 (D 1 )の場合には、 上記検索対象手書き情報の筆記終了点 (手書き入 力終了点)から予測候補選択用のボタン 4 6までの距離が短いため、 手書き入力 力 ら予測候補選択までの動作を素早く行うことができ、 操作性が向上する。 これ に対して、 選択方法 (D 2 )の場合には、 入力を意図していた手書き情報を予測候 補の選択を行わずに入力部 1から実際に筆記した場合の筆記終了点に近い位置で 予測候捕選択の操作が終了するため、 操作者はその近傍から次の手書き入力を開 始することが可能になり、 入力効率おょぴ操作感が向上する。 何れの選択方法に おいても、 検索対象手書き情報および予測候補の視認性を妨げない位置に表示す る力、 または、 ボタン 4 6, 4 7を半透明表示にするなどの視認、正を妨げない表 示方法にすることが望ましい。
上述した選択方法 (D 1 )の場合において、 上記検索対象手書き情報および予測 候補の視認性を妨げないボタンの表示位置の決定方法例を、 以下に示す。
(E 1 ) 図 1 4 Aに示すように、 上記検索対象手書き情報および予測候捕の外接 矩形 Rを求め、 さらに外接矩形 Rの辺上であって検索対象手書き情報「シ」の筆記 終了点 P eに最も近い点 Pbを求め、 その点 Pbに接するように予測候捕選択用の ポタンを表示する方法。
(E 2 ) 図 1 4 Bに示すように、 上記検索対象手書き情報「シ」の筆記終了点 P e 力^の距離が d lとなる点(〇で表示)を複数求め、 それらの点のうち、 予測候補 選択用のボタンを表示した際に検索対象手書き情報および予測候補の各ストロー クと接触しない点の位置に、 予測候補選択用のボタンを表示する方法。
表示位置決定方法(E 1 )の場合には、 上記検索対象手書き情報のみの外接矩形 を対象にしてもよい。 但し、 その場合は、 予測候補選択用のボタンと予測候補と が接触する可能性があるので、 予測候捕に接触しない点のうち最も近い点に接す るようにポタンを表示するか、 ボタンを半透明表示する必要がある。 尚、 予測候 補の筆記終了点近傍に表示する場合も同様である。 この表示位置決定方法(E 1 ) は、 処理量が少なくて済む反面、 上記外接矩形の中心近くに筆記終了点がある場 合には、 筆記終了点の周囲に空間が空いていてもボタンが遠く表示されてしまう という欠点がある。
表示位置決定方法(E 2 )の場合には、 表示位置を、 上記検索対象手書き情報の 筆記終了点を中心とした正多角形の頂点に設定すればよい。 図 1 4 Bにおいては 正六角形としている。 尚、 正多角形の何れの頂点においても検索対象手書き情報 または予測候補の各ストロークと接触する場合には、 筆記終了点からの距離が d 2 (> d l)となる複数の点について同様の処理を行えばよい。 上記距離が d 2でも 接触する場合には、 さらに d 3 (> d 2)となる複数の点について同様の処理を行う。 以下、 同様に、 最終的に接触が無い点が見つかるまで筆記終了点からの距離を大 きくして同様の処理を繰り返し、 最終的に得られた点の位置にボタンを表示する。 尚、 予測候補の筆記終了点近傍に表示する場合も同様である。 さらに、 この表示 位置決定方法(E 2 )は、 表示位置決定方法(E 1 )よりも処理量は大きくなるが、 上述したような外接矩形内の中心近くに筆記終了点がある場合でも、 周囲に空間 がある場合には終了点近傍にボタンを表示することが可能になる。
上述した上記候補選択部 4の構成において、 候補選択用のボタンの代わりに、 選択以外の処理指示も可能なメニュー等を用いても効果的である。
次に、 上記構成の候補選択部 4によつて予測候補の選択が行われた場合におけ る選択予測候補の表示処理について説明する。 この処理は、 図 1 O A, 1 0 Bに 示すように複数の予測候補を表示する場合と、 図 1 1 A, 1 I Bに示すように第 1予測候捕のみを表示する場合とによって異なるため、 夫々について順に説明す る。
先ず、 図 1 0 A, 1 0 Bに示すごとく複数の予測候補を表示する場合のうち、 図 1 O Aに示すように、 上記検索対象手書き情報に対応する部分を含む予測候補 をウィンドウ表示する場合、 または、 予め定められた表示領域に同様の表示を行 う場合には、 以下の 2通りの選択予測候補の表示処理方法がある。
( F 1 ) 上記検索対象手書き情報に合わせて、 選択された予測候補のサイズぉよ び方向を変更した後に、 検索対象手書き情報に対応する部分を削除し、 上記検索 対象手書き情報の位置に合わせて入力手書き情報と同様の表示形態で表示する方 法。
( F 2 ) 上記検索対象手書き情報に合わせて、 選択された予測候補のサイズおよ ぴ方向を変更した後に、 検索対象手書き情報を削除 (つまり、 非表示状態に)し、 検索対象手書き情報が存在していた位置に合わせて入力手書き情報と同様の表示 形態で表示する方法。
表示処理方法(F 1 )の場合における表示例を図 1 5に示す。 図 1 5から分るよ うに、 表示処理方法 ( F 1 )は、 実際に手書き入力されたストロークをそのまま用 いる方法である。 一方、 表示処理方法(F 2 )の場合における表示例を図 1 6に示 す。 図 1 6から分るように、 表示処理方法(F 2 )は、 入力したストロークに代え て予測候補を用いる方法である。
尚、 上記表示処理方法(F l ) , (F 2 )においては、 上記選択された予測候補の サイズぉよび方向を検索対象手書き情報に合わせて変更するようにしているが、 上述した予測侯捕生成時にこの 理が既に行われている場合には不要である。 ま た、 当然ながら、 予測候補のサイズおよび方向は変更しないようにすることも可 能である。 '
次に、 図 1 0 Bに示すように、 上記検索対象手書き情報に対応する部分を削除 した予測候補をウィンドウ表示する場合、 または、 予め定められた表示領域に同 様の表示を行う場合における選択予測候補の表示処理方法について説明する。 こ の場合には、 上記検索対象手書き情報に合わせて、 選択された予測候補のサイズ および方向を変更した後に、 検索対象手書き情報が存在していた位置に合わせて 検索対象手書き情報と同様の表示形態で表示すればよい。 図 1 0 Aの場合と同様 に、 サイズおよび方向の変更は上述した予測候補生成時に既に行われている場合 は不要である。 図 1 7に、 この表示処理方法を用いた場合の表示例を示す。 次に、 図 1 1 A, 1 I Bに示す如く第 1予測候補のみを表示する場合のうち、 図 1 1 Aに示すように、 上記検索対象手書き情報に対応する部分を含む予測候補 を、 検索対象手書き情報の位置,サイズおよび方向に合わせて表示する場合には、 以下の 2通りの選択予測候補の表示処理方法がある。
(G 1 ) 上記予測候補から検索対象手書き情報に対応する部分を削除して、 検索 対象手書き情報の位置に合わせて入力手書き情報と同様の表示形態で表示する方 法。
(G 2 ) 上記検索対象手書き情報を削除 (非表示状態に)して、 予測候補を検索対 象手書き情報が存在していた位置に合わせて入力手書き情報と同様の表示形態で 表示する方法。
上記表示処理方法(G l ) , (G 2 )による表示例を図 1 8 A, 1 8 Bに示す。 尚、 図 1 8 A, 1 8 Bにおける方法 1は上記表示処理方法(G 1 )に相当し、 表示され た予測候補「シャープ」のうちの先頭文字「シ」が検索対象手書き情報の「シ」に置き 換えられている。 一方、 方法 2は上記表示処理方法(G 2 )に相当し、 表示された 予測候補「シャープ」がそのまま表示されている。
最後に、 図 1 1 Bに示すように、 上記検索対象手書き情報に対応する部分を削 除した予測候補を、 検索対象手書き情報の位置,サイズおよび方向に合わせて表 示する場合の表示処理方法について説明する。 この場合には、 選択された予測候 捕を、 検索対象手書き情報と同様の表示形態で表示するだけでよい。 表示例を図 1 9に示す。
ところで、 上記選択予測候補を表示するに際して行われる選択予測候補のサイ ズおよび方向の変更と上記検索対象手書き情報との位置合せとの方法は、 特に限 定するものではないが、 例えば以下のようにして行う。
先ず、 上記候捕生成部 3が当該選択予測候補を生成した際に用いた辞書ェント リを読み出す。 そして、 当該辞書エントリにおける検索対象手書き情報に対応す る部分の図 9 Bに示すべクトル v 2と、 上記検索対象手書き情報の図 9 Aに示す ベタトル v lとを比較して、 ベタトル v 2のサイズおよび方向のベタトル v lのサ ィズおよび方向に対するずれの度合を求める。 次に、 このずれの度合に応じて当 該選択予測候補全体のサイズおよび方向を変更して、 当該選択予測候補のサイズ および方向が上記検索対象手書き情報のサイズおょぴ方向に略一致するようにす る。 そうした後に、 当該選択予測候補における上記検索対象手書き情報に対応す る部分の位置 (または、 当該選択予測候補における上記検索対象手書き情報に対 応する部分が存在していた位置)を、 上記検索対象手書き情報が存在していた位 置(または、 上記検索対象手書き情報の位置)に合わせて表示するのである。 以上のごとく、 本実施の形態においては、 入力部 1から手書き入力されたスト ロークの集合に関する情報が手書き情報として記憶部 2に記憶される。 また、 こ うして入力された手書き情報や予め用意された手書き情報を辞書ェントリとする 手書き情報辞書を形成して記憶しておく。 そして、 上記入力部 1から順次入力さ れて記憶部 2に記憶されるストロークの集合に基づいて予測候捕の生成開始が判 別されると、 候補生成部 3によって、 記憶部 2に記憶されている手書き情報から 検索対象手書き情報が決定される。 さらに、 この検索対象手書き情報に基づいて 上記手書き情報辞書が検索され、 検索対象手書き情報にマッチングする辞書ェン トリに基づいて予測候捕が生成される。 そして、 表示部 5に表示された予測候補 の中から候捕選択部 4によって選択された選択予測候補が、 恰も入力部 1から入 力された手書き情報のごとく表示部 5に表示される。
したがって、 上記入力部 1から手書き入力された情報をイメージのまま処理す るに際して、 操 は、 所望の予測候補が生成'表示されるまで入力部 1から手 書き入力を行えば良く、 所望の予測候捕が表示された段階で入力を意図している 手書き情報に相当する予測候補を得ることができる。 こうして、 操作者の手書き 入力の負担を軽減することができるのである。
尚、 上記実施の形態においては、 上記候補生成部 3による予測候補生成処理お よび予測候補表示処理と、 候補選択部 4による予測候補選択処理とについて、 複 数の処理方法を例示すると共に、 何れかを選択的に実行するようにしている。 し かしながら、 この発明はこれに限定されるものではなく、 操作者の指示により、 適宜切り換え実行が可能な構成にしても差し支えない。
-第 2実施の形態
本実施の形態は、 上記第 1実施の形態において述べた各種機能を実現するため の手書き入力プログラムおよびこの手書き入力プログラムが記録されたコンビュ ータ読み出し可能な記録媒体に関するものである。
この記録媒体は、 図 2に示す手書き入力装置によつて手書き入力処理を行うた めに必要なメモリであり、 例えばプログラムメモリ 1 1自体がプログラムメディ ァであってもよいし、 外部記憶媒体ドライバ 1 8としてのプログラム読み取り装 置に装着されて読み取りが行われるプログラムメディア (磁気テープや C D - R OM等)であってもよい。 何れの場合においても、 上記プログラムメディアに格 納されているプログラムは、 C P U 1 9によって直接アクセスされて実行される 構成であってもよいし、 一旦読み出されて図 2における所定のプログラム記憶ェ リァ(例えば、 プログラムメモリ 1 1のプロダラム記'慮ェリア)にロードされた後 に C P U 1 9によって読み出されて実行される構成であってもよい。 尚、 上記口 一ド用のプログラムは、 予め当該装置に格納されているものとする。
すなわち、 上記プログラムメディアとは、 装置本体と分離可能に構成され、 磁 気テープゃカセットテープ等のテープ系、 フレキシブルディスク,ハードディス ク等の磁気ディスクや C D - R OM, MO (光磁気)ディスク, MD (ミニディスク), D VD (ディジタル多用途ディスク)等の光ディスクのディスク系、 I C (集積回 路)カード(メモリカードを含む)や光カード等のカード系、 マスク R OM, E P R OM (紫外,線消去型 R OM) , E E P R OM (電気的消去型 R OM),フラッシュ R O M等の半導体メモリ系を含めた、 固定的にプログラムを坦持する媒体であればよ いのである。
つまり、 本実施の形態における記録媒体とは、 上記構成を有するプログラムメ ディァに、 上記第 1実施例における図 3に示す手書き処理動作および図 5に示す 予測候捕生成処理動作とその具体的処理例とを実行する手書きプログラムが記録 したものなのである。
尚、 上記第 1実施の形態における手書き入力装置は、 インターネットを含む通 信ネットワーク 1 5と通信 I /F 1 6を介して接続可能な構成を有している。 し たがって、 上記プログラムメディアは、 通信ネットワーク 1 5からのダウンロー ド等によつて流動的にプロダラムを坦持する媒体であつても差し支えない。 その 場合における上記通信ネットワーク 1 5からダウンロードするためのダウンロー ド用プログラムは、 予め当該装置に格納されているものとする。 あるいは、 別の 外部記録媒体から予め当該装置本体にインストールされるものとする。
また、 上記記録媒体に記録されるものはプログラムのみに限定されるものでは なく、 データも記録することが可能である。
また、 上述した各実施の形態は全ての点において例示であって、 制限的なもの ではない。 この発明の範囲は、 特許請求の範囲によって示され、 特許請求の範囲 と均等な意味および範囲内での全ての変更が含まれることが意図される。

Claims

請 求 の 範 囲
1 . 手書きによつて手書き情報が入力される入力部( 1 )と、
上記入力部(1 )から入力された手書き情報に基づいて、 入力を意図している手 書き情報の予測候補を生成する予測候補生成部(3 )と、
上記入力された手書き情報おょぴ予測候補を表示する表示部( 5 )と、 操作者によつて操作されると共に、 上記表示部( 5 )によつて表示された予測候 補から所望の予測候補を選択する予測候補選択部 ( 4 )
を備えて、
上記表示部( 5 )は、 上記予測候補選択部( 4 )によつて予測候補の選択が行われ た場合には、 この選択された予測候捕を表示するようになっている
ことを特徴とする手書き入力装置。
2. 請求項 1に記載の手書き入力装置において、
種々の手書き情報が辞書ェントリとして登録された手書き情報辞書を備え、 上記予測候補生成部( 3 )は、 上記入力部( 1 )から入力された手書き情報の一部 あるいは全てを検索対象手書き情報として、 上記手書き情報辞書から上記検索対 象手書き情報と一部が類似している辞書ェントリを抽出し、 この抽出された辞書 エントリから上記検索対象手書き情報に類似している部分を削除することによつ て入力を意図している手書き情報の予測候補を生成し、
上記入力された手書き情報は、 上記検索対象手書き情報を含み、
上記表示部( 5 )は、 上記予測候補選択部( 4 )によつて予測候補の選択が行われ た場合には、 この選択された予測候捕を上記検索対象手書き情報と共に表示する ようになつている
ことを特徴とする手書き入力装置。
3. 請求項 1に記載の手書き入力装置において、
種々の手書き情報が辞書エントリとして登録された手書き情報辞書を備え、 上記予測候補生成部( 3 )ほ、 上記入力部( 1 )から入力された手書き情報の一部 あるいは全てを検索対象手書き情報として、 上記手書き情報辞書から上記検索対 象手書き情報と一部が類似している辞書エントリを抽出し、 この抽出された辞書 エントリに基づいて入力を意図している手書き情報の予測候補を生成し、 上記入力された手書き情報は、 上記検索対象手書き情報を含み、
上記表示部( 5 )は、 上記予測候補選択部( 4 )によつて予測候補の選択が行われ た場合には、 この選択された予測候補から上記検索対象手書き情報に類似してい る部分を削除して上記検索対象手書き情報と共に表示するようになつている ことを特徴とする手書き入力装置。
4 . 請求項 1に記載の手書き入力装置において、
種々の手書き情報が辞書ェントリとして登録された手書き情報辞書を備え、 上記予測候補生成部( 3 )は、 上記入力部( 1 )から入力された手書き情報の一部 あるいは全てを検索対象手書き情報として、 上記手書き情報辞書から上記検索対 象手書き情報と一部が類似している辞書エントリを抽出し、 この抽出された辞書 エントリに基づいて入力を意図している手書き情報の予測候補を生成し、 上記入力された手書き情報は、 上記検索対象手書き情報を含み、
上記表示部( 5 )は、 上記予測候補選択部( 4 )によつて予測候捕の選択が行われ た場合には、 既に表示している上記検索対象手書き情報を非表示状態とした後、 上記選択された予測候補を表示するようになっている
ことを特徴とする手書き入力装置。
5 . 請求項 2に記載の手書き入力装置において、
上記予測候補生成部( 3 )は、 上記検索対象手書き情報のサイズぉよぴ方向と、 上記抽出された辞書ェントリにおける上記検索対象手書き情報に類似している部 分のサイズおよび方向とが一致するように、 当該辞書エントリ全体のサイズおよ ぴ方向を変更した後に、 この全体のサイズおよび方向が変更された当該辞書: トリに基づいて上記予測候補を生成するようになっている
ことを特徴とする手書き入力装置。
6 . 請求項 5に記載の手書き入力装置において、
上記表示部( 5 )は、 上記予測候補生成部( 3 )によつて生成された予測候補を表 示する場合には、 当該予測候補における上記検索対象手書き情報に類似している 部分の位置あるいは上記部分が存在していた位置が、 上記検索対象手書き情報の 位置に合うように表示するようになっている
ことを特徴とする手書き入力装置。
7 . 請求項 2に記載の手書き入力装置において、
上記表示部( 5 )は、 上記予測候補選択部( 4 )によつて選択された予測候補を表 示する場合には、 当該選択予測候補の生成に用いられた辞書ェントリにおける上 記検索対象手書き情報に類似している部分のサイズおよび方向の上記検索対象手 書き情報のサイズおよび方向に対するずれの度合を求め、 このずれの度合に応じ て当該選択予測候補全体のサイズおよび方向を変更した後に、 当該選択予測候補 における上記検索対象手書き情報に類似している部分の位置あるいは上記部分が 存在していた位置が、 上記検索対象手書き情報の位置に合うように表示するよう になっている
ことを特徴とする手書き入力装置。
8. 請求項 1に記載の手書き入力装置において、
上記表示部(5 )は、 上記予測候補を、 上記入力手書き情報とは異なる表示形態 で表示するようになっている
ことを特徴とする手書き入力装置。
9 . 請求項 1に記載の手書き入力装置において、
上記予測候捕選択部( 4 )は、 上記表示部( 5 )によつて上記予測候補の近傍に表 示されたポタンあるいはメニューで構成されている
ことを特徴とする手書き入力装置。
1 0 . 請求項 1に記載の手書き入力装置において、
上記予測候補選択部(4 )は、 上記表示部( 5 )によって上記検索対象手書き情報 の筆記終了点の近傍に表示されたボタンあるいはメニユーで構成されている ことを特 ί敷とする手書き入力装置。
1 1 . 請求項 1に記載の手書き入力装置において、
上記予測候補選択部( 4 )は、 上記表示部( 5 )によって上記予測候捕の筆記終了 点の近傍に表示されたボタンあるいはメニユーで構成されている
ことを特徴とする手書き入力装置。
1 2 . 手書きによって手書き情報を入力する入力ステップと、
上記入力された手書き情報に基づいて、 入力を意図している手書き情報の予測 候補を生成する予測候補生成ステツプと、
上記入力された手書き情報および予測候補を表示する表示ステップと、 上記表示された予測候補から所望の予測候補を選択する予測候補選択ステツプ と、
上記選択された予測候補を表示する選択予測候補表示ステツプ
を有することを特徴とする手書き入力方法。
1 3 . 請求項 1 2に記載の手書き入力方法において、
上記予測候補生成ステップは、 上記入力された手書き情報の一部あるいは全て を検索対象手書き情報として、 手書き情報辞書から上記検索対象手書き情報と一 部が類似している辞書ェントリを抽出し、 この抽出された辞書ェントリから上記 検索対象手書き情報に類似している部分を削除することによって入力を意図して いる手書き情報の予測候捕を生成し、
上記表示ステップで表示される手書き情報は、 上記検索対象手書き情報を含み、 上記選択予測候補表示ステップは、 上記選択された予測候補を上記検索対象手 書き情報と共に表示する
ことを特徴とする手書き入力方法。
1 4. 請求項 1 2に記載の手書き入力方法において、
上記予測候補生成ステップは、 上記入力された手書き情報の一部あるいは全て を検索対象手書き情報として、 手書き情報辞書から上記検索対象手書き情報と一 部が類似している辞書エントリを抽出し、 この抽出された辞書エントリに基づい て入力を意図している手書き情報の予測候補を生成し、
上記表示ステップで表示される手書き情報は、 上記検索対象手書き情報を含み、 上記選択予測候補表示ステップは、 上記選択された予測候補から上記検索対象 手書き情報に類似している部分を削除して上記検索対象手書き情報と共に表示す る -'
ことを特徴とする手書き入力方法。
1 5 . 請求項 1 2に記載の手書き入力方法において、
上記予測候補生成ステップは、 上記入力された手書き情報の一部あるいは全て を検索対象手書き情報として、 手書き情報辞書から上記検索対象手書き情報と一 部が類似している辞書ェントリを抽出し、 この抽出された辞書ェントリに基づい て入力を意図している手書き情報の予測候補を生成し、
上記表示ステップで表示される手書き情報は、 上記検索対象手書き情報を含み、 上記選択予測候補表示ステップは、 既に表示されている上記検索対象手書き情 報を非表示状態とした後、 上記選択された予測候捕を表示する
ことを特徴とする手書き入力方法。
1 6 . コンピュータを、
請求項 1における上記入力部,予測候補生成部,表示部および予測候補選択部 として機能させることを特徴とする手書き入力プログラム。
1 7 . 請求項 1 6に記載の手書き入力プログラムが記録されたことを特徴とす るコンピュータ読出し可能なプロダラム記録媒体。
PCT/JP2004/009767 2003-07-03 2004-07-02 手書き入力装置、手書き入力方法、手書き入力プログラム、および、プログラム記録媒体 WO2005004041A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003191169A JP2005025566A (ja) 2003-07-03 2003-07-03 手書き入力装置、手書き入力方法、手書き入力プログラム、および、プログラム記録媒体
JP2003-191169 2003-07-03

Publications (1)

Publication Number Publication Date
WO2005004041A1 true WO2005004041A1 (ja) 2005-01-13

Family

ID=33562350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/009767 WO2005004041A1 (ja) 2003-07-03 2004-07-02 手書き入力装置、手書き入力方法、手書き入力プログラム、および、プログラム記録媒体

Country Status (2)

Country Link
JP (1) JP2005025566A (ja)
WO (1) WO2005004041A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049204A (zh) * 2012-12-17 2013-04-17 上海海知信息技术有限公司 在笔迹图像上移动光标的方法、输入法以及输入系统
CN103218153A (zh) * 2012-12-17 2013-07-24 上海海知信息技术有限公司 一种在笔迹上图像进行换行操作的方法
US9274704B2 (en) 2013-08-02 2016-03-01 Kabushiki Kaisha Toshiba Electronic apparatus, method and storage medium
US9298366B2 (en) 2014-03-28 2016-03-29 Kabushiki Kaisha Toshiba Electronic device, method and computer readable medium
US9606981B2 (en) 2013-11-08 2017-03-28 Kabushiki Kaisha Toshiba Electronic apparatus and method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011115313A1 (ko) * 2010-03-18 2011-09-22 Kim Jin-Wook 터치스크린을 이용한 문자입력방법 및 장치
KR100983194B1 (ko) 2010-03-18 2010-09-20 김진욱 터치스크린을 이용한 문자입력방법 및 장치
JP2013025390A (ja) * 2011-07-15 2013-02-04 Metamoji Corp 手書き入力方法
JP5832980B2 (ja) * 2012-09-25 2015-12-16 株式会社東芝 手書き入力支援装置、方法およびプログラム
JP6189451B2 (ja) * 2013-12-06 2017-08-30 株式会社東芝 手書き文書情報を処理するための電子機器および方法
JP6010253B2 (ja) * 2014-03-11 2016-10-19 株式会社東芝 電子機器、方法およびプログラム
JP6270565B2 (ja) * 2014-03-18 2018-01-31 株式会社東芝 電子機器および方法
JP6062487B2 (ja) * 2015-05-13 2017-01-18 株式会社東芝 電子機器、方法及びプログラム
CN105094381B (zh) * 2015-07-21 2018-01-09 网易(杭州)网络有限公司 一种书写处理方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02186491A (ja) * 1989-01-13 1990-07-20 Toshiba Corp 文字図形認識装置
JPH07225663A (ja) * 1994-02-09 1995-08-22 Fujitsu Ltd 手書情報入力装置
JPH08106513A (ja) * 1994-10-07 1996-04-23 Pfu Ltd 手書き文字認識装置
JPH096893A (ja) * 1995-06-19 1997-01-10 Canon Inc 情報処理装置及び方法
JPH10154224A (ja) * 1996-11-26 1998-06-09 Sharp Corp データ処理装置
JPH10214267A (ja) * 1997-01-29 1998-08-11 Sharp Corp 手書き文字記号処理装置および手書き文字記号処理装置の制御プログラムを記録した媒体
JP2000076302A (ja) * 1998-08-27 2000-03-14 Casio Comput Co Ltd 画像検索方法,画像検索装置および電子スチルカメラ
JP2000148794A (ja) * 1998-08-31 2000-05-30 Canon Inc 画像検索装置及びその方法、コンピュ―タ可読メモリ

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02186491A (ja) * 1989-01-13 1990-07-20 Toshiba Corp 文字図形認識装置
JPH07225663A (ja) * 1994-02-09 1995-08-22 Fujitsu Ltd 手書情報入力装置
JPH08106513A (ja) * 1994-10-07 1996-04-23 Pfu Ltd 手書き文字認識装置
JPH096893A (ja) * 1995-06-19 1997-01-10 Canon Inc 情報処理装置及び方法
JPH10154224A (ja) * 1996-11-26 1998-06-09 Sharp Corp データ処理装置
JPH10214267A (ja) * 1997-01-29 1998-08-11 Sharp Corp 手書き文字記号処理装置および手書き文字記号処理装置の制御プログラムを記録した媒体
JP2000076302A (ja) * 1998-08-27 2000-03-14 Casio Comput Co Ltd 画像検索方法,画像検索装置および電子スチルカメラ
JP2000148794A (ja) * 1998-08-31 2000-05-30 Canon Inc 画像検索装置及びその方法、コンピュ―タ可読メモリ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FUKUSHIMA, S. ET AL.: "Yosoku Pen Nyuryoku Interface to Sono Tegaki Sosa Sakugen Koka", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 37, no. 1, 15 January 1996 (1996-01-15), pages 23 - 30, XP002985319 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049204A (zh) * 2012-12-17 2013-04-17 上海海知信息技术有限公司 在笔迹图像上移动光标的方法、输入法以及输入系统
CN103218153A (zh) * 2012-12-17 2013-07-24 上海海知信息技术有限公司 一种在笔迹上图像进行换行操作的方法
US9274704B2 (en) 2013-08-02 2016-03-01 Kabushiki Kaisha Toshiba Electronic apparatus, method and storage medium
US9606981B2 (en) 2013-11-08 2017-03-28 Kabushiki Kaisha Toshiba Electronic apparatus and method
US9298366B2 (en) 2014-03-28 2016-03-29 Kabushiki Kaisha Toshiba Electronic device, method and computer readable medium

Also Published As

Publication number Publication date
JP2005025566A (ja) 2005-01-27

Similar Documents

Publication Publication Date Title
US20210406578A1 (en) Handwriting-based predictive population of partial virtual keyboards
JP5423525B2 (ja) 手書き入力装置、手書き入力方法及び手書き入力プログラム
EP1435561B1 (en) Method and apparatus for recognizing and associating handwritten information in various languages
JP4742132B2 (ja) 入力装置、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP3744997B2 (ja) 文字認識装置及びその方法
US8659567B2 (en) Electronic device having handwritten mathematical formula recognition function
US20060001656A1 (en) Electronic ink system
WO2005004041A1 (ja) 手書き入力装置、手書き入力方法、手書き入力プログラム、および、プログラム記録媒体
JP2007317022A (ja) 手書文字処理装置及び手書文字処理方法
CN114365075B (zh) 用于选择图形对象的方法和对应装置
CN104272322B (zh) 显示控制装置、以及显示装置的控制方法
US9405558B2 (en) Display-independent computerized guidance
US20150073801A1 (en) Apparatus and method for selecting a control object by voice recognition
JP4393415B2 (ja) 手書き入力装置、手書き入力プログラム、および、プログラム記録媒体
CN101421693B (zh) 使用写来向电子设备输入数据
JP5567097B2 (ja) 電子機器、手書き文書表示方法、及び表示プログラム
JP4817297B2 (ja) 文字検索装置
JP3292752B2 (ja) ジェスチャー処理装置およびジェスチャー処理方法
US7979795B2 (en) System and method for inputting syllables of a phonetic script into a computer
JP2003196593A (ja) 文字認識装置および文字認識方法および文字認識プログラム
JP4148867B2 (ja) 筆跡処理装置
JP4207089B2 (ja) 文章入力装置及び方法
JP4357240B2 (ja) 文字認識装置、文字認識方法、プログラムおよび記憶媒体
KR102677199B1 (ko) 그래픽 객체를 선택하기 위한 방법 및 대응하는 디바이스
JP3591319B2 (ja) 文字入力装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
122 Ep: pct application non-entry in european phase