WO2014103775A1 - 情報処理装置、情報処理方法、及び、プログラム記憶媒体 - Google Patents

情報処理装置、情報処理方法、及び、プログラム記憶媒体 Download PDF

Info

Publication number
WO2014103775A1
WO2014103775A1 PCT/JP2013/083599 JP2013083599W WO2014103775A1 WO 2014103775 A1 WO2014103775 A1 WO 2014103775A1 JP 2013083599 W JP2013083599 W JP 2013083599W WO 2014103775 A1 WO2014103775 A1 WO 2014103775A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
graph
information processing
handwriting
handwritten input
Prior art date
Application number
PCT/JP2013/083599
Other languages
English (en)
French (fr)
Inventor
翼 塚原
山野　郁男
美和 市川
宏之 水沼
嘉人 大木
康之 古賀
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/654,808 priority Critical patent/US10402085B2/en
Priority to JP2014554330A priority patent/JP6287861B2/ja
Priority to EP13868853.6A priority patent/EP2940559A4/en
Publication of WO2014103775A1 publication Critical patent/WO2014103775A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, and a program storage medium, and more particularly, to an information processing apparatus, an information processing method, and a program storage medium that can improve work efficiency when creating a graphic. .
  • a determination criterion character having the highest similarity to a handwritten input character is recognized as an input character.
  • the method is used.
  • Patent Document 1 as a technique for recognizing handwritten characters.
  • Japanese Patent Application Laid-Open No. 2004-133830 proposes to improve the recognition accuracy using the number of strokes of the input handwriting and the stroke number data of the determination reference character by using the character recognition technology.
  • spreadsheet software with a function to create graphs and tables and presentation software are widely used.
  • the user operates the mouse and keyboard to enter numbers in a pre-prepared frame, instruct the creation of a graph, and then specify the number area to be reflected in the graph.
  • the user operates the mouse and keyboard to enter numbers in a pre-prepared frame, instruct the creation of a graph, and then specify the number area to be reflected in the graph.
  • the number area to be reflected in the graph Generally created.
  • tablette pen a user's finger or a pen-shaped input device (hereinafter referred to as “tablet pen”) is often used instead of using a mouse or a keyboard as an input method.
  • the act of creating a graph is a work involving complicated thinking such as trend analysis, and is often a joint work while consulting with others.
  • the operability of the tablet terminal device or the like is poor and the work efficiency decreases, the result of the work can be influenced, so there has been a demand for improvement.
  • the present technology has been made in view of such a situation, and in an electronic apparatus having a display device integrated with a touch panel, it is possible to improve work efficiency when creating graphics such as graphs. It is.
  • An information processing apparatus includes an acquisition unit that acquires the content of handwriting input on a touch panel, and a post-shape obtained by shaping a graphic recognized from the handwriting input according to the content of the handwriting input A display control unit for controlling the display of the graphic.
  • the display control unit displays a figure after shaping according to the parameter input by handwriting.
  • the display control unit displays a shaped graphic reflecting the calculation result of a predetermined function executed based on the parameter.
  • the graphic to be shaped and the parameter are associated with each other according to the line type used for the handwriting input.
  • the display control unit displays a complemented figure obtained by complementing the figure recognized from the handwritten input according to the parameter.
  • the acquisition unit acquires the content of the handwriting input on the screen for handwriting input on the touch panel.
  • the display controller When the display control unit is instructed to return the display of the figure after shaping to the state before shaping, the display controller again displays the contents of the handwritten input before shaping.
  • a recognizing unit that recognizes the content of the handwritten input and a shaping unit that shapes a figure recognized from the handwritten input according to the recognition result of the recognizing unit.
  • the information processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • the information processing method or program storage medium according to one aspect of the present technology is an information processing method or program storage medium corresponding to the information processing apparatus according to one aspect of the present technology.
  • the content of handwritten input to the touch panel is acquired, and a figure recognized from the handwritten input according to the content of the handwritten input.
  • the display of the shaped figure obtained by shaping is controlled.
  • FIG. 1 is a diagram illustrating an appearance of a tablet terminal device to which the present technology is applied.
  • the tablet terminal device 10 has a plate-like housing and is a size that is easy to carry, and therefore can be used regardless of location.
  • the tablet terminal device 10 has a touch panel in which a touch sensor and a display unit are integrated together with a processing function as a computer main body.
  • a touch panel in which a touch sensor and a display unit are integrated together with a processing function as a computer main body.
  • FIG. 2 is a diagram illustrating an internal configuration of a tablet terminal device to which the present technology is applied.
  • the tablet terminal device 10 illustrated in FIG. 1 includes a control unit 101, a memory unit 102, an operation unit 103, a touch panel 104, a speaker 105, a recording unit 106, a communication unit 107, and a power supply unit 108.
  • the control unit 101 controls the operation of each unit of the tablet terminal device 10.
  • the memory unit 102 temporarily stores various data according to the control from the control unit 101.
  • the operation unit 103 is a button or the like provided on the tablet terminal device 10 and supplies an operation signal to the control unit 101 in accordance with a user operation.
  • the control unit 101 controls the operation of each unit in response to an operation signal from the operation unit 103.
  • the touch panel 104 includes a display unit 151 and a touch sensor 152 superimposed on the screen.
  • the display unit 151 is configured by a liquid crystal display (LCD: Liquid Crystal Display) or the like, and displays various types of information according to control from the control unit 101.
  • the touch sensor 152 detects a handwriting input operation performed on the touch panel 104 using the tablet pen 20 or the like together with a position on the touch panel 104 where the operation is performed, and controls the detection signal. Supplied to the unit 101.
  • the touch sensor 152 for example, an operation of bringing the tablet pen 20 into contact with the surface of the touch panel 104, or an operation of moving the tablet pen 20 in contact with the surface of the touch panel 104. There are operations such as releasing the tablet pen 20 from the surface of the touch panel 104.
  • the touch panel 104 can employ various detection methods such as a capacitance method and an electromagnetic induction method.
  • the speaker 105 outputs sound in accordance with control from the control unit 101.
  • the recording unit 106 includes, for example, an HDD (Hard Disk Disk Drive) or the like.
  • the recording unit 106 records various data according to control from the control unit 101.
  • the communication unit 107 communicates with various servers (not shown) via a network according to the control from the control unit 101.
  • the power supply unit 108 supplies power supplied from a storage battery or an external power supply to each unit including the control unit 101.
  • the tablet terminal device 10 is configured as described above.
  • FIG. 3 is a diagram illustrating a functional configuration example of the control unit 101 in FIG.
  • control unit 101 includes a handwritten input content acquisition unit 171, a handwriting input recognition unit 172, an arithmetic processing unit 173, a complementing processing unit 174, a shaping conversion processing unit 175, and a display control unit 176.
  • the control unit 101 includes a handwritten input content acquisition unit 171, a handwriting input recognition unit 172, an arithmetic processing unit 173, a complementing processing unit 174, a shaping conversion processing unit 175, and a display control unit 176.
  • the handwritten input content acquisition unit 171 acquires the content of the handwritten input to the touch panel 104 based on the detection signal from the touch sensor 152 and supplies the content to the handwritten input recognition unit 172.
  • the handwriting input recognition unit 172 recognizes the contents of the handwriting input from the handwriting input content acquisition unit 171, and the results of the recognition are processed by each processing unit of the arithmetic processing unit 173, the complement processing unit 174, and the shaping conversion processing unit 175. To supply.
  • the calculation processing unit 173 performs predetermined calculation processing based on the recognition result from the handwriting input recognition unit 172, and supplies the calculation result to the shaping conversion processing unit 175 or the display control unit 176.
  • the complement processing unit 174 performs predetermined complement processing based on the recognition result from the handwriting input recognition unit 172, and supplies the complement result to the shaping conversion processing unit 175.
  • the shaping conversion processing unit 175 shapes the graph recognized from the handwriting input based on the recognition result from the handwriting input recognition unit 172, and supplies the graph to the display control unit 176.
  • the shaping conversion processing unit 175 is supplied with at least one of the calculation result from the calculation processing unit 173 or the completion result from the complement processing unit 174.
  • the graph recognized from the handwritten input is shaped based on the result.
  • the display control unit 176 causes the display unit 151 to display the graph after shaping from the shaping conversion processing unit 175. In addition, the display control unit 176 causes the display unit 151 to display the calculation result from the calculation processing unit 173.
  • the control unit 101 is configured as described above.
  • FIG. 4 is a diagram for explaining a usage example 1 of the tablet terminal device 10.
  • the presentation software is activated and the graph already explained in the presentation is displayed (S11).
  • the user inputs a pie chart by handwriting using the tablet pen 20
  • a graph g1 corresponding to the handwriting input is displayed on the touch panel 104 (S12).
  • this graph g1 is composed of three fan-shaped areas, it is input by handwriting with the tablet pen 20, so it is not a complete circle, and the length of each circular arc is the ratio of the input numerical value. It is not proportional to. In other words, “40” is input as the ratio to the first sector area, “52” is input as the ratio to the second sector area, and the remaining sector areas are input to the remaining sector area. Although no numerical value has been input, it is estimated that “8” should be input as the ratio from the relationship with the numerical values input to other areas. In addition, the length of the fan-shaped arc input by handwriting is not proportional to the ratio of those numerical values.
  • a button 211 for instructing the shaping conversion of the graph input by handwriting is displayed on the touch panel 104.
  • the user operates the button 211 on the touch panel 104 using the tablet pen 20 (S13).
  • the tablet terminal device 10 When the operation of the button 211 is performed, the tablet terminal device 10 performs recognition processing of a numerical value or graph input by handwriting and arithmetic processing according to the numerical value, and further performs shaping conversion of the graph g1 input by handwriting. The Thereby, the touch panel 104 displays a graph g2 obtained by shaping and converting the handwritten input graph g1 (S14).
  • the graph g2 after this shaping conversion is a complete circle, and the length of each sector-shaped arc is proportional to the ratio of the numerical values input to the area.
  • “40” is displayed in the first sector area
  • “52” is displayed in the second sector area
  • “8” is also displayed in the remaining sector areas. Is complemented and displayed.
  • FIG. 5 is a diagram for explaining a usage example 2 of the tablet terminal device 10.
  • a button 221 for returning the shaped and converted graph to the original handwritten input state is displayed on the touch panel 104.
  • the user operates the button 221 on the touch panel 104 using the tablet pen 20 (S23).
  • the tablet terminal device 10 displays the graph g1 again instead of the graph g2 (S24). That is, since the data of the graph g1 input by handwriting is temporarily stored in the memory unit 102, when the button 221 is operated, the data is read out and redisplayed on the touch panel 104. It will be.
  • the button 211 may be operated again. Thereby, the precision of the graph preparation in the tablet terminal device 10 can be raised.
  • the tablet terminal device 10 can display a pie chart that has been clarified by rough handwriting input and simple operation. Since it can be displayed and the pie chart that has been clarified can be corrected, the work efficiency at the time of creating the graph can be improved. As a result, it is possible to facilitate communication in the presentation. Further, since the graph can be created using the tablet pen 20 instead of operating the software keyboard and icons, the intuitiveness of the operation can be improved.
  • FIG. 8 is a diagram for explaining a usage example 3 of the tablet terminal device 10.
  • the presentation software is activated and the graph already explained in the presentation is displayed (S31).
  • the calculation information f1 corresponding to the handwritten input is displayed on the touch panel 104 (S32).
  • the calculation information includes, for example, a function such as an operator and its parameters, but it is also possible to specify only the parameters by setting a predetermined function in advance.
  • a button 211 for instructing a graph shaping conversion is displayed on the touch panel 104.
  • the user operates the button 211 on the touch panel 104 using the tablet pen 20 (S33).
  • the tablet terminal device 10 When the operation of the button 211 is performed, the tablet terminal device 10 performs a calculation process according to the calculation information input by handwriting, and the calculation result is reflected in the graph. Specifically, since “ ⁇ 2” is input by hand in the upper area of the second bar graph from the left, an operation for doubling the value of the second bar graph from the left is performed. The graph is transformed. Thereby, the graph g7 in which the calculation result is reflected is displayed on the touch panel 104 (S34).
  • FIG. 9 shows a specific example in which “ ⁇ 2” is input by handwriting in a predetermined area above the rightmost bar graph among the three bar graphs displayed on the touch panel 104. .
  • the calculation of doubling the value of the rightmost bar graph is performed according to the calculation information f2, and the graph g8 in which the value of the bar graph is increased from “25” to “50” is displayed.
  • the calculation result is reflected on the graph prepared in advance.
  • the calculation result may be reflected on the bar graph input by handwriting.
  • FIG. 10 when a graph g9 including three bar graphs is input by handwriting, “ ⁇ 2” is input by handwriting in a predetermined area corresponding to the rightmost bar graph.
  • an operation for doubling the value of the rightmost bar graph is performed.
  • the calculation result is reflected, and the value of the rightmost graph increases from “25” to “50”.
  • FIG. 11 is a diagram for explaining a usage example 4 of the tablet terminal device 10.
  • the presentation software is activated and the graph already explained in the presentation is displayed (S41).
  • the user uses the tablet pen 20 to display “ ⁇ 2” as the first line type in a predetermined area above the second bar graph from the left among the eight bar graphs displayed on the touch panel 104.
  • “Is input by handwriting” calculation information f4 corresponding to the handwriting input is displayed on the touch panel 104.
  • calculation information f5 corresponding to the handwriting input is displayed on the touch panel 104.
  • a button 211 for instructing a graph shaping conversion is displayed on the touch panel 104.
  • the user operates the button 211 on the touch panel 104 using the tablet pen 20 (S43).
  • the tablet terminal device 10 When the operation of the button 211 is performed, the tablet terminal device 10 performs a calculation process according to the calculation information input by handwriting with a specific line type among the plurality of calculation information input by handwriting, and further the calculation result Is reflected in the graph. Specifically, when a red line is set as the specific line type, “ ⁇ 2” is input by hand as a red line in a predetermined area of the seventh bar graph from the left. According to f5, an operation for doubling the value of the seventh bar graph from the left is performed, and the graph is shaped and converted according to the operation result. Thereby, the graph g11 in which the calculation result is reflected is displayed on the touch panel 104 (S44).
  • the specific line type is not limited to the color, but may be any type that can specify the calculation target by associating the graph with the calculation information such as the thickness of the line or the type of line such as a solid line or a broken line.
  • the specific line type is set on a predetermined setting screen and can be changed as appropriate.
  • the operation information for example, “ ⁇ 2”
  • a desired operation result with a specific line type for example, a red line
  • the graph reflecting the calculation result can be displayed, the work efficiency at the time of creating the graph can be improved.
  • FIG. 12 is a diagram for explaining a usage example 5 of the tablet terminal device 10.
  • the presentation software is activated and the graph already explained in the presentation is displayed (S51).
  • a layer 231 for handwriting input is displayed (S52).
  • the handwriting input layer 231 is translucent and is superimposed on a part of the presentation graph, so that the graph or the like can be input by handwriting.
  • the flick operation refers to an operation of placing a finger on a desired area on the touch panel 104 and sliding the finger in a predetermined direction. In the example of FIG. 12, since the finger on the touch panel 104 is slid leftward, the left flick operation is performed.
  • a button 211 for instructing a graph shaping conversion is displayed on the touch panel 104.
  • the user operates the button 211 on the touch panel 104 using the tablet pen 20 (S54).
  • the tablet terminal device 10 When the operation of the button 211 is performed, the tablet terminal device 10 performs recognition processing of a numerical value or graph input by handwriting and arithmetic processing according to the numerical value, and further, the graph g12 input by handwriting is shaped and converted. The Thereby, on the touch panel 104, a graph g13 obtained by shaping and converting the graph g12 input by handwriting is displayed on the layer 231.
  • the usage example 5 it is possible to display the graph subjected to the shaping conversion on the layer 231 by inputting the graph on the layer 231 displayed on the touch panel 104 by handwriting. That is, from the user's point of view, when creating a new graph, the layer 231 is displayed, and if a rough graph is handwritten on the layer 231, the one printed on the tablet terminal device 10 is displayed. As a result, work efficiency when creating graphs can be improved. In addition, even when there is no space for displaying a graph on the touch panel 104, handwriting input can be performed on the layer 231, so that the graph can be surely input by hand and a clear graph can be displayed.
  • the layer 231 may have a predetermined transmittance as shown in FIG. 12, but the layer 231 may not be transmitted at all and the graph displayed in the lower layer of the layer 231 may not be visible. . In this case, only the graph input by handwriting is displayed on the layer 231.
  • the graph is mainly described as the object of the shaping conversion.
  • the calculation result may be displayed. Good. For example, when 3 ⁇ ⁇ 2 / 2 is input by handwriting, 2.12... As the calculation result is displayed together with the calculation formula.
  • the presentation software is described as an example of the graph creation software executed by the tablet terminal device 10; however, other software capable of creating a graph such as spreadsheet software may be used. Also good.
  • step S ⁇ b> 111 the handwritten input content acquisition unit 171 determines whether or not handwriting input by the tablet pen 20 on the touch panel 104 has started based on the detection signal from the touch sensor 152. However, as shown in Usage Example 5 in FIG. 12, handwriting input may be performed on the layer 231 for handwriting input. Here, after the start of handwriting input, the process proceeds to step S112.
  • step S112 the handwritten input content acquisition unit 171 acquires the content of the handwritten input based on the detection signal from the touch sensor 152.
  • step S113 the handwritten input content acquisition unit 171 determines whether or not the handwriting input by the tablet pen 20 on the touch panel 104 has ended based on the detection signal from the touch sensor 152.
  • step S113 If it is determined in step S113 that the handwriting input has not been completed, the process returns to step S112, and the subsequent processes are repeated. That is, the handwritten input content acquisition unit 171 continues to acquire the content of the handwritten input from the start to the end of the handwritten input. And when handwriting input is complete
  • step S114 the control unit 101 determines based on the detection signal from the touch sensor 152 whether or not the button 211 for instructing the shaping conversion of the handwritten input graph has been operated.
  • step S114 If it is determined in step S114 that the button 211 has not been operated, further handwriting input is performed, so the process returns to step S111 and the subsequent processes are repeated. Note that the handwritten input data acquired by the handwritten input content acquisition unit 171 is prepared in response to an instruction to redisplay the handwritten input state by operating the button 221, as shown in Usage Example 2 of FIG. 5. Stored in the memory unit 102. If it is determined in step S114 that the button 211 has been operated, the process proceeds to step S115.
  • step S114 the operation of the button 211 displayed on the touch panel 104 is set as the determination condition.
  • the operation is not limited to the operation of the button 211, and the graph inputted by hand according to the predetermined operation on the tablet terminal device 10 is used. An instruction for shaping conversion may be performed.
  • step S115 the handwriting input recognition unit 172 recognizes the content of the handwriting input acquired by the handwriting input content acquisition unit 171.
  • the recognition processing of the contents of handwritten input for example, processing for distinguishing characters and graphs, character recognition, recognition of individual figures, recognition processing of a figure composed of a plurality of figures, and the like are performed.
  • the figure given as teacher data and the figure handwritten by the user are both mapped to the feature parameter space, and the figure of the teacher data closest to the figure handwritten in the space is returned as the recognition result.
  • the feature amount generally, the angle of the line at the start point / end point, the distance between the start point and the end point, the total length of the stroke of the input handwriting, and the like are used (for example, see Non-Patent Document 1 below).
  • Non-Patent Document 1 Rubine Algorithm “Rubine, D.”: “Specifying” Gestures “by Example”, “In Proc.” Of “ACM” SIGGRAPH “91” (1991), “pp.” 329-337.
  • a method for recognizing the contents of handwritten input for example, a pattern recognition method (for example, see Japanese Patent Publication No. 7-107708) or a method for calculating an angle histogram distribution (for example, see Japanese Patent No. 3046472). These known techniques may be used.
  • step S116 the handwriting input recognition unit 172 determines whether or not a graph is included in the contents of the handwriting input based on the recognition result in step S115. If it is determined in step S116 that the handwritten input includes a graph, the process proceeds to step S117.
  • step S117 the calculation processing unit 173 determines whether calculation information is included in the content of the handwritten input based on the recognition result in step S115. If it is determined in step S117 that calculation information (for example, “ ⁇ 2”) such as a function and its parameters is included, the process proceeds to step S118.
  • calculation information for example, “ ⁇ 2”
  • step S118 the calculation processing unit 173 performs a predetermined calculation process based on the calculation information input by handwriting. For example, as shown in Usage Example 3 in FIG. 8, when “ ⁇ 2” is input in a predetermined area on the touch panel 104, an operation for doubling the value of the target bar graph is performed.
  • step S118 ends, the process proceeds to step S119. If it is determined in step S117 that the calculation information is not included in the contents of the handwritten input, the calculation process in step S118 is skipped, and the process proceeds to step S119.
  • step S119 the complement processing unit 174 determines whether or not the handwritten input graph can be complemented based on the recognition result in step S115. If it is determined in step S119 that the graph can be complemented, the process proceeds to step S120.
  • step S120 the complement processing unit 174 performs predetermined complement processing on the graph input by handwriting. For example, as shown in Usage Example 1 in FIG. 4, when there is an area where a ratio is not input among the fan-shaped areas of the pie chart input by handwriting, a numerical value indicating the ratio to be input to the area (Eg “8”) is complemented.
  • step S120 When the complementing process in step S120 ends, the process proceeds to step S121. If it is determined in step S119 that the graph cannot be complemented, the complementing process in step S120 is skipped, and the process proceeds to step S121.
  • step S121 the shaping conversion processing unit 175 determines whether or not the handwritten input graph can be shaped based on the recognition result in step S115. If it is determined in step S121 that the handwritten input graph can be shaped, the process proceeds to step S122.
  • step S122 the shaping conversion processing unit 175 performs predetermined shaping conversion processing on the graph input by handwriting.
  • the handwritten pie chart is not a complete circle, and the length of each circular arc is not proportional to the input numerical ratio. In this case, it is a perfect circle, and the length of each circular arc is shaped and converted into a pie chart that is proportional to the ratio of numerical values input to the area.
  • step S122 When the shaping conversion process in step S122 is completed, the process proceeds to step S123. If it is determined in step S121 that the graph cannot be shaped, the shaping conversion process in step S122 is skipped, and the process proceeds to step S123.
  • step S123 the display control unit 176 displays a graph on which various processes have been performed on the display unit 151. That is, the graph displayed on the display unit 151 is a graph on which at least one of the arithmetic processing in step S118, the complementing processing in step S120, and the shaping conversion processing in step S122 has been performed.
  • the graph after the shaping conversion in Usage Example 1 (S14 in FIG. 4), the graph reflecting the calculation result in Usage Example 3 (S34 in FIG. 8), and the handwriting input with the specific line type in Usage Example 4
  • a graph in which only the calculated calculation information reflects the calculation result (S44 in FIG. 11) or a graph after shaping conversion on the handwriting input layer 231 in Usage Example 5 (S55 in FIG. 12) is displayed on the display unit 151. Will be displayed.
  • the display control is performed.
  • the unit 176 reads the handwritten input data held in the memory unit 102 and causes the display unit 151 to redisplay the handwritten input state graph.
  • step S116 If it is determined in step S116 that the content of the handwritten input does not include a graph, the process proceeds to step S124.
  • step S124 the arithmetic processing unit 173 determines whether or not arithmetic information is included in the contents of the handwritten input. If it is determined in step S124 that the calculation information is included in the content of the handwritten input, the process proceeds to step S125.
  • step S125 the calculation processing unit 173 performs predetermined calculation processing based on the calculation information input by handwriting.
  • the process proceeds to step S123.
  • step S123 the display control unit 176 displays the result of the arithmetic processing in step S125 on the display unit 151. As a result, the calculation result as shown in FIG. 13 is displayed on the touch panel 104.
  • step S124 when it is determined that the calculation information is not included in the contents of the handwritten input, the process returns to step S111, and the subsequent processes are repeated.
  • control unit 101 may acquire only a processing result by the server via a network such that a predetermined server (not shown) executes.
  • the handwriting input shaping conversion process when handwriting input is performed, at least one of the calculation process in step S118, the complementing process in step S120, and the shaping conversion process in step S122 is performed. Since the written graph is displayed, the work efficiency at the time of creating the graph can be improved.
  • a pie chart and a bar chart have been described as examples, but other than that, a cylindrical bar, a cone or a pyramid shaped vertical bar chart, a horizontal bar chart, a line chart, an area chart, a scatter chart, Candlestick charts, bubble charts, contour graphs, donut charts, radar graphs and the like can be targeted.
  • numerical values and operators have been described as examples of parameters for shaping graphics such as graphs. However, other parameters such as characters or symbols, or combinations thereof are included. Also good.
  • the tablet terminal device has been described as an example.
  • the present technology is not limited thereto, and the present technology can be applied to an electronic device having a touch panel such as a mobile phone, a smart phone, and a personal computer.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 15 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 315 is further connected to the bus 314.
  • An input unit 316, an output unit 317, a recording unit 318, a communication unit 319, and a drive 320 are connected to the input / output interface 315.
  • the input unit 316 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 317 includes a display, a speaker, and the like.
  • the recording unit 318 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 319 includes a network interface or the like.
  • the drive 320 drives a removable medium 321 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 311 loads the program stored in the recording unit 318 to the RAM 313 via the input / output interface 315 and the bus 314 and executes the program, as described above. A series of processing is performed.
  • the program executed by the computer 300 can be provided by being recorded on a removable medium 321 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 318 via the input / output interface 315 by attaching the removable medium 321 to the drive 320.
  • the program can be received by the communication unit 319 via a wired or wireless transmission medium and installed in the recording unit 318.
  • the program can be installed in the ROM 312 or the recording unit 318 in advance.
  • the program executed by the computer 300 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as when the call is performed in parallel. It may be a program in which processing is performed.
  • processing steps for describing a program for causing the computer 300 to perform various processes do not necessarily have to be processed in time series in the order described in the flowchart, and may be performed in parallel or individually. (For example, parallel processing or object processing).
  • the program may be processed by one computer, or may be processed in a distributed manner by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above-described flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can take the following structures.
  • An acquisition unit for acquiring contents of handwritten input on the touch panel An information processing apparatus comprising: a display control unit that controls display of a shaped graphic obtained by shaping a graphic recognized from the handwritten input according to the content of the handwritten input.
  • a display control unit controls display of a shaped graphic obtained by shaping a graphic recognized from the handwritten input according to the content of the handwritten input.
  • the display control unit displays a figure after shaping according to the parameter input by handwriting.
  • the display control unit displays a shaped graphic reflecting a calculation result of a predetermined function executed based on the parameter.
  • the graphic to be shaped and the parameter are associated with each other according to a line type used for the handwriting input.
  • a recognition unit for recognizing the content of the handwritten input The information processing apparatus according to any one of (1) to (7), further including: a shaping unit that shapes a figure recognized from the handwritten input according to a recognition result of the recognition unit.
  • the information processing apparatus is Get the contents of handwriting input on the touch panel, An information processing method including a step of controlling display of a shaped graphic obtained by shaping a graphic recognized from the handwritten input according to the content of the handwritten input.
  • (10) Computer An acquisition unit for acquiring contents of handwritten input on the touch panel;
  • a program storage storing a program that functions as a display control unit that controls display of a shaped figure obtained by shaping a figure recognized from the handwritten input according to the content of the handwritten input Medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Character Discrimination (AREA)

Abstract

　本技術は、図形作成時の作業効率を向上させることができるようにする情報処理装置、情報処理方法、及び、プログラム記憶媒体に関する。 手書き入力内容取得部は、タッチパネルに対する手書き入力の内容を取得し、表示制御部は、手書き入力内容取得部により取得された手書き入力の内容に応じて、その手書き入力から認識される図形を整形して得られる整形後の図形の表示を制御する。本技術は、例えば、タッチパネルを有するタブレット端末装置に適用することができる。

Description

情報処理装置、情報処理方法、及び、プログラム記憶媒体
　本技術は、情報処理装置、情報処理方法、及び、プログラム記憶媒体に関し、特に、図形作成時の作業効率を向上させることができるようにした情報処理装置、情報処理方法、及び、プログラム記憶媒体に関する。
　近年、タブレット端末装置に代表される、タッチパネルと一体化された表示装置を備えた電子機器の普及に伴い、タッチパネルによって手書き入力された文字や絵柄などを認識するための技術が種々開発、実用化されている。
　手書き入力された文字を認識するための技術としては、例えば、あらかじめ用意された判定基準文字のうち、手書き入力された文字と類似度が最も高い判定基準文字を、入力された文字として認識するなどの手法が用いられる。
　また、本出願人は、手書き入力された文字を認識するための技術として、特許文献１を開示している。特許文献１では、文字認識技術を用いて、入力筆跡のストローク数や判定基準文字の画数データを用いて、その認識精度を向上させることを提案している。
　一方、グラフや表を作成する機能を備えた表計算のソフトウェアや、プレゼンテーション用のソフトウェアが広く普及している。この種のソフトウェアでは、ユーザがマウスやキーボードを操作して、あらかじめ用意された枠内に数字を入力してグラフ作成の指示をし、さらにグラフに反映させる数字領域を指定することで、グラフが作成されるのが一般的である。
特開平９－５０４９０号公報
　ところで、タブレット端末装置などにおいては、入力方法としてマウスやキーボードを用いるのではなく、ユーザの指やペン形状の入力装置（以下、「タブレット用ペン」という）を用いることが多くなる。
　このような指やタブレット用ペンを用いて前述のようにグラフを作成する場合に、表示装置の画面上に表示されたソフトウェアキーボードやアイコンを、指やタブレット用ペンを用いて操作していたのでは、操作の直観性と作業効率が著しく低下してしまう。
　特に、グラフを作成するという行為は、傾向分析などの複雑な思考を伴う作業であり、他者と相談しながらの共同作業となることが多い。そういった作業においてタブレット端末装置などの操作性が悪いがゆえに作業効率が低下してしまうことは、作業の結果を左右しうることであるため、それを改善したいという要求があった。
　本技術はこのような状況に鑑みてなされたものであり、タッチパネルと一体化された表示装置を備えた電子機器において、グラフなどの図形作成時の作業効率を向上させることができるようにするものである。
　本技術の一側面の情報処理装置は、タッチパネルに対する手書き入力の内容を取得する取得部と、前記手書き入力の内容に応じて、前記手書き入力から認識される図形を整形して得られる整形後の図形の表示を制御する表示制御部とを備える。
　前記表示制御部は、前記手書き入力されるパラメータに応じた整形後の図形を表示させる。
　前記表示制御部は、前記パラメータに基づき実行される所定の関数の演算結果が反映された整形後の図形を表示させる。
　整形対象の図形と前記パラメータとは、前記手書き入力に用いられた線種によって関連付けられている。
　前記表示制御部は、前記手書き入力から認識される図形を、前記パラメータに応じて補完して得られる補完後の図形を表示させる。
　前記取得部は、前記タッチパネル上の手書き入力用の画面に対する前記手書き入力の内容を取得する。
　前記表示制御部は、整形後の図形の表示を整形前の状態に戻すための指示がされた場合、整形前の前記手書き入力の内容を再度表示させる。
　前記手書き入力の内容を認識する認識部と、前記認識部の認識の結果に応じて、前記手書き入力から認識される図形を整形する整形部とをさらに備える。
　情報処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
　本技術の一側面の情報処理方法又はプログラム記憶媒体は、前述の本技術の一側面の情報処理装置に対応する情報処理方法又はプログラム記憶媒体である。
　本技術の一側面の情報処理装置、情報処理方法、及び、プログラム記憶媒体においては、タッチパネルに対する手書き入力の内容が取得され、前記手書き入力の内容に応じて、前記手書き入力から認識される図形を整形して得られる整形後の図形の表示が制御される。
　本技術の一側面によれば、図形作成時の作業効率を向上させることができる。
本技術を適用したタブレット端末装置の外観を示す図である。 本技術を適用したタブレット端末装置の内部構成を示す図である。 制御部の機能的構成例を示す図である。 タブレット端末装置の使用例１を説明するための図である。 タブレット端末装置の使用例２を説明するための図である。 グラフの整形変換の具体例を示す図である。 グラフの整形変換の具体例を示す図である。 タブレット端末装置の使用例３を説明するための図である。 グラフの整形変換の具体例を示す図である。 グラフの整形変換の具体例を示す図である。 タブレット端末装置の使用例４を説明するための図である。 タブレット端末装置の使用例５を説明するための図である。 その他の使用例を説明するための図である。 手書き入力整形変換処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。
＜タブレット端末装置の外観と構成＞
　図１は、本技術を適用したタブレット端末装置の外観を示す図である。
　図１に示すように、タブレット端末装置１０は、板状の筐体からなり、持ち運びがしやすいサイズであるため、場所を選ばずに使用することができる。
　また、タブレット端末装置１０は、コンピュータ本体としての処理機能とともに、タッチセンサと表示部とが一体化されたタッチパネルを有している。このタッチパネルに対して、ユーザの指やタブレット用ペン２０によって手書き入力が行われると、タブレット端末装置１０では、当該手書き入力の内容に応じた各種の処理が行われる。
　図２は、本技術を適用したタブレット端末装置の内部構成を示す図である。
　図２に示すように、図１のタブレット端末装置１０は、制御部１０１、メモリ部１０２、操作部１０３、タッチパネル１０４、スピーカ１０５、記録部１０６、通信部１０７、及び、電源部１０８から構成される。
　制御部１０１は、タブレット端末装置１０の各部の動作を制御する。メモリ部１０２は、制御部１０１からの制御に従い、各種のデータを一時的に保持する。
　操作部１０３は、タブレット端末装置１０に設けられたボタン等であり、ユーザの操作に応じて操作信号を制御部１０１に供給する。制御部１０１は、操作部１０３からの操作信号に応じて、各部の動作を制御する。
　タッチパネル１０４は、表示部１５１と、その画面上に重畳されるタッチセンサ１５２とから構成される。表示部１５１は、液晶ディスプレイ（LCD：Liquid Crystal Display）等で構成され、制御部１０１からの制御に従い、各種の情報を表示する。また、タッチセンサ１５２は、タブレット用ペン２０などを用いてタッチパネル１０４に対して行われる手書き入力操作を、その操作が行われた場所のタッチパネル１０４上での位置とともに検出し、その検出信号を制御部１０１に供給する。
　ここで、タッチセンサ１５２によって検出される手書き入力操作には、例えば、タブレット用ペン２０をタッチパネル１０４の表面に接触させる操作や、タブレット用ペン２０をタッチパネル１０４の表面に接触させたまま移動させる操作、タブレット用ペン２０をタッチパネル１０４の表面から離す操作などがある。
　なお、タッチパネル１０４では、例えば、静電容量方式や電磁誘導方式などの各種の検出方式を採用することができる。
　スピーカ１０５は、制御部１０１からの制御に従い、音声を出力する。記録部１０６は、例えばHDD（Hard Disk Drive）等から構成される。記録部１０６は、制御部１０１からの制御に従い、各種のデータを記録する。
　通信部１０７は、制御部１０１からの制御に従い、ネットワークを介して各種のサーバ（不図示）と通信を行う。電源部１０８は、蓄電池又は外部電源から得られる電源電力を、制御部１０１を含む各部に供給する。
　タブレット端末装置１０は、以上のように構成される。
＜制御部の機能的構成例＞
　図３は、図２の制御部１０１の機能的構成例を示す図である。
　図３に示すように、制御部１０１は、手書き入力内容取得部１７１、手書き入力認識部１７２、演算処理部１７３、補完処理部１７４、整形変換処理部１７５、及び、表示制御部１７６から構成される。
　手書き入力内容取得部１７１は、タッチセンサ１５２からの検出信号に基づいて、タッチパネル１０４に対する手書き入力の内容を取得し、手書き入力認識部１７２に供給する。
　手書き入力認識部１７２は、手書き入力内容取得部１７１からの手書き入力の内容を認識し、その認識の結果を、演算処理部１７３、補完処理部１７４、及び、整形変換処理部１７５の各処理部に供給する。
　演算処理部１７３は、手書き入力認識部１７２からの認識の結果に基づいて、所定の演算処理を行い、その演算の結果を、整形変換処理部１７５又は表示制御部１７６に供給する。
　補完処理部１７４は、手書き入力認識部１７２からの認識の結果に基づいて、所定の補完処理を行い、その補完の結果を、整形変換処理部１７５に供給する。
　整形変換処理部１７５は、手書き入力認識部１７２からの認識の結果に基づいて、手書き入力から認識されるグラフを整形し、表示制御部１７６に供給する。また、整形変換処理部１７５は、手書き入力認識部１７２からの認識の結果のほか、演算処理部１７３からの演算の結果、又は、補完処理部１７４からの補完の結果の少なくとも一方が供給された場合、それらの結果に基づいて、手書き入力から認識されるグラフを整形する。
　表示制御部１７６は、整形変換処理部１７５からの整形後のグラフを、表示部１５１に表示させる。また、表示制御部１７６は、演算処理部１７３からの演算の結果を、表示部１５１に表示させる。
　制御部１０１は、以上のように構成される。
＜具体的な使用例＞
　次に、図４乃至図１３を参照して、タブレット端末装置１０の使用方法について説明する。ここでは、その具体的な使用方法として、プレゼンテーションを行った後に、タブレット端末装置１０を使用した質疑応答などが行われる場面を想定している。その際、タブレット端末装置１０では、プレゼンテーションソフトウェアが起動しており、プレゼンテーションで説明済みのグラフがタッチパネル１０４に表示されている。このような状況で、タッチパネル１０４に表示中のグラフに対する、タブレット用ペン２０を用いた手書き入力が行われるものとする。
（使用例１）
　図４は、タブレット端末装置１０の使用例１を説明するための図である。
　タブレット端末装置１０では、プレゼンテーションソフトウェアが起動され、プレゼンテーションで説明済みのグラフが表示されている（Ｓ１１）。この状態で、ユーザがタブレット用ペン２０を用いて、円グラフを手書き入力すると、タッチパネル１０４上には、手書き入力に応じたグラフｇ１が表示される（Ｓ１２）。
　このグラフｇ１は３つの扇形の領域からなるが、タブレット用ペン２０によって手書き入力されたものであるため、完全な円とはならず、さらに各扇形の円弧の長さは入力された数値の割合に比例するものでもない。つまり、ここでは、１つ目の扇形の領域にはその割合として「40」が入力され、２つ目の扇形の領域にはその割合として「52」が入力され、残りの扇形の領域には数値が入力されていないが、他の領域に入力された数値との関係から、その割合として「8」が入力されるべきであることが推定される。また、手書き入力された扇形の円弧の長さは、それらの数値の割合に比例にしていない。
　ここで、タブレット端末装置１０に対する所定の操作が行われると、タッチパネル１０４上には、手書き入力されたグラフの整形変換を指示するためのボタン２１１が表示される。ユーザは、タブレット用ペン２０を用いて、タッチパネル１０４上のボタン２１１の操作を行う（Ｓ１３）。
　ボタン２１１の操作が行われると、タブレット端末装置１０では、手書き入力された数値やグラフなどの認識処理と、数値に応じた演算処理とが行われ、さらに手書き入力されたグラフｇ１が整形変換される。これにより、タッチパネル１０４には、手書き入力されたグラフｇ１を整形変換して得られるグラフｇ２が表示される（Ｓ１４）。
　この整形変換後のグラフｇ２は、完全な円であって、各扇形の円弧の長さはその領域に入力された数値の割合に比例するものとなる。また、手書き入力されたグラフｇ１では、1つ目の扇形の領域に「40」、２つ目の扇形の領域に「52」がそれぞれ表示され、さらに残りの扇形の領域にも、「8」が補完されて表示される。
　このように、使用例１では、タッチパネル１０４上に円グラフを手書き入力することで、その円グラフを整形変換して得られる円グラフを表示させることが可能となる。また、パラメータとして入力された数値が不足している場合には、それを補完した上で整形変換された円グラフが表示される。すなわち、ユーザとしては大雑把なグラフさえ手書き入力すれば、タブレット端末装置１０側で清書されたグラフを表示してくれるので、グラフ作成時の作業効率を向上させることができる。
（使用例２）
　図５は、タブレット端末装置１０の使用例２を説明するための図である。
　図５の使用例２のＳ２１，Ｓ２２においては、図４の使用例１のＳ１３，Ｓ１４と同様に、グラフｇ１が手書き入力された後にボタン２１１が操作され（Ｓ２１）、整形変換後のグラフｇ２が表示される（Ｓ２２）。
　ここで、タブレット端末装置１０に対する所定の操作が行われると、タッチパネル１０４上には、整形変換されたグラフを元の手書き入力の状態に戻すためのボタン２２１が表示される。ユーザは、タブレット用ペン２０を用いて、タッチパネル１０４上のボタン２２１の操作を行う（Ｓ２３）。
　ボタン２２１の操作が行われると、タブレット端末装置１０では、グラフｇ２の代わりに、グラフｇ１が再度表示される（Ｓ２４）。すなわち、手書き入力されたグラフｇ１のデータは、メモリ部１０２に一時的に保持されているので、ボタン２２１が操作された場合にはそこからデータが読み出され、タッチパネル１０４上に再表示されることになる。
　このように、使用例２では、ボタン２２１の操作によって、円グラフの表示状態を、整形変換後の状態から、手書き入力されたときの状態に戻すことが可能となる。すなわち、例えば、清書されたグラフｇ２を表示したあとに、グラフが間違っていたときや修正を加えたいときなどに、グラフｇ１を再表示して、再度手書き入力を加えることが可能となる。そして、修正後の円グラフを整形変換したい場合にはボタン２１１を再度操作すればよい。これにより、タブレット端末装置１０におけるグラフ作成の精度を上げることができる。
　以上をまとめると、図６に示すように、使用例１，２では、グラフｇ３を大雑把に手書き入力するだけで、清書されたグラフｇ４を表示させることができる。さらに、タッチパネル１０４の表示を、清書されたグラフｇ４から、手書き入力されたグラフｇ３に戻すことで、一度清書されたグラフｇ３に修正を加えたりすることもできる。
　特に、プレゼンテーションの現場では、複数人が話し合いをしながら、共同作業でグラフを作成することが想定される。そういった場面では、タブレット端末装置１０の操作性が重要となるが、タブレット端末装置１０では、使用例１，２に示したように、大雑把な手書き入力と簡単な操作で、清書された円グラフを表示させることができ、さらに清書された円グラフの修正も可能なことから、グラフ作成時の作業効率を向上させることができる。その結果、プレゼンテーションでのコミュニケーションを円滑にすることが可能となる。また、ソフトウェアキーボードやアイコンを操作するのではなく、タブレット用ペン２０を用いてグラフを作成することができるので、操作の直感性を向上させることもできる。
　なお、使用例１，２の説明では、円グラフを例に説明したが、円グラフに限らず、他のグラフについても同様に整形変換することができる。すなわち、例えば、図７に示すように、タッチパネル１０４上に３本の棒グラフからなるグラフｇ５が手書き入力された場合には、ボタン２１１を操作することで、清書されたグラフｇ６を表示させることができる。また、前述の円グラフの場合と同様に、一度清書されたグラフｇ５に修正を加えることも可能である。
（使用例３）
　図８は、タブレット端末装置１０の使用例３を説明するための図である。
　タブレット端末装置１０では、プレゼンテーションソフトウェアが起動され、プレゼンテーションで説明済みのグラフが表示されている（Ｓ３１）。
　この状態で、ユーザがタブレット用ペン２０を用いて、タッチパネル１０４上に表示された８本の棒グラフのうち、左から２番目の棒グラフの上側の所定の領域に「×２」を手書き入力すると、タッチパネル１０４上には手書き入力に応じた演算情報ｆ１が表示される（Ｓ３２）。ここで、演算情報は、例えば、演算子等の関数とそのパラメータからなるものであるが、あらかじめ所定の関数を設定しておくことで、パラメータのみを指定することも可能である。
　ここで、タブレット端末装置１０に対する所定の操作が行われると、タッチパネル１０４上には、グラフの整形変換を指示するためのボタン２１１が表示される。ユーザはタブレット用ペン２０を用いて、タッチパネル１０４上のボタン２１１の操作を行う（Ｓ３３）。
　ボタン２１１の操作が行われると、タブレット端末装置１０では、手書き入力された演算情報に応じた演算処理が行われ、さらにその演算結果がグラフに反映される。具体的には、左から２番目の棒グラフの上側の領域に「×２」が手書き入力されたので、左から２番目の棒グラフの値を２倍にする演算が行われ、その演算結果に応じてグラフが整形変換される。これにより、タッチパネル１０４上には、演算結果の反映されたグラフｇ７が表示される（Ｓ３４）。
　さらに、図９には、タッチパネル１０４上に表示された３本の棒グラフのうち、最も右側の棒グラフの上側の所定の領域に、「×２」が手書き入力された場合の具体例を示している。この場合には、演算情報ｆ２に従い、最も右側の棒グラフの値を２倍する演算が行われ、その棒グラフの値が「25」から「50」に増加したグラフｇ８が表示される。
　このように、使用例３では、タッチパネル１０４上に、所望の演算結果を得るための演算情報（例えば、「×２」）を手書き入力するだけで、その演算結果が反映されたグラフを表示させることができるため、グラフ作成時の作業効率を向上させることができる。
　なお、前述の使用例３の説明では、あらかじめ用意されたグラフに対して演算結果を反映させるとして説明したが、手書き入力された棒グラフに対して演算結果を反映させるようにしてもよい。具体的には、図１０に示すように、３本の棒グラフからなるグラフｇ９が手書き入力された場合に、最も右側の棒グラフに対応した所定の領域に、「×２」が手書き入力されたとき、演算情報ｆ３に従い、最も右側の棒グラフの値を２倍にする演算が行われる。これにより、整形変換後のグラフｇ１０では、その演算結果が反映され、最も右側のグラフの値が「25」から「50」に増加することになる。
（使用例４）
　図１１は、タブレット端末装置１０の使用例４を説明するための図である。
　タブレット端末装置１０では、プレゼンテーションソフトウェアが起動され、プレゼンテーションで説明済みのグラフが表示されている（Ｓ４１）。
　この状態で、ユーザがタブレット用ペン２０を用いて、タッチパネル１０４上に表示された８本の棒グラフのうち、左から２番目の棒グラフの上側の所定の領域に第１の線種で「×２」を手書き入力すると、タッチパネル１０４上には手書き入力に応じた演算情報ｆ４が表示される。また、８本の棒グラフのうち、左から７番目の棒グラフの上側の所定の領域に第２の線種で「×２」を手書き入力すると、タッチパネル１０４上には手書き入力に応じた演算情報ｆ５が表示される（Ｓ４２）。このとき、第１の線種には、例えば黒色の線が用いられ、第２の線種には、例えば赤色の線が用いられており、それぞれ異なる線種が用いられている。
　ここで、タブレット端末装置１０に対する所定の操作が行われると、タッチパネル１０４上には、グラフの整形変換を指示するためのボタン２１１が表示される。ユーザはタブレット用ペン２０を用いて、タッチパネル１０４上のボタン２１１の操作を行う（Ｓ４３）。
　ボタン２１１の操作が行われると、タブレット端末装置１０では、手書き入力された複数の演算情報のうち、特定の線種で手書き入力された演算情報に応じた演算処理が行われ、さらにその演算結果がグラフに反映される。具体的には、特定の線種として、赤色の線が設定されている場合に、左から７番目の棒グラフの所定の領域に赤色の線で「×２」が手書き入力されたので、演算情報ｆ５に従い、左から７番目の棒グラフの値を２倍にする演算が行われ、その演算結果に応じてグラフが整形変換される。これにより、タッチパネル１０４上には、演算結果の反映されたグラフｇ１１が表示される（Ｓ４４）。
　なお、特定の線種は、色に限らず、例えば線の太さや、実線又は破線等の線の種類など、グラフと演算情報とを関連付けて、演算の対象を特定できるものであればよい。また、特定の線種は所定の設定画面により設定され、適宜変更することができる。
　このように、使用例４では、タッチパネル１０４上に、特定の線種（例えば赤色の線）で、所望の演算結果を得るための演算情報（例えば「×２」）を手書き入力するだけで、その演算結果が反映されたグラフを表示させることができるため、グラフ作成時の作業効率を向上させることができる。
（使用例５）
　図１２は、タブレット端末装置１０の使用例５を説明するための図である。
　タブレット端末装置１０では、プレゼンテーションソフトウェアが起動され、プレゼンテーションで説明済みのグラフが表示されている（Ｓ５１）。
　この状態で、ユーザがタッチパネル１０４上でフリック操作を行うと、手書き入力用のレイヤ２３１が表示される（Ｓ５２）。ここで、手書き入力用のレイヤ２３１は半透明状で、プレゼンテーション用グラフの一部に重畳され、グラフなどを手書き入力することができる。なお、フリック操作とは、タッチパネル１０４上の所望の領域に指を載せて、その指を所定の方向にスライドさせるような操作をいう。図１２の例では、タッチパネル１０４上の指を左方向にスライドさせているので、左フリック操作となる。
　そして、ユーザがタブレット用ペン２０を用いて、レイヤ２３１に、Ｘ方向とＹ方向の軸に対する３本の棒グラフからなるグラフを手書き入力すると、タッチパネル１０４上には手書き入力に応じたグラフｇ１２が表示される（Ｓ５３）。
　ここで、タブレット端末装置１０に対する所定の操作が行われると、タッチパネル１０４上には、グラフの整形変換を指示するためのボタン２１１が表示される。ユーザはタブレット用ペン２０を用いて、タッチパネル１０４上のボタン２１１の操作を行う（Ｓ５４）。
　ボタン２１１の操作が行われると、タブレット端末装置１０では、手書き入力された数値やグラフなどの認識処理と、数値に応じた演算処理とが行われ、さらに手書き入力されたグラフｇ１２が整形変換される。これにより、タッチパネル１０４には、手書き入力されたグラフｇ１２を整形変換して得られるグラフｇ１３がレイヤ２３１上に表示される。
　このように、使用例５では、タッチパネル１０４上に表示されたレイヤ２３１に、グラフを手書き入力することで、レイヤ２３１上に、整形変換されたグラフを表示させることが可能となる。すなわち、ユーザからすれば、新たなグラフを作成したい場合には、レイヤ２３１を表示させて、そのレイヤ２３１上に、大雑把なグラフさえ手書き入力すれば、タブレット端末装置１０側で清書したものを表示してくれるので、グラフ作成時の作業効率を向上させることができる。また、タッチパネル１０４上にグラフを表示するためのスペースがない場合でも、レイヤ２３１上に手書き入力できるので、確実にグラフの手書き入力を行い、清書されたグラフを表示させることができる。
　なお、レイヤ２３１は、図１２に示したように所定の透過率を有するようにしてもよいが、全く透過せずにレイヤ２３１の下位の階層に表示されるグラフを視認できないようにしてもよい。その場合、レイヤ２３１には、手書き入力されたグラフのみが表示されることになる。
（その他の使用例）
　前述の使用例では、整形変換の対象としてグラフを中心に説明したが、図１３に示すように、所望の演算式が手書き入力された場合には、その演算結果が表示されるようにしてもよい。例えば、3×√2/2が手書き入力された場合には、その演算結果としての2.12・・・が、演算式とともに清書されて表示される。
　なお、前述の使用例では、タブレット端末装置１０が実行するグラフ作成用のソフトウェアとして、プレゼンテーション用のソフトウェアを例に説明したが、表計算のソフトウェアなどのグラフを作成可能な他のソフトウェアであってもよい。
＜手書き入力整形変換処理＞
　次に、図１４のフローチャートを参照して、図３の制御部１０１によって実行される、手書き入力整形変換処理について説明する。
　ステップＳ１１１において、手書き入力内容取得部１７１は、タッチセンサ１５２からの検出信号に基づいて、タッチパネル１０４に対するタブレット用ペン２０による手書き入力が開始したか否かを判定する。ただし、図１２の使用例５に示したように、手書き入力は、手書き入力用のレイヤ２３１に対して行われる場合もある。ここでは、手書き入力の開始を待って、処理がステップＳ１１２に進められる。
　ステップＳ１１２において、手書き入力内容取得部１７１は、タッチセンサ１５２からの検出信号に基づいて、手書き入力の内容を取得する。
　ステップＳ１１３において、手書き入力内容取得部１７１は、タッチセンサ１５２からの検出信号に基づいて、タッチパネル１０４に対するタブレット用ペン２０による手書き入力が終了したか否かを判定する。
　ステップＳ１１３において、手書き入力が終了していないと判定された場合、処理はステップＳ１１２に戻され、それ以降の処理が繰り返される。すなわち、手書き入力内容取得部１７１は、手書き入力が開始されてから終了するまでの間、手書き入力の内容を取得し続けることになる。そして、手書き入力が終了した場合、処理はステップＳ１１４に進められる。
　ステップＳ１１４において、制御部１０１は、タッチセンサ１５２からの検出信号に基づいて、手書き入力されたグラフの整形変換を指示するためのボタン２１１が操作されたか否かを判定する。
　ステップＳ１１４において、ボタン２１１が操作されていないと判定された場合、さらなる手書き入力が行われるので、処理は、ステップＳ１１１に戻され、それ以降の処理が繰り返される。なお、手書き入力内容取得部１７１により取得された手書き入力のデータは、図５の使用例２に示したように、ボタン２２１の操作によって手書き入力状態の再表示が指示されるのに備えて、メモリ部１０２に保持しておく。また、ステップＳ１１４において、ボタン２１１が操作されたと判定された場合、処理はステップＳ１１５に進められる。
　なお、ステップＳ１１４では、タッチパネル１０４上に表示されたボタン２１１の操作を判定条件としたが、ボタン２１１の操作に限らず、タブレット端末装置１０に対する所定の操作に応じて、手書き入力されたグラフの整形変換の指示が行われるようにしてもよい。
　ステップＳ１１５において、手書き入力認識部１７２は、手書き入力内容取得部１７１により取得された手書き入力の内容を認識する。
　ここで、手書き入力の内容の認識処理では、例えば、文字とグラフを区別する処理、文字認識、個々の図形の認識、複数の図形からなる図の認識処理などが行われる。例えば、教師データとして与えておいた図形とユーザにより手書き入力された図形とを、共に特徴パラメータ空間にマッピングし、その空間上で手書き入力された図形に最も近い教師データの図形が認識結果として返されるようにする。この特徴量としては一般には、始点・終点での線の角度や始点と終点との距離、入力筆跡のストロークの全長などが用いられる（例えば、下記の非特許文献１参照）。
　非特許文献１：Rubineのアルゴリズム Rubine,D. : Specifying Gestures by Example, In Proc. Of ACM SIGGRAPH ’91 (1991), pp. 329-337.
　なお、手書き入力の内容の認識方法には、例えば、パターン認識による方法（例えば、特公平７－１０７７０８号公報参照）や、角度ヒストグラムの分布を計算する方法（例えば、特許第３０４６４７２号公報参照）などがあり、これらの公知の技術を用いるようにしてもよい。
　ステップＳ１１６において、手書き入力認識部１７２は、ステップＳ１１５の認識の結果に基づいて、手書き入力の内容にグラフが含まれているか否かを判定する。ステップＳ１１６において、手書き入力の内容にグラフが含まれていると判定された場合、処理はステップＳ１１７に進められる。
　ステップＳ１１７において、演算処理部１７３は、ステップＳ１１５の認識の結果に基づいて、手書き入力の内容に演算情報が含まれているか否かを判定する。ステップＳ１１７において、関数とそのパラメータなどの演算情報（例えば、「×２」）が含まれていると判定された場合、処理はステップＳ１１８に進められる。
　ステップＳ１１８において、演算処理部１７３は、手書き入力された演算情報に基づいて、所定の演算処理を行う。例えば、図８の使用例３に示したように、タッチパネル１０４上の所定の領域に「×２」が入力された場合、対象の棒グラフの値を２倍にする演算が行われる。
　ただし、図４の使用例４に示したように、複数の線種により「×２」が手書き入力された場合には、あらかじめ設定される特定の線種（例えば赤色の線）による手書き入力のみが採用されることになる。
　ステップＳ１１８の演算処理が終了すると、処理はステップＳ１１９に進められる。また、ステップＳ１１７において、手書き入力の内容に演算情報が含まれていないと判定された場合、ステップＳ１１８の演算処理はスキップされ、処理はステップＳ１１９に進められる。
　ステップＳ１１９において、補完処理部１７４は、ステップＳ１１５の認識の結果に基づいて、手書き入力されたグラフの補完が可能であるか否かを判定する。ステップＳ１１９において、グラフの補完が可能であると判定された場合、処理はステップＳ１２０に進められる。
　ステップＳ１２０において、補完処理部１７４は、手書き入力されたグラフに対し、所定の補完処理を行う。例えば、図４の使用例１に示したように、手書き入力された円グラフの扇形の領域のうち、割合が入力されていない領域が存在する場合、その領域に入力されるべき割合を示す数値（例えば「8」）が補完される。
　ステップＳ１２０の補完処理が終了すると、処理はステップＳ１２１に進められる。また、ステップＳ１１９において、グラフの補完が不可能であると判定された場合、ステップＳ１２０の補完処理はスキップされ、処理は、ステップＳ１２１に進められる。
　ステップＳ１２１において、整形変換処理部１７５は、ステップＳ１１５の認識の結果に基づいて、手書き入力されたグラフの整形が可能であるか否かを判定する。ステップＳ１２１において、手書き入力されたグラフの整形が可能であると判定された場合、処理はステップＳ１２２に進められる。
　ステップＳ１２２において、整形変換処理部１７５は、手書き入力されたグラフに対し、所定の整形変換処理を行う。例えば、図４の使用例１に示したように、手書き入力された円グラフが完全な円とはならず、さらに各扇形の円弧の長さが入力された数値の割合に比例するものではない場合、完全な円であって、各扇形の円弧の長さがその領域に入力された数値の割合に比例する円グラフに整形変換される。
　ステップＳ１２２の整形変換処理が終了すると、処理はステップＳ１２３に進められる。また、ステップＳ１２１において、グラフの整形が不可能であると判定された場合、ステップＳ１２２の整形変換処理はスキップされ、処理はステップＳ１２３に進められる。
　ステップＳ１２３において、表示制御部１７６は、各種の処理が施されたグラフを表示部１５１に表示する。すなわち、表示部１５１に表示されるグラフは、ステップＳ１１８の演算処理、ステップＳ１２０の補完処理、及び、ステップＳ１２２の整形変換処理のうち少なくとも１つの処理が施されたグラフとなる。
　これにより、例えば、使用例１の整形変換後のグラフ（図４のＳ１４）、使用例３の演算結果の反映されたグラフ（図８のＳ３４）、使用例４の特定の線種で手書き入力された演算情報のみ演算結果の反映されたグラフ（図１１のＳ４４）、又は、使用例５の手書き入力用レイヤ２３１上の整形変換後のグラフ（図１２のＳ５５）などが、表示部１５１に表示されることになる。
　なお、図５の使用例２に示したように、整形変換処理等が施されたグラフを表示中に、グラフを元の手書き入力の状態に戻すためのボタン２２１が操作された場合、表示制御部１７６は、メモリ部１０２に保持された手書き入力のデータを読み出し、手書き入力状態のグラフを表示部１５１に再表示させる。
　また、ステップＳ１１６において、手書き入力の内容にグラフが含まれていないと判定された場合、処理はステップＳ１２４に進められる。ステップＳ１２４において、演算処理部１７３は、手書き入力の内容に演算情報が含まれるか否かを判定する。ステップＳ１２４において、手書き入力の内容に演算情報が含まれると判定された場合、処理は、ステップＳ１２５に進められる。
　ステップＳ１２５において、演算処理部１７３は、手書き入力された演算情報に基づいて、所定の演算処理を行う。ステップＳ１２５の演算処理が終了すると、処理はステップＳ１２３に進められる。
　ステップＳ１２３において、表示制御部１７６は、ステップＳ１２５の演算処理の結果を表示部１５１に表示する。これにより、図１３に示すような、演算の結果がタッチパネル１０４上に表示されることになる。なお、ステップＳ１２４において、手書き入力の内容に演算情報が含まれていないと判定された場合、処理はステップＳ１１１に戻され、それ以降の処理が繰り返される。
　以上で、図１４の手書き入力整形変換処理の説明を終了する。
　なお、制御部１０１により実行される処理のうち、手書き入力認識部１７２、演算処理部１７３、補完処理部１７４、及び、整形変換処理部１７５により実行される処理の少なくとも１つを、ネットワーク上の所定のサーバ（不図示）が実行するようにして、制御部１０１は、サーバによる処理結果のみをネットワークを介して取得するようにしてもよい。
　以上のように、手書き入力整形変換処理では、手書き入力が行われた場合に、ステップＳ１１８の演算処理、ステップＳ１２０の補完処理、及び、ステップＳ１２２の整形変換処理のうち少なくとも１つの処理が行われ、清書されたグラフが表示されるので、グラフ作成時の作業効率を向上させることができる。
　なお、前述の説明では、グラフとして、円グラフと、棒グラフを例に説明したが、それ以外にも、円柱、円錐、若しくはピラミッド形状の縦棒グラフ、横棒グラフ、折れ線グラフ、面グラフ、散布図、ローソク足チャート、バブルチャート、等高線グラフ、ドーナツチャート、レーダグラフなどを対象とすることができる。また、前述の説明では、グラフ等の図形を整形するためのパラメータとして数値や演算子を一例に説明したが、その他、例えば、文字若しくは記号、又はこれらの組み合わせからなるものが含まれるようにしてもよい。
　また、前述の説明では、タブレット端末装置を一例に説明したが、それに限らず、本技術は、例えば、携帯電話機やスマートホン、パーソナルコンピュータなどのタッチパネルを有する電子機器に適用することができる。
＜本技術を適用したコンピュータの説明＞
　前述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１５は、前述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータ３００において、CPU（Central Processing Unit）３１１，ROM（Read Only Memory）３１２，RAM（Random Access Memory）３１３は、バス３１４により相互に接続されている。
　バス３１４には、さらに、入出力インタフェース３１５が接続されている。入出力インタフェース３１５には、入力部３１６、出力部３１７、記録部３１８、通信部３１９、及びドライブ３２０が接続されている。
　入力部３１６は、キーボード、マウス、マイクロフォンなどよりなる。出力部３１７は、ディスプレイ、スピーカなどよりなる。記録部３１８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３１９は、ネットワークインタフェースなどよりなる。ドライブ３２０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア３２１を駆動する。
　以上のように構成されるコンピュータ３００では、CPU３１１が、例えば、記録部３１８に記憶されているプログラムを、入出力インタフェース３１５及びバス３１４を介して、RAM３１３にロードして実行することにより、前述した一連の処理が行われる。
　コンピュータ３００（CPU３１１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３２１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータ３００では、プログラムは、リムーバブルメディア３２１をドライブ３２０に装着することにより、入出力インタフェース３１５を介して、記録部３１８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部３１９で受信し、記録部３１８にインストールすることができる。その他、プログラムは、ROM３１２や記録部３１８に、あらかじめインストールしておくことができる。
　なお、コンピュータ３００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　ここで、本明細書において、コンピュータ３００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
　また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、前述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、前述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本技術は、以下のような構成をとることができる。
（１）
　タッチパネルに対する手書き入力の内容を取得する取得部と、
　前記手書き入力の内容に応じて、前記手書き入力から認識される図形を整形して得られる整形後の図形の表示を制御する表示制御部と
　を備える情報処理装置。
（２）
　前記表示制御部は、前記手書き入力されるパラメータに応じた整形後の図形を表示させる
　（１）に記載の情報処理装置。
（３）
　前記表示制御部は、前記パラメータに基づき実行される所定の関数の演算結果が反映された整形後の図形を表示させる
　（２）に記載の情報処理装置。
（４）
　整形対象の図形と前記パラメータとは、前記手書き入力に用いられた線種によって関連付けられている
　（３）に記載の情報処理装置。
（５）
　前記表示制御部は、前記手書き入力から認識される図形を、前記パラメータに応じて補完して得られる補完後の図形を表示させる
　（２）に記載の情報処理装置。
（６）
　前記取得部は、前記タッチパネル上の手書き入力用の画面に対する前記手書き入力の内容を取得する
　（１）乃至（５）のいずれか一項に記載の情報処理装置。
（７）
　前記表示制御部は、整形後の図形の表示を整形前の状態に戻すための指示がされた場合、整形前の前記手書き入力の内容を再度表示させる
　（１）乃至（６）のいずれか一項に記載の情報処理装置。
（８）
　前記手書き入力の内容を認識する認識部と、
　前記認識部の認識の結果に応じて、前記手書き入力から認識される図形を整形する整形部と
　をさらに備える（１）乃至（７）のいずれか一項に記載の情報処理装置。
（９）
　情報処理装置の情報処理方法において、
　前記情報処理装置が、
　タッチパネルに対する手書き入力の内容を取得し、
　前記手書き入力の内容に応じて、前記手書き入力から認識される図形を整形して得られる整形後の図形の表示を制御する
　ステップを含む情報処理方法。
（１０）
　コンピュータを、
　タッチパネルに対する手書き入力の内容を取得する取得部と、
　前記手書き入力の内容に応じて、前記手書き入力から認識される図形を整形して得られる整形後の図形の表示を制御する表示制御部と
　として機能させることを特徴とするプログラムを記憶したプログラム記憶媒体。
　１０　タブレット端末装置，　２０　タブレット用ペン，　１０１　制御部，　１０４　タッチパネル，　１５１　表示部，　１５２　タッチセンサ，　１７１　手書き入力内容取得部，　１７２　手書き入力認識部，　１７３　演算処理部，　１７４　補完処理部，　１７５　整形変換処理部，　１７６　表示制御部，　３００　コンピュータ，　３１１　CPU

Claims (10)

  1. 　タッチパネルに対する手書き入力の内容を取得する取得部と、
    　前記手書き入力の内容に応じて、前記手書き入力から認識される図形を整形して得られる整形後の図形の表示を制御する表示制御部と
    　を備える情報処理装置。
  2. 　前記表示制御部は、前記手書き入力されるパラメータに応じた整形後の図形を表示させる
    　請求項１に記載の情報処理装置。
  3. 　前記表示制御部は、前記パラメータに基づき実行される所定の関数の演算結果が反映された整形後の図形を表示させる
    　請求項２に記載の情報処理装置。
  4. 　整形対象の図形と前記パラメータとは、前記手書き入力に用いられた線種によって関連付けられている
    　請求項３に記載の情報処理装置。
  5. 　前記表示制御部は、前記手書き入力から認識される図形を、前記パラメータに応じて補完して得られる補完後の図形を表示させる
    　請求項２に記載の情報処理装置。
  6. 　前記取得部は、前記タッチパネル上の手書き入力用の画面に対する前記手書き入力の内容を取得する
    　請求項１に記載の情報処理装置。
  7. 　前記表示制御部は、整形後の図形の表示を整形前の状態に戻すための指示がされた場合、整形前の前記手書き入力の内容を再度表示させる
    　請求項１に記載の情報処理装置。
  8. 　前記手書き入力の内容を認識する認識部と、
    　前記認識部の認識の結果に応じて、前記手書き入力から認識される図形を整形する整形部と
    　をさらに備える請求項１に記載の情報処理装置。
  9. 　情報処理装置の情報処理方法において、
    　前記情報処理装置が、
    　タッチパネルに対する手書き入力の内容を取得し、
    　前記手書き入力の内容に応じて、前記手書き入力から認識される図形を整形して得られる整形後の図形の表示を制御する
    　ステップを含む情報処理方法。
  10. 　コンピュータを、
    　タッチパネルに対する手書き入力の内容を取得する取得部と、
    　前記手書き入力の内容に応じて、前記手書き入力から認識される図形を整形して得られる整形後の図形の表示を制御する表示制御部と
    　として機能させることを特徴とするプログラムを記憶したプログラム記憶媒体。
PCT/JP2013/083599 2012-12-28 2013-12-16 情報処理装置、情報処理方法、及び、プログラム記憶媒体 WO2014103775A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/654,808 US10402085B2 (en) 2012-12-28 2013-12-16 Display of content based on handwritten input
JP2014554330A JP6287861B2 (ja) 2012-12-28 2013-12-16 情報処理装置、情報処理方法、及び、プログラム記憶媒体
EP13868853.6A EP2940559A4 (en) 2012-12-28 2013-12-16 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM MEMORY

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012286723 2012-12-28
JP2012-286723 2012-12-28

Publications (1)

Publication Number Publication Date
WO2014103775A1 true WO2014103775A1 (ja) 2014-07-03

Family

ID=51020863

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/083599 WO2014103775A1 (ja) 2012-12-28 2013-12-16 情報処理装置、情報処理方法、及び、プログラム記憶媒体

Country Status (5)

Country Link
US (1) US10402085B2 (ja)
EP (1) EP2940559A4 (ja)
JP (1) JP6287861B2 (ja)
CN (1) CN103914174A (ja)
WO (1) WO2014103775A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016534464A (ja) * 2013-08-30 2016-11-04 サムスン エレクトロニクス カンパニー リミテッド 電子装置におけるチャートを表示する装置及び方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150086646A (ko) * 2014-01-20 2015-07-29 삼성전자주식회사 프리뷰 이미지를 제공하는 화상형성장치, 그 프리뷰 이미지를 디스플레이하는 디스플레이 장치 및 그 방법들
JP6511860B2 (ja) * 2015-02-27 2019-05-15 富士通株式会社 表示制御システム、グラフ表示方法およびグラフ表示プログラム
CN110956674B (zh) * 2019-10-23 2022-01-21 广州视源电子科技股份有限公司 图形调整方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0346472B2 (ja) 1979-09-14 1991-07-16 Burisutoru Maiyaazu Sukuibu Co
JPH06175977A (ja) * 1992-12-08 1994-06-24 Canon Inc 電子機器
JPH07107708B2 (ja) 1986-09-26 1995-11-15 株式会社日立製作所 パタ−ン認識方法
JPH0950490A (ja) 1995-08-07 1997-02-18 Sony Corp 手書き文字認識装置
JP2003330606A (ja) * 2002-05-13 2003-11-21 Ricoh Co Ltd タッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法およびその方法をコンピュータに実行させるためのプログラム
JP2012063938A (ja) * 2010-09-15 2012-03-29 Hitachi Solutions Ltd 手書き図形認識システム、手書き図形認識方法及びプログラム
JP2012190118A (ja) * 2011-03-09 2012-10-04 Seiko Epson Corp 画像生成装置、プロジェクター、プログラムおよび画像生成方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5287417A (en) * 1992-09-10 1994-02-15 Microsoft Corporation Method and system for recognizing a graphic object's shape, line style, and fill pattern in a pen environment
US5465325A (en) * 1992-11-16 1995-11-07 Apple Computer, Inc. Method and apparatus for manipulating inked objects
US7017124B2 (en) * 2001-02-15 2006-03-21 Denny Jaeger Method for controlling electronic devices using digital recall tool
US20080104571A1 (en) * 2001-02-15 2008-05-01 Denny Jaeger Graphical object programming methods using graphical directional indicators
US7324691B2 (en) * 2003-09-24 2008-01-29 Microsoft Corporation System and method for shape recognition of hand-drawn objects
US20100171754A1 (en) * 2009-01-07 2010-07-08 Microsoft Corporation Converting digital ink to shapes and text
US9256360B2 (en) * 2010-08-25 2016-02-09 Sony Corporation Single touch process to achieve dual touch user interface
JP5790070B2 (ja) * 2010-08-26 2015-10-07 カシオ計算機株式会社 表示制御装置およびプログラム
US8994732B2 (en) * 2011-03-07 2015-03-31 Microsoft Corporation Integration of sketch-based interaction and computer data analysis

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0346472B2 (ja) 1979-09-14 1991-07-16 Burisutoru Maiyaazu Sukuibu Co
JPH07107708B2 (ja) 1986-09-26 1995-11-15 株式会社日立製作所 パタ−ン認識方法
JPH06175977A (ja) * 1992-12-08 1994-06-24 Canon Inc 電子機器
JPH0950490A (ja) 1995-08-07 1997-02-18 Sony Corp 手書き文字認識装置
JP2003330606A (ja) * 2002-05-13 2003-11-21 Ricoh Co Ltd タッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法およびその方法をコンピュータに実行させるためのプログラム
JP2012063938A (ja) * 2010-09-15 2012-03-29 Hitachi Solutions Ltd 手書き図形認識システム、手書き図形認識方法及びプログラム
JP2012190118A (ja) * 2011-03-09 2012-10-04 Seiko Epson Corp 画像生成装置、プロジェクター、プログラムおよび画像生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RUBINE, D.: "Specifying Gestures by Example", PROC. OF ACM SIGGRAPH '91, 1991, pages 329 - 337
See also references of EP2940559A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016534464A (ja) * 2013-08-30 2016-11-04 サムスン エレクトロニクス カンパニー リミテッド 電子装置におけるチャートを表示する装置及び方法

Also Published As

Publication number Publication date
US20150355835A1 (en) 2015-12-10
JP6287861B2 (ja) 2018-03-07
EP2940559A4 (en) 2016-08-31
JPWO2014103775A1 (ja) 2017-01-12
EP2940559A1 (en) 2015-11-04
CN103914174A (zh) 2014-07-09
US10402085B2 (en) 2019-09-03

Similar Documents

Publication Publication Date Title
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
EP3565181A1 (en) Network topology adaptive data visualization method, device, apparatus and storage medium
US11262895B2 (en) Screen capturing method and apparatus
US9524097B2 (en) Touchscreen gestures for selecting a graphical object
US20130016126A1 (en) Drawing aid system for multi-touch devices
US9588673B2 (en) Method for manipulating a graphical object and an interactive input system employing the same
US9870144B2 (en) Graph display apparatus, graph display method and storage medium
CN103955339A (zh) 一种终端操作方法及终端设备
JP2020522809A (ja) 仮想基体として使用するための平面及び／又は四分木を検出するための方法及びデバイス
US9025878B2 (en) Electronic apparatus and handwritten document processing method
JP6287861B2 (ja) 情報処理装置、情報処理方法、及び、プログラム記憶媒体
EP2960763A1 (en) Computerized systems and methods for cascading user interface element animations
US11275501B2 (en) Creating tables using gestures
JP6595896B2 (ja) 電子機器及び表示制御方法
CN102314287A (zh) 互动显示系统及方法
US9811238B2 (en) Methods and systems for interacting with a digital marking surface
CN107391015B (zh) 一种智能平板的控制方法、装置、设备及存储介质
JP2016110604A (ja) ページめくりシステム及びページめくり方法
JP2019067111A (ja) 表示制御装置及びプログラム
US9146666B2 (en) Touch sensor navigation
CN114063845A (zh) 显示方法、显示装置和电子设备
WO2020132863A1 (zh) 续笔方法与显示终端
US20160154466A1 (en) Touch input method and electronic apparatus thereof
CN116088743A (zh) 书写信息计算方法、装置、存储介质及电子设备
JP2023137822A (ja) 表示装置、清書方法、プログラム、情報共有システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13868853

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014554330

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013868853

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14654808

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE