WO2014122794A1 - 電子機器および手書き文書処理方法 - Google Patents

電子機器および手書き文書処理方法 Download PDF

Info

Publication number
WO2014122794A1
WO2014122794A1 PCT/JP2013/058423 JP2013058423W WO2014122794A1 WO 2014122794 A1 WO2014122794 A1 WO 2014122794A1 JP 2013058423 W JP2013058423 W JP 2013058423W WO 2014122794 A1 WO2014122794 A1 WO 2014122794A1
Authority
WO
WIPO (PCT)
Prior art keywords
handwritten
screen
display
shaping
strokes
Prior art date
Application number
PCT/JP2013/058423
Other languages
English (en)
French (fr)
Inventor
健彦 出宮
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to CN201380000676.4A priority Critical patent/CN104956378A/zh
Priority to US13/965,474 priority patent/US9117125B2/en
Publication of WO2014122794A1 publication Critical patent/WO2014122794A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction

Definitions

  • the embodiment of the present invention relates to a technique for processing a handwritten document.
  • the user can instruct the electronic device to execute the function associated with the menu or object by touching the menu or object displayed on the touch screen display with a finger or the like.
  • An object of one embodiment of the present invention is to provide an electronic device and a handwritten document processing method capable of easily shaping a desired portion in a handwritten document.
  • the electronic device includes a display processing unit, a transmission unit, and a reception unit.
  • the display processing means displays a handwritten document including a plurality of strokes described by handwriting on a screen.
  • the transmission means transmits a handwritten portion designated by a selection range on the screen to the system.
  • the receiving means receives a shaping result obtained by shaping the handwritten part from the system.
  • the display processing means displays the shaping result and the handwritten part on the screen in association with each other.
  • FIG. 1 is a perspective view illustrating an appearance of an electronic apparatus according to an embodiment.
  • FIG. 2 is a diagram illustrating a cooperative operation between the electronic device and the handwritten document conversion system according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of a handwritten document handwritten on the touch screen display of the electronic device of the embodiment.
  • FIG. 4 is a diagram for explaining time-series information corresponding to the handwritten document of FIG. 3 that is stored in the storage medium by the electronic apparatus of the embodiment.
  • FIG. 5 is a block diagram showing a system configuration of the electronic apparatus of the embodiment.
  • FIG. 6 is a view showing a desktop / drawer screen displayed by the electronic apparatus of the embodiment.
  • FIG. 7 is a diagram showing a desktop screen displayed by the electronic apparatus of the embodiment.
  • FIG. 1 is a perspective view illustrating an appearance of an electronic apparatus according to an embodiment.
  • FIG. 2 is a diagram illustrating a cooperative operation between the electronic device and the handwritten document conversion system according to the embodiment.
  • FIG. 8 is a diagram illustrating a note view screen displayed by the electronic apparatus of the embodiment.
  • FIG. 9 is a block diagram showing a functional configuration of a digital notebook application program executed by the electronic apparatus of the embodiment.
  • FIG. 10 is a diagram for explaining a range selection operation executed by the electronic apparatus of the embodiment.
  • FIG. 11 is a diagram for explaining a user interface for executing the shaping function displayed by the electronic apparatus of the embodiment.
  • FIG. 12 is a diagram illustrating a shaping result displayed instead of the handwritten portion by the electronic apparatus of the embodiment.
  • FIG. 13 is a diagram for explaining a user interface for returning a shaping result to a handwritten part, which is displayed on the screen of the electronic apparatus of the embodiment.
  • FIG. 10 is a diagram for explaining a range selection operation executed by the electronic apparatus of the embodiment.
  • FIG. 11 is a diagram for explaining a user interface for executing the shaping function displayed by the electronic apparatus of the embodiment.
  • FIG. 12 is a diagram illustrating a shaping result displayed instead of
  • FIG. 14 is a diagram illustrating a handwritten portion displayed instead of the shaping result by the electronic device of the embodiment.
  • FIG. 15 is a diagram illustrating a shaping result displayed on the handwritten portion by the electronic device of the embodiment.
  • FIG. 16 is a diagram illustrating a shaping result displayed on the handwritten portion from which the handwritten character is deleted by the electronic device of the embodiment.
  • FIG. 17 is a flowchart illustrating a procedure of handwritten document processing executed by the electronic apparatus of the embodiment.
  • FIG. 1 is a perspective view illustrating an external appearance of an electronic apparatus according to an embodiment.
  • This electronic device is, for example, a pen-based portable electronic device that can be handwritten with a pen or a finger.
  • This electronic device can be realized as a tablet computer, a notebook personal computer, a smartphone, a PDA, or the like.
  • the tablet computer 10 is a portable electronic device also called a tablet or a straight computer, and includes a main body 11 and a touch screen display 17 as shown in FIG.
  • the touch screen display 17 is attached to be superposed on the upper surface of the main body 11.
  • the main body 11 has a thin box-shaped housing.
  • the touch screen display 17 incorporates a flat panel display and a sensor configured to detect a contact position of a pen or a finger on the screen of the flat panel display.
  • the flat panel display may be, for example, a liquid crystal display (LCD).
  • As the sensor for example, a capacitive touch panel, an electromagnetic induction digitizer, or the like can be used. In the following, it is assumed that two types of sensors, a digitizer and a touch panel, are incorporated in the touch screen display 17.
  • the touch screen display 17 can detect not only a touch operation on the screen using a finger but also a touch operation on the screen using the pen 100.
  • the pen 100 may be an electromagnetic induction pen, for example.
  • the user can perform a handwriting input operation on the touch screen display 17 using an external object (the pen 100 or a finger).
  • the trajectory of the movement of the external object (pen 100 or finger) on the screen that is, the stroke handwritten by the handwriting input operation (trajectory of the handwriting stroke) is drawn in real time, and is input by handwriting.
  • Multiple strokes are displayed on the screen.
  • the trajectory of the movement of the external object while the external object is in contact with the screen corresponds to one stroke.
  • a set of many strokes corresponding to a handwritten character, a handwritten figure, a handwritten table, and the like constitute a handwritten document.
  • this handwritten document is stored in the storage medium as time series information (handwritten document data) indicating the order relationship between the coordinate sequence of the trajectory of each stroke and the stroke, instead of image data. Details of this time series information will be described later with reference to FIG. 4, and this time series information indicates the order in which a plurality of strokes are handwritten, and includes a plurality of stroke data respectively corresponding to the plurality of strokes.
  • this time-series information means a set of time-series stroke data respectively corresponding to a plurality of strokes.
  • Each stroke data corresponds to a certain stroke, and includes a coordinate data series (time series coordinates) corresponding to each point on the locus of this stroke.
  • the order of arrangement of the stroke data corresponds to the order in which the strokes are handwritten.
  • the tablet computer 10 can read existing arbitrary time-series information from the storage medium and display a handwritten document corresponding to the time-series information, that is, a plurality of strokes indicated by the time-series information on the screen.
  • the plurality of strokes indicated by the time series information are also a plurality of strokes input by handwriting.
  • the tablet computer 10 has an editing function.
  • This editing function can be used to select any part (handwritten in the displayed handwritten document selected by the range selection tool in response to an editing operation by the user using the “eraser” tool, the range selection tool, and various other tools. Characters, handwritten marks, handwritten figures, handwritten tables, etc.) can be deleted or moved.
  • this editing function can execute various functions, such as a figure shaping function, a table shaping function, a handwritten character shaping function, etc., for a handwritten part belonging to the selected range. These shaping functions can be executed by using a cloud server system.
  • the handwritten document can be managed as one or a plurality of pages.
  • a group of time-series information that fits on one screen may be recorded as one page by dividing time-series information (handwritten document data) by area units that fit on one screen.
  • the page size may be variable.
  • the page size can be expanded to an area larger than the size of one screen, a handwritten document having an area larger than the screen size can be handled as one page.
  • the page may be reduced, or the display target portion in the page may be moved by vertical and horizontal scrolling.
  • any handwritten document including a plurality of strokes (handwritten strokes) described by handwriting can be used as the handwritten document to be displayed by the tablet computer 10.
  • FIG. 2 shows an example of a cooperative operation between the tablet computer 10 and the handwritten document conversion system 2.
  • the tablet computer 10 can cooperate with the handwritten document conversion system 2. That is, the tablet computer 10 includes a wireless communication device such as a wireless LAN, and can also perform communication with the handwritten document conversion system 2 on the Internet.
  • the handwritten document conversion system 2 includes one or more servers that execute various cloud computing services.
  • the handwritten document conversion system 2 converts a handwritten document 31 (a plurality of stroke data) received from the tablet computer 10 into an electronic document in a file format that can be viewed and edited by existing word processor software or existing presentation software. Can be executed.
  • handwritten characters, handwritten figures, handwritten tables, and the like in the handwritten document 31 are each shaped.
  • the handwritten character string is converted into several character codes by character recognition.
  • the handwritten figure is converted into object data that can be viewed and edited by existing word processor software or existing presentation software. For example, a handwritten circle is converted into a circular graphic object.
  • the handwritten table is converted into a table object including the same number of cells as that of the handwritten table. Furthermore, the handwritten character string included in each cell of the handwritten table is converted into several character codes.
  • the tablet computer 10 can transmit (upload) a plurality of stroke data constituting the handwritten document 31 to the handwritten document conversion system 2 and request the handwritten document conversion system 2 to format (convert) the handwritten document 31. And the tablet computer 10 can receive the electronic document 32 which is a shaping result of the handwritten document 31 from the handwritten document conversion system 2 (download). Further, the tablet computer 10 can also transmit (upload) only an arbitrary handwritten portion in the handwritten document 31 to the document conversion system 2 and request the handwritten document conversion system 2 to format (convert) the handwritten portion.
  • the tablet computer 10 accesses the handwritten document conversion system 2 and transmits the handwritten document 31 to be converted to the handwritten document conversion system 2 via the interface 20 of the handwritten document conversion system 2.
  • the tablet computer 10 converts the file format after conversion of the handwritten document 31 (PDF, image data, vector data, Microsoft Word (registered trademark), Microsoft Excel (registered trademark), Microsoft PowerPoint (registered trademark). Trademark), etc.) can also be instructed to the handwritten document conversion system 2.
  • the handwritten document 31 is stored in the storage 21 of the handwritten document conversion system 2.
  • the text / chart shaping engine 22 receives the handwritten document 31 from the storage 21, recognizes the handwritten character string, handwritten figure, and handwritten table in the handwritten document 31, and shapes these handwritten character string, handwritten figure, and handwritten table. To do.
  • the electronic document conversion engine 23 receives the formatting result from the text / chart formatting engine 22. Then, the electronic document conversion engine 23 converts the shaping result into an electronic document 32 having a file format designated by the tablet computer 10, and stores the electronic document 32 in the storage 21.
  • the tablet computer 10 can browse the electronic document 32 via the interface 20 and can receive the electronic document 32 from the handwritten document conversion system 2 via the interface 20 (download).
  • the tablet computer 10 can also transmit an arbitrary handwritten part in the handwritten document 31 to the document conversion system 2 and receive a shaping result corresponding to the handwritten part from the handwritten document conversion system 2.
  • the object data corresponding to the shaping result may be vector data that can be handled by various software, or may be image data.
  • FIG. 3 shows an example of a handwritten document (handwritten character string) handwritten on the touch screen display 17 using the pen 100 or the like.
  • the handwritten character “A” is represented by two strokes (“ ⁇ ” shape trajectory, “ ⁇ ” shape trajectory) handwritten using the pen 100 or the like, that is, two trajectories.
  • the trajectory of the first “ ⁇ ” -shaped pen 100 handwritten is sampled in real time, for example, at equal time intervals, thereby obtaining the time-series coordinates SD11, SD12,... SD1n of the “ ⁇ ” -shaped stroke.
  • the trajectory of the “ ⁇ ” shaped pen 100 to be handwritten next is sampled in real time at equal time intervals, thereby obtaining the time series coordinates SD21, SD22,... SD2n of the “ ⁇ ” shaped stroke.
  • the handwritten character “B” is represented by two strokes handwritten using the pen 100 or the like, that is, two trajectories.
  • the handwritten character “C” is represented by one stroke handwritten using the pen 100 or the like, that is, one locus.
  • the handwritten “arrow” is expressed by two strokes handwritten by using the pen 100 or the like, that is, two trajectories.
  • FIG. 4 shows time-series information 200 corresponding to the handwritten document of FIG.
  • the time series information includes a plurality of stroke data SD1, SD2,.
  • these stroke data SD1, SD2,..., SD7 are arranged in time series in the order in which these strokes are handwritten.
  • the first two stroke data SD1 and SD2 indicate two strokes of the handwritten character “A”, respectively.
  • the third and fourth stroke data SD3 and SD4 indicate two strokes constituting the handwritten character “B”, respectively.
  • the fifth stroke data SD5 indicates one stroke constituting the handwritten character “C”.
  • the sixth and seventh stroke data SD6 and SD7 indicate two strokes constituting the handwritten “arrow”, respectively.
  • Each stroke data includes a coordinate data series (time series coordinates) corresponding to one stroke, that is, a plurality of coordinates corresponding to a plurality of points on the trajectory of one stroke.
  • a plurality of coordinates are arranged in time series in the order in which the strokes are written.
  • the stroke data SD1 is a coordinate data series (time series coordinates) corresponding to each point on the locus of the stroke of the “ ⁇ ” shape of the handwritten character “A”, that is, n coordinates.
  • Data SD11, SD12,... SD1n are included.
  • the stroke data SD2 includes coordinate data series corresponding to each point on the locus of the stroke of the “ ⁇ ” shape of the handwritten character “A”, that is, n pieces of coordinate data SD21, SD22,... SD2n. Note that the number of coordinate data may be different for each stroke data.
  • Each coordinate data indicates an X coordinate and a Y coordinate corresponding to one point in the corresponding locus.
  • the coordinate data SD11 indicates the X coordinate (X11) and the Y coordinate (Y11) of the start point of the “ ⁇ ” -shaped stroke.
  • SD1n indicates the X coordinate (X1n) and Y coordinate (Y1n) of the end point of the “ ⁇ ” -shaped stroke.
  • each coordinate data may include time stamp information T corresponding to the time when the point corresponding to the coordinate is handwritten.
  • the handwritten time may be either absolute time (for example, year / month / day / hour / minute / second) or relative time based on a certain time.
  • the absolute time for example, year / month / day / hour / minute / second
  • each coordinate data in the stroke data indicates a difference from the absolute time.
  • the relative time may be added as time stamp information T.
  • the temporal relationship between the strokes can be expressed more accurately.
  • information (Z) indicating writing pressure may be added to each coordinate data.
  • the time series information 200 having the structure as described in FIG. 4 can represent not only the handwriting of each stroke but also the temporal relationship between the strokes. Therefore, by using this time-series information 200, as shown in FIG. 3, the tip of the handwritten “arrow” is written over the handwritten character “A” or close to the handwritten character “A”. However, the handwritten character “A” and the tip of the handwritten “arrow” can be handled as different characters or figures.
  • handwritten document data is not stored as an image or character recognition result, but is stored as time-series information 200 composed of a set of time-series stroke data. It can handle handwritten characters without depending on. Therefore, the structure of the time-series information 200 according to the present embodiment can be used in common in various countries around the world with different languages.
  • FIG. 5 is a diagram showing a system configuration of the tablet computer 10.
  • the tablet computer 10 includes a CPU 101, a system controller 102, a main memory 103, a graphics controller 104, a BIOS-ROM 105, a nonvolatile memory 106, a wireless communication device 107, an embedded controller (EC) 108, and the like. .
  • the CPU 101 is a processor that controls the operation of various modules in the tablet computer 10.
  • the CPU 101 executes various software loaded into the main memory 103 from the nonvolatile memory 106 that is a storage device.
  • These software include an operating system (OS) 201 and various application programs.
  • the application program includes a handwritten note application program 202.
  • the handwritten note application program 202 has a function of creating and displaying the above-mentioned handwritten document, a function of shaping the handwritten document in cooperation with the document conversion system 2, and the like.
  • the CPU 101 also executes a basic input / output system (BIOS) stored in the BIOS-ROM 105.
  • BIOS is a program for hardware control.
  • the system controller 102 is a device that connects between the local bus of the CPU 101 and various components.
  • the system controller 102 also includes a memory controller that controls access to the main memory 103.
  • the system controller 102 also has a function of executing communication with the graphics controller 104 via a PCI EXPRESS serial bus or the like.
  • the graphics controller 104 is a display controller that controls the LCD 17 ⁇ / b> A used as a display monitor of the tablet computer 10.
  • a display signal generated by the graphics controller 104 is sent to the LCD 17A.
  • the LCD 17A displays a screen image based on the display signal.
  • a touch panel 17B and a digitizer 17C are disposed on the LCD 17A.
  • the touch panel 17B is a capacitance-type pointing device for inputting on the screen of the LCD 17A.
  • the touch position on the screen where the finger is touched and the movement of the touch position are detected by the touch panel 17B.
  • the digitizer 17C is an electromagnetic induction type pointing device for inputting on the screen of the LCD 17A.
  • the digitizer 17C detects the contact position on the screen where the pen 100 is touched, the movement of the contact position, and the like.
  • the wireless communication device 107 is a device configured to perform wireless communication such as wireless LAN or 3G mobile communication.
  • the EC 108 is a one-chip microcomputer including an embedded controller for power management.
  • the EC 108 has a function of turning on or off the tablet computer 10 in accordance with the operation of the power button by the user.
  • FIG. 6 shows a desktop / drawer screen displayed by the handwritten note application program 202.
  • the desktop / drawer screen is a basic screen for handling a plurality of handwritten document data.
  • the handwritten document data is also referred to as a handwritten note.
  • the desktop / drawer screen includes a desktop screen area 70 and a drawer screen area 71.
  • the desktop screen area 70 is a temporary area for displaying a plurality of note icons 801 to 805 corresponding to a plurality of handwritten notes being worked. Each of the note icons 801 to 805 displays a thumbnail of a page in the corresponding handwritten note.
  • the desktop screen area 70 further displays a pen icon 771, a calendar icon 772, a scrap note icon 773, and a tag icon 774.
  • the pen icon 771 is a graphical user interface (GUI) for switching the display screen from the desktop / drawer screen to a note view screen described later with reference to FIG.
  • the calendar icon 772 is an icon indicating the current date.
  • This calendar icon 772 is a GUI for switching the display screen from the desktop / drawer screen to the timeline note screen associated with the current date.
  • the scrap note icon 773 is a GUI for creating or browsing scrap data.
  • the created scrap data is registered in a strap book (strap note).
  • the scrap note icon 773 displays a thumbnail of each scrap data registered in the scrapbook.
  • the electronic document (the handwritten document shaping result) received from the document conversion system 2 can be registered in the strap book as scrap data.
  • the user can import any scrap data in the scrapbook into the handwritten note being created / edited.
  • the tag icon 774 is a GUI for attaching a sticky note (tag) to an arbitrary page in an arbitrary handwritten note.
  • the drawer screen area 71 is a display area for browsing a storage area for storing all created handwritten notes.
  • the drawer screen area 71 displays note icons 80A, 80B, 80C corresponding to some handwritten notes in all handwritten notes.
  • Each of the note icons 80A, 80B, 80C displays a thumbnail of a page in the corresponding handwritten note.
  • the handwritten note application program 202 can detect a gesture (for example, a swipe gesture) on the drawer screen area 71 performed by the user using an external object. In response to detecting this gesture (for example, a swipe gesture), the handwritten note application program 202 scrolls the screen image on the drawer screen area 71 leftward or rightward. Thereby, the note icon corresponding to each arbitrary handwritten note can be displayed in the drawer screen area 71.
  • the handwritten note application program 202 can detect a gesture (for example, a tap gesture) on the note icon in the drawer screen area 71 performed by the user using an external object. In response to detection of a gesture (for example, a tap gesture) on a certain note icon on the drawer screen area 71, the handwritten note application program 202 moves the note icon to the center of the desktop screen area 70. Then, the handwritten note application program 202 selects a handwritten note corresponding to this note icon, and displays the desktop screen shown in FIG. 7 instead of the desktop / drawer screen.
  • the desktop screen of FIG. 7 is a screen on which an arbitrary page in the selected handwritten note can be browsed.
  • the handwritten note application program 202 can also detect a gesture (for example, a tap gesture) on the desktop screen area 70 performed by the user using an external object. In response to detecting a gesture (for example, a tap gesture) on a note icon located at the center of the desktop screen area 70, the handwriting note application program 202 selects a handwritten note corresponding to the note icon located at the center. Then, instead of the desktop / drawer screen, the desktop screen shown in FIG. 7 is displayed.
  • a gesture for example, a tap gesture
  • the desktop screen in FIG. 7 is a screen on which an arbitrary page in the selected handwritten note can be browsed.
  • a handwritten note corresponding to the note icon 801 is selected.
  • the handwritten note application program 202 can visually recognize a plurality of pages 901, 902, 903, 904, and 905 included in the handwritten note, and at least a part of each of these pages 901, 902, 903, 904, and 905, and These pages 901, 902, 903, 904, and 905 are displayed in an overlapping form.
  • the desktop screen further displays the pen icon 771, the calendar icon 772, the scrap note icon 773, and the tag icon 774 described above.
  • the handwritten note application program 202 can detect various gestures on the desktop screen performed by the user. For example, in response to detection of a certain gesture, the handwritten note application program 202 changes the page to be displayed at the top to an arbitrary page (page advance, page return). Further, in response to detection of a certain gesture (for example, tap gesture) performed on the top page or in response to detection of a certain gesture (for example, tap gesture) performed on the pen icon 771, the handwritten note application The program 202 selects the top page and displays the note view screen shown in FIG. 8 instead of the desktop screen.
  • a certain gesture for example, tap gesture
  • tap gesture for example, tap gesture
  • the note view screen in FIG. 8 is a screen on which a new page (handwritten page) can be created and an existing page can be viewed and edited.
  • the note view screen displays the contents of the page 901 as shown in FIG.
  • the note view screen further displays a black pen button 501, a red pen button 502, a marker button 503, a selection button 504, and an eraser button 505.
  • the handwriting note application program 202 is synchronized with the movement of the pen 100.
  • a black stroke (trajectory) is displayed on the note view screen.
  • the selection button 504 is a button for starting a range selection tool for selecting an arbitrary range on the note view screen.
  • the handwriting note application program 202 performs a note according to the drag operation of the pen 100. Draw a rectangular frame or a free frame in the view screen. A portion surrounded by the rectangular frame or the free frame is used as a selection range.
  • FIG. 9 shows a functional configuration of the handwritten note application program 202.
  • the handwritten note application program 202 is a WYSIWYG application capable of handling handwritten data, and includes a pen locus display processing unit 301, a time-series information generation unit 302, a page storage processing unit 304, a page acquisition processing unit 305, and a handwritten document display process.
  • the handwritten note application program 202 creates, displays, and edits a handwritten document by using the stroke data input using the touch screen display 17.
  • the touch screen display 17 is configured to detect the occurrence of events such as “touch”, “move (slide)”, and “release”. “Touch” is an event indicating that an external object has touched the screen. “Move (slide)” is an event indicating that the contact position has been moved while an external object is in contact with the screen. “Release” is an event indicating that an external object has been released from the screen.
  • the pen locus display processing unit 301 and the time-series information generation unit 302 receive a “touch” or “move (slide)” event generated by the touch screen display 17, and thereby detect a handwriting input operation.
  • the “touch” event includes the coordinates of the contact position.
  • the “movement (slide)” event also includes the coordinates of the contact position of the movement destination. Therefore, the pen locus display processing unit 301 and the time-series information generation unit 302 can receive a coordinate sequence corresponding to the movement locus of the touch position from the touch screen display 17.
  • the pen locus display processing unit 301 displays a plurality of strokes input by handwriting on the screen of the LCD 17 ⁇ / b> A in the touch screen display 17. More specifically, the pen locus display processing unit 301 receives a coordinate sequence from the touch screen display 17, and based on the coordinate sequence, displays a stroke corresponding to a handwritten object written by a handwriting input operation using the pen 100 or the like. The image is displayed on the screen of the LCD 17A in the touch screen display 17. The pen locus display processing unit 301 draws the locus of the pen 100 while the pen 100 is in contact with the screen, that is, the locus of each stroke, on the screen of the LCD 17A.
  • the time-series information generating unit 302 receives the above-described coordinate sequence output from the touch screen display 17, and based on the coordinate sequence, the above-described time-series information (stroke data) having the structure described in detail in FIG. A set).
  • time series information that is, coordinates and time stamp information corresponding to each point of the stroke may be temporarily stored in the work memory 401.
  • the page storage processing unit 304 stores the generated time series information in the storage medium 402 as a handwritten document (handwritten page).
  • the storage medium 402 may be either a storage device in the tablet computer 10 or a storage device in the system 2.
  • the page acquisition processing unit 305 reads arbitrary time series information already stored from the storage medium 402.
  • the read time series information is sent to the handwritten document display processing unit 306.
  • the handwritten document display processing unit 306 analyzes the time-series information, and displays each stroke (each stroke input by handwriting) indicated by the time-series information as a handwritten page on the screen based on the analysis result.
  • the range selection unit 307 selects a handwritten part designated by the selection range on the note view screen from the handwritten page.
  • the selection of the handwritten portion is executed according to a range selection operation performed by the user.
  • the range selection operation is an operation for selecting an arbitrary part in the handwritten page on the note view screen, that is, an arbitrary handwritten part.
  • the user can surround an arbitrary portion on the screen with a rectangular frame or the like by operating the pen 100.
  • the range selection unit 307 may select a handwritten portion belonging to the selection range surrounded by the rectangular frame, that is, a plurality of strokes belonging to the selection range, as a processing target handwritten portion on which a function such as the above-described shaping should be executed. it can.
  • the transmitting unit 308 is configured to transmit the handwritten part selected by the range selecting unit 307 to the handwritten document conversion system 2. More specifically, the transmission unit 308 transmits a plurality of stroke data corresponding to the handwritten portion (a plurality of strokes) selected by the range selection unit 307 to the handwritten document conversion system 2.
  • the receiving unit 309 receives from the handwritten document conversion system 2 a shaping result (one or more object data) obtained by shaping the above-described handwritten portion (a plurality of strokes).
  • the shaping result display processing unit 310 displays the shaping result on the note view screen. Thereby, the user can shape only the handwritten portion corresponding to the selected range in the handwritten page while maintaining each handwritten portion other than the selected range in the handwritten page in a handwritten state.
  • the shaping result display processing unit 310 compares the shaping result and the handwritten part with each other so that the user can easily compare the shaped result and the handwritten part. Display it on the note view screen in association. In this way, by displaying the shaping result and the above-mentioned handwritten part in association with each other, even when shaping only a part in the handwritten page, the user can determine which handwritten part in the handwritten page corresponds to the shaping result. Can be presented in an easy-to-understand manner.
  • FIG. 10 shows an example of the range selection operation executed by the range selection unit 307.
  • a handwritten page including a plurality of handwritten character strings and a handwritten table 601 is displayed, and the handwritten table 601 is drawn by a rectangular frame 550 that is drawn using a range selection tool. It is assumed that it is enclosed.
  • the range selection unit 307 selects a handwritten table 601 designated by the selection range indicated by the rectangular frame 550 from the handwritten page.
  • the handwritten note application program 202 displays a shaping button 610 on the note view screen 500 as shown in FIG.
  • the transmission unit 308 outputs a plurality of stroke data corresponding to the handwritten portion (here, the handwritten table 601) selected by the range selection unit 307 as a handwritten document. Transmit to the conversion system 2.
  • the receiving unit 309 receives the result of shaping the handwritten table 601 from the handwritten document conversion system 2.
  • the shaping result display processing unit 310 can display the handwritten table 601 and the shaping result of the handwritten table 601 on the note view screen in association with each other based on the display position of the handwritten portion on the note view screen. .
  • the user can compare the handwritten part before shaping (handwritten table 601) with the shaping result. May be used.
  • the shaping result display processing unit 310 replaces the display form of the handwritten page with the first display form in which the shaping result is displayed at the display position of the handwritten table 601 instead of the handwritten table 601 and the shaping result. You may switch between the 2nd display forms by which the handwritten table
  • the shaping result display processing unit 310 first replaces the shaping result 602 with the handwritten table 601 based on the display position of the handwritten portion (handwritten table 601), as shown in FIG. Is displayed at the display position. That is, the shaping result display processing unit 310 replaces the handwritten table 601 in the handwritten page with the shaping result 602.
  • the shaping result display processing unit 310 can detect a gesture performed on the shaping result 602 in FIG. 12 (for example, a tap gesture performed by a user's finger). In response to the gesture detection performed on the shaping result 602 in FIG. 12, the shaping result display processing unit 310 displays a display switching button 621 near the shaping result 602 as shown in FIG.
  • the display switching button 621 is a user interface for switching the display form of the handwritten page between the first display form described above and the second display form described above.
  • the shaping result display processing unit 310 replaces the shaping result 602 based on the display position of the handwritten portion (handwritten table 601) as shown in FIG.
  • the handwritten table 601 is displayed at the original display position.
  • a display switching button 621 is displayed near the handwritten table 601.
  • the shaping result display processing unit 310 replaces the shaping result 602 with the handwritten table 601 based on the display position of the handwritten part, as shown in FIG. It is displayed again at the display position of this handwritten table 601.
  • the display form of the handwritten page, the display form of FIG. 12 or FIG. 13 in which the display content in the selection range in the handwritten page is replaced with the shaping result, and the selection are selected. It is possible to switch between the display form of FIG. 14 in which the display content within the range is returned to the original handwritten part.
  • the user can easily confirm whether or not the shaping result is correct by comparing the contents of the handwritten part before conversion with the contents of the shaping result.
  • the user can return the note view screen to the state before the range selection operation is performed, for example, by tapping an undo button (not shown). Then, the user can perform the range selection operation and the tap operation of the shaping button 610 again as necessary.
  • the display area of the shaping result 602 and the display of the handwritten table 601 are displayed.
  • a display form in which the area is displayed at least partially overlapping may be used.
  • the shaping result display processing unit 310 may display the display area of the shaping result 602 so as to overlap with at least a part of the display area of the handwritten table 601. Further, the shaping result display processing unit 310 overlaps the plurality of character strings and the plurality of lines in the shaping result 602 with the plurality of handwritten characters and the handwritten lines in the handwritten portion (handwritten table 601).
  • the line types thickness, solid line / broken line, etc.
  • color of a plurality of strokes included in the handwritten part handwritten table 601
  • any method capable of displaying each stroke lightly can be used.
  • the current color gradation level of each stroke may be changed.
  • the current color of each stroke may be changed to a predetermined specific light color.
  • any method that can display each stroke lightly can be used. For example, (1) the line widths of these multiple strokes may be narrowed, or (2) these multiple strokes may be broken lines.
  • the shaping result display processing unit 310 displays the shaping result 602 superimposed on the handwritten table 601 as shown in FIG. 15 based on the display position of the handwritten part.
  • the entire display area of the shaping result 602 overlaps the display area of the handwritten table 601, and the shaping area 602 is partially overlapped with the display area of the handwritten table 601.
  • the display position of the display area of the result 602 may be shifted vertically or horizontally with respect to the display position of the display area of the handwritten table 601.
  • the shaping result display processing unit 310 displays the shaping result 602 overlapping the display area of the handwritten table 601 so that at least a part of the handwritten table 601 can be seen through the display area of the shaping result 602. .
  • the shaping result display processing unit 310 allows the background of the shaping result 602 (the shaping result 602) so that the handwritten table 601 on the back of the shaping result 602 can be seen through the background of the shaping result 602 (the display area of the shaping result 602).
  • the display area may be set to be transparent.
  • the background of the shaping result 602 may be transparent.
  • the shaping result display processing unit 310 may display an “OK” button 611 and a “Cancel” button 612 on the note view screen.
  • the “OK” button 611 is operated (for example, a tap operation) by the user, the shaping result display processing unit 310 replaces the handwritten table 601 with the shaping result 602.
  • the handwritten table 601 is erased from the note view screen, and the display position of the shaping result 602 is moved as necessary so that the shaping result 602 is displayed at the display position of the original handwritten table 601.
  • the shaping result display processing unit 310 deletes the shaping result 602 from the note view screen, and a plurality of stroke lines included in the handwritten table 601. Return seed (thickness, solid / dashed line, etc.) or color to its original state.
  • the shaping result display processing unit 310 makes it difficult to see the shaping result 602 by overlapping a plurality of character strings and lines in the shaping result 602 with a plurality of handwritten characters and handwritten lines in the handwritten table 601.
  • one or more stroke trajectories corresponding to each handwritten character in the handwritten table 601 may be erased from the note view screen. In this case, only a plurality of strokes corresponding to a plurality of ruled lines of the handwritten table 601 are displayed, and a plurality of strokes corresponding to the handwritten characters of each cell of the handwritten table 601 are not displayed.
  • the visibility of the shaping result 602 can be improved. Further, even if a plurality of strokes corresponding to the handwritten characters in each cell are deleted, the user can compare a plurality of ruled lines in the handwritten table 601 with a plurality of ruled lines in the shaping result 602. Whether or not the number of vertical and horizontal elements (cells) is the same as the number of vertical and horizontal elements (cells) in the handwritten table 601 can be confirmed.
  • the shaping result display processing unit 310 may change the line type (thickness, solid line / broken line, etc.) or color of a plurality of strokes corresponding to a plurality of ruled lines in the handwritten table 601. Thereby, the visibility of the shaping result 602 can be further enhanced.
  • the shaping result display processing unit 310 displays at least a part of the display area of the handwritten table 601 from which a plurality of strokes corresponding to handwritten characters are deleted and the display area of the shaping result 602.
  • the shaping result display processing unit 310 may display the display area of the shaping result 602 so as to overlap at least part of the display area of the handwritten table 601.
  • the background of the shaping result 602 is set to be transparent, for example, so that the handwritten table 601 on the back of the shaping result 602 can be seen through the background of the shaping result 602.
  • the shaping result display processing unit 310 replaces the handwritten table 601 with the shaping result 602.
  • the handwritten table 601 is erased from the note view screen, and the display position of the shaping result 602 is moved as necessary so that the shaping result 602 is displayed at the display position of the original handwritten table 601.
  • the shaping result display processing unit 310 deletes the shaping result 602 from the note view screen, and a plurality of stroke lines included in the handwritten table 601. Return seed (thickness, solid / dashed line, etc.) or color to its original state. Further, the shaping result display processing unit 310 displays the deleted handwritten character stroke again on each cell in the handwritten table 601.
  • the flowchart of FIG. 17 shows the procedure of handwritten document processing executed by the handwritten note application program 202.
  • the handwritten note application program 202 displays a note view screen (step S11). Then, the handwritten note application program 202 displays a handwritten document including a plurality of strokes described by handwriting on the note view screen (step S12). In step S12, a plurality of strokes constituting the handwritten document are displayed on the note view screen. The display of these strokes may be performed based on, for example, handwritten page data read from the storage medium 402, or may be performed according to a handwriting input operation on the note view screen.
  • the handwritten note application program 202 selects a handwritten portion (a plurality of strokes) designated by the selection range on the note view screen from the handwritten document (step S13).
  • step S14 the handwritten note application program 202 transmits the selected handwritten part to the document conversion system 2 (step S15).
  • step S ⁇ b> 15 a plurality of stroke data corresponding to a plurality of strokes included in the selected handwritten portion is transmitted to the document conversion system 2.
  • the handwritten note application program 202 receives the shaping result (object data) obtained by shaping the handwritten part from the document conversion system 2 (step S16).
  • the handwritten note application program 202 displays the shaping result (an object corresponding to the object data) and the handwritten portion on the note view screen based on the display position (display area) of the handwritten portion (step S17).
  • step S17 the handwritten note application program 202 may display the shaping result at the display position of the handwritten portion instead of the handwritten portion based on the display position of the handwritten portion. Thereby, the display content of the selection range in the handwritten document is replaced with the shaping result. Then, as described with reference to FIGS. 13 and 14, the handwritten note application program 202 displays the contents to be displayed in the selection range in the handwritten document between the shaping result and the original handwritten portion in accordance with the operation by the user. Switch alternately with.
  • the handwritten note application program 202 changes the line type or color of a plurality of strokes included in the handwritten portion, and displays the handwritten portion based on the display position of the handwritten portion.
  • the area and the display area of the shaping result may be displayed at least partially overlapping.
  • the handwritten portion designated by the selection range on the screen is transmitted from the tablet computer 10 to the handwritten document conversion system 2. Then, the handwritten part and the shaping result received from the handwritten document conversion system 2 are associated with each other and displayed on the screen. Therefore, a desired part in a handwritten document can be easily shaped, and the shaping result can be presented to the user in a form that allows the user to compare the handwritten part before shaping with the shaping result.
  • the computer program Since various processes for a handwritten document according to the present embodiment can be realized by a computer program, the computer program is installed in a normal computer through a computer-readable storage medium storing the computer program, and executed. Effects similar to those of the embodiment can be easily realized.

Abstract

　実施形態によれば、電子機器は、表示処理手段と、送信手段と、受信手段とを具備する。前記表示処理手段は、手書きにより記載される複数のストロークを含む手書き文書を画面上に表示する。前記送信手段は、前記画面上の選択範囲によって指定される手書き部分をシステムに送信する。前記受信手段は、前記手書き部分を整形することによって得られる整形結果を前記システムから受信する。前記表示処理手段は、前記整形結果と前記手書き部分とを互いに関連づけて前記画面上に表示する。

Description

電子機器および手書き文書処理方法
　本発明の実施形態は、手書き文書を処理する技術に関する。
　近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。
　ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を電子機器に指示することができる。
　しかし、タッチスクリーンディスプレイを備える既存の電子機器の多くは、画像、音楽、他の各種メディアデータに対する操作性を追求したコンシューマ向け製品であり、会議、商談、商品開発などのビジネスシーンにおける利用については必ずしも適していない場合がある。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。
　最近では、手書きデータを文字認識するための技術も開発されている。
特開２０１２－９３８６６号公報
　しかし、従来では、手書き文書内の所望の部分を容易に整形するための技術については考慮されていないのが現状である。
　本発明の一形態の目的は、手書き文書内の所望の部分を容易に整形することができる電子機器および手書き文書処理方法を提供することである。
　実施形態によれば、電子機器は、表示処理手段と、送信手段と、受信手段とを具備する。前記表示処理手段は、手書きにより記載される複数のストロークを含む手書き文書を画面上に表示する。前記送信手段は、前記画面上の選択範囲によって指定される手書き部分をシステムに送信する。前記受信手段は、前記手書き部分を整形することによって得られる整形結果を前記システムから受信する。前記表示処理手段は、前記整形結果と前記手書き部分とを互いに関連づけて前記画面上に表示する。
図１は、実施形態に係る電子機器の外観を示す斜視図である。 図２は、同実施形態の電子機器と手書き文書変換システムとの連携動作を示す図である。 図３は、同実施形態の電子機器のタッチスクリーンディスプレイ上に手書きされる手書き文書の例を示す図である。 図４は、同実施形態の電子機器によって記憶媒体に保存される、図３の手書き文書に対応する時系列情報を説明するための図である。 図５は、同実施形態の電子機器のシステム構成を示すブロック図である。 図６は、同実施形態の電子機器によって表示されるデスクトップ／ドロア画面を示す図である。 図７は、同実施形態の電子機器によって表示されるデスクトップ画面を示す図である。 図８は、同実施形態の電子機器によって表示されるノートビュー画面を示す図である。 図９は、同実施形態の電子機器によって実行されるデジタルノートブックアプリケーションプログラムの機能構成を示すブロック図である。 図１０は、同実施形態の電子機器によって実行される範囲選択動作を説明するための図である。 図１１は、同実施形態の電子機器によって表示される、整形機能を実行するためのユーザインタフェースを説明するための図である。 図１２は、同実施形態の電子機器によって、手書き部分に代えて表示される整形結果を示す図である。 図１３は、同実施形態の電子機器の画面に表示される、整形結果を手書き部分に戻すためのユーザインタフェースを説明するための図である。 図１４は、同実施形態の電子機器によって、整形結果に代えて表示される手書き部分を示す図である。 図１５は、同実施形態の電子機器によって、手書き部分上に重ねて表示される整形結果を示す図である。 図１６は、同実施形態の電子機器によって、手書き文字が削除された手書き部分上に重ねて表示される整形結果を示す図である。 図１７は、同実施形態の電子機器によって実行される手書き文書処理の手順を説明するフローチャートである。
　以下、実施の形態について図面を参照して説明する。　
　図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはストレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。
　本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。
　このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００又は指）の動きの軌跡、つまり手書き入力操作によって手書きされるストローク（手書きストロークの軌跡）がリアルタイムに描画され、これによって手書きにより入力された複数のストロークが画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１つのストロークに相当する。手書きされた文字、手書きされた図形、手書きされた表、などに対応する多数のストロークの集合が手書き文書を構成する。
　本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報（手書き文書データ）として記憶媒体に保存される。この時系列情報の詳細は図４を参照して後述するが、この時系列情報は、複数のストロークが手書きされた順を示し、且つ複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、この時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序に相当する。
　タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークを画面上に表示することができる。時系列情報によって示される複数のストロークも、手書きによって入力される複数のストロークである。
　さらに、タブレットコンピュータ１０は編集機能を有している。この編集機能は、「消しゴム」ツール、範囲選択ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、範囲選択ツールによって選択される表示中の手書き文書内の任意の部分（手書き文字、手書きマーク、手書き図形、手書き表、等）を削除または移動することができる。またさらに、この編集機能は、選択範囲内に属する手書き部分に対して各種機能、例えば、図整形機能、表整形機能、手書き文字整形機能、等を実行することができる。これら整形機能はクラウドサーバシステムを利用することによって実行することができる。
　本実施形態では、手書き文書は、１つまたは複数のページとして管理されうる。この場合、時系列情報（手書き文書データ）を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。なお、タブレットコンピュータ１０によって表示されるべき手書き文書としては、手書きによって記載される複数のストローク（手書きストローク）を含む任意の手書き文書を使用し得る。
　図２は、タブレットコンピュータ１０と手書き文書変換システム２との連携動作の例を示している。タブレットコンピュータ１０は、手書き文書変換システム２と連携することができる。すなわち、タブレットコンピュータ１０は、無線ＬＡＮなどの無線通信デバイスを備えており、インターネット上の手書き文書変換システム２との通信を実行することもできる。手書き文書変換システム２は各種クラウドコンピューティングサービスを実行する１以上のサーバから構成されている。
　手書き文書変換システム２は、タブレットコンピュータ１０から受信される手書き文書３１（複数のストロークデータ）を既存のワードプロセッサソフトウェアまたは既存のプレゼンテーションソフトウェアなどによって閲覧・編集が可能なファイルフォーマットの電子文書に変換するサービスを実行することができる。この変換サービスにおいては、手書き文書３１内の手書き文字、手書き図形、手書き表などがそれぞれ整形される。手書き文字列の整形においては、この手書き文字列は文字認識によって幾つかの文字コードに変換される。手書き図形の整形においては、この手書き図形は既存のワードプロセッサソフトウェアまたは既存のプレゼンテーションソフトウェアなどによって閲覧・編集が可能なオブジェクトデータに変換される。例えば、手書きの丸は丸形状の図形オブジェクトに変換される。手書き表の整形においては、この手書き表はこの手書きの表のセル数と同じセル数を含む表オブジェクトに変換される。さらに、手書きの表の各セルに含まれる手書き文字列は幾つかの文字コードに変換される。
　タブレットコンピュータ１０は、手書き文書３１を構成する複数のストロークデータを手書き文書変換システム２に送信し（アップロード）、手書き文書変換システム２に手書き文書３１の整形（変換）を要求することができる。そして、タブレットコンピュータ１０は、手書き文書３１の整形結果である電子文書３２を手書き文書変換システム２から受信することができる（ダウンロード）。また、タブレットコンピュータ１０は、手書き文書３１内の任意の手書き部分だけを文書変換システム２に送信し（アップロード）、手書き文書変換システム２にこの手書き部分の整形（変換）を要求することもできる。
　ここで、タブレットコンピュータ１０と手書き文書変換システム２との連携動作の例について説明する。タブレットコンピュータ１０は手書き文書変換システム２に対してアクセスし、手書き文書変換システム２のインタフェース２０を介して変換の対象となる手書き文書３１を手書き文書変換システム２に送信する。この場合、タブレットコンピュータ１０は、手書き文書３１の変換後のファイル形式（ＰＤＦ、イメージデータ、ベクトルデータ、マイクロソフト社のワード（登録商標）、マイクロソフト社のエクセル（登録商標）、マイクロソフト社のパワーポイント（登録商標）、等）を手書き文書変換システム２に指示することもできる。手書き文書３１は手書き文書変換システム２のストレージ２１に格納される。テキスト／図表整形エンジン２２はストレージ２１から手書き文書３１を受け取り、手書き文書３１内の手書き文字列、手書きの図形、手書きの表を認識してこれら手書き文字列、手書きの図形、手書きの表を整形する。電子文書変換エンジン２３はテキスト／図表整形エンジン２２から整形結果を受信する。そして、電子文書変換エンジン２３は、この整形結果を、タブレットコンピュータ１０によって指定されたファイル形式の電子文書３２に変換し、この電子文書３２をストレージ２１に格納する。タブレットコンピュータ１０は電子文書３２をインタフェース２０を介して閲覧したり、この電子文書３２をインタフェース２０を介して手書き文書変換システム２から受信することができる（ダウンロード）。
　なお、上述したように、タブレットコンピュータ１０は、手書き文書３１内の任意の手書き部分を文書変換システム２に送信し、この手書き部分に対応する整形結果を手書き文書変換システム２から受信することもできる。この整形結果に対応するオブジェクトデータは各種ソフトウェアが扱うことができるベクトルデータであってもよいし、あるいはイメージデータであってもよい。
　次に、図３および図４を参照して、ユーザによって手書きされたストローク（文字、図形、表など）と時系列情報との関係について説明する。図３は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書（手書き文字列）の例を示している。
　手書き文書では、一旦手書きによって入力される文字や図形などの上に、さらに別の文字や図形などが手書きによって入力されるというケースが多い。図３においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きによって入力され、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きによって入力された場合が想定されている。
　手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「－」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｎが得られる。同様に、次に手書きされる「－」形状のペン１００の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「－」形状のストロークの時系列座標ＳＤ２１、ＳＤ２２、…ＳＤ２ｎが得られる。
　手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた手書きされた２つのストローク、つまり２つの軌跡によって表現される。
　図４は、図３の手書き文書に対応する時系列情報２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、これらストロークが手書きされた順に時系列に並べている。
　時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＳＤ３、ＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＳＤ６、ＳＤ７は、手書き「矢印」を構成する２つのストロークをそれぞれ示している。
　各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「－」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。
　各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。
　さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。
　このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。
　さらに、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。
　図４で説明したような構造を有する時系列情報２００は、個々のストロークの筆跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、この時系列情報２００を使用することにより、図３に示すようにたとえ手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、手書き文字「Ａ」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。
　さらに、本実施形態では、上述したように、手書き文書データは、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合から構成される時系列情報２００として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。
　図５は、タブレットコンピュータ１０のシステム構成を示す図である。　
　タブレットコンピュータ１０は、図５に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ－ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。
　ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、手書きノートアプリケーションプログラム２０２が含まれている。この手書きノートアプリケーションプログラム２０２は、上述の手書き文書を作成および表示する機能、文書変換システム２と共同して手書き文書を整形する機能、等を有している。
　また、ＣＰＵ１０１は、ＢＩＯＳ－ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
　システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ　ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。
　グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。
　無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。
　次に、手書きノートアプリケーションプログラム２０２によってユーザに提示される幾つかの代表的な画面の例を説明する。
　図６は、手書きノートアプリケーションプログラム２０２によって表示されるデスクトップ／ドロア画面を示す。デスクトップ／ドロア画面は複数の手書き文書データを扱うための基本画面である。以下では、手書き文書データを手書きノートとも称する。
　デスクトップ／ドロア画面は、デスクトップ画面領域７０とドロア画面領域７１とを含む。デスクトップ画面領域７０は作業中の複数の手書きノートに対応する複数のノートアイコン８０１～８０５を表示するテンポラリ領域である。ノートアイコン８０１～８０５の各々は、対応する手書きノート内のあるページのサムネイルを表示する。デスクトップ画面領域７０は、さらに、ペンアイコン７７１、カレンダーアイコン７７２、スクラップノートアイコン７７３、タグアイコン７７４を表示する。
　ペンアイコン７７１は、表示画面をデスクトップ／ドロア画面から図８で後述するノートビュー画面に切り替えるためのグラフィカルユーザインタフェース（ＧＵＩ）である。カレンダーアイコン７７２は現在の日付を示すアイコンである。このカレンダーアイコン７７２は、表示画面をデスクトップ／ドロア画面から現在の日付に関連付けられたタイムラインノート画面に切り替えるためのＧＵＩである。スクラップノートアイコン７７３は、スクラップデータを作成または閲覧するためのＧＵＩである。作成されたスクラップデータはストラップブック（ストラップノート）に登録される。スクラップノートアイコン７７３は、スクラップブックに登録されている各スクラップデータのサムネイルを表示する。文書変換システム２から受信される電子文書（手書き文書の整形結果）をスクラップデータとしてストラップブックに登録することができる。ユーザは、スクラップブック内の任意のスクラップデータを作成／編集中の手書きノートにインポートすることができる。タグアイコン７７４は、任意の手書きノート内の任意のページに付箋紙（タグ）を貼り付けるためのＧＵＩである。
　ドロア画面領域７１は、作成済みの全ての手書きノートを格納するためのストレージ領域を閲覧するための表示領域である。ドロア画面領域７１は、全ての手書きノート内の幾つかの手書きノートに対応するノートアイコン８０Ａ，８０Ｂ，８０Ｃを表示する。ノートアイコン８０Ａ，８０Ｂ，８０Ｃの各々は、対応する手書きノート内のあるページのサムネイルを表示する。手書きノートアプリケーションプログラム２０２は外部オブジェクトを使用してユーザによって行われるドロア画面領域７１上のジェスチャ（例えばスワイプジェスチャ等）を検出することができる。このジェスチャ（例えばスワイプジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム２０２は、ドロア画面領域７１上の画面イメージを左方向または右方向にスクロールする。これにより、ドロア画面領域７１に任意の手書きノートそれぞれに対応するノートアイコンを表示することができる。
　さらに、手書きノートアプリケーションプログラム２０２は外部オブジェクトを使用してユーザによって行われるドロア画面領域７１のノートアイコン上のジェスチャ（例えばタップジェスチャ等）を検出することができる。ドロア画面領域７１上のあるノートアイコン上のジェスチャ（例えばタップジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム２０２は、このノートアイコンをデスクトップ画面領域７０の中央部に移動する。そして、手書きノートアプリケーションプログラム２０２は、このノートアイコンに対応する手書きノートを選択し、そして、デスクトップ／ドロア画面の代わりに、図７に示すデスクトップ画面を表示する。図７のデスクトップ画面は、選択された手書きノート内の任意のページを閲覧可能な画面である。
　さらに、手書きノートアプリケーションプログラム２０２は外部オブジェクトを使用してユーザによって行われるデスクトップ画面領域７０上のジェスチャ（例えばタップジェスチャ等）も検出することができる。デスクトップ画面領域７０の中央部に位置するノートアイコン上のジェスチャ（例えばタップジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム２０２は、中央部に位置するノートアイコンに対応する手書きノートを選択し、そして、デスクトップ／ドロア画面の代わりに、図７に示すデスクトップ画面を表示する。
　上述したように、図７のデスクトップ画面は、選択された手書きノート内の任意のページを閲覧可能な画面である。ここでは、ノートアイコン８０１に対応する手書きノートが選択された場合を想定する。この場合、手書きノートアプリケーションプログラム２０２は、この手書きノートに含まれる複数のページ９０１，９０２，９０３，９０４，９０５を、これらページ９０１，９０２，９０３，９０４，９０５それぞれの少なくとも一部分が視認可能で且つこれらページ９０１，９０２，９０３，９０４，９０５が重なった形態で表示する。
　デスクトップ画面は、さらに、上述のペンアイコン７７１、カレンダーアイコン７７２、スクラップノートアイコン７７３、タグアイコン７７４を表示する。
　手書きノートアプリケーションプログラム２０２はユーザによって行われるデスクトップ画面上の様々なジェスチャを検出することができる。例えば、あるジェスチャの検出に応答して、手書きノートアプリケーションプログラム２０２は、一番上に表示されるべきページを任意のページに変更する（ページ送り、ページ戻し）。また、一番上のページ上で行われるあるジェスチャ（例えばタップジェスチャ）の検出に応答して、またはペンアイコン７７１上で行われるあるジェスチャ（例えばタップジェスチャ）の検出に応答して、手書きノートアプリケーションプログラム２０２は、一番上のページを選択し、そしてデスクトップ画面の代わりに、図８に示すノートビュー画面を表示する。
　図８のノートビュー画面は、ページ（手書きページ）の新規作成、および既存のページの閲覧および編集が可能な画面である。図７のデスクトップ画面上のページ９０１が選択された場合には、図８に示すように、ノートビュー画面は、ページ９０１の内容を表示する。
　ノートビュー画面は、さらに、黒ペンボタン５０１、赤ペンボタン５０２、マーカーボタン５０３、選択ボタン５０４、および消しゴムボタン５０５を表示する。
　例えば、黒ペンボタン５０１がユーザによるタップジェスチャによって選択された状態で、ペン１００を用いた手書き入力操作がノートビュー画面上で行われると、手書きノートアプリケーションプログラム２０２は、ペン１００の動きに合わせて黒色のストローク（軌跡）をノートビュー画面上に表示する。選択ボタン５０４は、ノートビュー画面上の任意の範囲を選択するための範囲選択ツールを起動するためのボタンである。ユーザによるタップジェスチャによって選択ボタン５０４が選択された状態で、ペン１００を用いた手書き入力操作がノートビュー画面上で行われると、手書きノートアプリケーションプログラム２０２は、ペン１００のドラッグ操作に応じて、ノートビュー画面中に矩形枠または自由枠を描画する。この矩形枠または自由枠によって囲まれる部分が選択範囲として使用される。
　図９は、手書きノートアプリケーションプログラム２０２の機能構成を示す。　
　手書きノートアプリケーションプログラム２０２は、手書きデータを扱うことが可能なＷＹＳＩＷＹＧアプリケーションであり、ペン軌跡表示処理部３０１、時系列情報生成部３０２、ページ保存処理部３０４、ページ取得処理部３０５、手書き文書表示処理部３０６、範囲選択部３０７、送信部３０８、受信部３０９、および整形結果表示処理部３１０等を備える。
　手書きノートアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いて入力されるストロークデータを使用することによって、手書き文書の作成、表示、編集等を行う。タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。
　ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントにも、移動先の接触位置の座標が含まれている。したがって、ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。
　ペン軌跡表示処理部３０１は、手書きによって入力される複数のストロークをタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。より詳しくは、ペン軌跡表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信し、この座標列に基づいて、ペン１００等を使用した手書き入力操作によって書かれる手書きオブジェクトに対応する各ストロークをタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。このペン軌跡表示処理部３０１により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡がＬＣＤ１７Ａの画面上に描かれる。
　時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される上述の座標列を受信し、この座標列に基づいて、図４で詳述したような構造を有する上述の時系列情報（ストロークデータの集合）を生成する。この場合、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報は作業メモリ４０１に一時保存してもよい。
　ページ保存処理部３０４は、生成された時系列情報を手書き文書（手書きページ）として記憶媒体４０２に保存する。記憶媒体４０２は、タブレットコンピュータ１０内のストレージデバイス、システム２内のストレージデバイスのいずれであってもよい。
　ページ取得処理部３０５は、記憶媒体４０２から既に格納されている任意の時系列情報を読み出す。読み出された時系列情報は手書き文書表示処理部３０６に送られる。手書き文書表示処理部３０６は、時系列情報を解析し、この解析結果に基づいて、時系列情報によって示される各ストローク（手書きによって入力された各ストローク）を画面上に手書きページとして表示する。
　範囲選択部３０７は、ノートビュー画面上の選択範囲によって指定される手書き部分を手書きページから選択する。この手書き部分の選択は、ユーザによって行われる範囲選択操作に応じて実行される。範囲選択操作は、ノートビュー画面上の手書きページ内の任意の部分、つまり任意の手書き部分を選択するための操作である。ユーザは、例えば「範囲選択」ツールを使用することにより、ペン１００の操作によって画面上の任意の部分を矩形枠等によって囲むことができる。範囲選択部３０７は、矩形枠によって囲まれた選択範囲内に属する手書き部分、つまり選択範囲内に属する複数のストロークを、上述の整形等の機能を実行すべき処理対象手書き部分として選択することができる。
　送信部３０８は、範囲選択部３０７によって選択される手書き部分を手書き文書変換システム２に送信するように構成されている。より詳しくは、送信部３０８は、範囲選択部３０７によって選択される手書き部分（複数のストローク）に対応する複数のストロークデータを手書き文書変換システム２に送信する。受信部３０９は、上述の手書き部分（複数のストローク）を整形することによって得られる整形結果（１以上のオブジェクトデータ）を手書き文書変換システム２から受信する。整形結果表示処理部３１０は、整形結果をノートビュー画面上に表示する。これにより、ユーザは、手書きページ内の選択範囲以外の手書き部分それぞれを手書きの状態に維持したまま、手書きページ内の選択範囲に対応する手書き部分のみを整形することができる。
　整形結果をノートビュー画面上に表示する処理においては、整形結果表示処理部３１０は、整形結果と上述の手書き部分とをユーザが容易に見比べられるように、整形結果と上述の手書き部分とを互いに関連づけてノートビュー画面上に表示する。このように、整形結果と上述の手書き部分とを互いに関連づけて表示することにより、手書きページ内の一部分のみを整形する場合でも、整形結果が手書きページ内のどの手書き部分に対応しているかをユーザに分かり易く提示することができる。
　図１０は、範囲選択部３０７によって実行される範囲選択動作の例を示す。図１０のノートビュー画面５００においては、複数の手書き文字列と手書きの表６０１とを含む手書きページが表示されており、この手書きの表６０１が範囲選択ツールを用いて描画される矩形枠５５０によって囲まれた場合が想定されている。範囲選択部３０７は矩形枠５５０によって示される選択範囲によって指定される手書きの表６０１を手書きページから選択する。
　手書きノートアプリケーションプログラム２０２は、図１１に示すように、ノートビュー画面５００上に整形ボタン６１０を表示する。この整形ボタン６１０がユーザの指またはペン１００によってタップされると、送信部３０８は、範囲選択部３０７によって選択される手書き部分（ここでは手書きの表６０１）に対応する複数のストロークデータを手書き文書変換システム２に送信する。受信部３０９は手書き文書変換システム２から手書きの表６０１の整形結果を受信する。そして、整形結果表示処理部３１０は、ノートビュー画面上の手書き部分の表示位置に基づき、手書きの表６０１と手書きの表６０１の整形結果とを互いに関連づけてノートビュー画面上に表示することができる。
　手書きの表６０１と整形結果とを互いに関連づけてノートビュー画面上に表示するための表示形態としては、整形前の手書き部分（手書きの表６０１）と整形結果とをユーザが見比べることが可能な任意の表示形態を使用し得る。
　例えば、整形結果表示処理部３１０は、手書きページの表示形態を、手書きの表６０１に代えて整形結果が手書きの表６０１の表示位置に表示される第１の表示形態と、整形結果に代えて手書きの表６０１が上述の表示位置に表示される第２の表示形態との間で切り替えてもよい。
　この場合、整形結果表示処理部３１０は、まず、図１２に示すように、手書き部分（手書きの表６０１）の表示位置に基づき、整形結果６０２を手書きの表６０１に代えてこの手書きの表６０１の表示位置に表示する。つまり、整形結果表示処理部３１０は、手書きページ内の手書きの表６０１を整形結果６０２に入れ替える。
　整形結果表示処理部３１０は、図１２の整形結果６０２上で行われるジェスチャ（例えば、ユーザの指によって行われるタップジェスチャ）を検出することができる。図１２の整形結果６０２上で行われるジェスチャの検出に応答して、整形結果表示処理部３１０は、図１３に示すように、表示切り替えボタン６２１を整形結果６０２の近くに表示する。表示切り替えボタン６２１は、手書きページの表示形態を、上述の第１の表示形態と上述の第２の表示形態との間で切り替えるためのユーザインタフェースである。
　表示切り替えボタン６２１がペン１００または指によってタップされた時、整形結果表示処理部３１０は、図１４に示すように、手書き部分（手書きの表６０１）の表示位置に基づき、整形結果６０２に代えて、手書きの表６０１を元の表示位置に表示する。手書きの表６０１の近くには表示切り替えボタン６２１が表示される。表示切り替えボタン６２１がペン１００または指によって再びタップされた時、整形結果表示処理部３１０は、図１３に示すように、手書き部分の表示位置に基づき、整形結果６０２を手書きの表６０１に代えてこの手書きの表６０１の表示位置に再び表示する。
　このように、本実施形態では、ユーザの操作に応じて、手書きページの表示形態を、手書きページ内の選択範囲内の表示内容が整形結果に入れ替えられる図１２または図１３の表示形態と、選択範囲内の表示内容が元の手書き部分に戻される図１４の表示形態との間で切り替えることができる。これにより、ノートビュー画面のサイズに限りがある場合でも、ユーザは、変換前の手書き部分の内容と整形結果の内容とを見比べて整形結果が正しいか否かを容易に確認することができる。整形結果が正しくない場合には、ユーザは、例えば図示しないアンドゥボタンをタップすること等により、ノートビュー画面を範囲選択操作が実行される前の状態に戻すことができる。そして、ユーザは、必要に応じて、範囲選択操作、及び整形ボタン６１０のタップ操作を再度行うことができる。
　整形前の手書き部分（手書きの表６０１）と整形結果とをユーザが見比べることが可能な任意の表示形態としては、図１５に示すように、整形結果６０２の表示領域と手書きの表６０１の表示領域とが少なくとも一部重ねて表示される表示形態を使用してもよい。この場合、整形結果表示処理部３１０は、整形結果６０２の表示領域を手書きの表６０１の表示領域の少なくとも一部の上に重ねて表示してもよい。さらに、整形結果表示処理部３１０は、整形結果６０２内の複数の文字列および複数の線と手書き部分（手書きの表６０１）内の複数の手書き文字および手書きの線とが重なり合うことによって整形結果６０２が見づらくなることを防ぐために、図１５に示すように、手書き部分（手書きの表６０１）に含まれる複数のストロークの線種（太さ、実線／破線、等）または色を変更することもできる。各ストロークの色を変更するための方法としては、各ストロークを薄く表示できる任意の方法を使用し得る。例えば、各ストロークの現在の色の階調レベルを変更してもよい。あるいは、各ストロークの現在の色を、予め決められた特定の薄い色に変更してもよい。
　また、複数のストロークの線種（線幅、実線／破線、等）を変更する方法としては、各ストロークを薄く表示することができる任意の方法を使用できる。例えば、（１）これら複数のストロークの線幅を細くしてもよく、あるいは（２）これら複数のストロークを破線にしてもよい。
　そして、整形結果表示処理部３１０は、手書き部分の表示位置に基づき、整形結果６０２を、図１５に示すように、手書きの表６０１上に重ねて表示する。この場合、必ずしも整形結果６０２の表示領域全体が手書きの表６０１の表示領域上に重なる必要は無く、整形結果６０２の表示領域が部分的に手書きの表６０１の表示領域上に重なるように、整形結果６０２の表示領域の表示位置を、手書きの表６０１の表示領域の表示位置に対して上下方向または左右方向にずらしてもよい。さらに、整形結果表示処理部３１０は、手書きの表６０１の表示領域と重なる整形結果６０２の表示領域で、手書きの表６０１の少なくとも一部が整形結果６０２の表示領域を通して透けて見えるように表示する。例えば、整形結果表示処理部３１０は、整形結果６０２の背面にある手書きの表６０１が整形結果６０２の背景（整形結果６０２の表示領域）を通して透けて見えるように整形結果６０２の背景（整形結果６０２の表示領域）の透明度を設定してもよい。この場合、整形結果６０２の背景は透明であってもよい。
　さらに、整形結果表示処理部３１０は、ノートビュー画面上に「ＯＫ」ボタン６１１、「キャンセル」ボタン６１２を表示してもよい。「ＯＫ」ボタン６１１がユーザによって操作（例えばタップ操作）された時、整形結果表示処理部３１０は、手書きの表６０１を整形結果６０２に入れ替える。この場合、手書きの表６０１はノートビュー画面から消され、そして整形結果６０２が元の手書きの表６０１の表示位置に表示されるように必要に応じて整形結果６０２の表示位置が移動される。一方、「キャンセル」ボタン６１２がユーザによって操作（例えばタップ操作）された時、整形結果表示処理部３１０は、整形結果６０２をノートビュー画面から消し、手書きの表６０１に含まれる複数のストロークの線種（太さ、実線／破線、等）または色を元の状態に戻す。
　また、整形結果表示処理部３１０は、整形結果６０２内の複数の文字列および複数の線と手書きの表６０１内の複数の手書き文字および手書きの線とが重なり合うことによって整形結果６０２が見づらくなることを防ぐために、図１６に示すように、手書きの表６０１内の各手書き文字に対応する１以上のストロークの軌跡をノートビュー画面から消してもよい。この場合、手書きの表６０１の複数の罫線に対応する複数のストロークだけが表示され、手書きの表６０１の各セルの手書き文字に対応する複数のストロークは表示されない。各セルの手書き文字に対応する複数のストロークを削除することにより、整形結果６０２の視認性を高めることができる。また、たとえ各セルの手書き文字に対応する複数のストロークを削除しても、ユーザは手書きの表６０１の複数の罫線と整形結果６０２の複数の罫線とを見比べることができるので、整形結果６０２の縦横の要素（セル）数が手書きの表６０１の縦横の要素（セル）数と同じであるかどうかなどを確認することができる。
　さらに、整形結果表示処理部３１０は、手書きの表６０１の複数の罫線に対応する複数のストロークの線種（太さ、実線／破線、等）または色を変更してもよい。これにより、整形結果６０２の視認性をさらに高めることができる。
　そして、整形結果表示処理部３１０は、手書き文字に対応する複数のストロークが削除された手書きの表６０１の表示領域と整形結果６０２の表示領域とを少なくとも一部重ねて表示する。整形結果表示処理部３１０は、例えば、手書きの表６０１の表示領域の少なくとも一部上に重ねて整形結果６０２の表示領域を表示してもよい。この場合、整形結果６０２の背面にある手書きの表６０１が整形結果６０２の背景を通して透けて見えるように整形結果６０２の背景は例えば透明に設定される。
　図１６のノートビュー画面上の「ＯＫ」ボタン６１１がユーザによって操作（例えばタップ操作）された時、整形結果表示処理部３１０は、手書きの表６０１を整形結果６０２に入れ替える。この場合、手書きの表６０１はノートビュー画面から消され、そして整形結果６０２が元の手書きの表６０１の表示位置に表示されるように必要に応じて整形結果６０２の表示位置が移動される。一方、「キャンセル」ボタン６１２がユーザによって操作（例えばタップ操作）された時、整形結果表示処理部３１０は、整形結果６０２をノートビュー画面から消し、手書きの表６０１に含まれる複数のストロークの線種（太さ、実線／破線、等）または色を元の状態に戻す。さらに、整形結果表示処理部３１０は、手書きの表６０１内の各セル上に、削除された手書き文字のストロークを再び表示する。
　図１７のフローチャートは、手書きノートアプリケーションプログラム２０２によって実行される手書き文書処理の手順を示す。　
　手書きノートアプリケーションプログラム２０２は、ノートビュー画面を表示する（ステップＳ１１）。そして、手書きノートアプリケーションプログラム２０２は、手書きによって記載される複数のストロークを含む手書き文書をノートビュー画面上に表示する（ステップＳ１２）。ステップＳ１２では、手書き文書を構成する複数のストロークがノートビュー画面上に表示される。これらストロークの表示は、例えば、記憶媒体４０２から読み出した手書きページデータに基づいて行われても良いし、ノートビュー画面上の手書き入力操作に応じて行われても良い。手書きノートアプリケーションプログラム２０２は、ノートビュー画面上の選択範囲によって指定される手書き部分（複数のストローク）を手書き文書から選択する（ステップＳ１３）。
　ユーザによって整形機能の実行が要求されたならば（ステップＳ１４のＹＥＳ）、手書きノートアプリケーションプログラム２０２は、選択される手書き部分を文書変換システム２に送信する（ステップＳ１５）。ステップＳ１５では、選択される手書き部分に含まれる複数のストロークに対応する複数のストロークデータが文書変換システム２に送信される。
　そして、手書きノートアプリケーションプログラム２０２は、手書き部分を整形することによって得られる整形結果（オブジェクトデータ）を文書変換システム２から受信する（ステップＳ１６）。手書きノートアプリケーションプログラム２０２は、手書き部分の表示位置（表示領域）に基づき、整形結果（オブジェクトデータに対応するオブジェクト）と手書き部分とを互いに関連づけてノートビュー画面上に表示する（ステップＳ１７）。
　ステップＳ１７では、図１２、図１３で説明したように、手書きノートアプリケーションプログラム２０２は、手書き部分の表示位置に基づき、手書き部分に代えて整形結果を手書き部分の表示位置に表示してもよい。これにより、手書き文書内の選択範囲の表示内容は整形結果に入れ替えられる。そして、手書きノートアプリケーションプログラム２０２は、図１３、図１４で説明したように、ユーザによる操作に応じて、手書き文書内の選択範囲に表示すべき内容を、整形結果と元の手書き部分との間で交互に切り替える。
　あるいは、図１５、図１６で説明したように、手書きノートアプリケーションプログラム２０２は、手書き部分に含まれる複数のストロークの線種または色を変更し、そして手書き部分の表示位置に基づき、手書き部分の表示領域と整形結果の表示領域とを少なくとも一部重ねて表示してもよい。
　以上説明したように、本実施形態においては、画面上の選択範囲によって指定される手書き部分がタブレットコンピュータ１０から手書き文書変換システム２に送信される。そして、手書き部分と手書き文書変換システム２から受信される整形結果とが互いに関連付けられて画面上に表示される。したがって、手書き文書内の所望の部分を容易に整形することができ、また整形結果を、ユーザが整形前の手書き部分と整形結果とを見比べることが可能な形態でユーザに提示することができる。
　本実施形態の手書き文書に対する各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (10)

  1. 　手書きにより記載される複数のストロークを含む手書き文書を画面上に表示する表示処理手段と、
    　前記画面上の選択範囲によって指定される手書き部分をシステムに送信する送信手段と、
    　前記手書き部分を整形することによって得られる整形結果を前記システムから受信する受信手段とを具備し、
    　前記表示処理手段は、前記整形結果と前記手書き部分とを互いに関連づけて前記画面上に表示する電子機器。
  2. 　前記表示処理手段は、前記手書き部分に代えて前記整形結果が前記手書き部分の表示位置に表示される第１の表示形態と、前記整形結果に代えて前記手書き部分が前記表示位置に表示される第２の表示形態とを切り替え可能に構成されている請求項１記載の電子機器。
  3. 　前記表示処理手段は、前記整形結果の表示領域と前記手書き部分の表示領域とを少なくとも一部重ねて表示する請求項１記載の電子機器。
  4. 　前記表示処理手段は、前記手書き部分の表示領域と重なる前記整形結果の表示領域で、前記手書き部分の少なくとも一部が前記整形結果の表示領域を通して透けて見えるように表示する請求項３記載の電子機器。
  5. 　前記表示処理手段は、前記手書き部分に含まれる複数のストロークの線種または色を変更し、且つ前記整形結果を前記手書き部分上に重ねて表示する請求項１記載の電子機器。
  6. 　前記表示処理手段は、前記手書き部分が手書き文字に対応する１以上のストロークと手書き文字以外の１以上のストロークとを含む場合、前記手書き文字に対応する前記１以上のストロークの軌跡を前記画面から消し、前記整形結果の表示領域と前記手書き部分の表示領域とを少なくとも一部重ねて表示する請求項１記載の電子機器。
  7. 　前記表示処理手段は、前記手書き部分が手書き文字に対応する１以上のストロークと手書き文字以外の１以上のストロークとを含む場合、前記手書き文字に対応する前記１以上のストロークの軌跡を前記画面から消し、前記手書き文字以外の前記１以上のストロークの線種または色を変更し、且つ前記整形結果の表示領域と前記手書き部分の表示領域とを一部重ねて表示する請求項１記載の電子機器。
  8. 　前記送信手段は、前記手書き部分に含まれる複数のストロークに対応する複数のストロークデータを前記システムに送信する請求項１記載の電子機器。
  9. 　手書きにより記載される複数のストロークを含む手書き文書を画面上に表示し、
    　前記画面上の選択範囲に対応する手書き部分をシステムに送信し、
    　前記手書き部分を整形することによって得られる整形結果を前記システムから受信し、
    　前記整形結果と前記手書き部分とを互いに関連づけて前記画面上に表示する手書き文書処理方法。
  10. 　コンピュータによって実行されるプログラムであって、
    　手書きにより記載される複数のストロークを含む手書き文書を画面上に表示する手順と、
    　前記画面上の選択範囲によって指定される手書き部分をシステムに送信する手順と、　前記手書き部分を整形することによって得られる整形結果を前記システムから受信する手順と、
    　前記整形結果と前記手書き部分とを互いに関連づけて前記画面上に表示する手順とを前記コンピュータに実行させるためのプログラム。
PCT/JP2013/058423 2013-02-07 2013-03-22 電子機器および手書き文書処理方法 WO2014122794A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380000676.4A CN104956378A (zh) 2013-02-07 2013-03-22 电子设备和手写文档处理方法
US13/965,474 US9117125B2 (en) 2013-02-07 2013-08-13 Electronic device and handwritten document processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-022293 2013-02-07
JP2013022293A JP6100013B2 (ja) 2013-02-07 2013-02-07 電子機器および手書き文書処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/965,474 Continuation US9117125B2 (en) 2013-02-07 2013-08-13 Electronic device and handwritten document processing method

Publications (1)

Publication Number Publication Date
WO2014122794A1 true WO2014122794A1 (ja) 2014-08-14

Family

ID=51299405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/058423 WO2014122794A1 (ja) 2013-02-07 2013-03-22 電子機器および手書き文書処理方法

Country Status (3)

Country Link
JP (1) JP6100013B2 (ja)
CN (1) CN104956378A (ja)
WO (1) WO2014122794A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9117125B2 (en) 2013-02-07 2015-08-25 Kabushiki Kaisha Toshiba Electronic device and handwritten document processing method
JP7318289B2 (ja) 2019-04-16 2023-08-01 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9658704B2 (en) * 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
CN108492349B (zh) * 2018-03-19 2023-04-11 广州视源电子科技股份有限公司 书写笔画的处理方法、装置、设备和存储介质
CN112732156A (zh) * 2020-12-30 2021-04-30 维沃移动通信有限公司 信息显示方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5896382A (ja) * 1981-12-01 1983-06-08 Nec Corp 手書き文字認識表示装置
JP2004046325A (ja) * 2002-07-09 2004-02-12 Sharp Corp データ入力装置、データ入力プログラムおよびデータ入力プログラムを記録した記録媒体
JP2010039769A (ja) * 2008-08-05 2010-02-18 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP2012093866A (ja) 2010-10-26 2012-05-17 Rubic Jp:Kk 手書きデータの清書テキスト化システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001005599A (ja) * 1999-06-22 2001-01-12 Sharp Corp 情報処理装置及び情報処理方法並びに情報処理プログラムを記録した記録媒体
JP4244614B2 (ja) * 2002-10-31 2009-03-25 株式会社日立製作所 手書き入力装置、プログラムおよび手書き入力方法システム
US20050105799A1 (en) * 2003-11-17 2005-05-19 Media Lab Europe Dynamic typography system
KR20090046142A (ko) * 2007-11-05 2009-05-11 삼성전자주식회사 입력 필체 자동 변환 시스템 및 방법
CN101685497B (zh) * 2008-09-28 2011-10-12 汉王科技股份有限公司 手写信息处理方法和装置
CN102141892B (zh) * 2011-03-28 2013-01-02 安徽科大讯飞信息科技股份有限公司 叠加手写输入显示方法及系统
US20120299881A1 (en) * 2011-05-27 2012-11-29 I.R.I.S. System for tracking and processing handwritten pen strokes on mobile terminal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5896382A (ja) * 1981-12-01 1983-06-08 Nec Corp 手書き文字認識表示装置
JP2004046325A (ja) * 2002-07-09 2004-02-12 Sharp Corp データ入力装置、データ入力プログラムおよびデータ入力プログラムを記録した記録媒体
JP2010039769A (ja) * 2008-08-05 2010-02-18 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP2012093866A (ja) 2010-10-26 2012-05-17 Rubic Jp:Kk 手書きデータの清書テキスト化システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9117125B2 (en) 2013-02-07 2015-08-25 Kabushiki Kaisha Toshiba Electronic device and handwritten document processing method
JP7318289B2 (ja) 2019-04-16 2023-08-01 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム

Also Published As

Publication number Publication date
JP2014153865A (ja) 2014-08-25
JP6100013B2 (ja) 2017-03-22
CN104956378A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
JP6180888B2 (ja) 電子機器、方法およびプログラム
JP5728592B1 (ja) 電子機器および手書き入力方法
US20140304586A1 (en) Electronic device and data processing method
JP6092418B2 (ja) 電子機器、方法及びプログラム
JP5925957B2 (ja) 電子機器および手書きデータ処理方法
US9117125B2 (en) Electronic device and handwritten document processing method
US20150347001A1 (en) Electronic device, method and storage medium
WO2015136645A1 (ja) 電子機器、方法及びプログラム
JP6100013B2 (ja) 電子機器および手書き文書処理方法
JP5634617B1 (ja) 電子機器および処理方法
JP2014059808A (ja) 電子機器および手書き文書処理方法
JP2015049604A (ja) 電子文書を表示するための電子機器および方法
JP5869179B2 (ja) 電子機器および手書き文書処理方法
US20160048324A1 (en) Electronic device and method
US8948514B2 (en) Electronic device and method for processing handwritten document
US20150098653A1 (en) Method, electronic device and storage medium
JP2016085512A (ja) 電子機器、方法及びプログラム
US20150213320A1 (en) Electronic device and method for processing handwritten document
US20150149894A1 (en) Electronic device, method and storage medium
JP6202997B2 (ja) 電子機器、方法及びプログラム
US20140145928A1 (en) Electronic apparatus and data processing method
JP6251408B2 (ja) 電子機器、方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2013741960

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13741960

Country of ref document: EP

Kind code of ref document: A1

WD Withdrawal of designations after international publication
NENP Non-entry into the national phase

Ref country code: DE