WO2014162604A1 - 電子機器および手書きデータ処理方法 - Google Patents

電子機器および手書きデータ処理方法 Download PDF

Info

Publication number
WO2014162604A1
WO2014162604A1 PCT/JP2013/060530 JP2013060530W WO2014162604A1 WO 2014162604 A1 WO2014162604 A1 WO 2014162604A1 JP 2013060530 W JP2013060530 W JP 2013060530W WO 2014162604 A1 WO2014162604 A1 WO 2014162604A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
stroke
handwritten
screen
handwriting
Prior art date
Application number
PCT/JP2013/060530
Other languages
English (en)
French (fr)
Inventor
康公 大河原
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to PCT/JP2013/060530 priority Critical patent/WO2014162604A1/ja
Priority to JP2015509848A priority patent/JP5925957B2/ja
Publication of WO2014162604A1 publication Critical patent/WO2014162604A1/ja
Priority to US14/823,228 priority patent/US20150347000A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink

Definitions

  • Embodiments of the present invention relate to a technique for processing handwritten data.
  • the user can instruct the electronic device to execute the function associated with the menu or object by touching the menu or object displayed on the touch screen display with a finger or the like.
  • An object of one embodiment of the present invention is to provide an electronic device and a handwritten data processing method that can easily handle handwritten data.
  • the electronic device includes setting means and drawing means.
  • the setting means sets a color for drawing a stroke in accordance with an operation on the user interface.
  • the drawing unit displays the first stroke input by handwriting in the second color different from the first color on the screen.
  • the drawing means draws the first stroke in the first color on the screen after a first period has elapsed since the first stroke was drawn in the second color.
  • FIG. 1 is a perspective view illustrating an appearance of an electronic apparatus according to an embodiment.
  • FIG. 2 is a diagram illustrating a cooperative operation between the electronic apparatus and the external device according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of a handwritten document handwritten on the touch screen display of the electronic device of the embodiment.
  • FIG. 4 is a diagram for explaining time-series information corresponding to the handwritten document of FIG. 3 that is stored in the storage medium by the electronic apparatus of the embodiment.
  • FIG. 5 is a block diagram showing a system configuration of the electronic apparatus of the embodiment.
  • FIG. 6 is a block diagram showing a functional configuration of a digital notebook application program executed by the electronic apparatus of the embodiment.
  • FIG. 7 is a diagram for describing an operation of drawing a stroke with a color different from a color set according to a user operation, which is executed by the electronic apparatus of the embodiment.
  • FIG. 8 is a diagram for describing a first example of an operation of returning the drawn stroke color to the original color, which is executed by the electronic apparatus of the embodiment.
  • FIG. 9 is a diagram for explaining a second example of the operation of returning the drawn stroke color to the original color, which is executed by the electronic apparatus of the embodiment.
  • FIG. 10 is a flowchart illustrating a procedure of a drawing process executed by the electronic apparatus of the embodiment.
  • FIG. 11 is a diagram for explaining an operation performed by the electronic apparatus of the embodiment to continuously change the color of the drawn stroke.
  • FIG. 1 is a perspective view illustrating an external appearance of an electronic apparatus according to an embodiment.
  • This electronic device is, for example, a pen-based portable electronic device that can be handwritten with a pen or a finger.
  • This electronic device can be realized as a tablet computer, a notebook personal computer, a smartphone, a PDA, or the like.
  • the tablet computer 10 is a portable electronic device also called a tablet or a straight computer, and includes a main body 11 and a touch screen display 17 as shown in FIG.
  • the touch screen display 17 is attached to be superposed on the upper surface of the main body 11.
  • the main body 11 has a thin box-shaped housing.
  • the touch screen display 17 incorporates a flat panel display and a sensor configured to detect a contact position of a pen or a finger on the screen of the flat panel display.
  • the flat panel display may be, for example, a liquid crystal display (LCD).
  • As the sensor for example, a capacitive touch panel, an electromagnetic induction digitizer, or the like can be used. In the following, it is assumed that two types of sensors, a digitizer and a touch panel, are incorporated in the touch screen display 17.
  • the touch screen display 17 can detect not only a touch operation on a screen using a finger but also a touch operation on a screen using the pen 100.
  • the pen 100 may be an electromagnetic induction pen, for example.
  • the user can perform a handwriting input operation on the touch screen display 17 using an external object (the pen 100 or a finger).
  • the trajectory of the movement of the external object (pen 100 or finger) on the screen that is, the stroke handwritten by the handwriting input operation (trajectory of the handwriting stroke) is drawn in real time, and is input by handwriting.
  • a plurality of handwritten strokes are displayed on the screen.
  • the trajectory of the movement of the external object while the external object is in contact with the screen corresponds to one handwritten stroke.
  • a set of many handwritten strokes corresponding to handwritten characters, marks, figures, tables, etc., that is, a set of many trajectories (handwriting) constitute handwritten data.
  • the handwritten stroke is also simply referred to as a stroke.
  • this handwritten document is stored in the storage medium as time-series information indicating the order relationship between the coordinate sequence of the trajectory of each stroke and the stroke, instead of image data. Details of this time series information will be described later with reference to FIG. 4, and this time series information indicates the order in which a plurality of strokes are handwritten, and includes a plurality of stroke data respectively corresponding to the plurality of strokes.
  • this time-series information means a set of time-series stroke data respectively corresponding to a plurality of strokes.
  • Each stroke data corresponds to a certain stroke, and includes a coordinate data series (time series coordinates) corresponding to each point on the locus of this stroke.
  • the order of arrangement of the stroke data corresponds to the order in which the strokes are handwritten, that is, the stroke order.
  • the tablet computer 10 can read existing arbitrary time-series information from the storage medium and display a handwritten document corresponding to the time-series information, that is, a plurality of strokes indicated by the time-series information on the screen.
  • the plurality of strokes indicated by the time series information are also a plurality of strokes input by handwriting.
  • the tablet computer 10 has an editing function.
  • This editing function allows any stroke or any handwritten object part (handwritten character part) in the displayed handwritten document according to the editing operation by the user using the “eraser” tool, the range selection tool, and other various tools. , Handwritten marks, handwritten figures, handwritten tables, etc.) can be deleted or moved. Furthermore, an arbitrary part in the handwritten document selected by the range selection tool can be designated as a search key for searching for a handwritten document.
  • time-series information can be managed as one or a plurality of pages.
  • a group of time-series information that fits on one screen may be recorded as one page by dividing the time-series information (handwritten document) by an area unit that fits on one screen.
  • the page size may be variable.
  • the page size can be expanded to an area larger than the size of one screen, a handwritten document having an area larger than the screen size can be handled as one page.
  • the page may be reduced, or the display target portion in the page may be moved by vertical and horizontal scrolling.
  • the page includes not only handwritten documents (handwritten data) but also various content data other than handwritten data, for example, image data (still images, moving images), text data, audio data, data created by drawing applications, Etc. can be included.
  • the handwritten document (handwritten page data) handled in the present embodiment includes a plurality of types of media data (handwritten data, image data, text data, audio data, data created by a draw system application, etc.). be able to. In this case, different layers may be assigned to the media data included in the handwritten page data.
  • the user can also handwrite strokes (handwritten characters, handwritten marks, handwritten figures, handwritten tables, etc.) on certain media data (also referred to as content data).
  • FIG. 2 shows an example of cooperative operation between the tablet computer 10 and an external device.
  • the tablet computer 10 can cooperate with the personal computer 1 and the cloud. That is, the tablet computer 10 includes a wireless communication device such as a wireless LAN, and can execute wireless communication with the personal computer 1. Furthermore, the tablet computer 10 can also execute communication with the server 2 on the Internet.
  • the server 2 may be a server that executes an online storage service and other various cloud computing services.
  • the personal computer 1 includes a storage device such as a hard disk drive (HDD).
  • the tablet computer 10 can transmit handwritten page data to the personal computer 1 via the network and record it on the HDD of the personal computer 1 (upload).
  • the personal computer 1 may authenticate the tablet computer 10 at the start of communication.
  • a dialog prompting the user to input an ID or password may be displayed on the screen of the tablet computer 10, and the ID of the tablet computer 10 and the like are automatically transmitted from the tablet computer 10 to the personal computer 1. May be.
  • the tablet computer 10 can handle a large number of handwritten page data or a large amount of handwritten page data.
  • the tablet computer 10 reads (downloads) any one or more handwritten page data recorded in the HDD of the personal computer 1, and stores the contents of the handwritten page data (handwritten data and other various content data).
  • 10 displays 17 can be displayed on the screen.
  • a list of thumbnails obtained by reducing each of a plurality of handwritten page data may be displayed on the screen of the display 17, or one page selected from these thumbnails may be displayed on the screen of the display 17 with a normal size. May be displayed.
  • the destination to which the tablet computer 10 communicates may be the server 2 on the cloud that provides a storage service or the like, as described above, instead of the personal computer 1.
  • the tablet computer 10 can transmit handwritten page data to the server 2 via the network and record it in the storage device 2A of the server 2 (upload). Further, the tablet computer 10 reads (downloads) arbitrary handwritten page data recorded in the storage device 2A of the server 2, and the contents of the handwritten page data (handwritten data and other various content data) are stored in the tablet computer 10. Can be displayed on the screen of the display 17.
  • the storage medium storing the handwritten page data may be any one of the storage device in the tablet computer 10, the storage device in the personal computer 1, and the storage device in the server 2.
  • FIG. 3 shows an example of a handwritten document (handwritten character string) handwritten on the touch screen display 17 using the pen 100 or the like.
  • the handwritten character “A” is represented by two strokes (“ ⁇ ” shape trajectory, “ ⁇ ” shape trajectory) handwritten using the pen 100 or the like, that is, two trajectories.
  • the trajectory of the first “ ⁇ ” -shaped pen 100 handwritten is sampled in real time, for example, at equal time intervals, thereby obtaining the time-series coordinates SD11, SD12,... SD1n of the “ ⁇ ” -shaped stroke.
  • the trajectory of the “ ⁇ ” shaped pen 100 to be handwritten next is sampled in real time at equal time intervals, thereby obtaining the time series coordinates SD21, SD22,... SD2n of the “ ⁇ ” shaped stroke.
  • the handwritten character “B” is represented by two strokes handwritten using the pen 100 or the like, that is, two trajectories.
  • the handwritten character “C” is represented by one stroke handwritten by using the pen 100 or the like, that is, one locus.
  • the handwritten “arrow” is expressed by two strokes handwritten by using the pen 100 or the like, that is, two trajectories.
  • FIG. 4 shows time-series information (handwritten data) 200 corresponding to the handwritten document of FIG.
  • the time series information includes a plurality of stroke data SD1, SD2,.
  • these stroke data SD1, SD2,..., SD7 are arranged in time series in the order of handwriting, that is, the order in which a plurality of strokes are handwritten.
  • the first two stroke data SD1 and SD2 indicate two strokes of the handwritten character “A”, respectively.
  • the third and fourth stroke data SD3 and SD4 indicate two strokes constituting the handwritten character “B”, respectively.
  • the fifth stroke data SD5 indicates one stroke constituting the handwritten character “C”.
  • the sixth and seventh stroke data SD6 and SD7 indicate two strokes constituting the handwritten “arrow”, respectively.
  • Each stroke data includes a coordinate data series (time series coordinates) corresponding to one stroke, that is, a plurality of coordinates corresponding to a plurality of points on the trajectory of one stroke.
  • a plurality of coordinates are arranged in time series in the order in which the strokes are written.
  • the stroke data SD1 is a coordinate data series (time series coordinates) corresponding to each point on the locus of the stroke of the “ ⁇ ” shape of the handwritten character “A”, that is, n coordinates.
  • Data SD11, SD12,... SD1n are included.
  • the stroke data SD2 includes coordinate data series corresponding to each point on the locus of the stroke of the “ ⁇ ” shape of the handwritten character “A”, that is, n pieces of coordinate data SD21, SD22,... SD2n. Note that the number of coordinate data may be different for each stroke data.
  • Each coordinate data indicates an X coordinate and a Y coordinate corresponding to one point in the corresponding locus.
  • the coordinate data SD11 indicates the X coordinate (X11) and the Y coordinate (Y11) of the start point of the “ ⁇ ” -shaped stroke.
  • SD1n indicates the X coordinate (X1n) and Y coordinate (Y1n) of the end point of the “ ⁇ ” -shaped stroke.
  • each coordinate data may include time stamp information T corresponding to the time when the point corresponding to the coordinate is handwritten.
  • the handwritten time may be either absolute time (for example, year / month / day / hour / minute / second) or relative time based on a certain time.
  • the absolute time for example, year / month / day / hour / minute / second
  • each coordinate data in the stroke data indicates a difference from the absolute time.
  • the relative time may be added as time stamp information T.
  • the temporal relationship between the strokes can be expressed more accurately.
  • information (Z) indicating writing pressure may be added to each coordinate data.
  • a pen style (drawing form) may be added to each stroke data.
  • the pen style represents a drawing form of a handwritten stroke, for example, a color of a line (drawn locus), a line type (solid line, broken line), a line thickness, and the like. The user can perform a handwriting input operation while changing the pen style to be used.
  • the time series information 200 having the structure as described in FIG. 4 can represent not only the handwriting of each stroke but also the temporal relationship between the strokes. Therefore, by using this time-series information 200, as shown in FIG. 3, the tip of the handwritten “arrow” is written over the handwritten character “A” or close to the handwritten character “A”. However, the handwritten character “A” and the tip of the handwritten “arrow” can be handled as different characters or figures.
  • the arrangement of the stroke data SD1, SD2,..., SD7 indicates the stroke order of handwritten characters.
  • the arrangement of the stroke data SD1 and SD2 indicates that the stroke of the “ ⁇ ” shape is first handwritten and then the stroke of the “ ⁇ ” shape is handwritten. Therefore, even if the handwriting of two handwritten characters are similar to each other, when the writing order of the two handwritten characters is different from each other, the two handwritten characters can be distinguished as different characters.
  • handwritten data is not stored as an image or character recognition result, but is stored as time-series information 200 composed of a set of time-series stroke data. Can handle handwritten characters without dependence. Therefore, the structure of the time-series information 200 according to the present embodiment can be used in common in various countries around the world with different languages.
  • FIG. 5 is a diagram showing a system configuration of the tablet computer 10.
  • the tablet computer 10 includes a CPU 101, a system controller 102, a main memory 103, a graphics controller 105, a BIOS-ROM 105, a nonvolatile memory 106, a wireless communication device 107, an embedded controller (EC) 108, and the like. .
  • the CPU 101 is a processor that controls the operation of various modules in the tablet computer 10.
  • the CPU 101 executes various software loaded into the main memory 103 from the nonvolatile memory 106 that is a storage device.
  • These software include an operating system (OS) 201 and various application programs.
  • the application program includes a digital notebook application program 202.
  • the digital notebook application program 202 recognizes a function of creating and displaying the above-mentioned handwritten page data, a function of editing the handwritten page data, and a handwritten object (handwritten character, handwritten mark, handwritten figure, etc.) in the handwritten page data. It has a function, handwritten document information including a desired handwritten portion, and a handwritten document search function for searching for a desired handwritten portion in certain handwritten document information.
  • the handwritten document search function can execute both handwriting search and text search (character string search).
  • the handwriting search is a search method for searching a stroke data group having a handwriting feature amount similar to the handwriting feature amount of the handwritten stroke group which is a search key.
  • Text search is a search method for searching for handwritten characters (stroke data group) corresponding to text (character code) that is a search key.
  • the CPU 101 also executes a basic input / output system (BIOS) stored in the BIOS-ROM 105.
  • BIOS is a program for hardware control.
  • the system controller 102 is a device that connects between the local bus of the CPU 101 and various components.
  • the system controller 102 also includes a memory controller that controls access to the main memory 103.
  • the system controller 102 also has a function of executing communication with the graphics controller 104 via a PCI EXPRESS serial bus or the like.
  • the graphics controller 104 is a display controller that controls the LCD 17 ⁇ / b> A used as a display monitor of the tablet computer 10.
  • a display signal generated by the graphics controller 104 is sent to the LCD 17A.
  • the LCD 17A displays a screen image based on the display signal.
  • a touch panel 17B and a digitizer 17C are disposed on the LCD 17A.
  • the touch panel 17B is a capacitance-type pointing device for inputting on the screen of the LCD 17A.
  • the touch position on the screen where the finger is touched and the movement of the touch position are detected by the touch panel 17B.
  • the digitizer 17C is an electromagnetic induction type pointing device for inputting on the screen of the LCD 17A.
  • the digitizer 17C detects the contact position on the screen where the pen 100 is touched, the movement of the contact position, and the like.
  • the wireless communication device 107 is a device configured to perform wireless communication such as wireless LAN or 3G mobile communication.
  • the EC 108 is a one-chip microcomputer including an embedded controller for power management.
  • the EC 108 has a function of turning on or off the tablet computer 10 in accordance with the operation of the power button by the user.
  • the digital notebook application program 202 is a WYSIWYG application that can handle handwritten data.
  • the digital notebook application program 202 creates, displays, and edits a handwritten document by using a coordinate data series (time series coordinates) input by a handwriting input operation using the touch screen display 17.
  • the digital notebook application 202 can also perform the handwriting search and text search described above.
  • the digital notebook application program 202 can also perform handwriting recognition for converting a character handwritten on a handwritten document into a character code.
  • the digital notebook application 202 includes, for example, a pen setting unit 300A, a background setting unit 300B, a display processing unit 301, a time-series information generation unit 302, a search / recognition unit 303, a page storage processing unit 306, a page acquisition processing unit 307, and An import unit 308 is provided.
  • the touch screen display 17 described above is configured to detect the occurrence of events such as “touch”, “move (slide)”, and “release”. “Touch” is an event indicating that an external object has touched the screen. “Move (slide)” is an event indicating that the contact position has been moved while an external object is in contact with the screen. “Release” is an event indicating that an external object has been released from the screen.
  • the digital notebook application program 202 displays a note view screen on the touch screen display 17 for creating, browsing, and editing handwritten page data.
  • the note view screen is a screen that can be handwritten.
  • a plurality of pen icons, a “range selection” icon, and an “eraser” icon can be displayed.
  • a plurality of pen styles are assigned to the plurality of pen icons. As described above, the pen style depends on the combination of the color of the line (trajectory to be drawn), the type of line (solid line, broken line, etc.), the thickness of the line, the type of pen tip (ballpoint pen, marker, fountain pen, etc.), etc. Determined.
  • the pen setting unit 300A displays a user interface (for example, the above-described plurality of pen icons or a menu screen for setting details of a pen style), and strokes according to operations of the user interface performed by the user.
  • a user interface for example, the above-described plurality of pen icons or a menu screen for setting details of a pen style
  • strokes according to operations of the user interface performed by the user.
  • several pen icons to which several representative pen styles are assigned are displayed on the note view screen. These pen icons include a black pen icon, a red pen icon, a green pen icon, a transparent pen icon, and the like.
  • the black pen icon is a pen icon for drawing a black solid line.
  • the red pen icon is a pen icon for drawing a red solid line.
  • the green pen icon is a pen icon for drawing a green solid line.
  • the transparent pen icon is a pen icon to which a drawing form having a transparent attribute is assigned.
  • This transparent pen icon is used, for example, to embed a handwritten character or handwritten mark having an attribute (transparent attribute) not displayed on the screen in a handwritten page.
  • the user can easily find handwritten page data including characters or marks handwritten with the transparent pen icon by using the handwriting search described above.
  • the pen setting unit 300A sets the drawing form associated with the touched pen icon as the current drawing form. .
  • the background setting unit 300B sets a background form (page style) of a handwritten page (handwritten page) displayed on the note view screen according to a background color setting operation performed by the user.
  • the background of the page that can be handwritten includes the background color of the page that can be handwritten, the presence or absence of ruled lines that should be displayed on the background of the page that can be handwritten, the spacing of the ruled lines that should be displayed on the background of the page that can be handwritten, etc. is there.
  • the display processing unit 301 and the time-series information generation unit 302 receive a “touch”, “move (slide)”, or “release” event generated by the touch screen display 17, and thereby detect a handwriting input operation.
  • the “touch” event includes the coordinates of the contact position.
  • the “movement (slide)” event includes the coordinates of the contact position of the movement destination. Therefore, the display processing unit 301 and the time-series information generation unit 302 can receive a coordinate sequence corresponding to the movement locus of the contact position from the touch screen display 17.
  • the display processing unit 301 displays the note view screen in the background form (page style) set by the background setting unit 300B.
  • the display processing unit 301 is configured to draw a stroke (stroke locus) input by handwriting on the note view screen in a drawing form (color, line type, etc.) set by the pen setting unit 300A. Functions as a drawing unit.
  • the display processing unit 301 receives a coordinate sequence from the touch screen display 17. Then, based on this coordinate sequence, the display processing unit 301 draws the stroke trajectory handwritten by the handwriting input operation on the note view screen in the drawing form (pen style) set by the pen setting unit 300A. .
  • the display processing unit 301 displays the trajectory of the pen 100 while the pen 100 is in contact with the screen, that is, the trajectory of each stroke, on the note view screen.
  • the user can hand write characters, marks, figures, etc. on the note view screen using any pen style (any color, any line type, etc.). However, if the background color of the handwritten page and the set pen color are the same color, the handwritten stroke will not be visible.
  • the user may intentionally set the same pen color as the background color in order to embed a handwritten character or handwritten mark having a transparent attribute that is not displayed on the screen in a handwritten page.
  • the pen color is automatically set to the same color as the background color.
  • the display processing unit 301 sets the stroke input by handwriting (first color) to be set. It is configured to draw on the screen with a different second color.
  • the background color on the screen is, for example, the background color of the handwritten page set by the background setting unit 300B. Note that other objects such as graphic data and image data can be placed on the handwritten page, and handwritten strokes can be drawn on the object. Therefore, the background color on the screen described above may be the color of an object on the screen located on the back side of the stroke, for example, the background color of this object.
  • the second color for example, a complementary color of the background color is used.
  • the set color (arbitrary first color) and the background color on the screen are the same color, not only the stroke drawing color is automatically changed in this way, but also the line type and line. The thickness, etc., may be automatically changed.
  • the display processing unit 301 displays the stroke input by handwriting as a preset pen.
  • the display processing unit 301 changes the stroke style on the screen from the above-described preset style to the original setting. Configured to automatically change to style.
  • the display processing unit 301 displays the stroke after the first period has elapsed after the stroke is drawn on the screen in a second color different from the color to be set (arbitrary first color). Draw (redraw) on the screen in the first color.
  • the details of the first period will be described in detail with reference to FIGS. 8 and 9.
  • the first period does not need to be a fixed time, and can be automatically changed according to the situation of handwriting operation by the user. It may be.
  • the locus of strokes input by handwriting can be presented to the user so as to be visible, so that the user can perform a handwriting input operation while viewing the screen.
  • the color of this stroke is automatically returned to the set original color (first color). Therefore, after the user has finished handwriting a handwritten character or handwritten mark having the transparent attribute, the handwritten character or handwritten mark having the transparent attribute can be made invisible. Therefore, the original properties of a handwritten character or handwritten mark having a transparent attribute can be automatically recovered without any user operation.
  • the display processing unit 301 takes note of objects corresponding to various content data (image data, audio data, text data, data created by a draw system application) imported from the external application / external file by the import unit 308. It can be displayed on the view screen.
  • the object corresponding to each content data can be arranged at an arbitrary position on the page being created.
  • the time-series information generating unit 302 receives the above-described coordinate sequence output from the touch screen display 17, and based on this coordinate sequence, time-series information (coordinate data sequence) having the structure described in detail in FIG. Handwritten data including the pen style information indicating the pen style set by the pen setting unit 300 and the page style information indicating the page style set by the background setting unit 300B.
  • the time series information generation unit 302 temporarily stores the generated handwritten data in the work memory 401.
  • the stroke color drawn on the screen is temporarily changed to a visually recognizable color (second color), but the stroke data included in the generated handwritten data is changed. It is not always necessary to change the added pen style information (for example, information indicating the color of the stroke).
  • the search / recognition processing unit 303 converts the handwritten character string in the handwritten page data into text (character code string), and the character string included in the image in the handwritten page data as text (character code string).
  • a character recognition process (OCR) to be converted is executed. Further, the search / recognition processing unit 303 can execute the above-described handwriting search and text search.
  • the page storage processing unit 306 generates handwritten page data including a plurality of types of content data (handwritten data, other various content data, etc.) arranged on the page being created, and stores the handwritten page data in the storage medium 402. save.
  • the storage medium 402 may be, for example, a storage device in the tablet computer 10 or a storage device of the server computer 2.
  • the page acquisition processing unit 307 acquires arbitrary handwritten page data from the storage medium 402.
  • the acquired handwritten page data is sent to the display processing unit 301.
  • the display processing unit 301 displays a page on which a plurality of types of data (handwritten data, other content data) included in the handwritten page data are arranged on the screen.
  • FIG. 7 shows an example of the drawing processing operation of this embodiment.
  • a handwritten page 600 is displayed on the screen of the touch screen display 17.
  • the background color of the page 600 is set to green and the green pen is selected by the user.
  • the display processing unit 301 determines that the color for drawing the stroke (here, green) and the background color (here, green) of the handwritten page 600 are the same color. In the process for this determination, the display processing unit 301 calculates a difference between the color for drawing and the background color, and on the condition that this difference is equal to or less than the threshold, It may be determined that the background color is the same color.
  • the display processing unit 301 draws a stroke input by handwriting on the page 600 in a preset pen style.
  • the drawing color is set to red, which is a complementary color of green.
  • the line type is set to a broken line and the line thickness is set to a thick line. Therefore, for example, when the character string “stroke” is handwritten, the trajectories of a plurality of strokes corresponding to the handwritten character string “stroke” are drawn on a green background on the screen in a drawing form of red, thick lines, and broken lines.
  • the complementary color is a color that is easy for the user to visually recognize.
  • a prescribed line type solid line
  • a prescribed thickness a certain point
  • the display processing unit 301 After the handwritten character string “stroke” is displayed for a period in the form of red, thick line, and broken line, the display processing unit 301 automatically returns the color of the handwritten character string “stroke” to the original color (green). That is, the display processing unit 301 draws a stroke group corresponding to the handwritten character string “stroke” on the screen in the form of red, thick line, and broken line, and then displays the stroke character string “stroke” after the first period has elapsed. The corresponding stroke group is drawn (redrawn) on the screen in the original color (green). As a result, the color of the handwritten character string “stroke” is automatically returned to the original color (green).
  • FIG. 8 shows a first example of the operation of returning the stroke color drawn in a color different from the background color to the original color.
  • a plurality of strokes are continuously handwritten by the user in a state where the stroke drawing color (current pen color) is set to the same color as the background color.
  • these strokes continue to be displayed in a color different from the current pen color (background color).
  • background color the color of these strokes on the screen is changed to the set original color. In other words, these strokes are drawn again on the screen in the original color.
  • the period is a period from the time corresponding to the start of drawing with the second color of the stroke to when it is detected that handwritten input is interrupted for a first reference time (for example, 2 seconds).
  • the stroke drawing color set to the same color as the background color
  • the strokes ST1 to ST3 are continuously handwritten by the user, and then handwritten input is performed for 2 seconds or more. Assume a case where a break is detected.
  • drawing of the stroke ST1 input by handwriting is started.
  • the stroke ST1 is drawn with the above-described second color different from the set color (first color).
  • Drawing of stroke ST1 is completed at timing T2.
  • Drawing of stroke ST2 input by handwriting is started at timing T3 before 2 seconds have elapsed from timing T2.
  • the stroke ST2 is drawn with the above-described second color different from the set color (first color).
  • Drawing of stroke ST2 is completed at timing T4.
  • Drawing of stroke ST3 input by handwriting is started at timing T5 before 2 seconds have elapsed from timing T4.
  • the display processing unit 301 detects that handwritten input has been interrupted for 2 seconds or more. At this time, the colors of the strokes ST1 to ST3 on the screen are changed to the set original color (first color). That is, the strokes ST1 to ST3 are drawn again on the screen in the original color (first color). As a result, the colors of the strokes ST1 to ST3 on the screen are returned to the original color (first color) set by the pen setting unit 300A.
  • the display processing unit 301 uses the stroke data corresponding to the strokes ST1 to ST3 stored in the work memory 401 to return the colors of the strokes ST1 to ST3 on the screen to the original colors (first colors). Based on this, the strokes ST1 to ST3 can be redrawn on the screen with the set original color (first color).
  • the minimum value of the first period is 2 seconds.
  • the first period can also be defined as a period in which each stroke is displayed in a color (second color) different from the current pen color (first color).
  • the first period in which the stroke ST1 is displayed in a color (second color) different from the current pen color (first color) is a period T from the timing T1 to the timing T7. It corresponds to.
  • the first period in which the stroke ST2 is displayed in the second color corresponds to the period from the timing T3 to the timing T7.
  • the first period in which the stroke ST3 is displayed in the second color corresponds to the period from the timing T5 to the timing T7.
  • each stroke having the same pen color as the background color can be displayed in a visible manner while the handwriting input operation is continuously performed. Improvements can be made.
  • each stroke is made using a plurality of different colors included in the range of the second color and the first color. May be redrawn continuously.
  • the display processing unit 301 changes the colors of the strokes ST1 to ST3 to the first color as shown by the solid line 601 or the solid line 602 in FIG. Transition can be made continuously from two colors (complementary colors) to the original color (background color).
  • the display processing unit 301 immediately returns the current color of the strokes ST1 to ST3 that have already been changed to a color relatively close to the background color to the second color (complementary color). .
  • the user can easily recognize that the period in which each stroke is displayed in a visible color is extended.
  • the colors of the strokes ST1 to ST3 are the same as the background color.
  • FIG. 9 shows a second example of the operation of returning the stroke color drawn with the second color different from the background color to the original color (the same first color as the background color).
  • a plurality of strokes are continuously handwritten by the user in a state where the stroke drawing color (current pen color) is set to the same color as the background color.
  • each stroke continues to be displayed in the second color until the first time (for example, 2 seconds) after the drawing of the stroke is completed.
  • the elapsed time after completion of stroke drawing reaches a first time (for example, 2 seconds)
  • the color of this stroke is returned to the original color. That is, in the example of FIG.
  • the first period is a period from when the stroke is drawn in the second color until a first time (for example, 2 seconds) elapses. Further, as described above, the first period can be defined as a period in which each stroke is displayed in a color (second color) different from the current pen color (first color).
  • the first period is a period from the time corresponding to the start of the second color drawing of the stroke until the elapsed time after completion of the drawing of the stroke reaches the first time (for example, 2 seconds). .
  • drawing of the stroke ST1 input by handwriting is started.
  • the stroke ST1 is drawn with the above-described second color different from the set color (first color).
  • Drawing of stroke ST1 is completed at timing T2.
  • Drawing of stroke ST2 input by handwriting is started at timing T3 before 2 seconds have elapsed from timing T2.
  • the stroke ST2 is drawn with the above-described second color different from the set color (first color).
  • the stroke ST1 is drawn again with the first color, whereby the color of the stroke ST1 is changed to the original color (the same color as the background color).
  • the drawing of stroke ST2 is completed at timing T4.
  • Drawing of stroke ST3 input by handwriting is started at timing T5 before 2 seconds have elapsed from timing T4.
  • the stroke ST3 is drawn with the above-described second color different from the set color (first color).
  • the stroke ST2 is drawn again with the first color, and thereby the color of the stroke ST2 is changed to the original color.
  • the drawing of stroke ST3 is completed at timing T6.
  • Drawing of stroke ST4 input by handwriting is started at timing T7 before 2 seconds have elapsed from timing T6.
  • the stroke ST4 is drawn with the above-described second color different from the set color (first color).
  • the stroke ST3 is drawn again with the first color, whereby the color of the stroke ST3 is changed to the original color.
  • FIG. 10 shows the procedure of the drawing process executed by the digital notebook application program 202.
  • the operation described with reference to FIG. 8 is used to return the stroke color on the screen to the original color.
  • the digital notebook application program 202 determines whether or not the current pen drawing mode is a drawing mode having a transparent attribute (transparent pen) (step S11).
  • each of these strokes is drawn on the screen in the above-described predetermined pen style.
  • the digital notebook application program 202 measures the elapsed time from the completion of drawing of the last stroke, and whether or not the first reference time (here, n seconds) has passed since the completion of drawing of the last stroke, that is, handwriting. It is determined whether or not the input by has been interrupted for the first reference time or more (step S13).
  • the digital notebook application program 202 has passed the first reference time (here, n seconds) from completion of drawing of the last stroke. It determines with having carried out (YES of step S13). In this case, the digital notebook application program 202 redraws each stroke drawn in the above-described predetermined pen style on the screen in a drawing form corresponding to the transparent pen (step S14). In step S14, the color of each stroke on the screen drawn in the above-described predetermined pen style is changed to the same color as the background color. Thereby, these strokes are invisible.
  • the digital notebook application program 202 determines the current pen's drawing based on the function of the difference between the current pen color and the current background color. It is determined whether the color and the current background color are the same color (step S15).
  • step S15 If it is determined that the current pen color and the current background color are not the same color (NO in step S15), the digital notebook application program 202 displays the stroke input by handwriting in the current pen color screen. Drawing on the top (step S16).
  • these strokes are displayed in a state that is temporarily visible only for a certain period, but after this period, these strokes are invisible.
  • the digital notebook application program 202 displays an option menu on the screen and makes these strokes visible if necessary. You may inquire whether to keep it.
  • the digital notebook application program 202 determines whether or not the user has selected that the stroke should be kept visible (step S20). If it is selected that the stroke should be kept visible (YES in step S19), the digital notebook application program 202 may select each stroke on the screen drawn in the above-described predetermined pen style. These strokes are kept visible without changing the original color to the original color, that is, without redrawing these strokes with the original color (step S20).
  • the digital notebook application program 202 displays each stroke drawn in the above-described predetermined pen style.
  • the image is redrawn on the screen with the set current pen style (current pen color) (step S21). Thereby, the color of each stroke on the screen drawn in the above-described predetermined pen style is changed to the same color as the background color.
  • the color set according to the operation of the user interface (arbitrary first color) and the background color on the screen are the same color, they are input by handwriting.
  • the first stroke is drawn on the screen in a second color different from the set first color. Then, after the first period has elapsed since the first stroke was drawn in the second color, the first stroke is drawn in the first color on the screen. Therefore, the user can perform a handwriting input operation while looking at the screen, and the first stroke can be automatically made invisible.
  • the background color is the background color of the handwritten page.
  • the background color is the color of an object on the screen located on the back side of the stroke, for example, this It may be the background color of the object.
  • the various processes of the present embodiment can be realized by a computer program
  • the computer program can be installed in a normal computer and executed through a computer-readable storage medium storing the computer program. The same effect as can be easily realized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　実施形態によれば、電子機器は、設定手段と、描画手段とを具備する。前記設定手段は、ユーザインタフェースの操作に応じて、ストロークの描画のための色を設定する。前記描画手段は、前記設定手段により設定される第１色と画面上の背景の色が同色である場合、手書きによって入力される第１のストロークを前記第１色と異なる第２色で画面上に描画する。前記描画手段は、前記第１のストロークを前記第２色で描画してから第１の期間が経過した後に、前記画面上に前記第１のストロークを前記第１色で描画する。

Description

電子機器および手書きデータ処理方法
　本発明の実施形態は、手書きデータを処理する技術に関する。
　近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。
　ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を電子機器に指示することができる。
　しかし、タッチスクリーンディスプレイを備える既存の電子機器の多くは、画像、音楽、他の各種メディアデータに対する操作性を追求したコンシューマ向け製品であり、会議、商談、商品開発などのビジネスシーンにおける利用については必ずしも適していない場合がある。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。
　最近では、会議用の電子黒板システムも開発されている。
特開平１１－３２７７８９号公報
　ところで、手帳のような紙のページでは、ユーザが、手書きする内容に応じて、ペンの色等を使い分けることがある。そのため、電子機器において手書きデータを容易に扱うことができるようにするためには、手書き文書の作成に様々な描画形態を利用できるようにすることが必要とされる。
　本発明の一形態の目的は、手書きデータを容易に扱うことができる電子機器および手書きデータ処理方法を提供することである。
　実施形態によれば、電子機器は、設定手段と、描画手段とを具備する。前記設定手段は、ユーザインタフェースの操作に応じて、ストロークの描画のための色を設定する。前記描画手段は、前記設定手段により設定される第１色と画面上の背景の色が同色である場合、手書きによって入力される第１のストロークを前記第１色と異なる第２色で画面上に描画する。前記描画手段は、前記第１のストロークを前記第２色で描画してから第１の期間が経過した後に、前記画面上に前記第１のストロークを前記第１色で描画する。
図１は、実施形態に係る電子機器の外観を示す斜視図である。 図２は、同実施形態の電子機器と外部装置との連携動作を示す図である。 図３は、同実施形態の電子機器のタッチスクリーンディスプレイ上に手書きされる手書き文書の例を示す図である。 図４は、同実施形態の電子機器によって記憶媒体に保存される、図３の手書き文書に対応する時系列情報を説明するための図である。 図５は、同実施形態の電子機器のシステム構成を示すブロック図である。 図６は、同実施形態の電子機器によって実行されるデジタルノートブックアプリケーションプログラムの機能構成を示すブロック図である。 図７は、同実施形態の電子機器によって実行される、ユーザの操作に応じて設定された色と異なる色でストロークを描画する動作を説明するための図である。 図８は、同実施形態の電子機器によって実行される、描画されたストロークの色を元の色に戻す動作の第１の例を説明するための図である。 図９は、同実施形態の電子機器によって実行される、描画されたストロークの色を元の色に戻す動作の第２の例を説明するための図である。 図１０は、同実施形態の電子機器によって実行される描画処理の手順を示すフローチャートである。 図１１は、同実施形態の電子機器によって実行される、描画されたストロークの色を連続的に遷移させる動作を説明するための図である。
　以下、実施の形態について図面を参照して説明する。　
　図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはストレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。
　本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。
　デジタイザおよびタッチパネルタッチの各々は、フラットパネルディスプレイの画面を覆うように設けられる。このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００又は指）の動きの軌跡、つまり手書き入力操作によって手書きされるストローク（手書きストロークの軌跡）がリアルタイムに描画され、これによって手書きにより入力された複数の手書きストローク（各手書きストロークの軌跡）が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１つの手書きストロークに相当する。手書きされた文字、マーク、図形、表などに対応する多数の手書きストロークの集合、つまり多数の軌跡（筆跡）の集合が手書きデータを構成する。以下では、手書きストロークは単にストロークとも称する。
　本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報として記憶媒体に保存される。この時系列情報の詳細は図４を参照して後述するが、この時系列情報は、複数のストロークが手書きされた順を示し、且つ複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、この時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。
　タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークを画面上に表示することができる。時系列情報によって示される複数のストロークも、手書きによって入力される複数のストロークである。
　さらに、タブレットコンピュータ１０は編集機能を有している。この編集機能は、「消しゴム」ツール、範囲選択ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、表示中の手書き文書内の任意のストロークまたは任意の手書きオブジェクト部分（手書き文字、手書きマーク、手書き図形、手書き表、等）を削除または移動することができる。またさらに、範囲選択ツールによって選択される手書き文書内の任意の部分を、手書き文書を検索するための検索キーとして指定することもできる。
　本実施形態では、時系列情報（手書き文書）は、１つまたは複数のページとして管理されうる。この場合、時系列情報（手書き文書）を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。
　ページには、手書き文書（手書きデータ）のみならず、手書きデータ以外の他の各種コンテンツデータ、例えば、画像データ（静止画、動画）、テキストデータ、音声データ、ドロー系アプリケーションによって作成されたデータ、等を含むことができる。換言すれば、本実施形態で扱われる手書き文書（手書きページデータ）は、複数種のメディアデータ（手書きデータ、画像データ、テキストデータ、音声データ、ドロー系アプリケーションによって作成されたデータ、等）を含むことができる。この場合、手書きページデータに含まれるこれらメディアデータには互いに異なるレイヤがそれぞれ割り当てられてもよい。ユーザは、あるメディアデータ（コンテンツデータとも云う）上にストローク（手書き文字、手書きマーク、手書き図形、手書き表、等）を手書きすることもできる。
　図２は、タブレットコンピュータ１０と外部装置との連携動作の例を示している。タブレットコンピュータ１０は、パーソナルコンピュータ１やクラウドと連携することができる。すなわち、タブレットコンピュータ１０は、無線ＬＡＮなどの無線通信デバイスを備えており、パーソナルコンピュータ１との無線通信を実行することができる。さらに、タブレットコンピュータ１０は、インターネット上のサーバ２との通信を実行することもできる。サーバ２はオンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行するサーバであってもよい。
　パーソナルコンピュータ１はハードディスクドライブ（ＨＤＤ）のようなストレージデバイスを備えている。タブレットコンピュータ１０は、手書きページデータをネットワーク越しにパーソナルコンピュータ１に送信して、パーソナルコンピュータ１のＨＤＤに記録することができる（アップロード）。タブレットコンピュータ１０とパーソナルコンピュータ１との間のセキュアな通信を確保するために、通信開始時には、パーソナルコンピュータ１がタブレットコンピュータ１０を認証するようにしてもよい。この場合、タブレットコンピュータ１０の画面上にユーザに対してＩＤまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ１０のＩＤなどを自動的にタブレットコンピュータ１０からパーソナルコンピュータ１に送信してもよい。
　これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数の手書きページデータあるいは大容量の手書きページデータを扱うことが可能となる。
　さらに、タブレットコンピュータ１０は、パーソナルコンピュータ１のＨＤＤに記録されている任意の１以上の手書きページデータを読み出し（ダウンロード）、その手書きページデータの内容（手書きデータ、他の各種コンテンツデータ）をタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。この場合、複数の手書きページデータそれぞれを縮小することによって得られるサムネイルの一覧をディスプレイ１７の画面上に表示してもよいし、これらサムネイルから選ばれた１ページをディスプレイ１７の画面上に通常サイズで表示してもよい。
　さらに、タブレットコンピュータ１０が通信する先はパーソナルコンピュータ１ではなく、上述したように、ストレージサービスなどを提供するクラウド上のサーバ２であってよい。タブレットコンピュータ１０は、手書きページデータをネットワーク越しにサーバ２に送信して、サーバ２のストレージデバイス２Ａに記録することができる（アップロード）。さらに、タブレットコンピュータ１０は、サーバ２のストレージデバイス２Ａに記録されている任意の手書きページデータを読み出して（ダウンロード）、その手書きページデータの内容（手書きデータ、他の各種コンテンツデータ）をタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。
　このように、本実施形態では、手書きページデータが格納される記憶媒体は、タブレットコンピュータ１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイスのいずれであってもよい。
　次に、図３および図４を参照して、ユーザによって手書きされたストローク（文字、マーク、図形、表など）と時系列情報との関係について説明する。図３は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書（手書き文字列）の例を示している。
　手書き文書では、一旦手書きによって入力される文字や図形などの上に、さらに別の文字や図形などが手書きによって入力されるというケースが多い。図３においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きによって入力され、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きによって入力された場合が想定されている。
　手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「－」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｎが得られる。同様に、次に手書きされる「－」形状のペン１００の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「－」形状のストロークの時系列座標ＳＤ２１、ＳＤ２２、…ＳＤ２ｎが得られる。
　手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた手書きされた２つのストローク、つまり２つの軌跡によって表現される。
　図４は、図３の手書き文書に対応する時系列情報（手書きデータ）２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べている。
　時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＳＤ３、ＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＳＤ６、ＳＤ７は、手書き「矢印」を構成する２つのストロークをそれぞれ示している。
　各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「－」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。
　各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。
　さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。
　このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。
　さらに、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。またさらに、各ストロークデータには、ペンスタイル（描画形態）を追加しても良い。ペンスタイルは、手書きストロークの描画の形態、例えば、線（描画される軌跡）の色、線種（実線、破線）、線の太さ、等を表す。ユーザは使用すべきペンスタイルを変更しながら手書き入力操作を行うことができる。
　図４で説明したような構造を有する時系列情報２００は、個々のストロークの筆跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、この時系列情報２００を使用することにより、図３に示すようにたとえ手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、手書き文字「Ａ」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。
　さらに、本実施形態の時系列情報２００においては、上述したように、ストロークデータＳＤ１、ＳＤ２、…、ＳＤ７の並びは手書き文字の筆順を示す。例えば、ストロークデータＳＤ１およびＳＤ２の並びは、最初に「∧」形状のストロークが手書きされ、次に「－」形状のストロークが手書きされたことを表す。したがって、たとえ２つの手書き文字の筆跡同士が互いに類似していても、それら２つの手書き文字の筆順が互いに異なる場合には、それら２つの手書き文字を異なる文字として区別することができる。
　さらに、本実施形態では、上述したように、手書きデータは、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合から構成される時系列情報２００として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。
　図５は、タブレットコンピュータ１０のシステム構成を示す図である。　
　タブレットコンピュータ１０は、図５に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０５、ＢＩＯＳ－ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。
　ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、デジタルノートブックアプリケーションプログラム２０２が含まれている。このデジタルノートブックアプリケーションプログラム２０２は、上述の手書きページデータを作成および表示する機能、手書きページデータを編集する機能、手書きページデータ内の手書きオブジェクト（手書き文字、手書きマーク、手書き図形等）を認識する機能、所望の手書き部分を含む手書き文書情報や、ある手書き文書情報内の所望の手書き部分を検索するための手書き文書検索機能を有している。手書き文書検索機能は、筆跡検索およびテキスト検索（文字列検索）の双方を実行することができる。筆跡検索は、検索キーである手書きストローク群の筆跡特徴量と類似する筆跡特徴量を有するストロークデータ群を検索するための検索方式である。テキスト検索（文字列検索）は、検索キーであるテキスト（文字コード）に対応する手書き文字（ストロークデータ群）を検索するための検索方式である。
　また、ＣＰＵ１０１は、ＢＩＯＳ－ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
　システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ　ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。
　グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。
　無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。
　次に、図６を参照して、デジタルノートブックアプリケーションプログラム２０２の機能構成について説明する。
　デジタルノートブックアプリケーションプログラム２０２は、手書きデータを扱うことが可能なＷＹＳＩＷＹＧアプリケーションである。このデジタルノートブックアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いた手書き入力操作によって入力される座標データ系列（時系列座標）を使用することによって、手書き文書の作成、表示、編集等を行う。また、デジタルノートブックアプリケーション２０２は、上述の筆跡検索およびテキスト検索を実行することもできる。さらに、デジタルノートブックアプリケーションプログラム２０２は、手書き文書上に手書きされた文字を文字コードに変換する筆跡認識を行うこともできる。
　デジタルノートブックアプリケーション２０２は、例えば、ペン設定部３００Ａ、背景設定部３００Ｂ、表示処理部３０１、時系列情報生成部３０２、検索／認識部３０３、ページ保存処理部３０６、ページ取得処理部３０７、およびインポート部３０８を備える。
　上述したタッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。
　デジタルノートブックアプリケーションプログラム２０２は手書きページデータの作成、閲覧、編集を行うためのノートビュー画面をタッチスクリーンディスプレイ１７上に表示する。このノートビュー画面は手書き可能な画面であり、このノートビュー画面上には、例えば、複数のペンアイコン、「範囲選択」アイコン、「消しゴム」アイコンが表示され得る。複数のペンアイコンには、複数種のペンスタイル（描画形態）が割り当てられている。ペンスタイルは、上述したように、線（描画される軌跡）の色、線の種類（実線、破線等）、線の太さ、ペン先の種類（ボールペン、マーカ、万年筆等）等の組み合わせによって定められる。
　ペン設定部３００Ａは、ユーザインタフェース（例えば、上述の複数のペンアイコン、またはペンスタイルの詳細を設定するためのメニュー画面、等）を表示し、ユーザによって行われるこのユーザインタフェースの操作に応じてストロークの描画の形態を設定する。本実施形態では、代表的な幾つかのペンスタイルが割り当てられた幾つかのペンアイコンがノートビュー画面上に表示される。これらペンアイコンには、黒ペンアイコン、赤ペンアイコン、緑色ペンアイコン、透明ペンアイコン等が含まれる。黒ペンアイコンは黒色の実線を描画するためのペンアイコンである。赤ペンアイコンは赤色の実線を描画するためのペンアイコンである。緑色ペンアイコンは緑色の実線を描画するためのペンアイコンである。透明ペンアイコンは、透明属性を有する描画形態が割り当てられたペンアイコンである。この透明ペンアイコンは、例えば、画面上に表示されない属性（透明属性）を有する手書き文字または手書きマークなどを手書きページに埋め込むために使用される。ユーザは、上述の筆跡検索を利用することによって、透明ペンアイコンで手書きされた文字またはマーク等を含む手書きページデータを容易に見つけることができる。
　ペン設定部３００Ａは、いずれかのペンアイコン上での「タッチ（タップ）」イベントが受信されたことに応じて、タッチされたペンアイコンに関連付けられた描画形態を、現在の描画形態として設定する。
　背景設定部３００Ｂは、ユーザによって行われる背景色設定操作に応じて、ノートビュー画面上に表示される手書き可能なページ（手書きページ）の背景の形態（ページスタイル）を設定する。手書き可能なページの背景の形態としては、この手書き可能なページの背景色、手書き可能なページの背景に表示すべき罫線の有無、手書き可能なページの背景に表示すべき罫線の間隔、等がある。
　表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」、「移動（スライド）」または「リリース」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントには、移動先の接触位置の座標が含まれている。したがって、表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。
　表示処理部３０１は、背景設定部３００Ｂによって設定された背景の形態（ページスタイル）でノートビュー画面を表示する。また、表示処理部３０１は、手書きによって入力されるストローク（ストロークの軌跡）をペン設定部３００Ａによって設定された描画形態（色、線種、等）でノートビュー画面上に描画するように構成された描画部として機能する。
　すなわち、表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信する。そして、表示処理部３０１は、この座標列に基づいて、手書き入力操作によって手書きされる各ストロークの軌跡を、ペン設定部３００Ａによって設定された描画形態（ペンスタイル）でノートビュー画面上に描画する。この表示処理部３０１により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡がノートビュー画面上に表示される。
　ユーザは、任意のペンスタイル（任意の色、任意の線種、等）を使用して文字、マーク、図形等をノートビュー画面上に手書きすることができる。しかし、手書きページの背景色と設定されたペンの色が同色である場合、手書きされたストロークが見えなくなってしまう。
　例えば、画面上に表示されない透明属性を有する手書き文字または手書きマークなどを手書きページに埋め込むために、ユーザが意図的に背景色と同じペンの色を設定する場合がある。また、上述の透明ペンアイコンが選択された場合も、ペンの色は背景色と同じ色に自動的に設定される。
　しかし、ペンの色と背景色とが同じ場合には、ユーザは手書きされたストロークを視認することができないので、手書きしたストロークを確認することができない。また、ストロークが見えないため、このストロークを消しゴムツールで消すことも難しい。
　そこで、表示処理部３０１は、ある設定された色（第１色）と画面上の背景の色が同色である場合には、手書きによって入力されるストロークを設定される色（第１色）と異なる第２色で画面上に描画するように構成されている。画面上の背景の色は、例えば、背景設定部３００Ｂによって設定された手書きページの背景色である。なお、手書きページには、図形データ、画像データといった他のオブジェクトを配置することができ、このオブジェクト上に手書きストロークを描画することができる。したがって、上述の画面上の背景の色は、ストロークの背面側に位置する画面上のオブジェクトの色、例えば、このオブジェクトの背景色、であってもよい。
　第２色としては、例えば、背景の色の補色が使用される。また、設定される色（任意の第１色）と画面上の背景の色が同色である場合には、このようにストロークの描画の色を自動的に変更するのみならず、線種、線の太さ、等も自動的に変更しても良い。
　換言すれば、表示処理部３０１は、設定される色（任意の第１色）と画面上の背景の色が同色である場合には、手書きによって入力されるストロークを、予め設定されているペンスタイルで描画することができる。予め設定されているペンスタイルとしては、線種＝破線、線の太さ＝太線、色＝背景色の補色、の組み合わせを使用しえる。
　さらに、表示処理部３０１は、ストロークが上述の予め設定されたスタイルで第１の期間表示された後に、画面上のこのストロークのスタイルを、上述の予め設定されたスタイルから、元の設定されたスタイルに自動的に変更するように構成されている。換言すれば、表示処理部３０１は、ストロークを設定される色（任意の第１色）と異なる第２色で画面上に描画してから第１の期間が経過した後に、このストロークを上述の第１色で画面上に描画（再描画）する。第１の期間の詳細は図８、図９で詳述するが、第１の期間は、一定時間である必要は無く、ユーザによる手書き操作の状況等に応じて自動的に変化し得る可変時間であってよい。
　これにより、少なくとも手書き操作中においては、手書きによって入力されるストロークの軌跡を視認可能にユーザに提示することができるので、ユーザは画面を見ながら手書き入力操作を行うことができる。また、ストロークが上述の予め設定されたスタイルで描画されてから第１の期間が経過した後には、このストロークの色は設定された元の色（第１色）に自動的に戻される。したがって、ユーザが透明属性を有する手書き文字または手書きマークを手書きし終えた後は、これら透明属性を有する手書き文字または手書きマークを見えなくすることができる。よって、透明属性を有する手書き文字または手書きマーク等の本来の性質を、ユーザの操作無しで、自動的に回復することができる。
　さらに、表示処理部３０１は、インポート部３０８によって外部アプリケーション／外部ファイルからインポートされる様々なコンテンツデータ（画像データ、音声データ、テキストデータ、ドロー系アプリケーションによって作成されたデータ）に対応するオブジェクトをノートビュー画面上に表示することができる。この場合、各コンテンツデータに対応するオブジェクトは、作成中のページ上の任意の位置に配置することができる。
　時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される上述の座標列を受信し、この座標列に基づいて、図４で詳述したような構造を有する時系列情報（座標データ系列）と、ペン設定部３００によって設定されているペンスタイルを示すペンスタイル情報と、背景設定部３００Ｂによって設定されているページスタイルを示すページスタイル情報とを含む、手書きデータを生成する。時系列情報生成部３０２は、生成された手書きデータを作業メモリ４０１に一時保存する。
　上述したように、本実施形態では、画面上に描画されるストロークの色は視認可能な色（第２色）に一時的に変更されるが、生成される手書きデータ内に含まれるストロークデータに付加されているペンスタイル情報（例えば、ストロークの色を示す情報）については必ずしも変更しなくても良い。
　検索／認識処理部３０３は、手書きページデータ中の手書き文字列をテキスト（文字コード列）に変換する筆跡認識処理、手書きページデータ中の画像内に含まれる文字列をテキスト（文字コード列）に変換する文字認識処理（ＯＣＲ）を実行する。さらに、検索／認識処理部３０３は、上述の筆跡検索およびテキスト検索を実行することができる。
　ページ保存処理部３０６は、作成中のページ上に配置される複数種のコンテンツデータ（手書きデータ、他の各種コンテンツデータ等）を含む手書きページデータを生成し、この手書きページデータを記憶媒体４０２に保存する。記憶媒体４０２は、例えば、タブレットコンピュータ１０内のストレージデバイスであってもよいし、サーバコンピュータ２のストレージデバイスであってもよい。
　ページ取得処理部３０７は、記憶媒体４０２から任意の手書きページデータを取得する。この取得された手書きページデータは表示処理部３０１に送られる。表示処理部３０１は、手書きページデータに含まれる複数種のデータ（手書きデータ、他のコンテンツデータ）が配置されるページを画面上に表示する。
　図７は、本実施形態の描画処理動作の例を示す。　
　タッチスクリーンディスプレイ１７の画面上には手書き可能なページ６００が表示される。ここでは、このページ６００の背景色が緑色に設定されており、且つ緑色のペンがユーザによって選択された場合を想定する。
　表示処理部３０１は、ストロークの描画のための色（ここでは、緑）と手書き可能なページ６００の背景色（ここでは、緑）とが同色であると判定する。この判定のための処理では、表示処理部３０１は、描画のための色と背景色との間の差分を算出し、この差分が閾値が以下であることを条件に、描画のための色と背景色とが同色であると判定しても良い。
　表示処理部３０１は、手書きによって入力されるストロークを予め設定されたペンスタイルでページ６００上に描画する。この場合、描画の色は、緑の補色である赤に設定される。また、線種は破線、線の太さは太線、に設定される。したがって、例えば文字列“ｓｔｒｏｋｅ”が手書きされた場合には、この手書き文字列“ｓｔｒｏｋｅ”に対応する複数のストロークの軌跡が、赤色、太線、破線という描画形態で、画面上の緑の背景上に描画される。補色はユーザが視認しやすい色である。また、通常の手書き入力操作で描画されるストロークの形態としては、規定の線種（実線）および規定の太さ（ある決まったポイント）が用いられることが多い。したがって、破線のような線種の線または太線でストロークの軌跡を描画することにより、たとえ既にページ６００上に多くのストロークが様々な色で表示されている場合であっても、このストロークを通常の他のストロークと区別してユーザに提示することが可能となる。
　手書き文字列“ｓｔｒｏｋｅ”が赤色、太線、破線という形態である期間表示された後、表示処理部３０１は、手書き文字列“ｓｔｒｏｋｅ”の色を元の色（緑）に自動的に戻す。すなわち、表示処理部３０１は、手書き文字列“ｓｔｒｏｋｅ”に対応するストローク群を赤色、太線、破線という形態で画面上に描画してから第１期間が経過した後に、手書き文字列“ｓｔｒｏｋｅ”に対応するストローク群を元の色（緑）で画面上に描画（再描画）する。これにより、手書き文字列“ｓｔｒｏｋｅ”の色は元の色（緑）に自動的に戻される。
　図８は、背景の色と異なる色で描画されたストロークの色を元の色に戻す動作の第１の例を示す。　
　ここでは、ストロークの描画の色（現在のペンの色）が背景色と同じ色に設定されている状態で、複数のストロークがユーザによって連続的に手書きされる場合を想定する。この場合、ストロークが連続的に手書きされている期間中は、これらストロークは現在のペンの色（背景色）と異なる色で表示され続ける。一連の手書き入力操作が終わってからある一定時間が経過すると、画面上のこれらストロークの色が設定された元の色に変更される。換言すれば、これらストロークは元の色で画面上に再び描画される。
　すなわち、ストロークの描画の色が背景色と同じ色に設定されている状態で、手書きによって入力されるストロークが、設定されている色（背景色）と異なる色で表示される上述の第１の期間は、このストロークの第２色での描画の開始に対応する時点から、手書きによる入力が第１の基準時間（例えば２秒）以上途絶えることが検出されるまでの期間である。
　いま、図８に示すように、ストロークの描画の色が背景色と同じ色に設定されている状態で、ストロークＳＴ１～ＳＴ３がユーザによって連続的に手書きされ、その後、手書きによる入力が２秒以上途絶えたことが検出された場合を想定する。
　タイミングＴ１で、手書きによって入力されるストロークＳＴ１の描画が開始される。ストロークＳＴ１は、設定された色（第１色）と異なる上述の第２色で描画される。タイミングＴ２でストロークＳＴ１の描画が完了される。タイミングＴ２から２秒経過する前のタイミングＴ３で、手書きによって入力されるストロークＳＴ２の描画が開始される。ストロークＳＴ２は、設定された色（第１色）と異なる上述の第２色で描画される。タイミングＴ４でストロークＳＴ２の描画が完了される。タイミングＴ４から２秒経過する前のタイミングＴ５で、手書きによって入力されるストロークＳＴ３の描画が開始される。ストロークＳＴ３は、設定された色（第１色）と異なる上述の第２色で描画される。タイミングＴ６でストロークＳＴ３の描画が完了される。
　タイミングＴ６の後、タイミングＴ７で、手書きによる入力が２秒以上途絶えたことが表示処理部３０１によって検出される。この時、画面上のストロークＳＴ１～ＳＴ３の色は、設定された元の色（第１色）に変更される。すなわち、ストロークＳＴ１～ＳＴ３は元の色（第１色）で画面上に再び描画される。これにより、画面上のストロークＳＴ１～ＳＴ３の色は、ペン設定部３００Ａによって設定された元の色（第１色）に戻される。この場合、表示処理部３０１は、画面上のストロークＳＴ１～ＳＴ３の色を元の色（第１色）に戻すために、作業メモリ４０１に格納されているストロークＳＴ１～ＳＴ３に対応するストロークデータに基づいて、これらストロークＳＴ１～ＳＴ３を、設定された元の色（第１色）で画面上に再描画し得る。
　図８の例においては、上述の第１の期間の最小値は２秒である。また、上述第１の期間は、各ストロークが現在のペンの色（第１色）と異なる色（第２色）で表示される期間として定義することもできる。
　この場合、ストロークＳＴ１に関していえば、このストロークＳＴ１が現在のペンの色（第１色）と異なる色（第２色）で表示される第１の期間は、タイミングＴ１からタイミングＴ７までの期間Ｔに相当する。ストロークＳＴ２が第２色で表示される第１の期間は、タイミングＴ３からタイミングＴ７までの期間に相当する。またストロークＳＴ３が第２色で表示される第１の期間は、タイミングＴ５からタイミングＴ７までの期間に相当する。
　図８で説明した動作を使用することにより、手書き入力操作が連続的に実行されている間は、背景色と同じペン色を有する各ストロークを視認可能に表示することができるので、操作性の向上を図ることができる。
　なお、各ストロークの色を第２色から元の色（第１色）に即座に変更する代わりに、各ストロークの色を第２色から元の色（第１色）に向けて連続的に遷移させても良い。これにより、各ストロークは時間をかけて徐々に消えるので、ユーザに各ストロークがまもなく見えなくなることを事前に通知することができる。各ストロークを第２色から元の色（第１色）に向けて連続的に遷移させるために、第２色と第１色との範囲内に含まれる複数の異なる色を使用して各ストロークを連続的に再描画してもよい。
　例えば、タイミングＴ６の後、手書きによる入力が１秒途絶えたことが検出された時に、表示処理部３０１は、図１１の実線６０１または実線６０２、に示すように、ストロークＳＴ１～ＳＴ３の色を第２色（補色）から元の色（背景色）に向けて連続的に遷移させ得る。
　もしユーザが図８のタイミングＴ７の前に手書き入力操作を再開したならば、つまり手書きによる入力が第１の基準時間以上途絶えることが検出される前に次のストロークが手書き入力されたならば、ストロークＳＴ１～ＳＴ３が視認可能な色で表示される期間は自動的に延長される。さらに、表示処理部３０１は、図１１の点線で示すように、既に背景色に比較的近い色に変更されているストロークＳＴ１～ＳＴ３の現在の色を、第２色（補色）に即座に戻す。これにより、ユーザに各ストロークが視認可能な色で表示される期間が延長されたことを分かり易く認識させることができる。
　一方、もしユーザが図８のタイミングＴ７の前に手書き入力操作を再開しなかったならば、つまり手書きによる入力が第１の基準時間以上途絶えることが検出されたならば、図８のタイミングＴ７の時点で、ストロークＳＴ１～ＳＴ３の色は背景色と同じ色となる。
　図９は、背景の色と異なる第２色で描画されたストロークの色を元の色（背景色と同じ第１色）に戻す動作の第２の例を示す。　
　ここでは、ストロークの描画の色（現在のペンの色）が背景色と同じ色に設定されている状態で、複数のストロークがユーザによって連続的に手書きされる場合を想定する。この場合、各ストロークは、このストロークの描画が完了してから第１時間（例えば２秒）するまでは、第２色で表示され続ける。ストロークの描画の完了後の経過時間が第１時間（例えば２秒）に達すると、このストロークの色は元の色に戻される。すなわち、図９の例では、上述の第１の期間は、ストロークが第２色で描画されてから第１時間（例えば２秒）が経過するまでの期間である。また、上述したように、上述第１の期間は、各ストロークが現在のペンの色（第１色）と異なる色（第２色）で表示される期間として定義することもできる。
　この場合、上述第１の期間は、ストロークの第２色描画の開始に対応する時点から、このストロークの描画の完了後の経過時間が第１時間（例えば２秒）に達するまでの期間である。
　いま、図９に示すように、ストロークの描画の色が背景色と同じ色に設定されている状態で、ストロークＳＴ１～ＳＴ４がユーザによって連続的に手書きされた場合を想定する。
　タイミングＴ１で、手書きによって入力されるストロークＳＴ１の描画が開始される。ストロークＳＴ１は、設定された色（第１色）と異なる上述の第２色で描画される。タイミングＴ２でストロークＳＴ１の描画が完了される。タイミングＴ２から２秒経過する前のタイミングＴ３で、手書きによって入力されるストロークＳＴ２の描画が開始される。ストロークＳＴ２は、設定された色（第１色）と異なる上述の第２色で描画される。タイミングＴ２から２秒経過したタイミングＴａで、ストロークＳＴ１は第１色で再び描画され、これによってストロークＳＴ１の色は元の色（背景色と同じ色）に変更される。
　タイミングＴ４でストロークＳＴ２の描画が完了される。タイミングＴ４から２秒経過する前のタイミングＴ５で、手書きによって入力されるストロークＳＴ３の描画が開始される。ストロークＳＴ３は、設定された色（第１色）と異なる上述の第２色で描画される。タイミングＴ４から２秒経過したタイミングＴｂで、ストロークＳＴ２は第１色で再び描画され、これによってストロークＳＴ２の色は元の色に変更される。
　タイミングＴ６でストロークＳＴ３の描画が完了される。タイミングＴ６から２秒経過する前のタイミングＴ７で、手書きによって入力されるストロークＳＴ４の描画が開始される。ストロークＳＴ４は、設定された色（第１色）と異なる上述の第２色で描画される。タイミングＴ６から２秒経過したタイミングＴｃで、ストロークＳＴ３は第１色で再び描画され、これによってストロークＳＴ３の色は元の色に変更される。
　図１０のフローチャートは、デジタルノートブックアプリケーションプログラム２０２によって実行される描画処理の手順を示す。ここでは、画面上のストロークの色を元の色に戻すために、図８で説明した動作を使用する場合を想定する。
　デジタルノートブックアプリケーションプログラム２０２は、現在のペンの描画形態が透明属性を有する描画形態（透明ペン）であるか否かを判定する（ステップＳ１１）。
　現在のペンの描画形態が透明ペンであるならば（ステップＳ１１のＹＥＳ）、デジタルノートブックアプリケーションプログラム２０２は、現在のペンの色を透明ペンに対応する色に設定、つまり現在の背景色と同じ色に設定する。そして、デジタルノートブックアプリケーションプログラム２０２は、手書きによって入力されるストロークを、背景色と異なる色、つまり上述の予め決められたペンスタイル（色＝背景色の補色、線種＝破線、線の太さ＝太）で画面上に描画する（ステップＳ１２）。これにより、ストロークは背景色と異なる色で画面上に表示される。
　ユーザによって複数のストロークが連続的に手書きされると、これらストロークのそれぞれが上述の予め決められたペンスタイルで画面上に描画される。
　デジタルノートブックアプリケーションプログラム２０２は、最後のストロークの描画完了からの経過時間を計時し、最後のストロークの描画完了から第１の基準時間（ここでは、ｎ秒）が経過したか否か、つまり手書きによる入力が第１の基準時間以上途絶えたか否かを判定する（ステップＳ１３）。
　最後のストロークの描画完了後に入力が途絶えている状態がｎ秒継続したならば、デジタルノートブックアプリケーションプログラム２０２は、最後のストロークの描画完了から第１の基準時間（ここでは、ｎ秒）が経過したと判定する（ステップＳ１３のＹＥＳ）。この場合、デジタルノートブックアプリケーションプログラム２０２は、上述の予め決められたペンスタイルで描画されたストロークそれぞれを、透明ペンに対応する描画形態で画面上に再描画する（ステップＳ１４）。このステップＳ１４では、上述の予め決められたペンスタイルで描画された画面上のストロークそれぞれの色は背景色と同じ色に変更される。これにより、これらストロークは見えない状態となる。
　現在のペンの描画形態が透明ペンでないならば（ステップＳ１１のＮＯ）、デジタルノートブックアプリケーションプログラム２０２は、現在のペンの色と現在の背景色との差分の関数に基づいて、現在のペンの色と現在の背景色とが同色であるか否かを判定する（ステップＳ１５）。
　現在のペンの色と現在の背景色とが同色ではないと判定したならば（ステップＳ１５のＮＯ）、デジタルノートブックアプリケーションプログラム２０２は、手書きによって入力されるストロークを、現在のペンの色で画面上に描画する（ステップＳ１６）。
　現在のペンの色と現在の背景色とが同色であると判定したならば（ステップＳ１５のＮＯ）、デジタルノートブックアプリケーションプログラム２０２は、手書きによって入力されるストロークを、背景色と異なる色、つまり上述の予め決められたペンスタイル（色＝背景色の補色、線種＝破線、線の太さ＝太）で画面上に描画する（ステップＳ１７）。これにより、ストロークは背景色と異なる色で画面上に表示される。ユーザによって複数のストロークが連続的に手書きされると、これらストロークのそれぞれが上述の予め決められたペンスタイルで画面上に描画される。
　上述したように、これらストロークはある期間のみ一時的に視認可能な状態で表示されるが、この期間が過ぎると、これらストロークは見えない状態となる。
　ユーザが背景色と同じ色を誤って選択してしまう場合があることを考慮し、デジタルノートブックアプリケーションプログラム２０２は、必要に応じて、オプションメニューを画面上に表示し、これらストロークを見える状態に維持しておくか否かを問い合わせてもよい。
　この場合、最後のストロークの描画完了から第１の基準時間（ここでは、ｎ秒）が経過した時に（ステップＳ１８のＹＥＳ）。デジタルノートブックアプリケーションプログラム２０２は、ストロークを見える状態に維持しておくべきことがユーザによって選択されているか否かを判定する（ステップＳ２０）。ストロークを見える状態に維持しておくべきことが選択されているならば（ステップＳ１９のＹＥＳ）、デジタルノートブックアプリケーションプログラム２０２は、上述の予め決められたペンスタイルで描画された画面上のストロークそれぞれの色を元の色に変更せずに、つまりこれらストロークを元の色で再描画せずに、これらストロークを見える状態に維持しておく（ステップＳ２０）。
　一方、ストロークを見える状態に維持しておくべきことが選択されていないならば（ステップＳ１９のＮＯ）、デジタルノートブックアプリケーションプログラム２０２は、上述の予め決められたペンスタイルで描画されたストロークそれぞれを、設定された現在のペンスタイル（現在のペンの色）で画面上に再描画する（ステップＳ２１）。これにより、上述の予め決められたペンスタイルで描画された画面上のストロークそれぞれの色は背景色と同じ色に変更される。
　以上説明したように、本実施形態においては、ユーザインタフェースの操作に応じて設定される色（任意の第１色）と画面上の背景の色が同色である場合には、手書きによって入力される第１のストロークは、設定される第１色と異なる第２色で画面上に描画される。そして、第１のストロークを第２色で描画してから第１の期間が経過した後に、画面上に第１のストロークが第１色で描画される。よって、ユーザが画面を見ながら手書き入力操作を行うことを可能にでき、且つ自動的に第１のストロークを見えない状態にすることができる。
　したがって、手書きの文字またはマーク等の描画の色を何度も手動で設定し直すこと無く、透明属性を有する手書きの文字またはマーク等を手書きデータに容易に埋め込むことが可能となり、手書きデータの操作性を高めることができる。
　なお、ここでは、背景の色が手書きページの背景色である場合を主として例示したが、上述したように、背景の色は、ストロークの背面側に位置する画面上のオブジェクトの色、例えば、このオブジェクトの背景色、であってもよい。
　また本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (11)

  1. 　ユーザインタフェースの操作に応じて、ストロークの描画のための色を設定する設定手段と、
    　前記設定手段によって設定される第１色と画面上の背景の色が同色である場合、手書きによって入力される第１のストロークを前記第１色と異なる第２色で画面上に描画する描画手段とを具備し、
    　前記描画手段は、前記第１のストロークを前記第２色で描画してから第１の期間が経過した後に、前記画面上に前記第１のストロークを前記第１色で描画する電子機器。
  2. 　前記第１のストロークは第１の線種の線または第１の太線で描画される請求項１記載の電子機器。
  3. 　前記第１の期間は、前記第１のストロークの前記第２色での描画の開始に対応する時点から、手書きによる入力が第１の基準時間以上途絶えることが検出されるまでの期間である請求項１記載の電子機器。
  4. 　前記第１の期間は、前記第１のストロークの前記第２色での描画の開始に対応する時点から、前記第１のストロークの描画の完了後の経過時間が第１時間に達するまでの期間である請求項１記載の電子機器。
  5. 　前記描画手段は、前記第１のストロークの前記第２色での描画の完了後から前記第１の基準時間が経過する前に、第２のストロークが手書きによって入力された場合、前記第２のストロークを前記第２色で前記画面上に描画し、
    　前記第２のストロークの前記第２色での描画の完了後に手書きによる入力が前記第１の基準時間以上途絶えることが検出された場合、前記画面上に前記第１および第２のストロークを前記第１色で描画する請求項３記載の電子機器。
  6. 　前記描画手段は、前記第１のストロークを前記第２色で描画してから前記第１の期間よりも短い第２の期間が経過した後に、前記画面上に前記第１のストロークを前記第２色から前記第１色に向けて連続的に遷移させる請求項１記載の電子機器。
  7. 　前記描画手段は、手書きによる入力が前記第１の基準時間よりも短い第２の基準時間以上途絶えることが検出された場合、前記画面上の前記第１のストロークを前記第２色から前記第１色に向けて連続的に遷移させ、手書きによる入力が前記第１の基準時間以上途絶えることが検出される前に第２のストロークが手書き入力された場合、前記画面上の前記第１のストロークを前記第１色に戻す請求項３記載の電子機器。
  8. 　前記背景の色は、前記画面上に表示される手書き可能ページの背景色である請求項１記載の電子機器。
  9. 　前記設定手段は、透明属性を有する描画形態がユーザによって選択された場合、前記手書きストロークの描画色を前記画面上の背景の色と同色に設定する請求項１記載の電子機器。
  10. 　ユーザインタフェースの操作に応じて、ストロークの描画のための色を設定し、
    　前記設定される第１色と画面上の背景の色が同色である場合、手書きによって入力される第１のストロークを前記第１色と異なる第２色で画面上に描画し、
    　前記第１のストロークを前記第２色で描画してから第１の期間が経過した後に、前記画面上に前記第１のストロークを前記第１色で描画する、手書きデータ処理方法。
  11. 　コンピュータにより実行されるプログラムであって、
    　ユーザインタフェースの操作に応じて、ストロークの描画のための色を設定する手順と、
    　前記設定される第１色と画面上の背景の色が同色である場合、手書きによって入力される第１のストロークを前記第１色と異なる第２色で画面上に描画する手順と、
    　前記第１のストロークを前記第２色で描画してから第１の期間が経過した後に、前記画面上に前記第１のストロークを前記第１色で描画する手順とを前記コンピュータに実行させるためのプログラム。
PCT/JP2013/060530 2013-04-05 2013-04-05 電子機器および手書きデータ処理方法 WO2014162604A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2013/060530 WO2014162604A1 (ja) 2013-04-05 2013-04-05 電子機器および手書きデータ処理方法
JP2015509848A JP5925957B2 (ja) 2013-04-05 2013-04-05 電子機器および手書きデータ処理方法
US14/823,228 US20150347000A1 (en) 2013-04-05 2015-08-11 Electronic device and handwriting-data processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/060530 WO2014162604A1 (ja) 2013-04-05 2013-04-05 電子機器および手書きデータ処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/823,228 Continuation US20150347000A1 (en) 2013-04-05 2015-08-11 Electronic device and handwriting-data processing method

Publications (1)

Publication Number Publication Date
WO2014162604A1 true WO2014162604A1 (ja) 2014-10-09

Family

ID=51657929

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/060530 WO2014162604A1 (ja) 2013-04-05 2013-04-05 電子機器および手書きデータ処理方法

Country Status (3)

Country Link
US (1) US20150347000A1 (ja)
JP (1) JP5925957B2 (ja)
WO (1) WO2014162604A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018136709A (ja) * 2017-02-21 2018-08-30 三菱電機インフォメーションシステムズ株式会社 データ入力装置、データ入力プログラム及びデータ入力システム
JP2019220234A (ja) * 2019-10-04 2019-12-26 株式会社ワコム 通知方法、装置、及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6430198B2 (ja) * 2014-09-30 2018-11-28 株式会社東芝 電子機器、方法及びプログラム
CN105653124B (zh) * 2015-12-23 2018-12-28 广州视睿电子科技有限公司 笔迹效果模拟方法及装置
US10325398B2 (en) 2017-09-25 2019-06-18 Microsoft Technology Licensing, Llc Absolute age for a digital ink stroke
KR102503417B1 (ko) * 2018-07-31 2023-02-24 삼성전자주식회사 스타일러스 펜을 이용한 입력을 처리하는 방법 및 그 전자 장치
CN111338558B (zh) * 2020-03-24 2021-01-19 掌阅科技股份有限公司 电子书手写笔记显示方法、设备及计算机存储介质
CN112882640B (zh) * 2021-03-29 2023-02-24 读书郎教育科技有限公司 一种扫描笔更换背景、字体颜色的系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11327789A (ja) * 1998-03-12 1999-11-30 Ricoh Co Ltd カラー表示装置および電子黒板システム
JP3105100B2 (ja) * 1993-03-15 2000-10-30 株式会社東芝 文字入力装置及び文字入力方法
JP2002278538A (ja) * 2001-03-16 2002-09-27 Ricoh Co Ltd 表示制御装置および情報入出力システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6791536B2 (en) * 2000-11-10 2004-09-14 Microsoft Corporation Simulating gestures of a pointing device using a stylus and providing feedback thereto
TWI332652B (en) * 2003-05-23 2010-11-01 Via Tech Inc System and method of auto-configuration settings for multimedia apparatus
US7605947B2 (en) * 2006-02-28 2009-10-20 Microsoft Corporation Making electronic ink universally legible
US8458601B2 (en) * 2008-12-04 2013-06-04 International Business Machines Corporation System and method for item inquiry and information presentation via standard communication paths
US8619074B2 (en) * 2010-12-10 2013-12-31 Xerox Corporation Rendering personalized text on curved image surfaces

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3105100B2 (ja) * 1993-03-15 2000-10-30 株式会社東芝 文字入力装置及び文字入力方法
JPH11327789A (ja) * 1998-03-12 1999-11-30 Ricoh Co Ltd カラー表示装置および電子黒板システム
JP2002278538A (ja) * 2001-03-16 2002-09-27 Ricoh Co Ltd 表示制御装置および情報入出力システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018136709A (ja) * 2017-02-21 2018-08-30 三菱電機インフォメーションシステムズ株式会社 データ入力装置、データ入力プログラム及びデータ入力システム
JP2019220234A (ja) * 2019-10-04 2019-12-26 株式会社ワコム 通知方法、装置、及びプログラム
JP7055116B2 (ja) 2019-10-04 2022-04-15 株式会社ワコム 通知方法、装置、及びプログラム

Also Published As

Publication number Publication date
JP5925957B2 (ja) 2016-05-25
US20150347000A1 (en) 2015-12-03
JPWO2014162604A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP5925957B2 (ja) 電子機器および手書きデータ処理方法
JP6109625B2 (ja) 電子機器およびデータ処理方法
JP5728592B1 (ja) 電子機器および手書き入力方法
JP5349645B1 (ja) 電子機器および手書き文書処理方法
JP6180888B2 (ja) 電子機器、方法およびプログラム
JP5989903B2 (ja) 電子機器、方法及びプログラム
JP6092418B2 (ja) 電子機器、方法及びプログラム
JP5395927B2 (ja) 電子機器および手書き文書検索方法
JP6092462B2 (ja) 電子機器、方法及びプログラム
JP5869179B2 (ja) 電子機器および手書き文書処理方法
JP5634617B1 (ja) 電子機器および処理方法
JP2016085512A (ja) 電子機器、方法及びプログラム
JP6100013B2 (ja) 電子機器および手書き文書処理方法
US20150098653A1 (en) Method, electronic device and storage medium
US8948514B2 (en) Electronic device and method for processing handwritten document
US20150149894A1 (en) Electronic device, method and storage medium
JP6202997B2 (ja) 電子機器、方法及びプログラム
JP6251408B2 (ja) 電子機器、方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13881101

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015509848

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13881101

Country of ref document: EP

Kind code of ref document: A1