WO2016046953A1 - 電子機器、方法及びプログラム - Google Patents

電子機器、方法及びプログラム Download PDF

Info

Publication number
WO2016046953A1
WO2016046953A1 PCT/JP2014/075602 JP2014075602W WO2016046953A1 WO 2016046953 A1 WO2016046953 A1 WO 2016046953A1 JP 2014075602 W JP2014075602 W JP 2014075602W WO 2016046953 A1 WO2016046953 A1 WO 2016046953A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
screen
handwritten
stroke
displayed
Prior art date
Application number
PCT/JP2014/075602
Other languages
English (en)
French (fr)
Inventor
健彦 出宮
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to JP2016549855A priority Critical patent/JP6251408B2/ja
Priority to PCT/JP2014/075602 priority patent/WO2016046953A1/ja
Publication of WO2016046953A1 publication Critical patent/WO2016046953A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • Embodiments of the present invention relate to a technique for inputting a character string by handwriting.
  • An object of one embodiment of the present invention is to provide an electronic device, a method, and a program capable of efficiently creating a handwritten document.
  • the method includes inputting first stroke data corresponding to one or more first strokes input by handwriting in a state where the hand is in contact with the first contact point on the screen; After leaving one contact point, a user interface used for an operation for designating an input stroke is displayed at a position away from the first area where the one or more first strokes are displayed in the stroke direction by a first distance. Comprising.
  • FIG. 1 is a perspective view illustrating an example of an external appearance of an electronic apparatus according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of a cooperative operation between the electronic device and another device.
  • FIG. 3 is a diagram illustrating an example of a handwritten document handwritten on the touch screen display.
  • FIG. 4 is a diagram illustrating an example of time-series information that is a set of stroke data.
  • FIG. 5 is a diagram illustrating an example of a system configuration of an electronic device.
  • FIG. 6 is a diagram illustrating an example of a home screen displayed by the electronic device.
  • FIG. 7 is a diagram illustrating an example of a note preview screen displayed by the electronic device.
  • FIG. 8 is a diagram illustrating an example of a setting screen displayed by the electronic device.
  • FIG. 1 is a perspective view illustrating an example of an external appearance of an electronic apparatus according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of a cooperative operation between the electronic device and
  • FIG. 9 is a diagram illustrating an example of a page editing screen displayed by the electronic device.
  • FIG. 10 is a diagram illustrating an example of a search dialog displayed by the electronic device.
  • FIG. 11 is a block diagram illustrating an example of a functional configuration of a handwritten note application program executed by the electronic device.
  • FIG. 12 is a diagram for explaining an example of a user operation area when a handwriting input operation is performed on the screen of the touch screen display using a pen.
  • FIG. 13 is a flowchart illustrating an example of the processing procedure of the input auxiliary UI display processing.
  • FIG. 14 is a diagram for describing an example of the first determination process.
  • FIG. 15 is a diagram for describing a first display example of the input auxiliary UI.
  • FIG. 16 is a diagram for describing a second display example of the input auxiliary UI.
  • FIG. 17 is a diagram for describing an example of the second determination process.
  • FIG. 1 is a perspective view showing an example of an external appearance of an electronic apparatus according to an embodiment.
  • This electronic device is, for example, a pen-based portable electronic device that can be handwritten with a pen or a finger.
  • This electronic device can be realized as a tablet computer, a notebook personal computer, a smartphone, a PDA, or the like.
  • FIG. 1 shows an example in which this electronic device is realized as a tablet computer.
  • a tablet computer is a portable electronic device also called a tablet or a slate computer.
  • the tablet computer 10 shown in FIG. 1 includes a main body 11 and a touch screen display 12.
  • the main body 11 has a thin box-shaped housing, and the touch screen display 12 is attached so as to overlap the upper surface of the main body.
  • the touch screen display 12 incorporates a flat panel display and a sensor configured to detect a contact position of a pen or a finger on the screen of the flat panel display.
  • the flat panel display may be, for example, a liquid crystal display (LCD).
  • As the sensor for example, a capacitive touch panel, an electromagnetic induction digitizer, or the like can be used.
  • the touch screen display 12 can detect not only a touch operation on the screen using a finger but also a touch operation on the screen using the pen 100.
  • the pen 100 may be, for example, a digitizer pen (electromagnetic induction pen).
  • the user can perform a handwriting input operation on the touch screen display 12 using the pen 100 (pen input mode).
  • pen input mode a trajectory of the movement of the pen 100 on the screen, that is, a stroke handwritten by a handwriting input operation is obtained, and thereby a plurality of strokes input by handwriting are displayed on the screen.
  • the locus of movement of the pen 100 while the pen 100 is in contact with the screen corresponds to one stroke.
  • a plurality of strokes constitute characters, symbols, and the like.
  • a set of a large number of strokes corresponding to handwritten characters, handwritten graphics, handwritten tables and the like constitutes a handwritten document.
  • this handwritten document is stored in the storage medium as time series information (handwritten document data) indicating not the image data but the coordinate sequence of the trajectory of each stroke and the order relationship between the strokes.
  • this handwritten document may be generated based on the image data.
  • the time-series information indicates the order in which a plurality of strokes are handwritten, and includes a plurality of stroke data respectively corresponding to the plurality of strokes.
  • the time series information means a set of time series stroke data respectively corresponding to a plurality of strokes.
  • Each stroke data corresponds to a certain stroke, and includes a coordinate data series (time series coordinates) corresponding to each point on the locus of this stroke.
  • the order of arrangement of the stroke data corresponds to the order in which the strokes are handwritten.
  • the tablet computer 10 can read existing arbitrary time-series information from the storage medium and display a handwritten document corresponding to the time-series information, that is, a plurality of strokes indicated by the time-series information on the screen.
  • the plurality of strokes indicated by the time series information are also a plurality of strokes input by handwriting.
  • the tablet computer 10 has a touch input mode for performing a handwriting input operation with a finger without using the pen 100.
  • the touch input mode is valid, the user can perform a handwriting input operation on the touch screen display 12 using a finger.
  • the touch input mode a trajectory of finger movement on the screen, that is, a stroke handwritten by a handwriting input operation is obtained, and thereby a plurality of strokes input by handwriting are displayed on the screen.
  • the tablet computer 10 has an editing function.
  • This editing function is an arbitrary handwritten portion in a displayed handwritten document selected by the range selection tool in response to an editing operation by the user using the “eraser” tool, the range selection tool, and other various tools ( Handwritten characters, handwritten marks, handwritten graphics, handwritten tables, etc.) can be deleted or moved.
  • an arbitrary handwritten part in the handwritten document selected by the range selection tool can be designated as a search key for searching for a handwritten document.
  • recognition processing such as handwritten character recognition / handwritten figure recognition / handwritten table recognition can be performed on an arbitrary handwritten portion in a handwritten document selected by the range selection tool.
  • the handwritten document can be managed as one or a plurality of pages.
  • a group of time-series information that fits on one screen may be recorded as one page by dividing time-series information (handwritten document data) by area units that fit on one screen.
  • the page size may be variable.
  • the page size can be expanded to an area larger than the size of one screen, a handwritten document having an area larger than the screen size can be handled as one page.
  • the page may be reduced and displayed, or the display target portion in the page may be moved by vertical and horizontal scrolling.
  • FIG. 2 shows an example of the link operation between the tablet computer 10 and an external device.
  • the tablet computer 10 includes a wireless communication device such as a wireless LAN, and can execute wireless communication with the personal computer 1. Furthermore, the tablet computer 10 can execute communication with the server 2 on the Internet using a wireless communication device.
  • the server 2 may be a server that executes an online storage service and other various cloud computing services.
  • the personal computer 1 includes a storage device such as a hard disk drive (HDD: Hard Disk Drive).
  • the tablet computer 10 can transmit time series information (handwritten document data) to the personal computer 1 and record it in the HDD of the personal computer 1 (upload).
  • the personal computer 1 may authenticate the tablet computer 10 at the start of communication.
  • a dialog prompting the user to input an ID or password may be displayed on the screen of the tablet computer 10, and the ID of the tablet computer 10 is automatically transmitted from the tablet computer 10 to the personal computer 1. May be.
  • the tablet computer 10 can handle a large number or a large capacity of time series information.
  • the tablet computer 10 reads (downloads) any one or more time series information recorded in the HDD of the personal computer 1, and displays the stroke indicated by the read time series information on the touch screen display 12 of the tablet computer 10. Can be displayed on the screen.
  • a list of thumbnails obtained by reducing each page of a plurality of time-series information may be displayed on the screen of the touch screen display 12, or one page selected from these thumbnails may be displayed on the touch screen display 12. You may display in normal size on the screen.
  • the destination to which the tablet computer 10 communicates may not be the personal computer 1 but the server 2 on the cloud that provides a storage service or the like as described above.
  • the tablet computer 10 can transmit time series information (handwritten document data) to the server 2 via the Internet and record it in the storage device 2A of the server 2 (upload). Furthermore, the tablet computer 10 reads (downloads) arbitrary time-series information recorded in the storage device 2A of the server 2, and displays the trajectory of each stroke indicated by the time-series information on the touch screen display 12 of the tablet computer 10. Can be displayed on the screen.
  • the storage medium in which the time series information is stored may be any one of the storage device in the tablet computer 10, the storage device in the personal computer 1, and the storage device in the server 2.
  • FIG. 3 shows an example of a handwritten document (handwritten character string) handwritten on the touch screen display 12 using the pen 100 or the like.
  • the handwritten character “A” is expressed by two strokes (“ ⁇ ” shape trajectory, “ ⁇ ” shape trajectory) handwritten using the pen 100 or the like, that is, by two trajectories.
  • the trajectory of the first “ ⁇ ” -shaped pen 100 handwritten is sampled in real time, for example, at equal time intervals, thereby obtaining the time-series coordinates SD11, SD12,.
  • the trajectory of the “ ⁇ ” shaped pen 100 to be handwritten next is also sampled in real time at equal time intervals, thereby obtaining the time series coordinates SD21, SD22,..., SD2n of the “ ⁇ ” shaped stroke.
  • the handwritten character “B” is represented by two strokes handwritten using the pen 100 or the like, that is, two trajectories.
  • the handwritten character “C” is represented by one stroke handwritten using the pen 100 or the like, that is, one locus.
  • the handwritten “arrow” is expressed by two strokes handwritten using the pen 100 or the like, that is, two trajectories.
  • FIG. 4 shows time-series information 200 corresponding to the handwritten document of FIG.
  • the time series information includes a plurality of stroke data SD1, SD2,.
  • these stroke data SD1, SD2,..., SD7 are arranged in time series in the order in which these strokes are handwritten.
  • the first two stroke data SD1 and SD2 indicate two strokes of the handwritten character “A”, respectively.
  • the third and fourth stroke data SD3 and SD4 indicate two strokes constituting the handwritten character “B”, respectively.
  • the fifth stroke data SD5 indicates one stroke constituting the handwritten character “C”.
  • the sixth and seventh stroke data SD6 and SD7 indicate two strokes constituting the handwritten “arrow”, respectively.
  • Each stroke data includes a coordinate data series (time series coordinates) corresponding to one stroke, that is, a plurality of coordinates corresponding to a plurality of sampling points on one stroke locus.
  • the coordinates of a plurality of sampling points are arranged in chronological order in the order in which the strokes are written (sampled order).
  • the stroke data SD1 includes coordinate data series (time series coordinates) corresponding to each point on the locus of the stroke of the “ ⁇ ” shape of the handwritten character “A”, that is, n pieces of data. Coordinate data SD11, SD12,..., SD1n are included.
  • the stroke data SD2 includes a coordinate data series corresponding to each point on the trajectory of the stroke of the “ ⁇ ” shape of the handwritten character “A”, that is, n coordinate data SD21, SD22,. Note that the number of coordinate data may be different for each stroke data. If the strokes are sampled at equal time intervals, the lengths of the strokes are different, so the number of sampling points is also different.
  • Each coordinate data indicates the X coordinate and Y coordinate of one point in the corresponding locus.
  • the coordinate data SD11 indicates the X coordinate (X11) and the Y coordinate (Y11) of the start point of the “ ⁇ ” -shaped stroke.
  • SD1n indicates the X coordinate (X1n) and Y coordinate (Y1n) of the end point of the “ ⁇ ” -shaped stroke.
  • Each coordinate data may include time stamp information T corresponding to a point (sampling timing) when a point corresponding to the coordinates is handwritten.
  • the handwritten time may be either absolute time (for example, year / month / day / hour / minute / second) or relative time based on a certain time.
  • absolute time for example, year / month / day / hour / minute / second
  • relative time based on a certain time.
  • the absolute time when the stroke is started to be written is added as time stamp information to each stroke data
  • the relative time indicating the difference from the absolute time is added as time stamp information T to each coordinate data in the stroke data. It may be added.
  • the time series information 200 having the structure as described in FIG. 4 can represent not only the handwriting of each stroke but also the temporal relationship between the strokes. Therefore, by using this time-series information 200, as shown in FIG. 3, the tip of the handwritten “arrow” is written over the handwritten character “A” or close to the handwritten character “A”. However, the handwritten character “A” and the tip of the handwritten “arrow” can be handled as different characters or figures.
  • handwritten document data is not stored as an image or character recognition result, but is stored as time-series information 200 composed of a set of time-series stroke data. It can handle handwritten characters without depending on. Therefore, the structure of the time-series information 200 in this embodiment can be commonly used in various countries around the world with different languages.
  • FIG. 5 is a diagram showing a system configuration of the tablet computer 10.
  • the tablet computer 10 includes a CPU 101, a nonvolatile memory 102, a main memory 103, a BIOS-ROM 104, a system controller 105, a graphics controller 106, a wireless communication device 107, an EC, and the like.
  • the touch screen display 12 shown in FIG. 1 includes an LCD 12A, a touch panel 12B, and a digitizer 12C.
  • the CPU 101 is a processor that controls the operation of various modules in the tablet computer 10.
  • the CPU 101 executes various software loaded into the main memory 103 from the nonvolatile memory 102 which is a straw register device.
  • the software includes an operating system (OS) 103a and various application programs.
  • the various application programs include a handwritten note application program 103b.
  • the handwritten document data is also referred to as a handwritten note.
  • This handwritten note application program 103b has a function for creating and displaying the above-mentioned handwritten document data, a function for editing handwritten document data, handwritten document data including a desired handwritten part, and a desired handwritten part in certain handwritten document data. It has a handwritten document search function for searching.
  • the handwritten note application program 103b has a function of displaying a user interface used for an operation for designating a stroke to be input on the screen of the tablet computer 10, for example.
  • the user interface is used for, for example, an operation for specifying a font (color), color, style (thickness), size, and the like of a stroke (handwritten character string) and an operation for specifying a candidate for handwriting input to be described later.
  • User interface etc. are included.
  • this user interface is, for example, a user interface used for an operation for designating confirmation of input of a handwritten stroke (handwritten character string), which will be described later, and an operation for designating cancellation of input of the stroke. May be.
  • the user interface displayed in the present embodiment is a user interface (hereinafter referred to as input assist UI) used for an operation for using a function for assisting handwriting input operation by the user (hereinafter referred to as input assist function). )including.
  • input assist UI user interface
  • input assist function a function for assisting handwriting input operation by the user
  • the user interface displayed in the present embodiment will be described as an input auxiliary UI, but the user interface may be displayed as long as the user performs a handwriting input operation.
  • the CPU 101 also executes a basic input / output system (BIOS) stored in the BIOS-ROM 104.
  • BIOS is a program for hardware control.
  • the system controller 105 is a device that connects between the local bus of the CPU 101 and various component modules.
  • the system controller 105 also includes a memory controller that controls access to the main memory 103.
  • the system controller 105 also has a function of executing communication with the graphics controller 106 via a PCI EXPRESS serial bus or the like.
  • the graphics controller 106 is a display controller that controls the LCD 12 ⁇ / b> A used as a display monitor of the tablet computer 10.
  • a display signal generated by the graphics controller 106 is sent to the LCD 12A.
  • the LCD 12A displays a screen image based on the display signal.
  • the LCD 12A, the touch panel 12B, and the digitizer 12C are overlaid on each other.
  • the touch panel 12B is a capacitance-type pointing device for inputting on the screen of the LCD 12A.
  • the touch position on the screen where the finger is touched and the movement of the touch position are detected by the touch panel 12B.
  • the digitizer 12C is an electromagnetic induction type pointing device for inputting on the screen of the LCD 12A.
  • the contact position on the screen where the pen (digitizer pen) 100 is touched, the movement of the contact position, and the like are detected by the digitizer 12C.
  • the wireless communication device 107 is a device configured to execute wireless communication such as wireless LAN or 3G mobile communication.
  • EC108 is a one-chip microcomputer including an embedded controller for power management.
  • the EC 108 has a function of turning on or off the tablet computer 10 in accordance with the operation of the power button by the user.
  • FIG. 6 shows an example of the home screen of the handwritten note application program 103b.
  • the home screen is a basic screen for handling a plurality of handwritten document data, and can manage notes and set the entire application.
  • the home screen includes a desktop screen area 70 and a drawer screen area 71.
  • the desktop screen area 70 is a temporary area for displaying a plurality of note icons 801 to 805 corresponding to a plurality of handwritten notes being worked. Each of the note icons 801 to 805 displays a thumbnail of a page in the corresponding handwritten note.
  • the desktop screen area 70 further displays a pen icon 771, a calendar icon 772, a scrap note (gallery) icon 773, and a tag (label) icon 774.
  • the pen icon 771 is a graphical user interface (GUI) for switching the display screen from the home screen to the page editing screen.
  • the calendar icon 772 is an icon indicating the current date.
  • the scrap note icon 773 is a GUI for browsing data (scrap data or gallery data) imported from another application program or from an external file.
  • the tag icon 774 is a GUI for attaching a label (tag) to an arbitrary page in an arbitrary handwritten note.
  • the drawer screen area 71 is a display area for browsing a storage area for storing all created handwritten notes.
  • the drawer screen area 71 displays note icons 80A, 80B and 80C corresponding to some handwritten notes in all handwritten notes.
  • Each of the note icons 80A, 80B, and 80C displays a thumbnail of a page in the corresponding handwritten note.
  • the handwritten note application program 103b can detect a certain gesture (for example, a swipe gesture) on the drawer screen area 71 performed by the user using the pen 100 or a finger. In response to detection of this gesture (for example, a swipe gesture), the handwritten note application program 103b scrolls the screen image on the drawer screen area 71 leftward or rightward. Thereby, the note icon corresponding to each arbitrary handwritten note can be displayed in the drawer screen area 71.
  • a swipe gesture for example, a swipe gesture
  • the handwritten note application program 103b can detect another gesture (for example, a tap gesture) on the note icon in the drawer screen area 71 performed by the user using the pen 100 or a finger. In response to detecting a gesture (for example, a tap gesture) on a note icon on the drawer screen area 71, the handwritten note application program 103b moves the note icon to the center of the desktop screen area 70.
  • the handwritten note application program 103b selects a handwritten note corresponding to the note icon, and displays a note preview screen shown in FIG. 7 instead of the desktop screen.
  • the note preview screen shown in FIG. 7 is a screen on which an arbitrary page in the selected handwritten note can be viewed.
  • the handwritten note application program 103b can also detect a gesture (for example, a tap gesture) on the desktop screen area 70 performed by the user using the pen 100 or a finger. In response to detecting a gesture (for example, a tap gesture) on a note icon located at the center of the desktop screen area 70, the handwritten note application program 103b selects a handwritten note corresponding to the note icon located at the center. Then, a note preview screen shown in FIG. 7 is displayed instead of the desktop screen.
  • a gesture for example, a tap gesture
  • the home screen can display a menu.
  • This menu includes a note list button 81A, a note creation button 81B, a note deletion button 81C, a search button 81D, and a setting button 81E displayed in the lower part of the screen, for example, the drawer screen area 71.
  • the note list button 81A is a button for displaying a list of handwritten notes.
  • the note creation button 81B is a button for creating (adding) a new handwritten note.
  • the note deletion button 81C is a button for deleting a handwritten note.
  • the search button 81D is a button for opening a search screen (search dialog).
  • the setting button 81E is a button for opening an application setting screen.
  • a return button, a home button, and a recent application button are also displayed below the drawer screen area 71.
  • FIG. 8 shows an example of a setting screen that is opened when the setting button 81E is tapped with the pen 100 or a finger.
  • setting items are displayed on this setting screen. These setting items include “backup and restoration”, “input mode (pen or touch input mode)”, “license information”, “help”, and the like.
  • a note creation screen is displayed.
  • the name of the note is input by handwriting in the title field. Note that a notebook cover and paper can be selected.
  • the creation button is pressed, a new note is created, and the created note is placed in the drawer screen area 71.
  • FIG. 7 shows an example of the above-described note preview screen.
  • the note preview screen is a screen capable of browsing an arbitrary page in the selected handwritten note.
  • a handwritten note corresponding to the note icon 801 in the desktop screen area 70 of the home screen is selected.
  • the handwritten note application program 103b can visually recognize a plurality of pages 901, 902, 903, 904 and 905 included in the handwritten note, at least a part of each of these pages 901, 902, 903, 904 and 905, In addition, these pages 901, 902, 903, 904, and 905 are displayed in an overlapping form.
  • the note preview screen further displays the pen icon 771, the calendar icon 772, and the scrap note icon 773 described above.
  • the note preview screen can also display a menu at the bottom of the screen.
  • This menu includes a home button 82A, a page list button 82B, a page add button 82C, a page edit button 82D, a page delete button 82E, a label button 82F, a search button 82G, and a property display button 82H.
  • the home button 82A is a button for closing the preview of the note and displaying the home screen.
  • the page list button 82B is a button for displaying a list of pages in the currently selected handwritten note.
  • the page addition button 82C is a button for creating (adding) a new page.
  • the page edit button 82D is a button for displaying a page edit screen.
  • the page deletion button 82E is a button for deleting a page.
  • the label button 82F is a button for displaying a list of types of labels that can be used.
  • the search button 82G is a button for displaying a search screen.
  • the property display button 82H is a button for displaying the property of this note.
  • the handwritten note application program 103b can detect various gestures on the note preview screen performed by the user. For example, in response to detection of a certain gesture, the handwritten note application program 103b changes the page to be displayed at the top to an arbitrary page (page advance, page return). Also, in response to detection of a certain gesture (for example, tap gesture) performed on the top page, or in response to detection of a gesture (for example, tap gesture) performed on the pen icon 771 or editing. In response to detecting a gesture (eg, a tap gesture) made on button 82D, handwritten note application program 103b selects the top page and instead of the note preview screen, the page shown in FIG. Display the edit screen.
  • a gesture eg, a tap gesture
  • the page editing screen shown in FIG. 9 is a screen that allows new creation of a page (handwritten page) in a handwritten note, and browsing and editing of an existing page.
  • the page editing screen displays the contents of the page 901 as shown in FIG.
  • a rectangular area 500 surrounded by a broken line is a handwritten input area that can be handwritten.
  • an input event from the digitizer 12C is used for displaying (drawing) a handwritten stroke, and is not used as an event indicating a gesture such as a tap.
  • an input event from the digitizer 12C can be used as an event indicating a gesture such as a tap.
  • the input event from the touch panel 12B is not used for displaying (drawing) a handwritten stroke, but is used as an event indicating a gesture such as tap and swipe.
  • the page editing screen further displays a quick select menu including three types of pens 501 to 503 registered in advance by the user, a range selection pen 504, and an eraser pen 505 at the top of the screen outside the handwriting input area 500.
  • a quick select menu including three types of pens 501 to 503 registered in advance by the user, a range selection pen 504, and an eraser pen 505 at the top of the screen outside the handwriting input area 500.
  • the user can switch the type of pen to be used by tapping a pen (button) in the quick select menu with the pen 100 or a finger.
  • the handwriting note application program 103b is A black stroke (trajectory) is displayed on the page edit screen in accordance with 100 movements.
  • the above-mentioned three types of pens in the quick select menu can also be switched by operating side buttons (not shown) of the pen 100.
  • combinations of frequently used pen colors and pen thicknesses can be set.
  • the page editing screen further displays a menu button 511, a page return (return to note preview screen) button 512 and a new page addition button 513 at the bottom of the screen outside the handwriting input area 500.
  • the menu button 511 is a button for displaying a menu.
  • This menu includes, for example, putting this page in the trash, pasting a part of the copied or cut page, opening the search screen, displaying the export submenu, displaying the import submenu, converting the page to text Buttons for sending an e-mail and displaying a pen case may be displayed.
  • the export submenu is, for example, a function for recognizing a handwritten page displayed on the page editing screen and converting it into an electronic document file, presentation file, image file, etc., or converting a page into an image file and other applications. Have users select the features to share.
  • the import submenu allows the user to select a function for importing a memo from the memo gallery or a function for importing an image from the gallery.
  • the pen case is a button for calling up the pen setting screen that allows you to change the color (color of the line to be drawn) and thickness (thickness of the line to be drawn) of each of the three types of pens in the quick select menu. is there.
  • FIG. 10 shows an example of a search screen (search dialog).
  • FIG. 10 illustrates a case where the search button 82G is selected on the note preview screen shown in FIG. 7 and the search screen (search dialog) is opened on the note preview screen.
  • the search screen displays a search key input area 530, a handwriting search button 531, a text search button 532, a delete button 533, and a search execution button 534.
  • the handwriting search button 531 is a button for selecting handwriting search.
  • the text search button 532 is a button for selecting text search.
  • the search execution button 534 is a button for requesting execution of search processing.
  • the search key input area 530 is used as an input area for handwriting a character string, a figure, a table, and the like to be used as a search key.
  • the handwritten character string “Determine” is input as a search key in the search key input area 530.
  • the user can handwrite not only the handwritten character string but also a handwritten figure, a handwritten table, and the like in the search key input area 530 with the pen 100.
  • a stroke set (query stroke set) constituting the handwritten character string “Determine” is selected.
  • the handwriting search for searching for a handwritten document (note) including a stroke set corresponding to the query stroke set is executed.
  • a stroke set similar to the query stroke set is searched by matching between strokes.
  • DP Dynamic Programming
  • text search for example, a software keyboard is displayed on the screen.
  • the user can input an arbitrary text (character string) to the search key input area 530 as a search key by operating the software keyboard.
  • search execution button 534 is selected by the user in a state where text is input as a search key in the search key input area 530, text search for searching for a handwritten note including a stroke set representing the text (query text) is performed. Executed.
  • the handwriting search / text search can be executed for all handwritten documents, or can be executed only for selected handwritten documents.
  • a search result screen is displayed.
  • a list of handwritten documents (pages) including a stroke set corresponding to the query stroke set (or query text) is displayed. Note that hit words (a stroke set corresponding to a query stroke set or a query text) are highlighted.
  • the handwritten note application program 103b is a WYSIWYG application capable of handling handwritten document data.
  • the handwritten note application program 103b includes, for example, a display processing unit 301, a time-series information generation unit 302, an editing processing unit 303, a page storage processing unit 304, a page acquisition processing unit 305, a work memory 401, and the like.
  • the display processing unit 301 includes a handwritten data input unit 301A, a handwriting drawing unit 301B, and a UI display processing unit 301C.
  • the touch panel 12B described above is configured to detect the occurrence of events such as “touch (contact)”, “movement (slide)”, and “release”. “Touch (contact)” is an event indicating that an object (finger) on the screen has touched. “Move (slide)” is an event indicating that the contact position has been moved while the object (finger) is in contact with the screen. “Release” is an event indicating that an object (finger) has been released from the screen.
  • the digitizer 12C described above is also configured to detect the occurrence of events such as “touch (contact)”, “movement (slide)”, and “release”. “Touch (contact)” is an event indicating that the object (pen 100) has touched the screen. “Move (slide)” is an event indicating that the contact position has been moved while the object (pen 100) is in contact with the screen. “Release” is an event indicating that the object (pen 100) has been released from the screen.
  • the handwritten note application program 103b displays a page editing screen for creating, browsing, and editing handwritten page data on the touch screen display 12.
  • the display processing unit 301 and the time-series information generation unit 302 receive a “touch (contact)”, “move (slide)”, or “release” event generated by the digitizer 12C, and thereby detect a handwriting input operation. .
  • the “touch (contact)” event includes the coordinates of the contact position.
  • the “movement (slide)” event includes the coordinates of the contact position of the movement destination. Therefore, the display processing unit 301 and the time-series information generating unit 302 can receive a coordinate sequence corresponding to the movement locus of the contact position from the digitizer 12C.
  • the display processing unit 301 displays a handwritten stroke on the screen according to the movement of the object (pen 100) on the screen detected using the digitizer 12C.
  • the display processing unit 301 displays the trajectory of the pen 100 while the pen 100 is in contact with the screen, that is, the trajectory of each stroke on the page editing screen.
  • the time series information generation unit 302 receives the above-described coordinate sequence output from the digitizer 12C, and includes time series information (coordinate data sequence) having a structure as described in detail in FIG. 4 based on the coordinate sequence. Generate handwritten data. The time series information generation unit 302 temporarily stores the generated handwritten data in the work memory 401.
  • the editing processing unit 303 executes a process for editing the handwritten page currently displayed. That is, the edit processing unit 303 adds a new stroke (new handwritten character, new handwritten mark, etc.) to the currently displayed handwritten page in response to an editing operation and a handwriting input operation performed by the user on the touch screen display 12. Edit processing including processing for adding a character, processing for deleting or moving one or more of the displayed strokes, and the like are executed. Further, the edit processing unit 303 updates the time series information in the work memory 401 in order to reflect the result of the edit process in the time series information being displayed.
  • the page storage processing unit 304 stores handwritten page data including a plurality of stroke data corresponding to a plurality of handwritten strokes on the handwritten page being created in the storage medium 402.
  • the storage medium 402 may be, for example, a storage device in the tablet computer 10 or may be a storage device of the server (computer) 2, for example.
  • the page acquisition processing unit 305 acquires arbitrary handwritten page data from the storage medium 402.
  • the acquired handwritten page data is sent to the display processing unit 301.
  • the display processing unit 301 displays a plurality of strokes corresponding to the plurality of stroke data included in the handwritten page data on the screen.
  • the touch screen display 12 detects a touch operation on the screen by the touch panel 12B or the digitizer 12C.
  • the handwritten data input unit 301A is a module that inputs a detection signal output from the touch panel 12B or the digitizer 12C.
  • the detection signal includes coordinate information (X, Y) of the touch position.
  • the handwritten data input unit 301A inputs stroke data corresponding to a stroke corresponding to a handwriting input operation (that is, written in handwriting).
  • the stroke data (detection signal) input by the handwritten data input unit 301A is supplied to the handwriting drawing unit 301B.
  • the handwriting drawing unit 301 ⁇ / b> B is a module that draws a handwritten input locus (handwriting) and displays it on the LCD 12 ⁇ / b> A of the touch screen display 12.
  • the handwriting drawing unit 301B draws a line segment corresponding to the locus (handwriting) of handwriting input based on the stroke data (detection signal) from the handwriting data input unit 301A.
  • the UI display processing unit 301C This is a module for displaying the input auxiliary UI described above.
  • FIG. 12 shows an example in which the user writes a handwritten character string in horizontal writing using the pen 100.
  • the handwriting direction when the handwritten character string is written horizontally is the left-to-right direction as viewed from the user.
  • the stroke direction may be from the right to the left as viewed from the user.
  • An area 1001 shown in FIG. 12 is an area where the user's hand contacts on the touch screen display 12 when a handwriting input operation is performed on the touch screen display 12.
  • the area 1002 is the maximum area (a handwritten input possible area) in which the user can move the pen tip of the pen 100 while the user's hand is in contact with the above-described area 1001. Note that the user can perform a handwriting input operation within the range of the area 1002, but in the vicinity of the outer periphery of the area 1002 (for example, the upper part and the lower part), the maximum distance that the pen tip can be moved is Therefore, the handwriting input operation becomes relatively difficult.
  • the region 1003 is a region excluding the region in which the handwriting input operation is relatively difficult in the above-described region 1002 (that is, a region where the handwriting input operation can be easily performed). That is, the region 1003 is an optimal region for writing a stroke by handwriting in a state where the user's hand is in contact with the region 1001 described above, and is a region where the user feels easy to operate.
  • a function for assisting a handwriting input operation can be used via the input assistance UI described above.
  • This input auxiliary UI is preferably displayed in the above-described region 1003 in consideration of user operability.
  • the input auxiliary UI displayed in the area 1003 is likely to hinder a user's handwriting input operation.
  • the input auxiliary UI is displayed in, for example, the area 1002 other than the area 1003 in order to avoid hindering the handwriting input operation, it becomes difficult to operate the input auxiliary UI.
  • the UI display processing unit 301C has a predetermined distance (first distance) from the area 1003 (first area) where the handwriting input operation is performed in a state where the user's hand is in contact with the area 1001 in the handwriting direction. )
  • the input auxiliary UI is displayed at a distant position. A specific display example of the input auxiliary UI will be described later.
  • the handwritten note application program 103b may use, for example, a stroke set specified based on one or more strokes according to a handwriting input operation as a candidate for handwriting input by the user other than the above.
  • a candidate display processing unit displayed on the page editing screen and a search processing unit for executing the above-described handwriting search and text search are provided.
  • the operation of the tablet computer 10 according to the present embodiment will be described.
  • a process (hereinafter referred to as input assist) for displaying the input assist UI during the above-described handwriting input operation (that is, when strokes are written by handwriting).
  • the UI display process and notation) will be mainly described.
  • the input auxiliary UI display process is executed when stroke data corresponding to a stroke corresponding to a handwriting input operation is input in the handwriting input area 500 on the page editing screen.
  • the handwritten data input unit 301A inputs stroke data corresponding to one or more strokes corresponding to a user's handwriting input operation (block B1).
  • the handwriting drawing unit 301B draws a stroke (a line segment corresponding to a handwriting input locus) based on the stroke data. Execute the process.
  • a point on the screen that is touched by the user's hand when stroke data is input in block B1 is referred to as a first contact point.
  • the first contact point (coordinates thereof) can be detected by the touch panel 12B provided in the touch screen display 12 based on the above-described region 1001 shown in FIG.
  • the UI display processing unit 301C determines whether the user's hand has left the screen of the touch screen display 12 based on the input event from the touch panel 12B (block B2).
  • the handwriting input operation is continued while the user's hand is in contact with the first contact point As described above, the processing is repeated after returning to the above-described block B1. That is, in the present embodiment, the input auxiliary UI is not displayed (that is, not displayed) while the state in which the user's hand is in contact with the screen of the touch screen display 12 continues.
  • a stroke operation an operation of bringing a hand into contact with the screen again (hereinafter referred to as a stroke operation) is performed to describe the characters (columns).
  • UI display processing determines whether or not the user's hand has come into contact with the screen of the touch screen display 12 again (block B3).
  • the UI display processing unit 301C can determine that the above-described brushing operation has been performed.
  • a point on the screen where the user's hand is in contact after such a stroke operation is performed is referred to as a second contact point.
  • the second contact point (coordinates) can be detected by the touch panel 12B in the same manner as the first contact point described above.
  • the stroke operation is performed only when the position of the second contact point is within a predetermined distance from the first contact point and in the stroke direction, for example. You may make it discriminate
  • the stroke direction can be determined from the stroke data input in the block B1.
  • the UI display processing unit 301C determines the position (display position of the input auxiliary UI) for displaying the input auxiliary UI described above (block B4). In this case, for example, the UI display processing unit 301C moves from the region where the handwriting input operation is performed in the state where the user's hand is in contact with the first contact point on the screen described above (for example, the region 1003 shown in FIG. 12) in the direction of handwriting A position separated by a predetermined distance is determined as the display position of the input auxiliary UI.
  • the determination process of the display position of the input auxiliary UI (hereinafter referred to as the first determination process) will be described in detail.
  • the same parts as those in FIG. 12 described above are denoted by the same reference numerals, and detailed description thereof is omitted.
  • An area 1004 shown in FIG. 14 is displayed when the user's hand is in contact with the area 1001 on the screen and then the user's hand is moved when the hand is moved by a handwriting operation to perform the handwriting input operation. This is the area that touches.
  • a point 1001a and a point 1004a indicate the first contact point and the second contact point described above, respectively.
  • the first contact point 1001a and the second contact point 1004a are points located at the leftmost ends of the region 1001 and the region 1004, respectively.
  • the first contact point 1001a and the second contact point 1004a are points located at the centers of the region 1001 and the region 1004, for example. It doesn't matter.
  • the UI display processing unit 301C acquires, for example, the X coordinate (hereinafter referred to as X1 coordinate) of the point located at the rightmost end of the region 1002 (and the region 1003).
  • the areas 1002 and 1003 (and the X1 coordinates) are calculated from the stroke data (time series coordinates) input in the block B1 and the position (coordinates) of the first contact point 1001a detected by the touch panel 12B. Shall be.
  • the UI display processing unit 301C acquires the X coordinate (hereinafter referred to as X2 coordinate) of the second contact point 1004a.
  • the UI display processing unit 301C includes a Y coordinate (hereinafter referred to as Y1 coordinate) of a point located at the lowermost end of the area 1003 and a Y coordinate (hereinafter referred to as Y2 coordinate) of a point located at the uppermost end of the area 1003. (Notation).
  • the UI display processing unit 301C calculates the region 1005 based on the X1, X2, Y1, and Y2 coordinates as shown in FIG.
  • the UI display processing unit 301C determines the calculated area 1005 (inside position) as a position for displaying the input auxiliary UI.
  • the display position of the input auxiliary UI may be within the area 1005, but the user determines the relationship or relationship between the input auxiliary UI and the input auxiliary function used via the input auxiliary UI. It shall be within a range where Specifically, when the input assist function used via the input assist UI is a function for changing the color of the handwritten character string described above, the input assist UI is, for example, the handwritten character described in the area 1003 It shall be displayed near the column.
  • the areas 1001 to 1003 handwriting input operations cannot be performed in the vicinity of the area 1001. For this reason, there is a certain interval between the area 1001 on the screen where the user's hand contacts and the handwritten input possible areas 1002 and 1003. According to this, it is presumed that the handwriting input operation cannot be performed even in the vicinity of the region 1004. Therefore, in order to display the input auxiliary UI at a position (area) where the user can easily perform a handwriting input operation, the X coordinate of the second contact point described above is set to, for example, the X coordinate of the first contact point and X1. It is preferable that the position where the input auxiliary UI is displayed is determined using the X coordinate of the position shifted in the negative direction of the X axis by the difference from the coordinate as the X2 coordinate.
  • the Y coordinate (Y1 coordinate) of the point located at the lowermost end of the region 1003 and the Y coordinate (Y2 coordinate) of the point located at the uppermost end of the region 1003 have been described, but the Y1 coordinate and Instead of the Y2 coordinate, for example, the Y coordinate of the point located at the lowermost end of the region 1002 and the Y coordinate of the point located at the uppermost end of the region 1002 may be used.
  • the process for determining the display position of the input auxiliary UI described here is merely an example, and the display position of the input auxiliary UI may be determined by other processes. Specifically, for example, based on the positional relationship between the region 1001 and the region 1003, a region where a handwriting input operation can be easily performed when the user's hand is in contact with the region 1004 is calculated. The area (inside position) may be determined as the display position of the input auxiliary UI.
  • the UI display processing unit 301C displays the input auxiliary UI at the display position of the input auxiliary UI determined as described above (block B5).
  • the user can use the input assist function described above by performing a touch operation using the pen 100, for example, on the input assist UI displayed in this way. It is preferable that the input auxiliary UI displayed in this way is quickly hidden when it is determined that the input auxiliary UI is unnecessary for smooth handwriting input operation by the user. Specifically, for example, when an operation with respect to the input auxiliary UI is not performed for a certain period of time, it is determined that the input auxiliary UI is unnecessary and can be hidden.
  • the input assist UI display indicates that the handwriting input operation has been completed. Processing is terminated.
  • FIG. 15 shows a case where the above-described stroke operation is performed after stroke data corresponding to one or more strokes (here, handwritten character string “ABC”) corresponding to a handwriting input operation by the user is input. .
  • the input auxiliary UI 1100 is displayed at a position away from the region 1003 where the handwriting input operation has been performed before the stroke operation is performed by a predetermined distance in the stroke direction.
  • the user can easily perform an operation (touch operation or the like) on the input auxiliary UI 1100, and Handwriting input operations (such as writing a handwritten character string) can be performed.
  • the input assistance UI 1100 shown in FIG. 15 is a user interface for using an input assistance function for changing the color of a handwritten character string (ie, a user used for an operation for designating the color of a handwritten character string). Interface).
  • the input auxiliary UI 1100 is provided with, for example, an “R (red)” button 1101, a “G (green)” button 1102, and a “B (blue)” button 1103.
  • the user can change the color of the handwritten character string “ABC” to a color corresponding to the button 1101 (that is, red) by performing a touch operation on the “R” button 1101 using the pen 100, for example.
  • the “R” button 1101 has been described here, the same applies to a case where a touch operation is performed on the other buttons 1102 and 1103.
  • the input auxiliary UI 1100 may be provided with buttons other than the buttons 1101 to 1103 corresponding to red, green, and blue. It is assumed that the type (color corresponding to the button), the number, and the like of each button provided in the input auxiliary UI 1100 can be appropriately changed (set) by the user.
  • a handwritten note (handwritten document) is created in the present embodiment
  • a predetermined operation hereinafter referred to as a confirming operation
  • An operation of confirming (input) the handwritten character string is performed.
  • the function in this case, the function for designating the color of the handwritten character string
  • Handwritten character string that is, one or more strokes.
  • an undetermined stroke is an operation target using the input auxiliary UI 1100.
  • the tablet computer 10 displays the above-described handwriting input candidates (hereinafter referred to as recommended handwritten character strings) as input assist functions (hereinafter referred to as recommended handwritten character strings). It is assumed that it has an input suggest function.
  • this input suggestion function a stroke set specified based on one or more strokes corresponding to a handwriting input operation (for example, composed of strokes similar to the one or more strokes among handwritten character strings described in the past) Handwritten character string) is displayed as a recommended handwritten character string.
  • FIG. 16 shows a case where the above-described handwriting action is performed after such a recommended handwritten character string is displayed.
  • the handwritten character “a” when the handwritten character “a” is written by handwriting by a handwriting input operation, the recommended handwriting specified based on the handwritten character “a” (that is, one or more strokes).
  • the character strings “app”, “apple”, and “air” are displayed.
  • the recommended handwritten character string “app” is, for example, an area 1201 (second area) located above the area 1003 (area where handwriting input operation is performed). Area). Also, the recommended handwritten character string “apple” is displayed in, for example, the area 1003 (overlapping area 1202). Further, the recommended handwritten character string “air” is displayed in, for example, a region 1203 (third region) located below the region 1003. Of the recommended handwritten character strings to be displayed, for example, the recommended handwritten character string having the highest priority is displayed in the area 1202.
  • This priority can be calculated based on, for example, the degree of coincidence with a handwritten character string written by handwriting by a handwriting input operation, the number of times selected by the user when displayed as a recommended handwritten character string in the past, and the like. However, it may be calculated by other methods.
  • the recommended handwritten character string is displayed in each of the areas 1201 to 1203.
  • the recommended handwritten character string may be displayed in at least one of the areas 1201 to 1203. Good.
  • the handwriting drawing unit 301 ⁇ / b> B displays (draws) the recommended handwritten character string in the handwritten input area 500.
  • an input auxiliary UI 1205 that can select (designate) one of recommended handwritten character strings by moving the cursor 1204 is displayed. For example, when the recommended handwritten character string “apple” displayed in the area 1202 is selected, the input auxiliary UI 1205 is in the vicinity of the position where the next handwriting input operation is estimated to be performed (that is, the recommended handwritten character string “apple”). Displayed after the handwritten character string).
  • An “OK” button 1205c for designating a character string is provided.
  • the input assistance UIs 1100 and 1205 described with reference to FIGS. 15 and 16 are examples, and the input assistance UI in the present embodiment changes, for example, the thickness of the handwritten character string, or enlarges or reduces the handwritten character string.
  • the input assistance UI in the present embodiment may be any one that uses a function that assists the user's handwriting input operation.
  • one or more strokes (first strokes) input by handwriting in a state where a hand is in contact with a contact point (first contact point) on the screen of the touch screen display 12 are supported.
  • a predetermined distance (first distance) is left in the stroke direction from the area (first area) where the one or more strokes are displayed.
  • An input auxiliary UI a user interface used for an operation for designating an input stroke is displayed at the position.
  • a hand movement operation is performed after one or more strokes (first strokes) are input with a hand touching a contact point (first contact point) on the screen, and different contact points (
  • first strokes first strokes
  • second stroke different contact points
  • the input auxiliary UI displays the region where the one or more strokes are displayed before the stroke operation and the stroke operation. It is displayed at a position between the subsequent contact points.
  • the input auxiliary UI is displayed at a position where the handwriting input operation is not hindered or interrupted (that is, in the vicinity of the position where the next handwriting input operation is performed after the handwriting operation) according to such a configuration.
  • an area 1202 in which one or more strokes are written by hand, an area 1201 (second area) located above the area, and an area located below the area
  • a recommended handwritten character string (candidate for handwriting input) is displayed in at least one area of 1203 (third area), and an input auxiliary UI 1205 used for an operation for designating the recommended handwritten character string is displayed.
  • a function display suggestion function
  • an operation for specifying the recommended handwritten character string shown in FIG. 16. It is possible to display an input auxiliary UI that can easily perform an operation on the input auxiliary UI 1205.
  • the input auxiliary UI is not displayed, so that, for example, a handwriting input operation is performed on the screen.
  • the operation is continuously performed, it is possible to prevent an operation on the input auxiliary UI unintended by the user from being performed.
  • an undetermined stroke is set as an operation target using the input auxiliary UI (that is, the input auxiliary function used via the input auxiliary UI is applied to the undetermined stroke.
  • the input assist function is generated even to a stroke (handwritten character string) in a range not intended by the user (that is, the effect of the input assist function is generated).
  • the input auxiliary UI is displayed at the position determined by executing the first determination process described in FIG. 13 and FIG. 14 (that is, the input auxiliary UI is displayed after the handwriting operation).
  • the input auxiliary UI is displayed before the user's hand touches the screen again (that is, while the hand is moving to the next handwriting input position). Also good.
  • the display position of the input auxiliary UI is determined by predicting the position on the screen where the user next touches the hand.
  • a process for determining the display position of the input auxiliary UI in this case (hereinafter referred to as a second determination process) will be described with reference to FIG.
  • the same parts as those in FIGS. 12 and 14 described above are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the UI display processing unit 301C acquires, for example, the X coordinate (hereinafter referred to as X0 coordinate) of a point located at the leftmost end of the area 1002 (and the area 1003).
  • the UI display processing unit 301C acquires the X1 coordinates described in FIG.
  • the area 1002 and the area 1003 are calculated from the stroke data (time series coordinates) input in the block B1, the position (coordinates) of the first contact point 1001a detected by the touch panel 12B, and the like. Shall be.
  • the UI display processing unit 301C calculates a difference d between the acquired X1 coordinate and the X0 coordinate, and adds the calculated difference d to the X1 coordinate (hereinafter referred to as X2). ('Coordinate and notation) are calculated.
  • the UI display processing unit 301C acquires the Y1 coordinate and the Y2 coordinate described with reference to FIG.
  • the UI display processing unit 301C calculates a region 1006 based on the X1, X2 ′, Y1, and Y2 coordinates as shown in FIG.
  • the UI display processing unit 301C determines the calculated area 1006 (inside position) as a position for displaying the input auxiliary UI.
  • the region 1006 where the next handwriting input operation is estimated to be performed is predicted based on the region 1002 and the region 1003, and the position in the region 1006 is set as the input assist UI.
  • the display position is determined.
  • the second determination process it is possible to display the input auxiliary UI before the user's hand is placed on (contacted with) the screen by the user's handwriting operation. It can be created intentionally.
  • the input auxiliary UI is displayed at the position determined by the second determination process, the hand movement is in progress (that is, the user is moving the hand). In the middle), the input auxiliary UI is displayed under the user's hand. That is, there is a possibility that a touch operation unintended by the user (that is, an erroneous operation) is performed until the user's stroke operation is completed (that is, until the user places his / her hand on the screen).
  • the input assist UI is displayed after the user's stroke operation (that is, after the user's hand is placed on the screen). There is a low possibility that an erroneous operation is performed as compared with the case where the process is executed.
  • Whether the first or second determination process described above is executed (that is, whether the input auxiliary UI is displayed after the user's hand is placed on the screen, or the user's hand is on the screen) Whether the auxiliary input UI is displayed before being placed) is determined by the use case.
  • the present embodiment the case where the user writes the handwritten character string in horizontal writing using the pen 100 has been mainly described.
  • the present embodiment is also applied to the case where the handwritten character string is written in vertical writing.
  • the handwriting direction when the handwritten character string is written vertically is different from the case where the handwritten character string is written horizontally, as viewed from the top.
  • the handwriting input available area may be different from the area 1002 in the horizontal writing depending on how to hold and move the pen 100 that is optimized in the writing direction and the handwriting habit of the user.
  • the shape of the region where the handwriting input operation can be easily performed in the case where the handwritten character string is written vertically is also a vertically long elliptical shape.
  • the processing as shown in FIG. 13 it is possible to display the input auxiliary UI at a position away from the region where the user performs a handwriting input operation in the stroke direction.
  • the processing of the present embodiment can be realized by a computer program
  • the computer program is installed and executed on a computer through a computer-readable storage medium that stores the computer program, as in the present embodiment.
  • the effect of can be easily realized.
  • SYMBOLS 10 Tablet computer (electronic device), 11 ... Main body, 12 ... Touch screen display, 12A ... LCD, 12B ... Touch panel, 12C ... Digitizer, 100 ... Pen, 101 ... CPU, 102 ... Non-volatile memory, 103 ... Main memory, DESCRIPTION OF SYMBOLS 103a ... Operating system, 103b ... Handwritten note application program, 104 ... BIOS-ROM, 105 ... System controller, 106 ... Graphics controller, 107 ... Wireless communication device, 108 ... EC, 301 ... Display processing part, 301A ...
  • Handwritten data input part 301B: handwriting drawing unit
  • 301C UI display processing unit
  • 302 time-series information generation unit
  • 303 ... editing processing unit
  • 304 page storage processing unit
  • 305 ... page acquisition processing unit
  • 401 ... working memory
  • 402 ... storage Body.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　実施形態によれば、方法は、画面上の第１接触点に手が接触した状態で手書きで入力される１以上の第１ストロークに対応する第１ストロークデータを入力することと、手が第１接触点から離れた後、１以上の第１ストロークが表示される第１領域から運筆方向に第１距離離れた位置に、入力するストロークを指定するための操作に用いられるユーザインタフェースを表示することとを具備する。

Description

電子機器、方法及びプログラム
　本発明の実施形態は、文字列を手書き入力する技術に関する。
　近年、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡといった文書を手書きで入力可能な種々の電子機器が開発されている。
特開２００５－０２５５６６号公報
　本発明の一形態の目的は、手書き文書を効率的に作成することが可能な電子機器、方法及びプログラムを提供することである。
　実施形態によれば、方法は、画面上の第１接点に手が接触した状態で手書きで入力される１以上の第１ストロークに対応する第１ストロークデータを入力することと、手が前記第１接触点から離れた後、前記１以上の第１ストロークが表示される第１領域から運筆方向に第１距離離れた位置に、入力するストロークを指定するための操作に用いられるユーザインタフェースを表示することとを具備する。
図１は、実施形態に係る電子機器の外観の一例を示す斜視図である。 図２は、電子機器と他の装置との連係動作の一例を示すブロック図である。 図３は、タッチスクリーンディスプレイに手書きされる手書き文書の一例を示す図である。 図４は、ストロークデータの集合である時系列情報の一例を示す図である。 図５は、電子機器のシステム構成の一例を示す図である。 図６は、電子機器によって表示されるホーム画面の一例を示す図である。 図７は、電子機器によって表示されるノートプレビュー画面の一例を示す図である。 図８は、電子機器によって表示される設定画面の一例を示す図である。 図９は、電子機器によって表示されるページ編集画面の一例を示す図である。 図１０は、電子機器によって表示される検索ダイアログの一例を示す図である。 図１１は、電子機器によって実行される手書きノートアプリケーションプログラムの機能構成の一例を示すブロック図である。 図１２は、ペンを使用してタッチスクリーンディスプレイの画面上で手書き入力操作を行う場合におけるユーザの操作領域の一例について説明するための図。 図１３は、入力補助ＵＩ表示処理の処理手順の一例を示すフローチャートである。 図１４は、第１の決定処理の一例について説明するための図である。 図１５は、入力補助ＵＩの第１の表示例について説明するための図である。 図１６は、入力補助ＵＩの第２の表示例について説明するための図である。 図１７は、第２の決定処理の一例について説明するための図である。
　以下、実施の形態について図面を参照して説明する。
　図１は、一実施形態に係る電子機器の外観の一例を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン及びＰＤＡ等として実現され得る。図１においては、この電子機器がタブレットコンピュータとして実現されている例が示されている。以下の説明では、本実施形態に係る電子機器がタブレットコンピュータとして実現されているものとして説明する。タブレットコンピュータは、タブレットまたはスレートコンピュータとも称される携帯型電子機器である。
　図１に示すタブレットコンピュータ１０は、本体１１とタッチスクリーンディスプレイ１２とを備える。本体１１は薄い箱型の筐体を有しており、タッチスクリーンディスプレイ１２は当該本体の上面に重ね合わせるように取り付けられている。
　タッチスクリーンディスプレイ１２には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザ等を使用することができる。以下ではタッチパネル及びデジタイザの２種類のセンサの双方がタッチスクリーンディスプレイ１２に組み込まれている場合を説明する。このため、タッチスクリーンディスプレイ１２は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。
　ペン１００は、例えばデジタイザペン（電磁誘導ペン）であってもよい。ユーザは、ペン１００を使用してタッチスクリーンディスプレイ１２上で手書き入力操作を行うことができる（ペン入力モード）。ペン入力モードにおいては、画面上のペン１００の動きの軌跡、つまり、手書き入力操作によって手書きされるストロークが求められ、これによって手書きにより入力された複数のストロークが画面上に表示される。ペン１００が画面に接触されている間のペン１００の動きの軌跡が１つのストロークに相当する。複数のストロークが文字、記号等を構成する。手書きされた文字、手書きされた図形、手書きされた表等に対応する多数のストロークの集合が手書き文書を構成する。
　本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係とを示す時系列情報（手書き文書データ）として記憶媒体に保存される。ただし、この手書き文書は、イメージデータに基づいて生成されてもよい。時系列情報の詳細については後述するが、当該時系列情報は、複数のストロークが手書きされた順を示し、かつ、複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある１つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序に相当する。
　タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまり、この時系列情報によって示される複数のストロークを画面上に表示することができる。時系列情報によって示される複数のストロークも、手書きによって入力される複数のストロークである。
　更に、本実施形態に係るタブレットコンピュータ１０は、ペン１００を使用せずに、指で手書き入力操作を行うためのタッチ入力モードも有している。タッチ入力モードが有効な場合、ユーザは、指を使用してタッチスクリーンディスプレイ１２上で手書き入力操作を行うことができる。タッチ入力モードにおいては、画面上の指の動きの軌跡、つまり、手書き入力操作によって手書きされるストロークが求められ、これによって手書きにより入力された複数のストロークが画面上に表示される。
　タブレットコンピュータ１０は、編集機能を有している。この編集機能は、「消しゴム」ツール、範囲選択ツール、及び他の各種ツール等を用いたユーザによる編集操作に応じて、範囲選択ツールによって選択される表示中の手書き文書内の任意の手書き部分（手書き文字、手書きマーク、手書き図形及び手書き表等）を削除または移動することができる。また、範囲選択ツールによって選択される手書き文書内の任意の手書き部分を、手書き文書を検索するための検索キーとして指定することもできる。また、範囲選択ツールによって選択される手書き文書内の任意の手書き部分に対して、手書き文字認識／手書き図形認識／手書き表認識のような認識処理を実行することもできる。
　本実施形態では、手書き文書は、１つまたは複数のページとして管理され得る。この場合、時系列情報（手書き文書データ）を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を１つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小して表示するようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。
　図２は、タブレットコンピュータ１０と外部装置との連係動作の一例を示している。タブレットコンピュータ１０は、無線ＬＡＮ等の無線通信デバイスを備えており、パーソナルコンピュータ１との無線通信を実行することができる。更に、タブレットコンピュータ１０は、無線通信デバイスを使用してインターネット上のサーバ２との通信を実行することもできる。サーバ２は、オンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行するサーバであってもよい。
　パーソナルコンピュータ１は、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）のようなストレージデバイスを備えている。タブレットコンピュータ１０は、時系列情報（手書き文書データ）をパーソナルコンピュータ１に送信して、パーソナルコンピュータ１のＨＤＤに記録することができる（アップロード）。タブレットコンピュータ１０とパーソナルコンピュータ１との間のセキュアな通信を確保するために、通信開始時には、パーソナルコンピュータ１がタブレットコンピュータ１０を認証するようにしてもよい。この場合、タブレットコンピュータ１０の画面上にユーザに対してＩＤまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ１０のＩＤ等を自動的にタブレットコンピュータ１０からパーソナルコンピュータ１に送信してもよい。
　これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数あるいは大容量の時系列情報を扱うことが可能となる。
　更に、タブレットコンピュータ１０は、パーソナルコンピュータ１のＨＤＤに記録されている任意の１以上の時系列情報を読み出し（ダウンロード）、その読み出した時系列情報によって示されるストロークをタブレットコンピュータ１０のタッチスクリーンディスプレイ１２の画面に表示することができる。この場合、複数の時系列情報それぞれのページを縮小することによって得られるサムネイルの一覧をタッチスクリーンディスプレイ１２の画面上に表示してもよいし、これらサムネイルから選ばれた１ページをタッチスクリーンディスプレイ１２の画面上に通常サイズで表示してもよい。
　更に、タブレットコンピュータ１０が通信する先はパーソナルコンピュータ１ではなく、上述したように、ストレージサービス等を提供するクラウド上のサーバ２であってもよい。タブレットコンピュータ１０は、時系列情報（手書き文書データ）をインターネットを介してサーバ２に送信して、サーバ２のストレージデバイス２Ａに記録することができる（アップロード）。更に、タブレットコンピュータ１０は、サーバ２のストレージデバイス２Ａに記録されている任意の時系列情報を読み出して（ダウンロード）、その時系列情報によって示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のタッチスクリーンディスプレイ１２の画面に表示することができる。
　このように、本実施形態では、時系列情報が保存される記憶媒体は、タブレットコンピュータ１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイスのいずれであってもよい。
　次に、図３及び図４を参照して、ユーザによって手書きされたストローク（文字、図形及び表等）と時系列情報との関係について説明する。図３は、ペン１００等を使用してタッチスクリーンディスプレイ１２上に手書きされる手書き文書（手書き文字列）の一例を示している。
　手書き文書では、一旦手書きによって入力される文字や図形等の上に、更に別の文字や図形等が手書きによって入力されるというケースが多い。図３においては、「Ａ」、「Ｂ」及び「Ｃ」の手書き文字が、この順番で手書きによって入力され、この後に、手書きの矢印が、手書き文字「Ａ」の近傍に手書きによって入力されている。
　手書き文字「Ａ」は、ペン１００等を使用して手書きされた２つのストローク（「∧」形状の軌跡、「－」形状の軌跡）によって、つまり、２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…、ＳＤ１ｎが得られる。同様に、次に手書きされる「－」形状のペン１００の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「－」形状のストロークの時系列座標ＳＤ２１、ＳＤ２２、…、ＳＤ２ｎが得られる。
　手書き文字「Ｂ」は、ペン１００等を使用して手書きされた２つのストローク、つまり、２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００等を使用して手書きされた１つのストローク、つまり、１つの軌跡によって表現される。手書きの「矢印」は、ペン１００等を使用して手書きされた２つのストローク、つまり、２つの軌跡によって表現される。
　図４は、図３の手書き文書に対応する時系列情報２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、これらのストロークが手書きされた順に時系列に並べられている。
　時系列情報２００において、先頭の２つのストロークデータＳＤ１及びＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目及び４番目のストロークデータＳＤ３及びＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目及び７番目のストロークデータＳＤ６及びＳＤ７は、手書き「矢印」を構成する２つのストロークをそれぞれ示している。
　各ストロークデータは、１つのストロークに対応する座標データ系列（時系列座標）、つまり、１つのストローク軌跡上の複数のサンプリング点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数のサンプリング点の座標はストロークが書かれた順（サンプリングされた順）に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまり、ｎ個の座標データＳＤ１１、ＳＤ１２、…、ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「－」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまり、ｎ個の座標データＳＤ２１、ＳＤ２２、…、ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。ストロークを等時間間隔でサンプリングすると、ストロークの長さが異なっているので、サンプリング点の数も異なる。
　各座標データは、対応する軌跡内のある１点のＸ座標及びＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）及びＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）及びＹ座標（Ｙ１ｎ）を示す。
　各座標データは、その座標に対応する点が手書きされた時点（サンプリングタイミング）に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間をタイムスタンプ情報として付加し、更に、ストロークデータ内の各座標データに、当該絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。
　このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。図４には示されていないが、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。
　図４で説明したような構造を有する時系列情報２００は、個々のストロークの筆跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、この時系列情報２００を使用することにより、図３に示すようにたとえ手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、当該手書き文字「Ａ」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。
　更に、本実施形態では、上述したように、手書き文書データは、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合から構成される時系列情報２００として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。したがって、本実施形態における時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。
　図５は、タブレットコンピュータ１０のシステム構成を示す図である。図５に示すように、タブレットコンピュータ１０は、ＣＰＵ１０１、不揮発性メモリ１０２、主メモリ１０３、ＢＩＯＳ－ＲＯＭ１０４、システムコントローラ１０５、グラフィクスコントローラ１０６、無線通信デバイス１０７及びＥＣ等を備える。また、タブレットコンピュータ１０において、図１に示すタッチスクリーンディスプレイ１２は、ＬＣＤ１２Ａ、タッチパネル１２Ｂ及びデジタイザ１２Ｃを備える。
　ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストローレジデバイスである不揮発性メモリ１０２から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）１０３ａ及び各種アプリケーションプログラムが含まれている。各種アプリケーションプログラムには、手書きノートアプリケーションプログラム１０３ｂが含まれている。以下では、手書き文書データを手書きノートとも称する。
　この手書きノートアプリケーションプログラム１０３ｂは、上述の手書き文書データを作成及び表示する機能、手書き文書データを編集する機能、所望の手書き部分を含む手書き文書データや、ある手書き文書データ内の所望の手書き部分を検索するための手書き文書検索機能等を有している。
　更に、手書きノートアプリケーションプログラム１０３ｂは、例えばタブレットコンピュータ１０の画面上で入力するストロークを指定するための操作に用いられるユーザインタフェースを表示する機能を有しているものとする。なお、このユーザインタフェースには、例えばストローク（手書き文字列）のフォント、色彩、スタイル（太さ）及びサイズ等を指定するための操作及び後述する手書き入力の候補を指定するための操作に用いられるユーザインタフェース等が含まれる。更に、このユーザインタフェースは、例えば後述する手書きされたストローク（手書き文字列）の入力の確定を指定するための操作及び当該ストロークの入力のキャンセルを指定するための操作に用いられるユーザインタフェース等であってもよい。すなわち、本実施形態において表示されるユーザインタフェースは、ユーザによる手書き入力操作を補助する機能（以下、入力補助機能と表記）を利用するための操作に用いられるユーザインタフェース（以下、入力補助ＵＩと表記）を含む。以下の説明においては、本実施形態において表示されるユーザインタフェースは入力補助ＵＩであるものとして説明するが、当該ユーザインタフェースはユーザによる手書き入力操作時に表示されるものであればよい。
　ＣＰＵ１０１は、ＢＩＯＳ－ＲＯＭ１０４に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
　システムコントローラ１０５は、ＣＰＵ１０１のローカルバスと各種コンポーネント・モジュールとの間を接続するデバイスである。システムコントローラ１０５には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。システムコントローラ１０５は、ＰＣＩ　ＥＸＰＲＥＳＳ規格のシリアルバス等を介してグラフィクスコントローラ１０６との通信を実行する機能も有している。
　グラフィクスコントローラ１０６は、タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１２Ａを制御する表示コントローラである。グラフィクスコントローラ１０６によって生成される表示信号はＬＣＤ１２Ａに送られる。ＬＣＤ１２Ａは、表示信号に基づいて画面イメージを表示する。ＬＣＤ１２Ａ、タッチパネル１２Ｂ及びデジタイザ１２Ｃは互いに重ね合わされている。タッチパネル１２Ｂは、ＬＣＤ１２Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置及び当該接触位置の動き等は、タッチパネル１２Ｂによって検出される。また、このタッチパネル１２Ｂによれば、例えば画面上で手書き入力操作が行われる際の当該画面上におけるユーザの手の接触等も検出することができる。デジタイザ１２Ｃは、ＬＣＤ１２Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン（デジタイザペン）１００が接触される画面上の接触位置及び当該接触位置の動き等は、デジタイザ１２Ｃによって検出される。
　無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信等の無線通信を実行するように構成されたデバイスである。
　ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じてタブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。
　次に、上述した手書きノートアプリケーションプログラム１０３ｂによってユーザに提示されるいくつかの代表的な画面の例を説明する。
　図６は、手書きノートアプリケーションプログラム１０３ｂのホーム画面の一例を示す。ホーム画面は複数の手書き文書データを扱うための基本画面であり、ノートの管理や、アプリケーション全体の設定を行うことができる。
　ホーム画面は、デスクトップ画面領域７０と引き出し画面領域７１とを含む。デスクトップ画面領域７０は、作業中の複数の手書きノートに対応する複数のノートアイコン８０１～８０５を表示するテンポラリ領域である。ノートアイコン８０１～８０５の各々は、対応する手書きノート内のあるページのサムネイルを表示する。デスクトップ画面領域７０は、更に、ペンアイコン７７１、カレンダーアイコン７７２、スクラップノート（ギャラリー）アイコン７７３及びタグ（ラベル）アイコン７７４を表示する。
　ペンアイコン７７１は、表示画面をホーム画面からページ編集画面に切り替えるためのグラフィカルユーザインタフェース（ＧＵＩ）である。カレンダーアイコン７７２は、現在の日付を示すアイコンである。スクラップノートアイコン７７３は、他のアプリケーションプログラムからまたは外部ファイルから取り込んだデータ（スクラップデータまたはギャラリーデータ）を閲覧するためのＧＵＩである。タグアイコン７７４は、任意の手書きノート内の任意のページにラベル（タグ）を貼り付けるためのＧＵＩである。
　引き出し画面領域７１は、作成済みの全ての手書きノートを格納するためのストレージ領域を閲覧するための表示領域である。引き出し画面領域７１は、全ての手書きノート内のいくつかの手書きノートに対応するノートアイコン８０Ａ、８０Ｂ及び８０Ｃを表示する。ノートアイコン８０Ａ、８０Ｂ及び８０Ｃの各々は、対応する手書きノート内のあるページのサムネイルを表示する。手書きノートアプリケーションプログラム１０３ｂは、ペン１００または指を使用してユーザによって行われる引き出し画面領域７１上のあるジェスチャ（例えば、スワイプジェスチャ等）を検出することができる。このジェスチャ（例えば、スワイプジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、引き出し画面領域７１上の画面イメージを左方向または右方向にスクロールする。これにより、引き出し画面領域７１に任意の手書きノートそれぞれに対応するノートアイコンを表示することができる。
　手書きノートアプリケーションプログラム１０３ｂは、ペン１００または指を使用してユーザによって行われる引き出し画面領域７１のノートアイコン上の他のジェスチャ（例えば、タップジェスチャ等）を検出することができる。引き出し画面領域７１上のあるノートアイコン上のジェスチャ（例えば、タップジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、このノートアイコンをデスクトップ画面領域７０の中央部に移動する。そして、手書きノートアプリケーションプログラム１０３ｂは、このノートアイコンに対応する手書きノートを選択し、デスクトップ画面の代わりに図７に示すノートプレビュー画面を表示する。図７に示すノートプレビュー画面は、選択された手書きノート内の任意のページを閲覧可能な画面である。
　更に、手書きノートアプリケーションプログラム１０３ｂは、ペン１００または指を使用してユーザによって行われるデスクトップ画面領域７０上のジェスチャ（例えば、タップジェスチャ等）も検出することができる。デスクトップ画面領域７０の中央部に位置するノートアイコン上のジェスチャ（例えば、タップジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、中央部に位置するノートアイコンに対応する手書きノートを選択し、そして、デスクトップ画面の代わりに図７に示すノートプレビュー画面を表示する。
　更に、ホーム画面は、メニューを表示することができる。このメニューは、画面の下部、例えば引き出し画面領域７１に表示されるノート一覧ボタン８１Ａ、ノート作成ボタン８１Ｂ、ノート削除ボタン８１Ｃ、検索ボタン８１Ｄ及び設定ボタン８１Ｅを備える。ノート一覧ボタン８１Ａは、手書きノートの一覧を表示するためのボタンである。ノート作成ボタン８１Ｂは、新しい手書きノートを作成（追加）するためのボタンである。ノート削除ボタン８１Ｃは、手書きノートを削除するためのボタンである。検索ボタン８１Ｄは、検索画面（検索ダイアログ）を開くためのボタンである。設定ボタン８１Ｅは、アプリケーションの設定画面を開くためのボタンである。
　なお、図示しないが、引き出し画面領域７１の下にも、戻るボタン、ホームボタン、リーセントアプリケーションボタンが表示される。
　図８は、設定ボタン８１Ｅがペン１００または指でタップされた際に開かれる設定画面の一例を示す。
　この設定画面には、様々な設定項目が表示される。これら設定項目には、「バックアップと復元」、「入力モード（ペンまたはタッチ入力モード）」、「ライセンス情報」及び「ヘルプ」等が含まれる。
　ホーム画面においてノート作成ボタン８１Ｂがペン１００または指でタップされるとノート作成画面が表示される。ここで、タイトル欄にノートの名前を手書き入力する。なお、ノートの表紙と用紙とを選択することができる。作成ボタンを押すと、新規なノートが作成され、当該作成されたノートは引き出し画面領域７１に置かれる。
　図７は、上述したノートプレビュー画面の一例を示す。ノートプレビュー画面は、選択された手書きノート内の任意のページを閲覧可能な画面である。ここでは、ホーム画面のデスクトップ画面領域７０のノートアイコン８０１に対応する手書きノートが選択された場合を説明する。この場合、手書きノートアプリケーションプログラム１０３ｂは、この手書きノートに含まれる複数のページ９０１、９０２、９０３、９０４及び９０５を、これらページ９０１、９０２、９０３、９０４及び９０５それぞれの少なくとも一部分が視認可能で、かつ、これらページ９０１、９０２、９０３、９０４及び９０５が重なった形態で表示する。
　ノートプレビュー画面は、更に、上述のペンアイコン７７１、カレンダーアイコン７７２及びスクラップノートアイコン７７３を表示する。
　ノートプレビュー画面は、更に、メニューを画面下部に表示することができる。このメニューは、ホームボタン８２Ａ、ページ一覧ボタン８２Ｂ、ページ追加ボタン８２Ｃ、ページ編集ボタン８２Ｄ、ページ削除ボタン８２Ｅ、ラベルボタン８２Ｆ、検索ボタン８２Ｇ及びプロパティ表示ボタン８２Ｈを備える。ホームボタン８２Ａは、ノートのプレビューを閉じてホーム画面を表示するためのボタンである。ページ一覧ボタン８２Ｂは、現在選択されている手書きノート内のページの一覧を表示するためのボタンである。ページ追加ボタン８２Ｃは、新しいページを作成（追加）するためのボタンである。ページ編集ボタン８２Ｄは、ページ編集画面を表示するためのボタンである。ページ削除ボタン８２Ｅは、ページを削除するためのボタンである。ラベルボタン８２Ｆは、使用可能なラベルの種類の一覧を表示するためのボタンである。検索ボタン８２Ｇは、検索画面を表示するためのボタンである。プロパティ表示ボタン８２Ｈは、このノートのプロパティを表示するためのボタンである。
　手書きノートアプリケーションプログラム１０３ｂは、ユーザによって行われるノートプレビュー画面上の様々なジェスチャを検出することができる。例えば、あるジェスチャの検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、一番上に表示されるべきページを任意のページに変更する（ページ送り、ページ戻し）。また、一番上のページ上で行われるあるジェスチャ（例えば、タップジェスチャ）の検出に応答して、またはペンアイコン７７１上で行われるジェスチャ（例えば、タップジェスチャ）の検出に応答して、あるいは編集ボタン８２Ｄ上で行われるあるジェスチャ（例えば、タップジェスチャ）の検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、一番上のページを選択し、そしてノートプレビュー画面の代わりに、図９に示すページ編集画面を表示する。
　図９に示すページ編集画面は、手書きノート内のページ（手書きページ）の新規作成、及び既存のページの閲覧及び編集が可能な画面である。図７に示すノートプレビュー画面上のページ９０１が選択された場合には、図９に示すように、ページ編集画面は、ページ９０１の内容を表示する。
　このページ編集画面において、破線で囲まれた矩形の領域５００は、手書き可能な手書き入力領域である。手書き入力領域５００においては、デジタイザ１２Ｃからの入力イベントは手書きストロークの表示（描画）のために使用され、タップ等のジェスチャを示すイベントとしては使用されない。一方、ページ編集画面における手書き入力領域５００以外の領域においては、デジタイザ１２Ｃからの入力イベントはタップ等のジェスチャを示すイベントとしても使用され得る。
　タッチパネル１２Ｂからの入力イベントは、手書きストロークの表示（描画）には使用されず、タップ及びスワイプ等のジェスチャを示すイベントとして使用される。
　ページ編集画面は、更に、ユーザによって予め登録された３種類のペン５０１～５０３と、範囲選択ペン５０４、消しゴムペン５０５とを含むクイックセレクトメニューを手書き入力領域５００外の画面上部に表示する。ここでは、黒ペン５０１、赤ペン５０２及びマーカー５０３がユーザによって予め登録されている場合が説明されている。ユーザは、ペン１００または指でクイックセレクトメニュー内のあるペン（ボタン）をタップすることにより、使用するペンの種類を切り替えることができる。例えば、黒ペン５０１がユーザによるペン１００または指を使用したタップジェスチャによって選択された状態で、ペン１００を用いた手書き入力操作がページ編集画面上で行われると、手書きノートアプリケーションプログラム１０３ｂは、ペン１００の動きに合わせて黒色のストローク（軌跡）をページ編集画面上に表示する。
　クイックセレクトメニュー内の上述の３種類のペンは、ペン１００のサイドボタン（図示せず）の操作によっても切り替えることができる。クイックセレクトメニュー内の上述の３種類のペンの各々には、よく使うペンの色やペンの太さの組み合わせを設定することができる。
　ページ編集画面は、更に、メニューボタン５１１、ページ戻し（ノートプレビュー画面に戻る）ボタン５１２及び新規ページ追加ボタン５１３を、手書き入力領域５００外の画面下部に表示する。メニューボタン５１１は、メニューを表示するためのボタンである。
　このメニューは、例えば、このページをゴミ箱に入れる、コピーやカットしたページの一部を貼り付ける、検索画面を開く、エクスポートサブメニューを表示する、インポートサブメニューを表示する、ページをテキストに変換してメールを送る、ペンケースを表示する等のボタンを表示してもよい。エクスポートサブメニューは、例えば、ページ編集画面上に表示されている手書きページを認識して電子文書ファイル、プレゼンテーションファイル、画像ファイル等に変換する機能、あるいはページを画像ファイルに変換して他のアプリケーションと共有する機能をユーザに選択させる。インポートサブメニューは、例えば、メモギャラリーからメモをインポートする機能、あるいはギャラリーから画像をインポートする機能をユーザに選択させる。ペンケースは、クイックセレクトメニュー内の３種類のペンの各々の色（描画される線の色）及び太さ（描画される線の太さ）を変更可能なペン設定画面を呼び出すためのボタンである。
　図１０は、検索画面（検索ダイアログ）の例を示す。図１０では、図７に示すノートプレビュー画面上で検索ボタン８２Ｇが選択され、当該ノートプレビュー画面上に検索画面（検索ダイアログ）が開かれた場合が説明されている。
　検索画面は、検索キー入力領域５３０、筆跡検索ボタン５３１、テキスト検索ボタン５３２、デリートボタン５３３及び検索実行ボタン５３４を表示する。筆跡検索ボタン５３１は、筆跡検索を選択するためのボタンである。テキスト検索ボタン５３２は、テキスト検索を選択するためのボタンである。検索実行ボタン５３４は、検索処理の実行を要求するためのボタンである。
　筆跡検索においては、検索キー入力領域５３０は、検索キーとすべき文字列、図形及び表等を手書きするための入力領域として使用される。図１０においては、検索キー入力領域５３０に手書き文字列「Ｄｅｔｅｒｍｉｎｅ」が検索キーとして入力されている。ユーザは、手書き文字列に限らず、手書き図形及び手書き表等を検索キー入力領域５３０にペン１００で手書きすることができる。検索キー入力領域５３０に手書き文字列「Ｄｅｔｅｒｍｉｎｅ」が検索キーとして入力された状態で検索実行ボタン５３４がユーザによって選択されると、手書き文字列「Ｄｅｔｅｒｍｉｎｅ」を構成するストローク集合（クエリーストローク集合）を用いて、このクエリーストローク集合に対応するストローク集合を含む手書き文書（ノート）を検索するための筆跡検索が実行される。筆跡検索では、ストローク間のマッチングによって、クエリーストローク集合に類似するストローク集合が検索される。クエリーストローク集合とある別のストローク集合との間の類似度の算出においては、ＤＰ（Dynamic Programming）マッチングを使用してもよい。
　テキスト検索においては、例えばソフトウェアキーボードが画面上に表示される。ユーザは、ソフトウェアキーボードを操作することによって任意のテキスト（文字列）を検索キーとして検索キー入力領域５３０に入力することができる。検索キー入力領域５３０にテキストが検索キーとして入力された状態で検索実行ボタン５３４がユーザによって選択されると、このテキスト（クエリーテキスト）を表すストローク集合を含む手書きノートを検索するためのテキスト検索が実行される。
　筆跡検索／テキスト検索は、全ての手書き文書を対象に実行することもできるし、選択された手書き文書のみを対象に実行することもできる。筆跡検索／テキスト検索が実行されると、検索結果画面が表示される。検索結果画面においては、クエリーストローク集合（またはクエリーテキスト）に対応するストローク集合を含む手書き文書（ページ）の一覧が表示される。なお、ヒットワード（クエリーストローク集合またはクエリーテキストに対応するストローク集合）は、強調表示される。
　次に、図１１を参照して、タブレットコンピュータ１０によって実行される手書きノートアプリケーションプログラム１０３ｂの機能構成について説明する。
　手書きノートアプリケーションプログラム１０３ｂは、手書き文書データを扱うことが可能なＷＹＳＩＷＹＧアプリケーションである。この手書きノートアプリケーションプログラム１０３ｂは、例えば、表示処理部３０１、時系列情報生成部３０２、編集処理部３０３、ページ保存処理部３０４、ページ取得処理部３０５及び作業メモリ４０１等を備える。表示処理部３０１は、手書きデータ入力部３０１Ａ、筆跡描画部３０１Ｂ及びＵＩ表示処理部３０１Ｃを含む。
　上述したタッチパネル１２Ｂは、「タッチ（接触）」、「移動（スライド）」及び「リリース」等のイベントの発生を検出するように構成されている。「タッチ（接触）」は、画面上のオブジェクト（指）が接触したことを示すイベントである。「移動（スライド）」は、画面上にオブジェクト（指）が接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面からオブジェクト（指）が離されたことを示すイベントである。
　上述したデジタイザ１２Ｃも、「タッチ（接触）」、「移動（スライド）」及び「リリース」等のイベントの発生を検出するように構成されている。「タッチ（接触）」は、画面上にオブジェクト（ペン１００）が接触したことを示すイベントである。「移動（スライド）」は、画面上にオブジェクト（ペン１００）が接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面からオブジェクト（ペン１００）が離されたことを示すイベントである。
　手書きノートアプリケーションプログラム１０３ｂは、手書きページデータの作成、閲覧及び編集を行うためのページ編集画面をタッチスクリーンディスプレイ１２上に表示する。
　表示処理部３０１及び時系列情報生成部３０２は、デジタイザ１２Ｃによって発生される「タッチ（接触）」、「移動（スライド）」または「リリース」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ（接触）」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントには、移動先の接触位置の座標が含まれている。したがって、表示処理部３０１及び時系列情報生成部３０２は、デジタイザ１２Ｃから接触位置の動きの軌跡に対応する座標列を受信することができる。
　表示処理部３０１は、デジタイザ１２Ｃを用いて検出される画面上のオブジェクト（ペン１００）の動きに応じて手書きストロークを画面上に表示する。この表示処理部３０１により画面にペン１００が接触している間のペン１００の軌跡、つまり、各ストロークの軌跡がページ編集画面上に表示される。
　時系列情報生成部３０２は、デジタイザ１２Ｃから出力される上述の座標列を受信し、この座標列に基づいて、図４において詳述したような構造を有する時系列情報（座標データ系列）を含む手書きデータを生成する。時系列情報生成部３０２は、生成された手書きデータを作業メモリ４０１に一時保存する。
　編集処理部３０３は、現在表示中の手書きページを編集するための処理を実行する。すなわち、編集処理部３０３は、タッチスクリーンディスプレイ１２上でユーザによって行われる編集操作及び手書き入力操作に応じて、現在表示中の手書きページに新たなストローク（新たな手書き文字及び新たな手書きマーク等）を追加する処理、表示されている複数のストローク内の１以上のストロークを削除または移動する処理等を含む編集処理を実行する。更に、編集処理部３０３は、編集処理の結果を表示中の時系列情報に反映するために作業メモリ４０１内の時系列情報を更新する。
　ページ保存処理部３０４は、作成中の手書きページ上の複数の手書きストロークに対応する複数のストロークデータを含む手書きページデータを記憶媒体４０２に保存する。記憶媒体４０２は、例えばタブレットコンピュータ１０内のストレージデバイスであってもよいし、例えばサーバ（コンピュータ）２のストレージデバイスであってもよい。
　ページ取得処理部３０５は、記憶媒体４０２から任意の手書きページデータを取得する。この取得された手書きページデータは、表示処理部３０１に送られる。表示処理部３０１は、手書きページデータに含まれる複数のストロークデータに対応する複数のストロークを画面上に表示する。
　次に、図１１に示す表示処理部３０１の詳細について説明する。　
　前述したように、タッチスクリーンディスプレイ１２は、画面に対するタッチ操作をタッチパネル１２Ｂまたはデジタイザ１２Ｃで検出する。手書きデータ入力部３０１Ａは、タッチパネル１２Ｂまたはデジタイザ１２Ｃから出力される検出信号を入力するモジュールである。検出信号には、タッチ位置の座標情報（Ｘ，Ｙ）が含まれている。このような検出信号を時系列順に入力することによって、手書きデータ入力部３０１Ａは、手書き入力操作に応じた（つまり、手書きで記載される）ストロークに対応するストロークデータを入力する。手書きデータ入力部３０１Ａによって入力されたストロークデータ（検出信号）は、筆跡描画部３０１Ｂに供給される。
　筆跡描画部３０１Ｂは、手書き入力の軌跡（筆跡）を描画してタッチスクリーンディスプレイ１２のＬＣＤ１２Ａに表示するモジュールである。筆跡描画部３０１Ｂは、手書きデータ入力部３０１Ａからのストロークデータ（検出信号）に基づき、手書き入力の軌跡（筆跡）に対応する線分を描画する。
　ＵＩ表示処理部３０１Ｃは、手書きデータ入力部３０１Ａによって入力されたストロークデータが例えば上述したページ編集画面（上の手書き入力領域５００）に対する手書き入力操作に応じたストロークに対応するものである場合に、上述した入力補助ＵＩを表示するモジュールである。
　ここで、図１２を参照して、ペン１００を使用してタッチスクリーンディスプレイ１２の画面上で手書き入力操作を行う（つまり、１以上のストロークを手書きで記載する）場合におけるユーザの操作領域の一例について説明する。
　図１２においては、ユーザがペン１００を使用して手書き文字列を横書きで記載する例が示されている。ここでは、手書き文字列を横書きで記載する場合の運筆方向はユーザから見て左から右方向である。なお、言語によっては、運筆方向はユーザから見て右から左方向であっても構わない。
　図１２に示す領域１００１は、タッチスクリーンディスプレイ１２上で手書き入力操作を行う際に、ユーザの手が当該タッチスクリーンディスプレイ１２上で接触する領域である。
　領域１００２は、ユーザの手が上記した領域１００１に接触している状態で当該ユーザがペン１００のペン先を動かすことができる最大の領域（手書き入力可能領域）である。なお、ユーザは領域１００２の範囲内で手書き入力操作を行うことは可能であるが、当該領域１００２の外周付近（例えば、上部及び下部等）においては、ペン先を動かすことができる最大の距離となってしまうため、手書き入力操作が比較的困難となる。
　これに対して、領域１００３は、上記した領域１００２のうち、手書き入力操作が比較的困難となる領域を除いた領域（つまり、容易に手書き入力操作を行うことが可能な領域）である。すなわち、領域１００３は、上記した領域１００１にユーザの手が接触している状態において手書きでストロークを記載するのに最適な領域であり、ユーザが操作しやすいと感じられる領域である。
　ここで、本実施形態においては、上記した入力補助ＵＩを介して、手書き入力操作を補助する機能を利用することができる。この入力補助ＵＩは、ユーザの操作性を考慮すると、上記した領域１００３内に表示することが好ましい。
　しかしながら、入力補助ＵＩに対する操作を行う必要がない場合、領域１００３内に表示された入力補助ＵＩは、ユーザによる手書き入力操作の妨げとなる可能性が高い。
　これに対して、手書き入力操作の妨げとなることを回避するために入力補助ＵＩを例えば領域１００３以外の領域１００２に表示した場合には、当該入力補助ＵＩに対する操作が困難となる。
　そこで、本実施形態において、ＵＩ表示処理部３０１Ｃは、領域１００１にユーザの手が接触している状態において手書き入力操作が行われる領域１００３（第１領域）から運筆方向に所定距離（第１距離）離れた位置に入力補助ＵＩを表示するものとする。この入力補助ＵＩの具体的な表示例については後述する。
　なお、図１１においては図示されていないが、手書きノートアプリケーションプログラム１０３ｂは、上記した以外に手書き入力操作に応じた１以上のストロークに基づいて特定されるストローク集合をユーザによる手書き入力の候補として例えばページ編集画面上に表示する候補表示処理部や上述した筆跡検索及びテキスト検索等を実行するための検索処理部等を備える。
　以下、本実施形態に係るタブレットコンピュータ１０の動作について説明する。ここでは、本実施形態に係るタブレットコンピュータ１０によって実行される処理のうち、上述した手書き入力操作時（つまり、手書きでストロークが記載される際）に入力補助ＵＩを表示する処理（以下、入力補助ＵＩ表示処理と表記）について主に説明する。
　図１３のフローチャートを参照して、入力補助ＵＩ表示処理の処理手順の一例について説明する。なお、入力補助ＵＩ表示処理は、上記したページ編集画面上の手書き入力領域５００において手書き入力操作に応じたストロークに対応するストロークデータが入力される際に実行される。
　まず、手書きデータ入力部３０１Ａは、ユーザによる手書き入力操作に応じた１以上のストロークに対応するストロークデータを入力する（ブロックＢ１）。このように手書きデータ入力部３０１Ａによってストロークデータが入力された場合、筆跡描画部３０１Ｂは、当該ストロークデータに基づいて、手書き入力操作に応じたストローク（手書き入力の軌跡に対応する線分）を描画する処理を実行する。
　なお、このように手書き入力操作が行われることによってストロークデータが入力される場合、ユーザの手はタッチスクリーンディスプレイ１２の画面上に接触した状態であるものとする。以下の説明においては、ブロックＢ１においてストロークデータが入力される際にユーザの手が接触している画面上の点を第１接触点と称する。この第１接触点（の座標）は、上述した図１２に示す領域１００１等に基づいてタッチスクリーンディスプレイ１２に備えられるタッチパネル１２Ｂによって検出可能である。
　次に、ＵＩ表示処理部３０１Ｃは、タッチパネル１２Ｂからの入力イベントに基づいて、タッチスクリーンディスプレイ１２の画面上からユーザの手が離れたか否かを判定する（ブロックＢ２）。
　タッチスクリーンディスプレイ１２の画面上からユーザの手が離れていないと判定された場合（ブロックＢ２のＮＯ）、ユーザの手が第１接触点に接触した状態のまま手書き入力操作が継続されているものとして、上述したブロックＢ１に戻って処理が繰り返される。すなわち、本実施形態においては、タッチスクリーンディスプレイ１２の画面上にユーザの手が接触した状態が継続している間は入力補助ＵＩは表示されない（つまり、非表示である）。
　ここで、ユーザがペン１００を使用して比較的長い文字列（ストローク集合）をタッチスクリーンディスプレイ１２の画面上で記載する場合、ユーザは、運筆のために手を一旦当該画面上から離し、次の文字（列）の記載のために再度当該画面上に手を接触させるという動作（以下、運筆動作と表記）を行う場合が多い。
　本実施形態においては、このような運筆動作を判別するために、上記したブロックＢ２においてタッチスクリーンディスプレイ１２の画面上からユーザの手が離れたと判定された場合（ブロックＢ２のＹＥＳ）、ＵＩ表示処理部３０１Ｃは、タッチスクリーンディスプレイ１２の画面上に再びユーザの手が接触したか否かを判定する（ブロックＢ３）。
　タッチスクリーンディスプレイ１２の画面上に再びユーザの手が接触したと判定された場合（ブロックＢ３のＹＥＳ）、ＵＩ表示処理部３０１Ｃは、上記した運筆動作が行われたと判別することができる。以下の説明においては、このような運筆動作が行われた後にユーザの手が接触している画面上の点を第２接触点と称する。この第２接触点（の座標）は、上記した第１接触点と同様に、タッチパネル１２Ｂによって検出可能である。
　なお、ユーザの手が一旦画面上から離れた後に当該ユーザの手が再度画面上に接触したとしても、当該ユーザの手の動きは上記した運筆動作によるものではない可能性もある。よって、運筆動作の判別精度を向上させるために、例えば第２接触点の位置が第１接触点から予め定められた距離の範囲内で、かつ、例えば運筆方向にある場合にのみ運筆動作が行われたと判別するようにしてもよい。なお、運筆方向は、ブロックＢ１において入力されたストロークデータ等から判別することができるものとする。
　このように運筆動作が行われたと判別された場合、ＵＩ表示処理部３０１Ｃは、上述した入力補助ＵＩを表示する位置（入力補助ＵＩの表示位置）を決定する（ブロックＢ４）。この場合、ＵＩ表示処理部３０１Ｃは、例えば上記した画面上の第１接触点にユーザの手が接触した状態において手書き入力操作が行われる領域（例えば、図１２に示す領域１００３）から運筆方向に所定距離離れた位置を入力補助ＵＩの表示位置として決定する。
　ここで、図１４を参照して、入力補助ＵＩの表示位置の決定処理（以下、第１の決定処理と表記）について詳細に説明する。ここでは、上述した図１２と同様の部分には同一参照符号を付して、その詳しい説明を省略する。
　図１４に示す領域１００４は、画面上の領域１００１にユーザの手が接触した状態で手書き入力操作が行われた後に、運筆動作により手を移動して手書き入力操作を行う際に当該ユーザの手が接触する領域である。なお、図１４において点１００１ａ及び点１００４ａは、それぞれ上記した第１接触点及び第２接触点を示す。なお、第１接触点１００１ａ及び第２接触点１００４ａは、それぞれ領域１００１及び領域１００４の最左端に位置する点とされているが、例えば領域１００１及び領域１００４の中心等に位置する点であっても構わない。
　入力補助ＵＩの表示位置の決定処理において、ＵＩ表示処理部３０１Ｃは、例えば領域１００２（及び領域１００３）の最右端に位置する点のＸ座標（以下、Ｘ１座標と表記）を取得する。なお、この領域１００２及び領域１００３（及びＸ１座標）は、上記したブロックＢ１において入力されたストロークデータ（時系列座標）及びタッチパネル１２Ｂによって検出される第１接触点１００１ａの位置（座標）等から算出されるものとする。
　また、ＵＩ表示処理部３０１Ｃは、第２接触点１００４ａのＸ座標（以下、Ｘ２座標と表記）を取得する。
　次に、ＵＩ表示処理部３０１Ｃは、領域１００３の最下端に位置する点のＹ座標（以下、Ｙ１座標と表記）及び当該領域１００３の最上端に位置する点のＹ座標（以下、Ｙ２座標と表記）を取得する。
　これにより、ＵＩ表示処理部３０１Ｃは、図１４に示すようにＸ１座標、Ｘ２座標、Ｙ１座標及びＹ２座標に基づいて領域１００５を算出する。
　この場合、ＵＩ表示処理部３０１Ｃは、算出された領域１００５（内の位置）を、入力補助ＵＩを表示する位置として決定する。なお、入力補助ＵＩの表示位置は、領域１００５内であればよいが、当該入力補助ＵＩと当該入力補助ＵＩを介して利用される入力補助機能との関係性または関連性をユーザが判断することができる程度の範囲内にあるものとする。具体的には、入力補助ＵＩを介して利用される入力補助機能が上記した手書き文字列の色彩を変更する機能である場合には、入力補助ＵＩは、例えば領域１００３内に記載された手書き文字列の近傍に表示されるものとする。
　ここで、領域１００１～領域１００３によって示されるように、領域１００１の近傍は手書き入力操作を行うことができない。このため、ユーザの手が接触する画面上の領域１００１と手書き入力可能領域１００２及び１００３との間には一定の間隔が存在する。これによれば、領域１００４の近傍についても手書き入力操作を行うことができないと推定される。したがって、入力補助ＵＩをユーザが容易に手書き入力操作を行うことが可能な位置（領域）に表示するためには、上記した第２接触点のＸ座標を例えば第１接触点のＸ座標とＸ１座標との差分だけＸ軸の負方向にずらした位置のＸ座標を、Ｘ２座標として用いて入力補助ＵＩを表示する位置を決定することが好ましい。
　また、ここでは領域１００３の最下端に位置する点のＹ座標（Ｙ１座標）及び当該領域１００３の最上端に位置する点のＹ座標（Ｙ２座標）を用いるものとして説明したが、当該Ｙ１座標及びＹ２座標に代えて、例えば領域１００２の最下端に位置する点のＹ座標及び当該領域１００２の最上端に位置する点のＹ座標を用いても構わない。
　なお、ここで説明した入力補助ＵＩの表示位置の決定処理は一例であり、他の処理によって入力補助ＵＩの表示位置を決定しても構わない。具体的には、例えば領域１００１及び領域１００３との位置関係から、領域１００４にユーザの手が接触している場合において容易に手書き入力操作を行うことが可能な領域を算出し、当該算出された領域（内の位置）を入力補助ＵＩの表示位置として決定しても構わない。
　再び図１３に戻ると、ＵＩ表示処理部３０１Ｃは、上記したように決定された入力補助ＵＩの表示位置に当該入力補助ＵＩを表示する（ブロックＢ５）。ユーザは、このように表示された入力補助ＵＩに対して例えばペン１００を使用したタッチ操作等を行うことにより、上述した入力補助機能を利用することができる。このように表示された入力補助ＵＩは、ユーザによる円滑な手書き入力操作のために、不要と判定される場合には速やかに非表示とすることが好ましい。具体的には、例えば入力補助ＵＩに対する操作が一定時間行われない場合には当該入力補助ＵＩは不要であると判定し、非表示とすることができる。
　なお、上述したブロックＢ３においてタッチスクリーンディスプレイ１２の画面上にユーザの手が接触していないと判定された場合（ブロックＢ３のＮＯ）、例えば手書き入力操作が終了されたものとして、入力補助ＵＩ表示処理は終了される。
　次に、上述した入力補助ＵＩの表示について具体的に説明する。ここでは、入力補助ＵＩの第１の表示例及び第２の表示例について説明する。
　まず、図１５を参照して、入力補助ＵＩの第１の表示例について説明する。図１５は、ユーザによる手書き入力操作に応じた１以上のストローク（ここでは、手書き文字列「ＡＢＣ」）に対応するストロークデータが入力された後に、上述した運筆動作が行われる場合について示している。
　図１５に示すように、運筆動作が行われた場合、当該運筆動作が行われる前に手書き入力操作が行われた領域１００３から運筆方向に所定距離離れた位置に、入力補助ＵＩ１１００が表示される。これによれば、ユーザは、領域１００３内に手書き文字列「ＡＢＣ」を書き終えて運筆動作を行った際に、容易に入力補助ＵＩ１１００に対する操作（タッチ操作等）を行うことができるとともに、次の手書き入力操作（手書き文字列の記載等）を行うことが可能となる。
　なお、この図１５に示す入力補助ＵＩ１１００は、例えば手書き文字列の色彩を変更するという入力補助機能を利用するためのユーザインタフェース（つまり、手書き文字列の色彩を指定するための操作に用いられるユーザインタフェース）である。
　図１５に示す例では、この入力補助ＵＩ１１００には、例えば「Ｒ（赤色）」ボタン１１０１、「Ｇ（緑色）」ボタン１１０２及び「Ｂ（青色）」ボタン１１０３が設けられている。ユーザは、ペン１００を用いて例えば「Ｒ」ボタン１１０１に対するタッチ操作を行うことにより、手書き文字列「ＡＢＣ」の色彩を当該ボタン１１０１に対応する色彩（つまり、赤色）に変更することができる。ここでは、「Ｒ」ボタン１１０１について説明したが、他のボタン１１０２及び１１０３に対するタッチ操作が行われた場合についても同様である。
　なお、入力補助ＵＩ１１００には、赤色、緑色及び青色に対応するボタン１１０１～１１０３以外のボタンが設けられていてもよい。この入力補助ＵＩ１１００に設けられる各ボタンの種類（当該ボタンに対応する色彩）及び数等は、ユーザによって適宜変更（設定）することができるものとする。
　また、本実施形態における手書きノート（手書き文書）の作成時には、タッチスクリーンディスプレイ１２の画面上で手書き文字列が記載される度に、当該画面に対する所定の操作（以下、確定操作と表記）により当該手書き文字列（の入力）を確定するという動作が行われる。この場合、図１５に示す入力補助ＵＩ１１００を介して利用される機能（ここでは、手書き文字列の色彩を指定する機能）は、上記した確定操作により確定されていない、つまり、未確定（編集中）の手書き文字列（つまり、１以上のストローク）に対して適用されるものとする。すなわち、本実施形態においては、未確定のストロークが入力補助ＵＩ１１００を用いた操作の対象とされる。
　次に、図１６を参照して、入力補助ＵＩの第２の表示例について説明する。ここでは、本実施形態に係るタブレットコンピュータ１０（上で動作する手書きノートアプリケーションプログラム１０３ｂ）が入力補助機能として上述した手書き入力の候補（以下、推薦手書き文字列と表記）を表示する機能（以下、入力サジェスト機能と表記）を有している場合を想定している。この入力サジェスト機能によれば、手書き入力操作に応じた１以上のストロークに基づいて特定されるストローク集合（例えば、過去に記載された手書き文字列のうち当該１以上のストロークに類似するストロークから構成される手書き文字列）が推薦手書き文字列として表示される。
　図１６は、このような推薦手書き文字列が表示された後に、上述した運筆動作が行われる場合について示している。
　ここで、図１６に示す例では、例えば手書き入力操作によって手書き文字「ａ」が手書きで記載された場合、当該手書き文字「ａ」（つまり、１以上のストローク）に基づいて特定される推薦手書き文字列「ａｐｐ」、「ａｐｐｌｅ」及び「ａｉｒ」が表示されている。
　なお、図１６では上述した領域１００１～１００３については省略されているが、推薦手書き文字列「ａｐｐ」は、例えば領域１００３（手書き入力操作が行われる領域）の上側に位置する領域１２０１（第２領域）に表示される。また、推薦手書き文字列「ａｐｐｌｅ」は、例えば領域１００３（に重なる領域１２０２）に表示される。更に、推薦手書き文字列「ａｉｒ」は、例えば領域１００３の下側に位置する領域１２０３（第３領域）に表示される。なお、表示される推薦手書き文字列のうち、例えば最も優先度の高い推薦手書き文字列が領域１２０２に表示されるものとする。この優先度は、例えば手書き入力操作によって手書きで記載された手書き文字列と一致する度合いや推薦手書き文字列として過去に表示された際にユーザによって選択された回数等に基づいて算出することが可能であるが、他の手法により算出されても構わない。また、図１６に示す例では領域１２０１～１２０３の各々に推薦手書き文字列が表示されるものとして説明したが、推薦手書き文字列は、当該領域１２０１～１２０３の少なくとも１つの領域に表示されればよい。
　このように推薦手書き文字列が表示された場合、ユーザは、当該推薦手書き文字列のうちの１つを（手書き入力領域５００に）表示すべき文字列として選択することができる。すなわち、推薦手書き文字列のうちの１つがユーザによって選択される場合、筆跡描画部３０１Ｂは、当該推薦手書き文字列を手書き入力領域５００に表示（描画）する。
　図１６に示す例では、運筆動作が行われた場合、カーソル１２０４を合わせることによって推薦手書き文字列のうちの１つを選択（指定）することができる入力補助ＵＩ１２０５が表示される。なお、この入力補助ＵＩ１２０５は、例えば領域１２０２に表示されている推薦手書き文字列「ａｐｐｌｅ」が選択された場合に、次の手書き入力操作が行われると推定される位置の近傍（つまり、当該推薦手書き文字列の後の位置）に表示される。
　この入力補助ＵＩ１２０５には、例えば上記したカーソル１２０４を上に移動させるための「上」ボタン１２０５ａ、当該カーソル１２０４を下に移動させるための「下」ボタン１２０５ｂ及びカーソル１２０４が合わせられている推薦手書き文字列を指定するための「ＯＫ」ボタン１２０５ｃが設けられている。
　これによれば、運筆動作後に入力補助ＵＩ１２０５に対する操作（つまり、推薦手書き文字列を選択する操作）を容易に行うことができるとともに、容易に次の手書き入力操作を行うことが可能となる。
　なお、図１５及び図１６において説明した入力補助ＵＩ１１００及び１２０５は一例であり、本実施形態における入力補助ＵＩは、例えば手書き文字列の太さを変更する、当該手書き文字列を拡大または縮小する、当該手書き文字列を削除する、当該手書き文字列を検索キーとして指定する、または当該手書き文字列に対して文字認識処理を実行する等の機能、あるいはこれらを組み合わせた機能等を利用するためのものであってもよい。すなわち、本実施形態における入力補助ＵＩは、ユーザによる手書き入力操作を補助する機能を利用するためのものであればよい。
　上記したように本実施形態においては、タッチスクリーンディスプレイ１２の画面上の接触点（第１接触点）に手が接触した状態で手書きで入力される１以上のストローク（第１ストローク）に対応するストロークデータ（第１ストロークデータ）を入力し、手が当該接触点から離れた後、当該１以上のストロークが表示される領域（第１領域）から運筆方向に所定距離（第１距離）離れた位置に、入力補助ＵＩ（入力するストロークを指定するための操作に用いられるユーザインタフェース）を表示する。具体的には、画面上の接触点（第１接触点）に手が接触した状態で１以上のストローク（第１ストローク）が入力された後に運筆動作を行い、当該画面上の異なる接触点（第２接触点）に手が接触した状態で１以上のストローク（第２ストローク）が入力される場合、入力補助ＵＩは、当該運筆動作前に１以上のストロークが表示される領域と当該運筆動作後の接触点との間の位置に表示される。
　本実施形態においては、このような構成により、手書き入力操作を阻害または中断しない位置（つまり、運筆動作後の次の手書き入力操作を行う位置の近傍）に入力補助ＵＩが表示されるため、ユーザは、当該入力補助ＵＩに対する操作を容易に行うことが可能となり、手書き文書（手書きノート）を効率的に作成することが可能となる。
　また、本実施形態においては、１以上のストロークが手書きで記載される領域１２０２（第１領域）、当該領域の上側に位置する領域１２０１（第２領域）及び当該領域の下側に位置する領域１２０３（第３領域）の少なくとも１つの領域に推薦手書き文字列（手書き入力の候補）が表示され、当該推薦手書き文字列を指定するための操作に用いられる入力補助ＵＩ１２０５が表示される。本実施形態においては、このような構成により、推薦手書き文字列を表示（提示）する機能（入力サジェスト機能）を有している場合に、当該推薦手書き文字列を指定する操作（図１６に示す入力補助ＵＩ１２０５に対する操作）を容易に行うことが可能な入力補助ＵＩを表示することが可能となる。
　更に、本実施形態においては、タッチスクリーンディスプレイ１２の画面上にユーザの手が接触した状態が継続している間は入力補助ＵＩを非表示とすることにより、例えば当該画面上において手書き入力操作が継続して行われている場合に、ユーザが意図しない当該入力補助ＵＩに対する操作が行われることを防止することが可能となる。
　また、本実施形態においては、未確定のストロークを入力補助ＵＩを用いた操作の対象とする（つまり、入力補助ＵＩを介して利用される入力補助機能は未確定のストロークに対して適用される）ことにより、ユーザが意図しない範囲のストローク（手書き文字列）に対してまでも当該入力補助機能が適用される（つまり、当該入力補助機能による効果が生じる）ことを防止することができる。
　なお、本実施形態においては図１３及び図１４において説明した第１の決定処理が実行されることによって決定された位置に入力補助ＵＩが表示される（つまり、運筆動作後に入力補助ＵＩが表示される）ものとして説明したが、当該ユーザの手が再度画面上に接触する前（つまり、次の手書き入力位置に手を移動している最中）に、入力補助ＵＩが表示されるようにしてもよい。この場合には、次にユーザが手を接触させる画面上の位置を予測して入力補助ＵＩの表示位置を決定する。
　以下、図１７を参照して、この場合における入力補助ＵＩの表示位置の決定処理（以下、第２の決定処理と表記）について説明する。ここでは、上述した図１２及び図１４と同様の部分には同一参照符号を付して、その詳しい説明を省略する。
　この第２決定処理の場合、ＵＩ表示処理部３０１Ｃは、例えば領域１００２（及び領域１００３）の最左端に位置する点のＸ座標（以下、Ｘ０座標と表記）を取得する。
　また、ＵＩ表示処理部３０１Ｃは、上述した図１４において説明したＸ１座標を取得する。
　なお、領域１００２及び領域１００３（Ｘ０座標及びＸ１座標）は、ブロックＢ１において入力されたストロークデータ（時系列座標）及びタッチパネル１２Ｂによって検出される第１接触点１００１ａの位置（座標）等から算出されるものとする。
　ここで、ＵＩ表示処理部３０１Ｃは、図１７に示すように、取得されたＸ１座標とＸ０座標との差分ｄを算出し、当該算出された差分ｄをＸ１座標に加算した値（以下、Ｘ２´座標と表記）を算出する。
　次に、ＵＩ表示処理部３０１Ｃは、上述した図１４において説明したＹ１座標及びＹ２座標を取得する。
　これにより、ＵＩ表示処理部３０１Ｃは、図１７に示すようにＸ１座標、Ｘ２´座標、Ｙ１座標及びＹ２座標に基づいて領域１００６を算出する。
　この場合、ＵＩ表示処理部３０１Ｃは、算出された領域１００６（内の位置）を、入力補助ＵＩを表示する位置として決定する。
　すなわち、第２の決定処理においては、上記したように領域１００２及び領域１００３に基づいて次の手書き入力操作が行われると推測される領域１００６を予測し、当該領域１００６内の位置を入力補助ＵＩの表示位置として決定する。
　この第２の決定処理によれば、ユーザの運筆動作によりユーザの手が画面上に置かれる（接触する）前に入力補助ＵＩを表示することが可能となるため、運筆のリズムをソフトウェア的に意図的に作り出すことが可能となる。
　しかしながら、手書き文字列を横書きで記載する場合を想定すると、第２の決定処理によって決定された位置に入力補助ＵＩを表示する場合、運筆動作の最中（つまり、ユーザが手を移動している最中）の当該ユーザの手の下に入力補助ＵＩが表示されることになる。つまり、ユーザの運筆動作が完了するまで（つまり、ユーザが手を画面上に置くまで）の間に、ユーザが意図しないタッチ操作（つまり、誤操作）が行われる可能性がある。
　これに対して、上述した第１の決定処理によれば、ユーザの運筆動作後（つまり、ユーザの手が画面上に置かれた後）に入力補助ＵＩが表示されるため、第２の決定処理が実行された場合と比較して誤操作が行われる可能性は低い。
　上記した第１または第２の決定処理のいずれの処理が実行されるか（つまり、ユーザの手が画面上に置かれた後に入力補助ＵＩが表示されるか、当該ユーザの手が画面上に置かれる前に入力補助ＵＩが表示されるか）はユースケースによって決定される。
　なお、本実施形態においてはユーザがペン１００を使用して手書き文字列を横書きで記載する場合について主に説明したが、本実施形態は、当該手書き文字列を縦書きで記載する場合にも適用可能である。ここで、手書き文字列を縦書きで記載する場合の運筆方向は、当該手書き文字列を横書きで記載する場合と異なり、ユーザから見て上から下方向である。また、運筆方向やユーザの手書き習慣から当該運筆方向に最適化されたペン１００の持ち方及び動かし方によって、手書き入力可能領域は、横書きの場合における領域１００２と異なる場合がある。更に、手書き文字列を縦書きで記載する場合における容易に手書き入力操作を行うことが可能な領域の形状も、上述した図１２に示す領域１００３とは異なり、縦長の楕円形状となる。このように、手書き文字列を横書きで記載する場合と縦書きで記載する場合とでは上記したように運筆方向等に差異があるが、手書き文字列を縦書きで記載する場合であっても、図１３に示すような処理が実行されることによってユーザによる手書き入力操作が行われる領域から運筆方向に所定距離離れた位置に入力補助ＵＩを表示することが可能である。これにより、手書き文字列を縦書きで記載する場合でも上述した手書き文字列を横書きで記載する場合と同様の効果を実現することができる。
　なお、本実施形態の処理はコンピュータプログラムによって実現することができるため、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。　
　１０…タブレットコンピュータ（電子機器）、１１…本体、１２…タッチスクリーンディスプレイ、１２Ａ…ＬＣＤ、１２Ｂ…タッチパネル、１２Ｃ…デジタイザ、１００…ペン、１０１…ＣＰＵ、１０２…不揮発性メモリ、１０３…主メモリ、１０３ａ…オペレーティングシステム、１０３ｂ…手書きノートアプリケーションプログラム、１０４…ＢＩＯＳ－ＲＯＭ、１０５…システムコントローラ、１０６…グラフィクスコントローラ、１０７…無線通信デバイス、１０８…ＥＣ、３０１…表示処理部、３０１Ａ…手書きデータ入力部、３０１Ｂ…筆跡描画部、３０１Ｃ…ＵＩ表示処理部、３０２…時系列情報生成部、３０３…編集処理部、３０４…ページ保存処理部、３０５…ページ取得処理部、４０１…作業メモリ、４０２…記憶媒体。

Claims (15)

  1. 　画面上の第１接触点に手が接触した状態で手書きで入力される１以上の第１ストロークに対応する第１ストロークデータを入力することと、
    　手が前記第１接触点から離れた後、前記１以上の第１ストロークが表示される第１領域から運筆方向に第１距離離れた位置に、入力するストロークを指定するための操作に用いられるユーザインタフェースを表示することと
    　を具備する、方法。
  2. 　画面上の第１接触点に手が接触した状態で１以上の第１ストロークが入力された後に前記画面上の第２接触点に手が接触した状態で１以上の第２ストロークが入力される場合、前記ユーザインタフェースは、前記第１領域と前記第２接触点との間の位置に表示される請求項１記載の方法。
  3. 　前記１以上のストロークに基づいて特定されるストローク集合を、手書き入力の候補として表示することを更に具備し、
    　前記手書き入力の候補は、前記第１領域、当該第１領域の上側に位置する第２領域及び当該第１領域の下側に位置する第３領域の少なくとも１つの領域に表示され、
    　前記ユーザインタフェースは、前記手書き入力の候補を指定するための操作に用いられる
    　請求項１記載の方法。
  4. 　前記ユーザインタフェースは、画面上の第１接触点に手が接触した状態が継続している間は非表示である請求項１記載の方法。
  5. 　未確定のストロークを前記ユーザインタフェースを用いた操作の対象とする請求項１記載の方法。
  6. 　画面上の第１接触点に手が接触した状態で手書きで入力される１以上の第１ストロークに対応する第１ストロークデータを入力する入力手段と、
    　手が前記第１接触点から離れた後、前記１以上の第１ストロークが表示される第１領域から運筆方向に第１距離離れた位置に、入力するストロークを指定するための操作に用いられるユーザインタフェースを表示する表示処理手段と
    　を具備する、電子機器。
  7. 　画面上の第１接触点に手が接触した状態で１以上の第１ストロークが入力された後に前記画面上の第２接触点に手が接触した状態で１以上の第２ストロークが入力される場合、前記ユーザインタフェースは、前記第１領域と前記第２接触点との間の位置に表示される請求項６記載の電子機器。
  8. 　前記表示処理手段は、前記１以上のストロークに基づいて特定されるストローク集合を、手書き入力の候補として表示し、
    　前記手書き入力候補は、前記第１領域、当該第１領域の上側に位置する第２領域及び当該第１領域の下側に位置する第３領域の少なくとも１つの領域に表示され、
    　前記ユーザインタフェースは、前記手書き入力の候補を指定するための操作に用いられる
    　請求項６記載の電子機器。
  9. 　前記ユーザインタフェースは、画面上の第１接触点に手が接触した状態が継続している間は非表示である請求項６記載の電子機器。
  10. 　未確定のストロークを前記ユーザインタフェースを用いた操作の対象とする請求項６記載の電子機器。
  11. 　コンピュータにより実行されるプログラムであって、
    　前記コンピュータに、
    　画面上の第１接触点に手が接触した状態で手書きで入力される１以上の第１ストロークに対応する第１ストロークデータを入力することと、
    　手が前記第１接触点から離れた後、前記１以上の第１ストロークが表示される第１領域から運筆方向に第１距離離れた位置に、入力するストロークを指定するための操作に用いられるユーザインタフェースを表示することと
    　を実行させるためのプログラム。
  12. 　画面上の第１接触点に手が接触した状態で１以上の第１ストロークが入力された後に前記画面上の第２接触点に手が接触した状態で１以上の第２ストロークが入力される場合、前記ユーザインタフェースは、前記第１領域と前記第２接触点との間の位置に表示される請求項１１記載のプログラム。
  13. 　前記コンピュータに、前記１以上のストロークに基づいて特定されるストローク集合を、手書き入力の候補として表示することを更に実行させ、
    　前記手書き入力の候補は、前記第１領域、当該第１領域の上側に位置する第２領域、及び当該第１領域の下側に位置する第３領域の少なくとも１つの領域に表示され、
    　前記ユーザインタフェースは、前記手書き入力の候補を指定するための操作に用いられる
    　請求項１１記載のプログラム。
  14. 　前記ユーザインタフェースは、画面上の第１接触点に手が接触した状態が継続している間は非表示である請求項１１記載のプログラム。
  15. 　未確定のストロークを前記ユーザインタフェースを用いた操作の対象とする請求項１１記載のプログラム。
PCT/JP2014/075602 2014-09-26 2014-09-26 電子機器、方法及びプログラム WO2016046953A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016549855A JP6251408B2 (ja) 2014-09-26 2014-09-26 電子機器、方法及びプログラム
PCT/JP2014/075602 WO2016046953A1 (ja) 2014-09-26 2014-09-26 電子機器、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/075602 WO2016046953A1 (ja) 2014-09-26 2014-09-26 電子機器、方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2016046953A1 true WO2016046953A1 (ja) 2016-03-31

Family

ID=55580512

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/075602 WO2016046953A1 (ja) 2014-09-26 2014-09-26 電子機器、方法及びプログラム

Country Status (2)

Country Link
JP (1) JP6251408B2 (ja)
WO (1) WO2016046953A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320755A (ja) * 1995-05-25 1996-12-03 Canon Inc 情報処理装置
JP2000123114A (ja) * 1998-10-15 2000-04-28 Casio Comput Co Ltd 手書き文字入力装置及び記憶媒体
JP2005251222A (ja) * 2005-04-01 2005-09-15 Sharp Corp 手書き入力装置、手書き入力プログラム、および、プログラム記録媒体
JP2014016943A (ja) * 2012-07-11 2014-01-30 Sharp Corp 情報処理装置、表示方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320755A (ja) * 1995-05-25 1996-12-03 Canon Inc 情報処理装置
JP2000123114A (ja) * 1998-10-15 2000-04-28 Casio Comput Co Ltd 手書き文字入力装置及び記憶媒体
JP2005251222A (ja) * 2005-04-01 2005-09-15 Sharp Corp 手書き入力装置、手書き入力プログラム、および、プログラム記録媒体
JP2014016943A (ja) * 2012-07-11 2014-01-30 Sharp Corp 情報処理装置、表示方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2016046953A1 (ja) 2017-07-27
JP6251408B2 (ja) 2017-12-20

Similar Documents

Publication Publication Date Title
JP5813780B2 (ja) 電子機器、方法及びプログラム
JP6180888B2 (ja) 電子機器、方法およびプログラム
JP5728592B1 (ja) 電子機器および手書き入力方法
JP6092418B2 (ja) 電子機器、方法及びプログラム
JP5989903B2 (ja) 電子機器、方法及びプログラム
JP6092462B2 (ja) 電子機器、方法及びプログラム
JP5925957B2 (ja) 電子機器および手書きデータ処理方法
JP6426417B2 (ja) 電子機器、方法及びプログラム
JP5395927B2 (ja) 電子機器および手書き文書検索方法
JP5634617B1 (ja) 電子機器および処理方法
JP2016085512A (ja) 電子機器、方法及びプログラム
JP6100013B2 (ja) 電子機器および手書き文書処理方法
JP6430198B2 (ja) 電子機器、方法及びプログラム
US20150149894A1 (en) Electronic device, method and storage medium
JP5749245B2 (ja) 電子機器、表示方法、及び表示プログラム
JP6251408B2 (ja) 電子機器、方法及びプログラム
JP6202997B2 (ja) 電子機器、方法及びプログラム
JP6062487B2 (ja) 電子機器、方法及びプログラム
JP6315996B2 (ja) 電子機器、方法及びプログラム
JP2015109116A (ja) 電子機器、表示方法、及び表示プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14902557

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016549855

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14902557

Country of ref document: EP

Kind code of ref document: A1