WO2014103357A1 - 電子機器および入力方法 - Google Patents

電子機器および入力方法 Download PDF

Info

Publication number
WO2014103357A1
WO2014103357A1 PCT/JP2013/058132 JP2013058132W WO2014103357A1 WO 2014103357 A1 WO2014103357 A1 WO 2014103357A1 JP 2013058132 W JP2013058132 W JP 2013058132W WO 2014103357 A1 WO2014103357 A1 WO 2014103357A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
note
icons
icon
mode
Prior art date
Application number
PCT/JP2013/058132
Other languages
English (en)
French (fr)
Inventor
幸宏 栗田
吉原　浩登
忠嗣 布目
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to EP13741961.0A priority Critical patent/EP2940562A1/en
Priority to CN201380000730.5A priority patent/CN104854545A/zh
Priority to US13/965,442 priority patent/US20140189593A1/en
Publication of WO2014103357A1 publication Critical patent/WO2014103357A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the embodiment of the present invention relates to a technique for handling handwritten data.
  • the user can instruct the electronic device to execute the function associated with the menu or object by touching the menu or object displayed on the touch screen display with a finger or the like.
  • An object of one embodiment of the present invention is to provide an electronic device and an input method that can easily handle handwritten data.
  • the electronic device includes display processing means and switching means.
  • the display processing means includes a plurality of first icons corresponding to a plurality of forms of drawing performed based on an input from the first sensor, and displays a first user interface having a first size on the screen.
  • the second size includes a plurality of second icons corresponding to the plurality of forms and is larger than the first size.
  • a second user interface having the second user interface is displayed on the screen.
  • the switching unit switches the mode of the display processing unit between the first mode and the second mode.
  • the display processing means when one of the plurality of first icons is selected in the first mode, based on an input from the first sensor, a first corresponding to the one of the plurality of first icons. Drawing on the screen in the form of 1.
  • FIG. 1 is a perspective view illustrating an appearance of an electronic apparatus according to an embodiment.
  • FIG. 2 is a block diagram showing a system configuration of the electronic apparatus of the embodiment.
  • FIG. 3 is a block diagram showing a functional configuration of a handwriting input program executed by the electronic apparatus of the embodiment.
  • FIG. 4 is a diagram illustrating a display example of the initial state of the desktop / drawer screen in the electronic apparatus of the embodiment.
  • FIG. 5 is a view for explaining a display form of a note icon displayed on the desktop / drawer screen in the electronic apparatus of the embodiment.
  • FIG. 6 is a diagram for explaining a display form of a note icon displayed on the desktop / drawer screen in the electronic apparatus of the embodiment.
  • FIG. 1 is a perspective view illustrating an appearance of an electronic apparatus according to an embodiment.
  • FIG. 2 is a block diagram showing a system configuration of the electronic apparatus of the embodiment.
  • FIG. 3 is a block diagram showing a functional configuration of a handwriting input program executed by the electronic apparatus
  • FIG. 7 is a diagram illustrating an example of a desktop / drawer screen in the electronic apparatus of the embodiment.
  • FIG. 8 is a diagram illustrating an example of a desktop / drawer screen in the electronic apparatus of the embodiment.
  • FIG. 9 is a diagram illustrating an example of a desktop / drawer screen in the electronic apparatus of the embodiment.
  • FIG. 10 is a flowchart showing display processing corresponding to an input operation on the desktop / drawer screen in the electronic apparatus of the embodiment.
  • FIG. 11 is a diagram illustrating a display example of a note icon list screen in the electronic apparatus of the embodiment.
  • FIG. 12 is a diagram illustrating an example of a simple page list display screen in the electronic device of the embodiment.
  • FIG. 13 is a diagram illustrating an example of a screen on which a note icon is dragged in the electronic device of the embodiment.
  • FIG. 14 is a diagram illustrating an example of a desktop / drawer screen displayed in response to the dragging of the note icon in the electronic apparatus of the embodiment.
  • FIG. 15 is a flowchart showing a transition display from the desktop / drawer screen to the desktop note screen in the electronic apparatus of the embodiment.
  • FIG. 16 is a diagram illustrating an example of a transition image when transitioning from the desktop / drawer screen to the desktop note screen in the electronic device of the embodiment.
  • FIG. 17 is a diagram illustrating an example of a transition image when shifting from the desktop / drawer screen to the desktop note screen in the electronic apparatus of the embodiment.
  • FIG. 18 is a flowchart showing a display process corresponding to an input operation on the desktop note screen in the electronic apparatus of the embodiment.
  • FIG. 19 is a diagram illustrating a display example of a desktop note screen in the electronic apparatus of the embodiment.
  • FIG. 20 is a diagram illustrating an example of a page list screen in the electronic device of the embodiment.
  • FIG. 21 is a diagram illustrating an example of a page information display screen in the electronic apparatus of the embodiment.
  • FIG. 22 is a diagram illustrating an example of a page operation in the electronic device of the embodiment.
  • FIG. 23 is a diagram illustrating a note view screen in a pen input mode and a note view screen in a menu display mode, which are displayed by the electronic apparatus of the embodiment.
  • FIG. 19 is a flowchart showing a display process corresponding to an input operation on the desktop note screen in the electronic apparatus of the embodiment.
  • FIG. 19 is a diagram illustrating a display example of a desktop note screen in the electronic apparatus of the embodiment.
  • FIG. 24 is a diagram illustrating an example of a submenu displayed by the electronic apparatus of the embodiment.
  • FIG. 25 is a diagram showing a note view screen in a detailed menu display mode displayed by the electronic apparatus of the embodiment.
  • FIG. 26 is a diagram showing a range selection operation executed by the electronic apparatus of the embodiment.
  • FIG. 27 is a diagram illustrating an effect applied to the selection range by the electronic device of the embodiment.
  • FIG. 28 is a diagram illustrating an example of a note view screen in a pen input mode displayed by the electronic apparatus of the embodiment.
  • FIG. 29 is a diagram illustrating an example of a note view screen in a menu display mode displayed by the electronic apparatus of the embodiment.
  • FIG. 30 is a diagram showing a note view screen in a menu display mode corresponding to a case where a pen icon different from the currently selected pen icon is selected.
  • FIG. 31 is a diagram illustrating a part of a transition process from the note view screen in the pen input mode to the note view screen in the menu display mode in the electronic device of the embodiment.
  • FIG. 32 is a diagram illustrating another part of the transition process from the note view screen in the pen input mode to the note view screen in the menu display mode in the electronic device of the embodiment.
  • FIG. 33 is a diagram showing still another part of the transition process from the note view screen in the pen input mode to the note view screen in the menu display mode in the electronic device of the embodiment.
  • FIG. 34 is a diagram showing still another part of the transition process from the note view screen in the pen input mode to the note view screen in the menu display mode in the electronic device of the embodiment.
  • FIG. 35 is a diagram showing still another part of the transition process from the note view screen in the pen input mode to the note view screen in the menu display mode in the electronic device of the embodiment.
  • FIG. 36 is a flowchart showing a display processing procedure executed by the electronic apparatus of the embodiment.
  • FIG. 1 is a perspective view illustrating an external appearance of an electronic apparatus according to an embodiment.
  • This electronic device is, for example, a pen-based portable electronic device that can be handwritten with a pen or a finger.
  • This electronic device can be realized as a tablet computer, a notebook personal computer, a smartphone, a PDA, or the like.
  • the tablet computer 10 is a portable electronic device also called a tablet or a straight computer, and includes a main body 11 and a touch screen display 17 as shown in FIG.
  • the touch screen display 17 is attached to be superposed on the upper surface of the main body 11.
  • the main body 11 has a thin box-shaped housing.
  • the touch screen display 17 incorporates a flat panel display and a sensor configured to detect a contact position of a pen or a finger on the screen of the flat panel display.
  • the flat panel display may be, for example, a liquid crystal display (LCD).
  • As the sensor for example, a capacitive touch panel, an electromagnetic induction digitizer, or the like can be used. In the following, it is assumed that two types of sensors, a digitizer and a touch panel, are incorporated in the touch screen display 17.
  • the touch screen display 17 can detect not only a touch operation (contact operation) on the screen using a finger but also a touch operation (contact operation) on the screen using the pen 100.
  • the pen 100 may be an electromagnetic induction pen, for example.
  • the user can perform a handwriting input operation on the touch screen display 17 using the pen 100.
  • the locus of the movement of the pen 100 on the screen that is, the stroke handwritten by the handwriting input operation (the locus of the handwriting stroke) is drawn in real time, thereby a plurality of handwritten strokes ( The locus of each handwritten stroke) is displayed on the screen.
  • a locus of movement of the pen 100 while the pen 100 is in contact with the screen corresponds to one handwritten stroke.
  • a set of many handwritten strokes corresponding to handwritten characters, marks, figures, tables, etc., that is, a set of many trajectories (handwriting) constitutes a handwritten document.
  • the handwritten stroke is also simply referred to as a stroke.
  • the user can perform various gestures, for example, tap, swipe, pinch in, pinch out, drag, and the like on the touch screen display 17 using a finger.
  • the tablet computer 10 uses stroke data input by handwriting, not image data, but coordinate data series indicating the trajectory of each stroke and time-series information indicating the order relationship between the strokes (strokes). Information).
  • the time series information means a set (stroke data series) of time series coordinate data (coordinate data series) corresponding to each of a plurality of strokes.
  • the order relationship between strokes indicates the order in which strokes are handwritten, that is, the stroke order.
  • the tablet computer 10 reads any existing time-series information from the storage medium, and displays a handwritten document corresponding to this time-series information, that is, a plurality of strokes (trajectory corresponding to each of the plurality of strokes) indicated by the time-series information on the screen. Can be displayed above.
  • time series information is managed in units of pages.
  • the tablet computer 10 manages each handwritten document by a note file including at least one page of page data.
  • the page data can include not only time series information (stroke data series) but also image data and text data.
  • the tablet computer 10 can manage time-series information (stroke data series) in association with other data.
  • the other data includes, for example, date / time data indicating date / time, images, text data, tag data, and the like.
  • FIG. 2 is a diagram illustrating a system configuration of the tablet computer 10 according to the embodiment.
  • the tablet computer 10 includes a CPU 101, a system controller 102, a main memory 103, a graphics controller 105, a BIOS-ROM 105, a recording device 106, a wireless communication device 107, an embedded controller (EC) 108, and the like.
  • the CPU 101 is a processor that controls the operation of various modules in the tablet computer 10.
  • the CPU 101 executes various programs loaded from the recording device 106 to the main memory 103.
  • the program executed by the CPU 101 includes an operating system (OS) 201 and various application programs. These application programs include a handwriting input program 202 and other application programs 203.
  • the application program 203 includes, for example, a handwritten character recognition program, a browser program, an image editing program, a document creation program, and the like.
  • the CPU 101 executes a handwriting input program 202 to generate notebook data (page data (time-series information)) according to a handwriting input operation using the pen 100, and a page for editing a page included in a notebook file
  • notebook data page data (time-series information)
  • various functions related to creation and editing of note files (or pages) are realized.
  • the CPU 101 also executes a basic input / output system (BIOS) stored in the BIOS-ROM 105.
  • BIOS is a program for hardware control.
  • the system controller 102 is a device that connects between the local bus of the CPU 101 and various components.
  • the system controller 102 also includes a memory controller that controls access to the main memory 103.
  • the system controller 102 also has a function of executing communication with the graphics controller 104 via a serial bus or the like.
  • the graphics controller 104 is a display controller that controls the LCD 17 ⁇ / b> A used as a display monitor of the tablet computer 10.
  • a display signal generated by the graphics controller 104 is sent to the LCD 17A.
  • the LCD 17A displays a screen image based on the display signal.
  • a touch panel 17B is arranged as a sensor for detecting a finger contact position on the screen.
  • a digitizer 17C is disposed below the LCD 17A as a sensor for detecting the contact position of the pen 100 on the screen.
  • the touch panel 17B is a capacitance-type pointing device for inputting on the screen of the LCD 17A.
  • the touch position on the screen where the finger is touched and the movement of the touch position are detected by the touch panel 17B.
  • the digitizer 17C is an electromagnetic induction type pointing device for inputting on the screen of the LCD 17A.
  • the digitizer 17C detects the contact position on the screen where the pen 100 is touched, the movement of the contact position, and the like.
  • the wireless communication device 107 is a device configured to perform wireless communication such as wireless LAN or 3G mobile communication.
  • EC108 is a one-chip microcomputer including an embedded controller for power management.
  • the EC 108 has a function of turning on or off the tablet computer 10 in accordance with the operation of the power button by the user.
  • the CPU 101 implements the functions of the input determination unit 30, the data generation unit 40, the display processing unit 50, and the like by executing the handwriting input program 202.
  • the input determination unit 30 determines a process to be executed according to an input operation using the pen 100 or a finger.
  • the input determination unit 30 receives data that is input in response to an input operation using the pen 100, a finger, etc. Page data) or the like (stroke data) or data indicating an operation (such as a gesture operation) on the user interface screen displayed by the display processing unit 50.
  • the data generation unit 40 generates various data based on the stroke data input through the user interface screen for various functions displayed on the LCD 17A by the display processing unit 50.
  • the data generation unit 40 includes a note data generation unit 40a, a timeline data generation unit 40b, a scrap note data generation unit 40c, and a tag data generation unit 40d.
  • the note data generation unit 40a uses page data (handwritten) in units of pages included in the note file based on stroke data input through a screen (note view screen) displayed by the note view display unit 50d (described later). Page data).
  • the note data generation unit 40a records a plurality of note files on the recording device 106 as note data 60a. Also, the note data generation unit 40a sends various information about pages, such as creation date / time, update date / time, access date / time, presence / absence of tag (tag type), file lock, template type, paper setting, etc. Correspondingly, it is recorded as note data 60a.
  • the timeline data generation unit 40b associates page data and date / time data based on stroke data input through a screen (timeline note screen) displayed by a timeline note display unit 50f (described later).
  • Timeline data 60 b is generated and recorded in the recording device 106.
  • the scrap note data generation unit 40c is displayed by a scrap note display unit 50g (described later) in cooperation with an application program 203 (for example, a browser, an image editing program, a document creation program, etc.) different from the handwriting input program 202.
  • an application program 203 for example, a browser, an image editing program, a document creation program, etc.
  • the scrap note data 60c for recording the entire screen specified by the user or a part of the screen from the screen displayed by the application program 203 is generated and recorded in the recording device 106.
  • the scrap note data 60c is used to display a scrap note screen by the scrap note display unit 50g.
  • the scrap note data 60c can be imported into page data through a scrap note screen.
  • the tag data generation unit 40d generates tag data 60d based on the stroke data input through the tag processing screen display unit 50n (described later), and records it in the recording device 106.
  • the display processing unit 50 displays a user interface screen corresponding to various functions on the LCD 17A.
  • the display processing unit 50 performs display processing according to an operation on the user interface screen, for example, an operation of selecting an object (note icon, page, button icon, gadget icon, etc.) or an operation of editing a page.
  • the display processing unit 50 includes a desktop / drawer display unit 50a, a desktop note display unit 50b, a simple page list display unit 50c, a note view display unit 50d, a note property display unit 50e, a timeline note display unit 50f, and a scrap note display unit 50g. , A search screen display unit 50h, a reference screen display unit 50m, and a tag processing screen display unit 50n.
  • the desktop / drawer display unit 50 a displays a desktop / drawer screen that is a basic screen by the handwriting input program 202.
  • the desktop / drawer display unit 50a displays a note icon corresponding to a note file including one or more pages (one or more handwritten pages) on the desktop / drawer screen.
  • the desktop / drawer display unit 50a has an area (storage area) for displaying a note icon representing a created note file on the desktop / drawer screen, and a note icon representing a working note file moved from the storage area.
  • a plurality of note icons can be displayed in the storage area and the temporary area, respectively.
  • the desktop / drawer display unit 50a selects the note icon according to the input operation, A transition image (including an animation) is displayed that causes the note icon to transition to a form in which one or more pages in the note file can be operated (referred to as a desktop note screen or simply a desktop screen). Further, the desktop / drawer display unit 50a can expand the display range of the storage area and switch to grid display in which a plurality of note icons are arranged in a grid.
  • the desktop note display unit 50b displays a desktop note screen for page editing for the note file corresponding to the note icon selected on the desktop / drawer screen.
  • the page editing includes, for example, display switching (page advance, page return), page insertion (addition), page copy / paste, and the like to a page to be browsed.
  • the desktop note display unit 50b displays a plurality of function icons and a plurality of button icons for shifting to other functions on the desktop note screen.
  • the function icons include, for example, a pen icon for shifting to the note data generation function, a calendar icon for shifting to the timeline note function, a scrap note icon for shifting to the scrap note function, and a tag for shifting to the tag function Includes icons.
  • the simple page list display unit 50c is included in the note file corresponding to the specified note icon when a note icon displayed in the storage area (grid display) of the desktop / drawer screen is specified by an input operation.
  • a simple page list screen for displaying a list of pages to be displayed is displayed.
  • the note view display unit 50d displays a note view screen on which a handwritten document (page) can be created or edited in accordance with a handwriting input operation using the pen 100.
  • the note view display unit 50d for example, according to page selection from the page list screen or simple page list screen, or according to page selection on the desktop note screen, selection of function icons (pen icons), button icons, or the like. , Display the note view screen.
  • a stroke corresponding to a handwriting input operation using the pen 100 can be written on the page.
  • image data and text data created by other application programs, data selected from scrap notes created by the scrap note function, and the like can be copied onto the page.
  • the note view display unit 50d provides various tools for inputting stroke data on the note view screen.
  • a setting tool is provided for setting the thickness and color of a stroke (trajectory) to be displayed in response to an input operation using the pen 100, the thickness of an eraser for deleting the displayed stroke (trajectory), and the like.
  • the note property display unit 50e displays a note property screen that displays the properties of the note file that is the target of page editing, for example, when the property display of the note file is instructed by selecting a button icon on the desktop note screen. .
  • the timeline note display unit 50f When the function icon (calendar icon) is selected on the desktop note screen, the timeline note display unit 50f generates timeline data for associating date and time data and page data with the timeline data function. Display the line data screen.
  • the scrap note display unit 50g displays a screen that captures an image displayed by the application program 203 (capture mode), and adds the entire screen or the screen to be added to the scrap note data 60c.
  • a screen for selecting (clip) a part of the image according to the user operation is displayed.
  • a handwritten character or the like (stroke data series) can be written (added) to the image to be added to the scrap note data 60 c by a handwriting input operation using the pen 100.
  • the scrap note display unit 50g displays the scrap note screen based on the scrap note data 60c when a function icon (scrap note icon) is selected on the desktop note screen.
  • the scrap note display unit 50g can display a list of images included in the scrap note data 60c and paste an image selected from the list onto a page.
  • the search screen display unit 50h displays a search screen for searching for note files or pages using the search function.
  • a stroke sequence as a search key can be input by handwriting using the pen 100.
  • the reference screen display unit 50m displays a page searched based on the search key (stroke sequence) by the search function.
  • the reference screen display unit 50m can display, for example, a page group including a stroke sequence corresponding to (hit) the search key as a thumbnail list, and can display an enlarged page specified from the thumbnail list.
  • the reference screen display unit 50m displays the stroke series portion corresponding to the search key in a different form from the other portions such as highlight display on the thumbnail or page display screen.
  • the reference screen display unit 50m displays the attribute data (for example, creation date, update date, similarity to the search key, last viewed date, display count, etc.) specified by the user in the note icon or page list display.
  • the notebook icons or pages can be sorted and displayed in a list (sort function).
  • the reference screen display unit 50m can specify and display only the note icon or page corresponding to the condition specified by the user in the list display of the note icon or page (filter function).
  • filter function for example, when the user specifies attribute data (for example, the type of tag added to a page), only the note icon or page corresponding to the attribute data is extracted from the note data 60a and displayed.
  • the tag processing screen display unit 50n displays a screen for adding a tag to the page to be edited. For example, the tag processing screen display unit 50n adds an image representing a tag (for example, a rectangular image having a color different from that of the page display) to a predetermined position of the page displayed on the desktop note screen.
  • the tag processing screen display unit 50n displays a tag menu for displaying a list of a plurality of different types of tags when a tag icon button in the menu is selected. In the tag menu, for example, a plurality of tags with different display colors are displayed.
  • the tag processing screen display unit 50n displays a screen for returning the tag to the menu in accordance with an operation of adding the tag selected from the tag menu to the page and removing the tag added to the page. Further, the tag processing screen display unit 50n displays a stroke (handwriting) on the tag according to a stroke series representing a character or the like input by handwriting on the tag in the menu.
  • FIG. 4 is a diagram illustrating a display example of an initial state where a note file is not created on the desktop / drawer screen of the embodiment.
  • the desktop / drawer screen is provided with a storage area 71 for displaying a note icon representing a created note file and a temporary area 70 for displaying a note icon representing a working note file.
  • the desktop / drawer display unit 50a displays a plurality of button icons 72a, 72b, 72c, 72d, 72e (context buttons) corresponding to the desktop / drawer screen at the lower part of the desktop / drawer screen.
  • button icons 72a, 72b, 72c, 72d, 72e text buttons
  • a note icon of a note file including a page generated by the note data generation function is displayed.
  • note icon areas 781, 782, 783, and 784 for displaying four note icons are provided in the storage area 71.
  • the storage area 71 can display four or more note icons by expanding the display range by a predetermined operation.
  • the temporary area 70 is provided with a first area 751, a second area 752, a third area 753, a fourth area 754, and a fifth area 755 for displaying five note icons.
  • a first area 751 arranged in the center represents a position that is determined in advance as a note file editing place.
  • the first area 751 is a destination of the note icon to be edited selected from the storage area 71 or the temporary area 70.
  • the note icon moved to the first area 751 is transferred to a form in which the page of the note file can be operated.
  • the note icon designated from the storage area 71 can be moved to the other four second area 752 to fifth area 755.
  • the note icons are displayed in a grid (here, in the horizontal direction) in alignment with the forward direction of the display screen, whereas in the temporary area 70, the four second areas 752 to the fifth area are displayed.
  • the note icon is displayed in a state where 755 is tilted with respect to the positive direction of the display screen. That is, in the temporary area 70, the note icons are arranged to give a messy impression so that the user can intuitively recognize that the work is in progress.
  • a plurality of function icons for example, a pen icon 771, a calendar icon 772, a scrap note icon 773, and a tag icon 774 are displayed around the first area 751 of the temporary area 70.
  • the pen icon 771 is used to instruct a transition to the note data generation function, and is displayed in a pen shape so that it can be intuitively recognized that handwriting input is performed using the note data generation function.
  • the calendar icon 772 is for instructing the shift to the timeline note function, and characters representing year, month, and day of the week are displayed in the icon.
  • the scrap note icon 773 is used to instruct the transition to the scrap note function, and images and the like added to the scrap note data 60c by the scrap note function are displayed as thumbnails.
  • the tag icon 774 is for instructing the execution of the tag function, and is displayed in a rectangle so as to represent the tag. In the example shown in FIG. 4, the tag icon 774 includes two different color tags.
  • the function icons arranged around the first area 751 cannot be used on the desktop / drawer screen.
  • the range including the first area 751 and the function icons arranged around the first area 751 in the desktop / drawer screen is enlarged and displayed as the desktop note screen.
  • the function icon can be used in an enlarged state on the desktop note screen.
  • FIG. 5 and 6 are diagrams for explaining the display form of the note icon displayed on the desktop / drawer screen.
  • a notebook icon is used in which a state in which a document (page) is bound to a real notebook (clear file) is graphically represented.
  • FIG. 5 shows a state where the notebook 80 is opened and the page 90 to be bound is exposed.
  • FIG. 6 shows a state in which the front sheet 82 of the notebook 80 is closed.
  • FIG. 6 shows that the description content of the bound first page (handwritten input handwriting, etc.) can be seen through because the front sheet 82 of the notebook 80 is transparent.
  • Identification information (document name or the like) for identifying a document (page) bound to the notebook 80 is written on the upper surface 81 of the front sheet 82.
  • the user can easily identify the contents of the note file corresponding to the note icon. Further, by allowing the user to input identification information by handwriting input for the note icon, the note icon is identified in the same manner as the identification information described on the top surface 81 of the front sheet 82 shown in FIG. Information can be displayed. Thereby, not only the contents of the page but also the contents of the note file corresponding to the note icon can be identified by the identification information. In the drawings shown below, the identification information in the note icon is omitted.
  • FIG. 7 shows an example of a desktop / drawer screen in which a plurality of note icons are arranged in the temporary area 70 and the storage area 71.
  • the desktop / drawer display unit 50a displays a note icon in the storage area 71 based on the note data 60a.
  • the desktop / drawer display unit 50a displays four note icons 80A to 80D in the storage area 71.
  • the desktop / drawer display unit 50 a displays a note icon 801 in the first area 751, a note icon 802 in the second area 752, and a note icon 805 in the fifth area 755 of the temporary area 70.
  • the display position of the note icon can be moved by a touch operation with the pen 100 or a finger.
  • the desktop / drawer display unit 50a makes the note icon ready for a drag operation.
  • the note icon 80A displayed in the storage area 71 shown in FIG. 7 is long pressed and dragged to the fourth area 754 of the temporary area 70 and then dropped (touch end)
  • the desktop / drawer display unit 50a Displays a note icon 80 ⁇ / b> A in the fourth area 754 of the temporary area 70.
  • the desktop / drawer display unit 50a places the note icon 802 in the position of the third area 753. Move.
  • the note icon 80D is dragged to the fifth area 755 where the note icon 80D is already displayed
  • the desktop / drawer display unit 50a displays the note icon 80D in the fifth area 755 as shown in FIG.
  • the note icon 805 displayed in the fifth area 755 is displayed in the note icon area 784. That is, the desktop / drawer display unit 50a swaps the display positions of the note icon 805 and the note icon 80D.
  • an arbitrary note icon can be placed in the temporary area 70 from the storage area 71 by a drag operation, and a note icon can be placed in an arbitrary position in the temporary area 70.
  • a frequently used note icon (note file) can be arranged at a position where the operation is easy, and the note icon can be arranged according to the user's preference.
  • FIG. 9 shows an example in which note icons 801, 802, 803, 804, and 805 are arranged in five areas 751, 752, 753, 754, and 755 of the temporary area 70, respectively.
  • the desktop / drawer display unit 50a displays, for example, four note icons 80A, 80B, 80C, and 80D in the storage area 71 in the order of date and time displayed in the temporary area 70, for example. It should be noted that the date and time targeted for page editing may be in the new order. Alternatively, the pages may be arranged in descending order of page editing.
  • the user can instruct a transition to another function, a screen switch, or the like by performing a gesture operation using the pen 100 or a finger.
  • a gesture operation include a tap operation, a pinch out / pinch in operation, a swipe operation, a flick operation, and a drag operation.
  • the input determination unit 30 causes the display processing unit 50 to execute a display process corresponding to the input operation.
  • the desktop / drawer display unit 50a displays a note icon list screen (drawer screen) that expands the display range of the storage area 71 and displays a list of note icons (step A7).
  • FIG. 11 shows a display example of the note icon list screen (drawer screen).
  • the temporary area 70a is reduced and the storage area 71a is extended.
  • note icons are arranged and displayed in a grid.
  • the desktop / drawer display unit 50a displays a plurality of button icons 72d, 72f, 72g, 72h (context buttons) corresponding to the note icon list screen (drawer screen).
  • the desktop / drawer display unit 50a reduces the storage area 71a and expands the temporary area 70a.
  • the display is returned to the original desktop / drawer screen shown in FIG.
  • the desktop / drawer display unit 50a scrolls the drawer screen in the vertical direction to display other note icons that cannot be displayed in one screen.
  • the desktop / drawer display unit 50a displays other note icons by scrolling the screen in the storage area 71 when, for example, a swipe operation or a flick operation is performed in the storage area 71 shown in FIG. Change to
  • the desktop / drawer display unit 50a uses the simple page list display unit 50c to display the simple page list. Display processing is executed.
  • the simple page list display unit 50c displays a screen (simple page list display screen) in which pages included in the note file corresponding to the note icon designated from the note icon list screen are expanded (step A9).
  • FIG. 12 is a diagram showing an example of a simple page list display screen.
  • the first page of the note file (the outer shape of the page is rectangular) is displayed in the center.
  • the respective pages are displayed in a shifted arrangement so as not to partially overlap each other.
  • the simple page list display screen can execute a simple page editing function.
  • the simple page list display unit 50c displays a plurality of button icons related to page editing on the simple page list display screen.
  • the simple page editing function for example, page display switching (page advance and page return) according to an operation on the displayed page (see FIG. 22), page deletion according to the operation of the button icon, and display of page information , Transition to the note view screen (note data generation function), page insertion (addition), page copy / paste, and the like can be executed.
  • step A10 When the page displayed by the display switching is tapped (step A10, Yes), the simple page list display unit 50c shifts to a note view screen (note data generation function) that allows handwritten input to a note. . Details of the note view screen (note data generation function) will be described later (step A11).
  • step A12 When tapped in a range other than the page of the simple page list display screen (step A12, Yes), the simple page list display unit 50c shifts to the note icon list screen (drawer screen) by the desktop / drawer display unit 50a. (Step A7).
  • the note icon can be dragged and moved to the temporary area 70.
  • the desktop / drawer display unit 50a changes the display position of the note icon according to the drag operation so that the note icon can be dragged. A13, A14).
  • FIG. 13 shows an example of a screen on which the note icon 80J displayed in the storage area 71a is being dragged.
  • the note icon 80J is dragged to the temporary area 70a (step A15, Yes)
  • the desktop / drawer display unit 50a switches the display to the desktop / drawer screen while keeping the display position of the note icon 80J (step A16). .
  • FIG. 14 is a diagram illustrating an example of the desktop / drawer screen displayed in response to the drag of the note icon 80J.
  • the desktop / drawer display unit 50a displays the note icon 80J in the dragged area.
  • Step A18 When dragged to any of the note icon areas 781 to 784 of the storage area 71, the desktop / drawer display unit 50a displays the note icon 80J in any of the dragged icon areas.
  • the desktop / drawer display unit 50a displays button icons 72a, 72b, 72c, 72d, 72e on the desktop / drawer screen as shown in FIGS. 4 and 9, and a notebook icon list as shown in FIG. Button icons 72d, 72f, 72g, and 72h are displayed on the screen (drawer screen).
  • the desktop / drawer display unit 50a is selected when there is an operation for selecting the button icons 72a, 72b, 72c, 72d, 72e, 72f, 72g, 72h, for example, an operation for tapping the button icon (step A19, Yes).
  • the process is executed in accordance with the button icon (step A20).
  • the button icon 72a is transferred to the desktop note screen
  • the button icon 72b is transferred to the note icon list screen (drawer screen)
  • the button icon 72c is added to the storage area 71
  • the button icon Reference numeral 72d denotes a note file (page) search function
  • a button icon 72e is a button icon used to instruct a transition to a setting screen for setting various functions of the handwriting input program 202. .
  • the button icon 72f is a transition to the desktop / drawer screen
  • the button icon 72g is a function for sorting the note icons displayed in the storage area 71a (or 71)
  • the button icon 72h is a storage area 71a ( Or 71) is used to instruct execution of a filter function that specifies only the note icon corresponding to the condition.
  • the desktop / drawer display unit 50a may display button icons corresponding to functions other than those described above. If not all button icons can be displayed in one screen, the button icon display may be scrolled to change the type of button icon.
  • step A2 the desktop / drawer display unit 50a performs page editing on the note file corresponding to the selected note icon. To the desktop note screen to do.
  • step A3 When a note icon other than the note icon 801 in the first area 751 arranged in the center of the temporary area 70 is selected by tapping (Yes in step A3), the desktop / drawer display unit 50a displays the selected note icon.
  • FIG. 15 is a flowchart showing a transition display from the desktop / drawer screen to the desktop note screen according to the embodiment.
  • (A), (B), (C) of FIG. 16 and (A), (B), (C) of FIG. 17 show examples of transition images when shifting from the desktop / drawer screen to the desktop note screen.
  • the transition image may be any image that is displayed during the transition from the desktop / drawer screen to the desktop note screen or during the transition from the desktop note screen to the desktop / drawer screen.
  • the display form of the note icon is a form in which at least one note icon can be selected.
  • the display form of the note icon is a form in which the page of the corresponding note file can be operated.
  • the desktop / drawer display unit 50a changes the display form of the note icon selected by the tap operation (step B1). For example, when the icon 80A on the screen shown by (A) in FIG. 16 is selected, the desktop / drawer display unit 50a slightly enlarges the note icon 80A at the same position. Thereafter, the desktop / drawer display unit 50a moves the note icon 80A in the direction of the first area 751, as shown in FIGS. 16B and 16C. Further, the desktop / drawer display unit 50a enlarges and displays the desktop / drawer screen around the note icon 80A including the note icon 80A as the note icon 80A moves (step B2). That is, the desktop / drawer display unit 50a displays a transition image (including an animation) that enlarges and displays the periphery of the first region 751 while moving the note icon 80A to the first region 751 (center direction).
  • a transition image including an animation
  • Step B3 when the note icon 80A is moved to the first area 751 (center position) (Yes in Step B3), the desktop / drawer display unit 50a displays the note 80 described in FIG.
  • a transition image (including animation) for changing the display mode of the note icon is displayed (step B4). That is, in order to make the note file editable, a transition image (including animation) that allows the user to recognize that the note file (note) is open is displayed.
  • the desktop / drawer display unit 50a causes the desktop note display unit 50b to display a transition screen (including animation) for expanding the pages included in the note file (step B5).
  • the desktop note display unit 50b displays the first page of the note file (the outer shape of the page is rectangular) in the center.
  • the respective pages are displayed in a shifted arrangement so as not to partially overlap each other.
  • FIG. 17C shows a state in which a plurality of pages included in the note file are expanded.
  • the desktop / drawer display unit 50a moves the note icon in the direction of the first area 751. Since there is no need to move, the transition image for the note icon arranged in the center (first area 751) is displayed (step A5). That is, the desktop / drawer display unit 50a displays a transition image for enlarging and displaying the note icon 801 arranged in the first area 751 in the desktop / drawer screen and the periphery of the note icon 801. FIG. ), The image is changed as shown in FIGS. 17B and 17C, and the desktop note screen is displayed.
  • FIG. 19 shows a display example of the desktop note screen.
  • the user can instruct a transition to another function, a screen switch, and the like by performing a gesture operation using the pen 100 or a finger on the desktop note screen.
  • a gesture operation include a tap operation, a pinch out / pinch in operation, a swipe operation, a flick operation, and a drag operation.
  • the desktop note display unit 50b may always display the last page displayed on the previous desktop note screen as well as the first page when the desktop note screen is shifted.
  • the desktop note display unit 50 b displays, for example, a page 901 included in a note file, and displays a plurality of pages 902, 903, 904, and 905 that are shifted from the page 901. That is, the note file is displayed in a form in which at least a part of each of the plurality of pages 901, 902, 903, 904, 905 is visible and the plurality of pages 901, 902, 903, 904, 905 are overlapped.
  • the page 90B that has been paged is displayed on the right side of the page 901.
  • the desktop note display unit 50b displays, for example, a pen icon 771, a calendar icon 772, a scrap note icon 773, and a tag icon 774 around the note file (first area 751).
  • the desktop note display unit 50b displays a plurality of button icons 74a, 74b, and 74c as shown in FIG. , 74d, 74e, 74f, 74g are displayed (step C4).
  • the desktop note display unit 50b selects the selected button. Processing is executed according to the icon (step C14).
  • the button icon 74a is a transition to a desktop / drawer screen
  • the button icon 74b is a transition to a page list screen (grid display screen)
  • the button icon 74c is a deletion of a page displayed on the desktop note screen
  • a button The icon 74d indicates the display of page information
  • the page icon 74e indicates the transition to the note view screen (note data generation function)
  • the button icon 74f indicates the addition of the page
  • the button icon 74g indicates the execution of the page copy. Used for.
  • button icon type may be scrolled to change the type of button icon. For example, in addition to the button icon shown in FIG. 19, there is a button icon for shifting to the tag function.
  • FIG. 20 is a diagram illustrating an example of a page list screen (grid display screen) displayed in response to the tap of the button icon 74b.
  • the desktop note display unit 50b arranges and displays all pages included in the note file in a grid. When not all pages can be displayed in one screen, the desktop note display unit 50b scrolls the page list screen in the vertical direction when, for example, a vertical swipe operation is performed on the page list screen. Display other pages that cannot be displayed.
  • the desktop note display unit 50b displays a plurality of button icons (context buttons) 74h, 74k, 74m, and 74n corresponding to the page list screen.
  • the button icon 74h is shifted to the desktop note screen (grid display cancellation), the button icon 74k is for executing a sorting function for sorting pages displayed on the page list screen, and the button icon 74m is displayed on the page list screen.
  • the button function 74n is used to instruct the execution of the search function for the page.
  • FIG. 21 is a diagram showing an example of a page information display screen (property screen) displayed in response to the tap of the button icon 74d in FIG.
  • the note property display unit 50e retrieves the page information of the page displayed at the top of the desktop note screen from the note data 60a and displays it together with the page thumbnail.
  • the page information includes, for example, creation date / time, update date / time, access date / time, presence / absence (type) of tag, file lock, template type, and paper setting.
  • the desktop note display unit 50b changes the page display according to the page operation (step C2).
  • the desktop note display unit 50b displays the movement of the page as a transition image (animation).
  • FIG. 22 is a diagram illustrating an example of a page operation.
  • a swipe operation or flick operation
  • 92a from the left to the right with respect to the page 901 displayed in the center
  • swipe operation or flick operation
  • 92b from the page 901 to the page 90B.
  • the desktop note display unit 50b moves the page 901 to the position of the page 90B, displays the page 902 in the center, and moves the other pages 903 to 905 in the center direction. Change to position.
  • the page can be sent first (turning the page) for each page.
  • the desktop note display unit 50b moves the page that has been forwarded to the position of the page 90B to the center position and changes the other pages to positions that have been moved backward. By this page operation, the page can be returned for each page.
  • the desktop note display unit 50b displays the last page included in the note file in the center. All other pages are sent forward one page at a time. Thereby, even if the note file includes a large number of pages, the last page can be easily displayed.
  • the desktop note display unit 50b displays the first page included in the note file in the center. Until then, all the previously sent pages are returned page by page. Thereby, even if many pages are sent first, the first page can be easily displayed.
  • the direction of the swipe operations 94 and 95 is the vertical direction, but may be an oblique direction. Further, the page advance / return to the last page or the top page is performed by the swipe operations 94 and 95, but the number of pages to be paged / returned is changed according to the distance on the screen where the swipe operation is performed. May be. When a flick operation is performed, the number of pages to be paged / returned may be changed according to the strength of the operation.
  • the desktop note display unit 50b shifts from the desktop note screen to the desktop / drawer screen. That is, the desktop note display unit 50b displays the transition image described with reference to (A), (B), (C) of FIG. 16 and (A), (B), and (C) of FIG. Transition with. As a result, the user can intuitively recognize that the operation of the page for the note file has been completed.
  • the desktop note display unit 50b shifts to a page list screen (grid display screen) shown in FIG. 20, and all pages included in the note file are grid-shaped. Are displayed in line. Accordingly, the desktop note screen shown in FIG. 19 and the page list screen (grid display screen) shown in FIG. 20 can be easily switched by a pinch-in operation and a pinch-out operation.
  • the desktop note display unit 50b displays the note view screen (note data generation function) by the desktop note display unit 50b. Is displayed (step C6). Even when the tap operation is performed on the page icon 74e in FIG. 19, the desktop note display unit 50b shifts to the note view screen (step C6).
  • the desktop note display unit 50b shifts to the timeline note screen (step C8). If the scrap note icon 773 on the desktop note screen is tapped (step C9, Yes), the desktop note display unit 50b shifts to the scrap note screen (step C10).
  • the tag processing screen display unit 50n pastes the tag on the page 901 displayed at the center (step C12). Further, when there is an operation for selecting the button icon 74a, 74b, 74c, 74d, 74e, 74f, or 74g (step C13, Yes), the desktop note display unit 50b performs a process corresponding to the selected button icon. Execute (Step C14).
  • FIG. 23 shows the relationship between the note view screen displayed in the pen input mode and the note view screen displayed in the menu display mode.
  • the display processing unit 50 displays a note view screen on which a new page (handwritten page) can be newly created and an existing page can be viewed and edited.
  • the note view screen has two types of display forms corresponding to two display modes. That is, the display processing unit 50 (specifically, the note view display unit 50d) has two modes, that is, a pen input mode and a menu display mode.
  • the pen input mode is a mode that allows handwriting input.
  • the display processing unit 50 displays the note view screen shown on the left side of FIG.
  • This note view screen is a screen capable of handwriting input.
  • a rectangular area 500 surrounded by a broken line is a handwritten area.
  • the input from the digitizer 17C is used for drawing and is not used as an event indicating a gesture such as a tap or swipe.
  • the input from the digitizer 17C can be used as an event indicating a gesture such as a tap or swipe.
  • the input from the touch panel 17B is not used for drawing, but is used as an event indicating a gesture such as a tap or swipe.
  • the arbitrary page in the arbitrary note file selected by the user can be displayed on the note view screen corresponding to the pen input mode.
  • a minimum necessary user interface is displayed in order to ensure a handwritten area 500 having a size as large as possible in the note view screen.
  • a user interface for supporting a user's handwriting input operation using the pen 100 is displayed at the end of the note view screen, for example, the upper end.
  • This user interface is a graphical user interface that enables the user to easily switch the drawing form (drawing type) performed based on the input from the digitizer 17C.
  • drawing form For example, as a drawing form, stroke attributes (color, thickness, shape, etc.) drawn based on an input from the digitizer 17C, and an eraser locus (erasing stroke) drawn based on an input from the digitizer 17C.
  • Attributes Attributes (thickness, shape, etc.), and frame attributes (shape, etc.) for selecting a range to be drawn based on the input from the digitizer 17C.
  • This user interface includes a plurality of icons (buttons) 501 to 505 corresponding to a plurality of drawing modes in order to allow the user to easily switch the drawing mode (drawing type).
  • These icons 501 to 505 are arranged in a row horizontally at the upper end of the screen so as not to narrow the handwritten area.
  • Each of the icons (buttons) 501 to 505 has a small circular shape so as not to narrow the handwritten area.
  • icons 501, 502, and 503 respectively correspond to three different forms for drawing a handwritten stroke. That is, three different forms for drawing handwritten strokes are assigned to the icons 501, 502, and 503, respectively.
  • the icon 501 may be an image representing a small circle filled with black.
  • the icon 502 may be an image representing a small circle filled in red.
  • the icon 503 may be an image representing a small circle filled with yellow.
  • the user can easily switch the drawing form of the handwritten stroke to be used, that is, the pen type to be used, by simply performing a single action of tapping any of the icons 501, 502, and 503 with the pen 100 or the finger. it can.
  • the icon 504 corresponds to a drawing form for selecting a range on the note view screen. That is, the icon 504 is assigned a drawing form for selecting a range on the note view screen, for example, a form for drawing a rectangle or a free frame for selecting a range.
  • the icon 505 corresponds to a drawing form in which a handwritten stroke on the note view screen can be erased (transparent). That is, the icon 505 is assigned a drawing form that can erase (transparent) the handwritten stroke on the note view screen. For example, the transparency attribute for rendering the intersection of the erase stroke and another handwritten stroke transparent by drawing the locus (erase stroke) of the movement of the pen 100 in the same color as the background color of the page. An arbitrary handwritten stroke on the note view screen can be erased by drawing the erase stroke.
  • the user simply performs a single action of tapping any of the icons 501, 502, 503, 504, and 505 with the pen 100 or a finger, and the pen type (red pen, black pen, marker). ) As well as the pen, range selection tool and eraser tool.
  • An icon selected from the icons 501, 502, 503, 504, and 505 is highlighted. In this case, the size of the selected icon may be increased, and a decorative frame may be displayed around the selected icon.
  • the display processing unit 50 displays a black stroke (trajectory) on the note view screen in accordance with the movement of the pen 100. indicate. Also, the note data generation unit 40a generates page data based on stroke data input through the note view screen.
  • the display processing unit 50 selects a range in the note view screen according to a drag operation using the pen 100 or a finger.
  • the user is required to perform a plurality of operations including an operation of selecting a color, an operation of selecting a thickness, and the like while following a hierarchical menu. If a plurality of menus including a menu for selecting a color and a menu for selecting a thickness are displayed on the screen at the same time instead of the hierarchical menu, the handwritten area is reduced.
  • a plurality of small icons 501 to 505 (minimum pens) to which different drawing forms are assigned are displayed on the note view screen.
  • the pen type red pen, black pen, marker
  • range selection, and eraser can be quickly switched with a single action.
  • the display processing unit 50 can change the page displayed on the note view screen to another page. For example, when the note view screen is swiped rightward with a finger, the display processing unit 50 displays the next page of the currently displayed page on the note view screen. If the currently displayed page is the first page of a note file, the second page of the note file is displayed on the note view screen in response to a right swipe.
  • the menu display mode is a mode in which at least a menu for setting a plurality of forms of drawing described above can be displayed.
  • the display processing unit 50 instead of a user interface including a plurality of small icons 501 to 505, another display having a size larger than this user interface.
  • the user interface (pen menu) is displayed on the note view screen (a group of icons surrounded by a circle). That is, the area of the user interface including the circled icon group is larger than the area of the user interface including the plurality of small icons 501 to 505.
  • the display processing unit 50 also displays the menu 520a on the note view screen.
  • each of the input from the digitizer 17C and the input from the touch panel 17B is used as an event indicating a gesture such as a tap operation, a swipe operation, or a pinch operation.
  • the pen menu on the note view screen in the menu display mode allows the user to check what function the plurality of small icons 501 to 505 displayed in the pen input mode correspond to. Furthermore, the pen menu on the note view screen allows the user to set (or change) the drawing mode corresponding to the icons 501 to 505, and can be applied to the page created / edited by the user. Allows calling functions.
  • the notebook view screen in pen input mode displays a small-sized user interface to which a minimum function such as pen type switching is assigned, so that the user can effectively use the handwriting input available area. Yes, you can concentrate on handwriting input on the page.
  • the user can confirm the functions of the icons 501 to 505 by simply performing a simple operation of tapping the note view screen, and can call a function to be applied to the page (including setting / changing the drawing form). You can easily switch to a possible menu display mode.
  • a pen menu or the like which is another user interface having a size larger than the user interface is displayed.
  • the pen menu includes a plurality of large icons (buttons) 511 to 515 corresponding to the above-described plurality of forms of drawing performed based on the input from the digitizer 17C and different from the plurality of small icons 501 to 505.
  • the user can easily confirm what functions are assigned to the plurality of small icons 501 to 505 displayed in the pen input mode by looking at the icons 511 to 515.
  • Each of the icons 511 to 515 may be an image for realistically expressing a function (drawing form) corresponding to these icons.
  • Icons 511 to 515 respectively correspond to the small icons 501 to 505 described above.
  • small icons 511 to 515 corresponding to the black pen, red pen, marker, selection (range selection), and eraser are arranged in a horizontal row in this order, but in the menu display mode, the black pen, Icons 511 to 515 corresponding to a red pen, a marker, a selection, and an eraser are arranged in a vertical line in this order.
  • the order of black pen, red pen, marker, selection, and eraser does not change. Therefore, the user can easily understand that the icons 511 to 515 correspond to the small icons 501 to 505 described above.
  • the icon 511 may be an image of a pen that is larger and more realistic than the small icon 501 described above (here, an image of a pen side view).
  • the above-described circular shape of the small icon 501 schematically represents a front view of the pen tip, but the icon 511 may be configured from an image having a three-dimensional effect representing a side view of the pen.
  • the tip of the pen is displayed in black, and the pen tip is displayed in a thickness corresponding to the currently set thickness of the black pen.
  • a black line may be displayed near the pen tip with a thickness corresponding to the currently set thickness of the black pen.
  • the icon 512 may be an image of a pen that is larger and more realistic than the small icon 502 described above (here, an image of a side view of the pen).
  • the above-described circular shape of the small icon 502 schematically represents a front view of the pen tip, but the icon 512 is configured from a three-dimensional image representing a side view of the pen.
  • the tip of the pen is displayed in red, and the pen tip is displayed in a thickness corresponding to the currently set thickness of the red pen.
  • a red line may be displayed near the pen tip with a thickness corresponding to the currently set thickness of the red pen.
  • the icon 513 may be an image of a pen that is larger and more realistic than the small icon 503 described above (here, an image of a pen side view).
  • the above-described circular shape of the small icon 503 schematically represents a front view of the pen tip, but the icon 513 is configured from a three-dimensional image representing a side view of the pen.
  • the tip of the pen is displayed in yellow, and the pen tip is displayed with a thickness corresponding to the currently set marker thickness.
  • a line of the currently set marker color here, yellow
  • You may display.
  • the icons 514 and 515 are also composed of real images that are larger than the icons 504 and 505 described above.
  • These icons 511 to 515 having an elongated shape are arranged in a line vertically on the note view screen so that the longitudinal direction of these icons extends in the horizontal direction of the note-peep screen.
  • the position of the currently selected icon on the note view screen is automatically changed. For example, when the display mode is switched from the pen input mode to the menu display mode while the icon 502 is selected by the user, or when the icon 512 is selected by the user on the note view screen in the menu display mode.
  • the position of the icon 512 is changed. In this case, as shown in FIG. 23, the pen image used as the icon 512 may be displayed so as to protrude toward the center of the screen from the pen image of another icon.
  • the display processing unit 50 sets a drawing form corresponding to the swiped icon.
  • a detailed setting menu may be displayed on the note view screen.
  • the user can change the drawing form assigned to the swipe icon.
  • the user can also create a new drawing form. In this case, a new small icon and a large realistic icon to which this new drawing form is assigned are displayed on the note view screen in the pen input mode and the note view screen in the menu display mode by the display processing unit 50.
  • Menu 520a displays a plurality of icons (buttons) to which a plurality of functions are assigned.
  • the contents of the menu 520a that is, the types of the plurality of icons displayed in the menu 520a, are automatically changed according to the contents of the page displayed on the note view screen.
  • An icon associated with the submenu can also be displayed in the menu 520a.
  • the display processing unit 50 displays a submenu as shown in FIG. The user can select an icon corresponding to the target function from the submenu.
  • FIG. 24 shows an example of a submenu corresponding to the export icon (button) 521 and an example of a submenu corresponding to the paste icon (button) 522.
  • the export icon 521 is an icon to which a function for exporting a page displayed on the note view screen to other various folders is assigned.
  • the display processing unit 50 displays a submenu including several icons corresponding to the file format of the application program corresponding to the export destination folder.
  • the paste icon (button) 522 is an icon to which a function for pasting other data is assigned to a page displayed on the note view screen.
  • submenus can be assigned to some icons displayed on the note view screen in the pen input mode. Similarly, some icons displayed on the note view screen in the menu display mode are also displayed. You can also assign submenus to icons.
  • the display processing unit 50 displays the submenu 504a on the note view screen.
  • the submenu 504a displays three icons corresponding to “rectangle”, “free frame” (free hand frame), and “select all”. The user can select one of these three types of selection tools.
  • the display processing unit 50 can select the entire page being displayed.
  • the display processing unit 50 displays the submenu 505a on the note view screen.
  • the submenu 505a displays three icons for specifying the thickness of the eraser (the thickness of the drawing corresponding to the eraser) and an icon for specifying “Erase all”.
  • the submenu 514a having the same contents as the submenu 504a can be displayed in association with the icon 514, and the submenu 515a having the same contents as the submenu 505a can be displayed in association with the icon 515. Can do.
  • the processing unit 50 displays the swipe icon (here, the icon 512) at the center of the note view screen and grays out the other icons. Then, the display processing unit 50 displays another menu 520c on the note view screen instead of the menu 520a.
  • the display processing unit 50 displays a detailed setting menu 530 for setting a drawing form on the note view screen.
  • FIG. 26 shows the range selection operation.
  • a range is selected using a rectangular frame.
  • display processing unit 50 shifts to range selection mode.
  • the display processing unit 50 is configured such that a rectangular frame 550 is assigned to the icon 504 based on the movement operation of the finger or the pen 100 on the note view screen in the pen input mode. To draw on the note view screen.
  • a rectangular frame 550 is drawn with the position (drag start position) as the upper left vertex and the released position as the lower right vertex.
  • the display processing unit 50 selects an object such as a handwritten character included in the rectangular frame 550.
  • the selected portion region in the rectangular frame 550
  • the display processing unit 50 may add a shadow line to the rectangular frame 550 in order to present to the user that the selected portion is movable.
  • the user can move or rotate the selected portion with the finger or the pen 100. Further, the user can reduce or enlarge the selected portion by performing a pinch-in operation or a pinch-out operation on the selected portion.
  • the display processing unit 50 displays a submenu 520d including an expansion / reduction icon, a rotation icon, a trash can icon, a search icon, and the like at the bottom of the note view screen.
  • the display processing unit 50 executes the function assigned to the tapped icon on the selected location.
  • the display processing unit 50 executes processing such as reduction / enlargement of the selected portion, rotation of the selected portion, deletion of the selected portion, or display of a search screen.
  • FIG. 27 for example, when the trash can icon 530 is tapped, the display processing unit 50 moves the selected portion surrounded by the rectangular frame 550 toward the trash can icon 530.
  • the display processing unit 50 grays out the context of the selected part. As a result, the context of the selected part disappears from the note view screen during movement.
  • FIG. 28 shows an example of the note view screen in the pen input mode. As shown in FIG. 28, the entire page is displayed on the note view screen in the pen input mode. Here, the case where the page in which the handwritten mathematical formula, the handwritten character, and the handwritten graph are already written is displayed is assumed. The user can write a new handwritten character on this handwritten page, or delete an already written handwritten character.
  • the display processing unit 50 forms a stroke (stroke trajectory) corresponding to the icon 501 based on the input from the digitizer 17C according to the movement of the pen 100 on the note view screen (for example, color, thickness, Etc.) and draw on the page.
  • the display processing unit 50 now corresponds a stroke (stroke trajectory) to the icon 502 based on the input from the digitizer 17C according to the movement of the pen 100 on the note view screen.
  • Draw on the page in the form for example, color, thickness, etc.).
  • the display processing unit 50 receives an input by touch (here, tapping) on the note view screen from the touch panel 17B. In response to this input, the display processing unit 50 shifts from the pen input mode to the menu display mode, and changes the content of the note view screen to the content shown in FIG. As described above, in the present embodiment, the pen input mode is switched to the menu display mode in response to an input by touch on the note view screen from the touch panel 17B. Since the drawing on the note view screen is performed based on the input from the digitizer 17C, the drawing is not performed even if the screen is tapped with a finger. Therefore, the user can easily switch to the menu display mode simply by performing an operation of tapping the screen with a finger.
  • the display processing unit 50 replaces the above icons 501 to 505 with a plurality of icons 511 to 515 each including a real pen image, as a note view. Display on the screen. Since the icon 501 is selected on the note view screen in the pen input mode, the icon 511 corresponding to the icon 501 is displayed at a position different from the other icons 512 to 515. Further, the display processing unit 50 displays the menu 520a on the note view screen.
  • the menu 520a includes “Desktop” icon for returning to the desktop note screen (FIG. 19), “Undo”, “Redo”, “Copy”, “Paste”, “Share”, “Search”, etc. An icon corresponding to the function is displayed.
  • the display processing unit 50 arranges the icon 511 at the same position as other icons and changes the position of the icon 512 as shown in FIG. If the note view screen is tapped with a finger in this state, the display processing unit 50 changes the drawing form to the form assigned to the icon 512 and displays the note view screen in the pen input mode. On the note view screen in the pen input mode, an icon 502 corresponding to the icon 511 is highlighted.
  • the display processing unit 50 is configured such that the stroke (stroke trajectory) is assigned to the icon 502 based on the input from the digitizer 17C according to the movement of the pen 100 on the note view screen (for example, color, thickness, etc.). To draw on the page.
  • FIGS. 31 to 35 show a transition process from the note view screen in the pen input mode to the note view screen in the menu display mode.
  • the display processing unit 50 uses an animation that can represent the correspondence between the small icons 501 to 505 and the real pen icons 511 to 515 as a transition image.
  • Realistic pen icons 511 to 515 are displayed on the note view screen. That is, when the screen of FIG. 31 is tapped with a finger, the display processing unit 50 displays the icons so that the icons 501 to 505 are vertically aligned in the right end portion of the note view screen as shown in FIGS. 501 to 505 are moved gradually and continuously.
  • the display processing unit 50 takes the real pen icons 511 to 515 instead of the icons 501 to 505 as shown in FIG. Display on the view screen. Then, as shown in FIG. 35, the display processing unit 50 changes the position of the icon (here, the icon 512) corresponding to the drawing mode that is currently selected, and the menu 520a at the lower end of the note view screen. Is displayed.
  • any other animation that can present the correspondence between the small icons 501 to 505 and the real pen icons 511 to 515 to the user can be used.
  • the icons 501 to 505 may be changed to icons 511 to 515 during the movement of the icons 501 to 505.
  • the display processing unit 50 can transition from the desktop note screen to the pen input mode (note view screen), and can transition from the page list screen to the pen input mode (note view screen). Furthermore, it is possible to transition from the simple page list screen to the pen input mode (note view screen).
  • the display processing unit 50 first selects a first note selected from a plurality of notes as a plurality of pages in the first note, as described in FIG. At least a part of each is visible and displayed on the desktop notebook screen in a form in which these plural pages overlap. Then, the display processing unit 50 performs a page turning operation or the like according to an operation performed by the user. Then, in response to a page selection operation or a pen icon tap operation performed by the user, the display processing unit 50 transitions to the pen input mode and corresponds to the current first page in a plurality of pages and a plurality of drawing modes. A plurality of first icons 501 to 505 (minimum pens) to be displayed are displayed on the note view screen (pen input mode screen) (step S101).
  • the display processing unit 50 first selects a first note selected from a plurality of notes as a plurality of notes in the first note, as described with reference to FIG. At least a part of each of the pages is visible and displayed on the desktop note screen in a form in which the plurality of pages overlap. Then, the display processing unit 50 displays a plurality of thumbnails corresponding to a plurality of pages on the page list screen as described with reference to FIG. 20 in accordance with an operation for grid display performed by the user.
  • a thumbnail is a reduced image of a screen image corresponding to a corresponding page.
  • the display processing unit 50 transitions to the pen input mode, and the page corresponding to the first thumbnail and the drawing are displayed.
  • a plurality of first icons 501 to 505 minimum pens
  • corresponding to a plurality of forms are displayed on the note view screen (pen input mode screen) (step S101).
  • the user can specify a drawing form by touching (tapping) any of the small icons 501 to 505 with the pen 100 or a finger.
  • the user can use the pen 100 to perform a handwriting input operation on the note view screen.
  • the display processing unit 50 receives a coordinate series corresponding to the handwriting input operation from the digitizer 17C. Based on the input from the digitizer 17C, the display processing unit 50 draws a locus corresponding to the movement of the pen 100 on the note view screen in a form corresponding to the selected icon (step S102).
  • the display processing unit 50 can receive an event indicating the tap operation from the touch panel 17B.
  • the display processing unit 50 includes a mode switching unit that switches the display mode between the above-described pen input mode and the above-described menu display mode, and determines whether or not the note view screen has been tapped with a finger (step S103). ).
  • the display processing unit 50 determines that the note view screen has been tapped with a finger in response to the reception of the above-described event, that is, in response to an input by touching the note view screen from the touch panel 17B.
  • step S103 If the note view screen is tapped with a finger in the pen input mode (YES in step S103), the display processing unit 50 switches the display mode from the pen input mode to the menu mode. Then, the display processing unit 50 replaces the plurality of first icons 501 to 505 (minimum pens) with the plurality of second icons 511 to 515 (real pens) as a new user interface on the note view screen. It is displayed (step S104). In step S104, the display processing unit 50 also displays the menu 520a on the note view screen as part of the new user interface described above.
  • step S105 If the note view screen is tapped with a finger in the menu display mode (YES in step S105), the display processing unit 50 returns the display mode to the pen input mode. Then, the display processing unit 50 hides the menu 520a and replaces the plurality of second icons 511 to 515 (realistic pens) with a plurality of first icons 501 to 505 (minimum pens). (Step S106).
  • the pen input mode capable of handwriting input includes a plurality of icons 501 to 505 corresponding to a plurality of forms of drawing performed based on an input from the digitizer 17C.
  • a user interface having one size is displayed on the note view screen.
  • drawing on the screen is performed in a form corresponding to the selected icon based on the input from the digitizer 17C. Therefore, the user can easily switch the drawing form (such as pen type) only by performing a single action of tapping any of the icons 501, 502, and 503 with the pen 100 or a finger.
  • the menu display mode capable of displaying at least a menu for setting a plurality of forms
  • another menu 511 to 515 corresponding to the plurality of forms and having a second size larger than the first size is provided.
  • a user interface is displayed on the note view screen. Therefore, the user can check the drawing form corresponding to the icons 501 to 505, set / change an arbitrary drawing form, or perform various other operations by using the menu display mode as necessary. it can.

Abstract

　実施形態によれば、電子機器は、第１モードにおいて、第１センサからの入力に基づいて行われる描画の複数の形態に対応する複数の第１アイコンを含み、第１サイズを有する第１ユーザインタフェースを画面上に表示し、前記複数の形態を設定するためのメニューを少なくとも表示可能な第２モードにおいて、前記複数の形態に対応する複数の第２アイコンを含み、前記第１サイズよりも大きい第２サイズを有する第２ユーザインタフェースを前記画面上に表示する。前記電子機器は、前記第１モードにおいて前記複数の第１アイコンの１つが選択される場合、前記第１センサからの入力に基づいて、前記複数の第１アイコンの前記１つに対応する第１の形態で前記画面上への描画を行う。

Description

電子機器および入力方法
　本発明の実施形態は、手書きデータを扱う技術に関する。
　近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。
　ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を電子機器に指示することができる。
　しかし、タッチスクリーンディスプレイを備える既存の電子機器の多くは、画像、音楽、他の各種メディアデータに対する操作性を追求したコンシューマ向け製品であり、会議、商談、商品開発などのビジネスシーンにおける利用については必ずしも適していない場合がある。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。
　最近では、手書き文字のような手書きデータを扱うための技術も開発されている。
特開平８－２０２８５７号公報
　ところで、ビジネスシーンにおいては、簡単な手書きメモのみならず、多くの手書き文字や手書き図表等を含む手書きデータを扱うことが必要である。
　本発明の一形態の目的は、手書きデータを容易に扱うことができる電子機器および入力方法を提供することである。
　実施形態によれば、電子機器は、表示処理手段と、切り替え手段とを具備する。前記表示処理手段は、第１モードにおいて、第１センサからの入力に基づいて行われる描画の複数の形態に対応する複数の第１アイコンを含み、第１サイズを有する第１ユーザインタフェースを画面上に表示し、前記複数の形態を設定するためのメニューを少なくとも表示可能な第２モードにおいて、前記複数の形態に対応する複数の第２アイコンを含み、前記第１サイズよりも大きい第２サイズを有する第２ユーザインタフェースを前記画面上に表示する。前記切り替え手段は、前記表示処理手段のモードを前記第１モードと前記第２モードとの間で切り替える。前記表示処理手段は、前記第１モードにおいて前記複数の第１アイコンの１つが選択される場合、前記第１センサからの入力に基づいて、前記複数の第１アイコンの前記１つに対応する第１の形態で前記画面上への描画を行う。
図１は、実施形態に係る電子機器の外観を示す斜視図である。 図２は、同実施形態の電子機器のシステム構成を示すブロック図である。 図３は、同実施形態の電子機器によって実行される手書き入力プログラムの機能構成を示すブロック図である。 図４は、同実施形態の電子機器におけるデスクトップ／ドロア画面の初期状態の表示例を示す図である。 図５は、同実施形態の電子機器におけるデスクトップ／ドロア画面において表示されるノートアイコンの表示形態を説明するための図である。 図６は、同実施形態の電子機器におけるデスクトップ／ドロア画面において表示されるノートアイコンの表示形態を説明するための図である。 図７は、同実施形態の電子機器におけるデスクトップ／ドロア画面の一例を示す図である。 図８は、同実施形態の電子機器におけるデスクトップ／ドロア画面の一例を示す図である。 図９は、同実施形態の電子機器におけるデスクトップ／ドロア画面の一例を示す図である。 図１０は、同実施形態の電子機器におけるデスクトップ／ドロア画面に対する入力操作に応じた表示処理を示すフローチャートである。 図１１は、同実施形態の電子機器におけるノートアイコン一覧画面の表示例を示す図である。 図１２は、同実施形態の電子機器における簡易ページ一覧表示画面の一例を示す図である。 図１３は、同実施形態の電子機器においてノートアイコンがドラッグされている画面の一例を示す図である。 図１４は、同実施形態の電子機器においてノートアイコンのドラッグに応じて表示されたデスクトップ／ドロア画面の一例を示す図である。 図１５は、同実施形態の電子機器における、デスクトップ／ドロア画面からデスクトップノート画面への移行表示を示すフローチャートである。 図１６は、同実施形態の電子機器における、デスクトップ／ドロア画面からデスクトップノート画面へ移行する際の遷移画像の一例を示す図である。 図１７は、同実施形態の電子機器における、デスクトップ／ドロア画面からデスクトップノート画面へ移行する際の遷移画像の一例を示す図である。 図１８は、同実施形態の電子機器における、デスクトップノート画面に対する入力操作に応じた表示処理を示すフローチャートである。 図１９は、同実施形態の電子機器におけるデスクトップノート画面の表示例を示す図である。 図２０は、同実施形態の電子機器におけるページ一覧画面の一例を示す図である。 図２１は、同実施形態の電子機器における、ページ情報の表示画面の一例を示す図である。 図２２は、同実施形態の電子機器におけるページ操作の一例を示す図である。 図２３は、同実施形態の電子機器によって表示される、ペン入力モードのノートビュー画面とメニュー表示モードのノートビュー画面を示す図である。 図２４は、同実施形態の電子機器によって表示されるサブメニューの例を示す図である。 図２５は、同実施形態の電子機器によって表示される詳細メニュー表示モードのノートビュー画面を示す図である。 図２６は、同実施形態の電子機器によって実行される範囲選択動作を示す図である。 図２７は、同実施形態の電子機器によって選択範囲に適用されるエフェクトを示す図である。 図２８は、同実施形態の電子機器によって表示される、ペン入力モードのノートビュー画面の例を示す図である。 図２９は、同実施形態の電子機器によって表示される、メニュー表示モードのノートビュー画面の例を示す図である。 図３０し、現在選択されているペンアイコンとは別のペンアイコンが選択された場合に対応する、メニュー表示モードのノートビュー画面を示す図である。 図３１は、同実施形態の電子機器におけるペン入力モードのノートビュー画面からメニュー表示モードのノートビュー画面への遷移過程の一部を示す図である。 図３２は、同実施形態の電子機器におけるペン入力モードのノートビュー画面からメニュー表示モードのノートビュー画面への遷移過程の別の一部を示す図である。 図３３は、同実施形態の電子機器におけるペン入力モードのノートビュー画面からメニュー表示モードのノートビュー画面への遷移過程のさらに別の一部を示す図である。 図３４は、同実施形態の電子機器におけるペン入力モードのノートビュー画面からメニュー表示モードのノートビュー画面への遷移過程のさらに別の一部を示す図である。 図３５は、同実施形態の電子機器におけるペン入力モードのノートビュー画面からメニュー表示モードのノートビュー画面への遷移過程のさらに別の一部を示す図である。 図３６は、同実施形態の電子機器によって実行される表示処理手順を示すフローチャートである。
　以下、実施の形態について図面を参照して説明する。　
　図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはストレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。
　本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。
　デジタイザ及びタッチパネルの各々は、フラットパネルディスプレイの画面と重なるように設けられる。タッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作（接触操作）のみならず、ペン１００を使用した画面に対するタッチ操作（接触操作）も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。ユーザは、ペン１００を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上のペン１００の動きの軌跡、つまり手書き入力操作によって手書きされるストローク（手書きストロークの軌跡）がリアルタイムに描画され、これによって手書きにより入力された複数の手書きストローク（各手書きストロークの軌跡）が画面上に表示される。ペン１００が画面に接触されている間のペン１００の動きの軌跡が１つの手書きストロークに相当する。手書きされた文字、マーク、図形、表などに対応する多数の手書きストロークの集合、つまり多数の軌跡（筆跡）の集合が手書き文書を構成する。以下では、手書きストロークは単にストロークとも称する。
　また、ユーザは、指を使用してタッチスクリーンディスプレイ１７上で様々なジェスチャ、例えば、タップ、スワイプ、ピンチイン、ピンチアウト、ドラッグ、等を行うことができる。
　本実施形態のタブレットコンピュータ１０（電子機器）は、手書きによって入力されるストロークのデータを、イメージデータではなく、各ストロークの軌跡を示す座標データ系列とストローク間の順序関係を示す時系列情報（ストローク情報）として記録する。時系列情報は、複数のストロークのそれぞれ対応する時系列の座標データ（座標データ系列）の集合（ストロークデータ系列）を意味する。ストローク間の順序関係は、ストロークが手書きされた順序、つまり筆順を示す。
　タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまり時系列情報によって示される複数のストローク（複数のストロークそれぞれに対応する軌跡）を画面上に表示することができる。
　本実施形態では、例えば時系列情報（ストロークデータ系列）をページ単位で管理する。タブレットコンピュータ１０は、少なくとも１ページ分のページデータを含むノートファイルにより、各手書き文書を管理する。なお、ページデータには、時系列情報（ストロークデータ系列）だけでなく、画像データやテキストデータを含めることができる。また、タブレットコンピュータ１０は、時系列情報（ストロークデータ系列）を他のデータと関連づけて管理することができる。他のデータには、例えば日時を示す日時データ、画像やテキストデータ、タグデータなどがある。
　図２は、実施形態におけるタブレットコンピュータ１０のシステム構成を示す図である。　
　タブレットコンピュータ１０は、図２に示されるように、ＣＰＵ１０１、システムコントローラ１０２、メインメモリ１０３、グラフィクスコントローラ１０５、ＢＩＯＳ－ＲＯＭ１０５、記録デバイス１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。
　ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、記録デバイス１０６からメインメモリ１０３にロードされる各種プログラムを実行する。ＣＰＵ１０１により実行されるプログラムには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。これらアプリケーションプログラムには、手書き入力プログラム２０２、および他のアプリケーションプログラム２０３が含まれている。アプリケーションプログラム２０３には、例えば手書き文字認識プログラム、ブラウザプログラム、画像編集プログラム、文書作成プログラムなどが含まれる。
　ＣＰＵ１０１は、手書き入力プログラム２０２を実行することにより、ペン１００を用いた手書き入力操作に応じてノートデータ（ページデータ（時系列情報））を生成する機能、ノートファイルに含まれるページを編集するページ編集機能の他、ノートファイル（あるいはページ）の作成と編集に関係する各種機能を実現する。
　また、ＣＰＵ１０１は、ＢＩＯＳ－ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
　システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、メインメモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、シリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。
　グラフィクスコントローラ１０４は、タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。グラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。ＬＣＤ１７Ａの上層には、画面上の指の接触位置を検知するためのセンサとしてタッチパネル１７Ｂが配置されている。さらに、ＬＣＤ１７Ａの下層には、画面上のペン１００の接触位置を検知するためのセンサとしてデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置及び接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置及び接触位置の動き等はデジタイザ１７Ｃによって検出される。
　無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。
　ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じてタブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。
　次に、本実施形態における手書き入力プログラム２０２により実現される機能構成について、図３を参照しながら説明する。ＣＰＵ１０１は、手書き入力プログラム２０２を実行することにより、入力判別部３０、データ生成部４０、表示処理部５０等の機能を実現する。　
　入力判別部３０は、タッチスクリーンディスプレイ１７により検出される画面上の接触位置及び接触位置の動きをもとに、ペン１００や指などを用いた入力操作に応じて実行すべき処理を判別する。入力判別部３０は、表示処理部５０がＬＣＤ１７Ａに表示するユーザインタフェース画面に基づいて、ペン１００や指などを用いた入力操作に応じて入力されるデータが、データ生成部４０によるノートデータ（手書きページデータ）などを生成するためのデータ（ストロークデータ）であるか、あるいは表示処理部５０により表示されるユーザインタフェース画面に対する操作（ジェスチャ操作等）を示すデータであるかを判別する。
　データ生成部４０は、表示処理部５０がＬＣＤ１７Ａに表示する各種機能用のユーザインタフェース画面を通じて入力されるストロークデータをもとに、各種データを生成する。データ生成部４０は、ノートデータ生成部４０ａ、タイムラインデータ生成部４０ｂ、スクラップノートデータ生成部４０ｃ、タグデータ生成部４０ｄを含む。
　ノートデータ生成部４０ａは、ノートビュー表示部５０ｄ（後述する）により表示される画面（ノートビュー画面）を通じで入力されるストロークデータをもとに、ノートファイルに含まれるページ単位でページデータ（手書きページデータ）を作成する。ノートデータ生成部４０ａは、複数のノートファイルをノートデータ６０ａとして記録デバイス１０６に記録する。また、ノートデータ生成部４０ａは、ページに関する各種情報、例えば作成日時、更新日時、アクセス日時、タグの有無（タグの種類）、ファイルロック、テンプレート種類、用紙設定などの情報を、それぞれのページと対応づけてノートデータ６０ａとして記録する。
　タイムラインデータ生成部４０ｂは、タイムラインノート表示部５０ｆ（後述する）により表示される画面（タイムラインノート画面）を通じて入力されるストロークデータをもとに、ページデータと日時データとを対応づけたタイムラインデータ６０ｂを生成して、記録デバイス１０６に記録する。
　スクラップノートデータ生成部４０ｃは、手書き入力プログラム２０２とは別のアプリケーションプログラム２０３（例えば、ブラウザ、画像編集プログラム、文書作成プログラムなど）と連携し、スクラップノート表示部５０ｇ（後述する）により表示される画面を通じて、アプリケーションプログラム２０３により表示される画面からユーザが指定する画面全体あるいは画面一部を記録するスクラップノートデータ６０ｃを生成して、記録デバイス１０６に記録する。スクラップノートデータ６０ｃは、スクラップノート表示部５０ｇによるスクラップノート画面の表示に用いられる。また、スクラップノートデータ６０ｃは、スクラップノート画面を通じてページデータにインポートすることができる。
　タグデータ生成部４０ｄは、タグ処理画面表示部５０ｎ（後述する）を通じて入力されるストロークデータをもとに、タグデータ６０ｄを生成して、記録デバイス１０６に記録する。
　表示処理部５０は、各種機能に応じたユーザインタフェース画面をＬＣＤ１７Ａに表示する。表示処理部５０は、ユーザインタフェース画面に対する操作、例えばオブジェクト（ノートアイコン、ページ、ボタンアイコン、ガジェットアイコン等）の選択操作やページの編集操作など、に応じた表示処理をする。表示処理部５０は、デスクトップ／ドロア表示部５０ａ、デスクトップノート表示部５０ｂ、簡易ページ一覧表示部５０ｃ、ノートビュー表示部５０ｄ、ノートプロパティ表示部５０ｅ、タイムラインノート表示部５０ｆ、スクラップノート表示部５０ｇ、検索画面表示部５０ｈ、参照画面表示部５０ｍ、タグ処理画面表示部５０ｎを含む。
　デスクトップ／ドロア表示部５０ａは、手書き入力プログラム２０２による基本画面であるデスクトップ／ドロア画面を表示する。デスクトップ／ドロア表示部５０ａは、デスクトップ／ドロア画面において、１以上のページ（１以上の手書きページ）を含むノートファイルに対応するノートアイコンを表示する。デスクトップ／ドロア表示部５０ａは、デスクトップ／ドロア画面に、作成済みのノートファイルを表すノートアイコンを表示するための領域（ストレージ領域）と、ストレージ領域から移動された作業中のノートファイルを表すノートアイコンを表示するための領域（テンポラリ領域）とを設け、それぞれにノートアイコンを表示する（詳細については後述する）。ストレージ領域とテンポラリ領域には、それぞれ複数のノートアイコンを表示することができる。デスクトップ／ドロア表示部５０ａは、テンポラリ領域あるいはストレージ領域に表示された複数のノートアイコン内のあるノートアイコンを指定する入力操作があった場合に、この入力操作に応じてこのノートアイコンを選択し、このノートアイコンをこのノートファイル内の１以上のページを操作可能な形態（デスクトップノート画面または単にデスクトップ画面と称する）へ移行させる遷移画像（アニメーションを含む）を表示する。また、デスクトップ／ドロア表示部５０ａは、ストレージ領域の表示範囲を拡大して、複数のノートアイコンをグリッド状に配置したグリッド表示に切り替えることができる。
　デスクトップノート表示部５０ｂは、デスクトップ／ドロア画面において選択されるノートアイコンに対応するノートファイルについて、ページ編集をするためのデスクトップノート画面を表示する。ページ編集には、例えば閲覧対象とするページへの表示切り替え（ページ送り、ページ戻し）、ページ挿入（追加）、ページコピー／ペーストなどがある。また、デスクトップノート表示部５０ｂは、デスクトップノート画面に、他の機能に移行するための複数の機能アイコンや複数のボタンアイコンを表示する。機能アイコンには、例えばノートデータ生成機能に移行するためのペンアイコン、タイムラインノート機能に移行するためのカレンダーアイコン、スクラップノート機能に移行するためのスクラップノートアイコン、タグ機能に移行するためのタグアイコンなどを含む。
　簡易ページ一覧表示部５０ｃは、デスクトップ／ドロア画面のストレージ領域（グリッド表示）に表示されているあるノートアイコンが入力操作によって指定された場合に、この指定されたノートアイコンに対応するノートファイルに含まれるページの一覧を表示するための簡易ページ一覧画面を表示する。
　ノートビュー表示部５０ｄは、ペン１００を用いた手書き入力操作に応じて手書き文書（ページ）を作成あるいは編集可能なノートビュー画面を表示する。ノートビュー表示部５０ｄは、例えば、ページ一覧画面又は簡易ページ一覧画面中からのページ選択に応じて、またはデスクトップノート画面におけるページ選択や機能アイコン（ペンアイコン）やボタンアイコンの選択、等に応じて、ノートビュー画面を表示する。ノートビュー画面では、ペン１００を用いた手書き入力操作に応じたストロークをページ上に書くことができる。さらに、他のアプリケーションプログラムにより作成された画像データやテキストデータ、スクラップノート機能により作成されたスクラップノートから選択したデータ等をページ上にコピーすることもできる。ノートビュー表示部５０ｄは、ノートビュー画面において、ストロークデータを入力するための各種ツールを提供する。例えば、ペン１００を用いた入力操作に応じて表示するストローク（軌跡）の太さや色、表示されたストローク（軌跡）を消去する消しゴムの太さなどを設定する設定ツールを提供する。
　ノートプロパティ表示部５０ｅは、デスクトップノート画面において、例えばボタンアイコンの選択によりノートファイルのプロパティ表示が指示された場合に、ページ編集の対象としているノートファイルについてのプロパティを表示するノートプロパティ画面を表示する。
　タイムラインノート表示部５０ｆは、デスクトップノート画面において、機能アイコン（カレンダーアイコン）が選択された場合に、タイムラインデータ機能により日時データとページデータとを対応づけたタイムラインデータを生成するためのタイムラインデータ画面を表示する。
　スクラップノート表示部５０ｇは、連携するアプリケーションプログラム２０３が起動された場合に、アプリケーションプログラム２０３が表示す画像をキャプチャした画面を表示し（キャプチャモード）、スクラップノートデータ６０ｃに追加すべき、画面全体あるいは画面一部の画像を、ユーザ操作に応じて選択（クリップ）するための画面を表示する。スクラップノートデータ６０ｃに追加する画像には、ペン１００を用いた手書き入力操作によって、手書き文字等（ストロークデータ系列）を書く（追加）することができる。また、スクラップノート表示部５０ｇは、デスクトップノート画面において、機能アイコン（スクラップノートアイコン）が選択された場合に、スクラップノートデータ６０ｃをもとにスクラップノート画面を表示する。スクラップノート表示部５０ｇは、スクラップノートデータ６０ｃに含まれる画像を一覧表示し、この一覧中から選択された画像をページに貼り付けることができる。
　検索画面表示部５０ｈは、デスクトップ／ドロア画面、デスクトップノート画面、ノートビュー画面等において表示される検索アイコンが選択された場合に、検索機能によりノートファイルあるいはページを検索するための検索画面を表示する。検索画面では、例えば、ペン１００を用いた手書きによって、検索キーとするストローク系列を入力することができる。
　参照画面表示部５０ｍは、検索機能によって検索キー（ストローク系列）をもとに検索されたページを表示する。参照画面表示部５０ｍは、例えば検索キーに該当（ヒット）するストローク系列を含むページ群をサムネイル一覧により表示し、またサムネイル一覧から指定されたページを拡大表示することができる。また、参照画面表示部５０ｍは、サムネイルあるいはページの表示画面において、検索キーに該当するストローク系列部分を、ハイライト表示するなどの他の部分とは異なる形態により表示する。また、参照画面表示部５０ｍは、ノートアイコンあるいはページの一覧表示において、ユーザにより指定された属性データ（例えば、作成日、更新日、検索キーとの類似度、最終閲覧日、表示回数など）に応じて、ノートアイコンあるいはページをソートして一覧表示することができる（ソート機能）。また、参照画面表示部５０ｍは、ノートアイコンあるいはページの一覧表示において、ユーザが指定する条件に該当するノートアイコンあるいはページのみを特定して表示することができる（フィルタ機能）。フィルタ機能では、例えばユーザが属性データ（例えば、ページに付加されたタグの種類など）を指定すると、属性データに該当するノートアイコンあるいはページのみをノートデータ６０ａから抽出して表示する。
　タグ処理画面表示部５０ｎは、デスクトップノート画面において、機能アイコン（タグアイコン）が選択された場合に、ページ編集の対象としているページにタグを付加する画面表示をする。例えば、タグ処理画面表示部５０ｎは、デスクトップノート画面に表示されたページの予め決められた位置に、タグを表す画像（例えば長方形の、ページ表示とは異なる色の画像）を付加する。また、タグ処理画面表示部５０ｎは、メニュー中のタグアイコンボタンが選択された場合に、複数の種類の異なるタグを一覧表示するタグメニューを表示する。タグメニューには、例えば表示色の異なる複数のタグを表示する。タグ処理画面表示部５０ｎは、タグメニュー中から選択されたタグをページに付加し、ページに付加されたタグを剥がす操作に応じて、タグをメニューに戻す画面を表示する。また、タグ処理画面表示部５０ｎは、メニュー中のタグに対して手書き入力された文字等を表すストローク系列に応じて、タグにストローク（筆跡）を表示する。
　次に、本実施形態におけるタブレットコンピュータ１０の動作について説明する。まず、デスクトップ／ドロア表示部５０ａによるデスクトップ／ドロア画面の表示処理について説明する。　
　表示処理部５０は、手書き入力プログラム２０２が起動されると、デスクトップ／ドロア表示部５０ａによりデスクトップ／ドロア画面をＬＣＤ１７Ａに表示する。　
　図４は、実施形態のデスクトップ／ドロア画面の、ノートファイルが作成されていない初期状態の表示例を示す図である。　
　デスクトップ／ドロア画面には、作成済みのノートファイルを表すノートアイコンを表示するためのストレージ領域７１と、作業中のノートファイルを表すノートアイコンを表示するためのテンポラリ領域７０が設けられている。また、デスクトップ／ドロア表示部５０ａは、デスクトップ／ドロア画面に対応する複数のボタンアイコン７２ａ，７２ｂ，７２ｃ，７２ｄ，７２ｅ（コンテキストボタン）をデスクトップ／ドロア画面の下部に表示する。なお、各ボタンアイコン７２ａ～７２ｄに対応する機能については後述する。
　ストレージ領域７１には、ノートデータ生成機能によって生成されたページを含むノートファイルのノートアイコンが表示される。図４に示す例では、４つのノートアイコンを表示するノートアイコン領域７８１，７８２，７８３，７８４がストレージ領域７１に設けられている。ストレージ領域７１は、所定の操作により表示範囲を拡張して、４つ以上のノートアイコンを表示することができる。
　テンポラリ領域７０には、５つのノートアイコンを表示する第１領域７５１、第２領域７５２、第３領域７５３、第４領域７５４、及び第５領域７５５が設けられている。中央に配置された第１領域７５１は、予めノートファイルの編集場所として決められた位置を表している。第１領域７５１は、ストレージ領域７１あるいはテンポラリ領域７０から選択された編集対象とするノートアイコンの移動先となる。第１領域７５１に移動されたノートアイコンは、ノートファイルのページを操作可能な形態へ移行される。
　他の４つの第２領域７５２～第５領域７５５には、ストレージ領域７１から指定されたノートアイコンを移動させることができる。ストレージ領域７１では、表示画面の正方向に合わせて、ノートアイコンをグリッド状（ここでは横方向）に整列して表示するのに対し、テンポラリ領域７０では、４つの第２領域７５２～第５領域７５５を表示画面の正方向に対して傾いた状態でノートアイコンを表示する。すなわち、テンポラリ領域７０では、ノートアイコンは、作業中であることをユーザが直感的に認識できるように、乱雑な印象を与える配置にしている。
　また、テンポラリ領域７０の第１領域７５１の周辺には、複数の機能アイコン、例えばペンアイコン７７１、カレンダーアイコン７７２、スクラップノートアイコン７７３、タグアイコン７７４が表示されている。
　ペンアイコン７７１は、ノートデータ生成機能への移行を指示するためのもので、ノートデータ生成機能を利用して手書き入力することを直感的に認識できるようにペン形状により表示される。
　カレンダーアイコン７７２は、タイムラインノート機能への移行を指示するためのもので、アイコン中に年月日曜日を表す文字が表示される。
　スクラップノートアイコン７７３は、スクラップノート機能への移行を指示するためのもので、スクラップノート機能によりスクラップノートデータ６０ｃに追加された画像等がサムネイルにより表示される。
　タグアイコン７７４は、タグ機能の実行を指示するためのもので、タグを表すように長方形により表示される。図４に示す例では、タグアイコン７７４には、２枚のそれぞれ異なる色のタグが含まれる。
　なお、デスクトップ／ドロア画面では、第１領域７５１の周囲に配置された機能アイコンを利用できないものとする。デスクトップ／ドロア画面からデスクトップノート画面に移行する場合、デスクトップ／ドロア画面中の第１領域７５１と第１領域７５１の周囲に配置された機能アイコンとを含む範囲が拡大されてデスクトップノート画面として表示される。機能アイコンは、デスクトップノート画面において、拡大表示された状態において利用できる。
　図５及び図６は、デスクトップ／ドロア画面において表示されるノートアイコンの表示形態を説明するための図である。　
　実施形態では、実物のノート（クリアファイル）に書類（ページ）を綴じた状態を図形化したノートアイコンを用いる。図５は、ノート８０を開いて、バインドするページ９０を露出させた状態を示している。図６は、ノート８０の表シート８２を閉じた状態を示している。図６は、ノート８０の表シート８２が透明であるため、バインドした先頭ページの記載内容（手書き入力された筆跡など）が透けて見えていることを表している。表シート８２の表面上端部８１には、ノート８０にバインドした書類（ページ）を識別するための識別情報（書類名など）が記載されている。
　図６に示すノートを図形化したノートアイコンには、バインドしたページの内容が表示されるため、ユーザは、容易にノートアイコンに対応するノートファイルの内容を容易に識別することができる。また、ノートアイコンに対して、ユーザが手書き入力によって識別情報を入力できるようにすることで、図６に示す表シート８２の表面上端部８１に記載した識別情報と同様にして、ノートアイコンに識別情報を表示することができる。これにより、ページの内容だけでなく、識別情報によってノートアイコンに対応するノートファイルの内容を識別することができる。なお、以下に示す図面には、ノートアイコンにおける識別情報を省略して示す。
　次に、実施形態のデスクトップ／ドロア画面におけるノートアイコンの配置操作の一例について説明する。　
　図７は、複数のノートアイコンがテンポラリ領域７０とストレージ領域７１に配置されたデスクトップ／ドロア画面の一例を示している。デスクトップ／ドロア表示部５０ａは、ノートデータ生成機能によりノートデータ６０ａが記録された場合、ノートデータ６０ａをもとにノートアイコンをストレージ領域７１に表示する。
　図７では、デスクトップ／ドロア表示部５０ａは、ストレージ領域７１に４つのノートアイコン８０Ａ～８０Ｄを表示している。また、デスクトップ／ドロア表示部５０ａは、テンポラリ領域７０の第１領域７５１にノートアイコン８０１、第２領域７５２にノートアイコン８０２、第５領域７５５にノートアイコン８０５を表示している。
　デスクトップ／ドロア画面では、ペン１００あるいは指によるタッチ操作によりノートアイコンの表示位置を移動させることができる。例えば、ノートアイコンが長押し（タッチした状態のまま所定の時間以上が経過）されると、デスクトップ／ドロア表示部５０ａは、ノートアイコンをドラッグ操作が可能な状態にする。例えば、図７に示すストレージ領域７１に表示されたノートアイコン８０Ａが長押しされ、テンポラリ領域７０の第４領域７５４までドラッグされた後、ドロップされると（タッチ終了）、デスクトップ／ドロア表示部５０ａは、テンポラリ領域７０の第４領域７５４にノートアイコン８０Ａを表示する。
　また、テンポラリ領域７０の第２領域７５２に配置されているノートアイコン８０２が同様に第３領域７５３にドラッグされると、デスクトップ／ドロア表示部５０ａは、ノートアイコン８０２を第３領域７５３の位置に移動させる。また、既にノートアイコン８０Ｄが表示されている第５領域７５５にノートアイコン８０Ｄがドラッグされると、デスクトップ／ドロア表示部５０ａは、図８に示すように、ノートアイコン８０Ｄを第５領域７５５に表示すると共に、第５領域７５５に表示していたノートアイコン８０５をノートアイコン領域７８４に表示する。すなわち、デスクトップ／ドロア表示部５０ａは、ノートアイコン８０５とノートアイコン８０Ｄの表示位置を入れ替える。
　このようにして、テンポラリ領域７０には、ストレージ領域７１から任意のノートアイコンをドラッグ操作により配置することができ、またテンポラリ領域７０内においても任意の位置にノートアイコンを配置することができる。これにより、例えば頻繁に使用するノートアイコン（ノートファイル）を操作が容易な位置に配置するなど、ノートアイコンをユーザの好みに合わせて配置できる。
　図９は、テンポラリ領域７０の５つの領域７５１，７５２，７５３，７５４，７５５に、ノートアイコン８０１，８０２，８０３，８０４，８０５をそれぞれ配置した例を示している。　
　なお、デスクトップ／ドロア表示部５０ａは、例えばテンポラリ領域７０に表示した日時が新しい順番に４つのノートアイコン８０Ａ，８０Ｂ，８０Ｃ，８０Ｄをストレージ領域７１に表示する。なお、ページ編集の対象とした日時が新しい順番としても良い。また、ページ編集の対象とした回数が多い順に配置するようにしても良い。
　次に、図１０に示すフローチャートを参照して、デスクトップ／ドロア画面に対する入力操作に応じた表示処理について説明する。　
　デスクトップ／ドロア画面に対して、ユーザは、ペン１００あるいは指等を用いたジェスチャ操作をすることで、他の機能への移行や画面切り替え等を指示することができる。ジェスチャ操作には、例えばタップ操作、ピンチアウト／ピンチイン操作、スワイプ操作、フリック操作、ドラッグ操作などがある。
　入力判別部３０は、デスクトップ／ドロア画面が表示されたタッチスクリーンディスプレイ１７に対して入力操作があると（ステップＡ１、Ｙｅｓ）、この入力操作に応じた表示処理を表示処理部５０に実行させる。
　例えば、ストレージ領域７１とテンポラリ領域７０との境界線近傍において、例えば縦方向のピンチアウト操作あるいは境界線を上方向に移動させるドラッグ操作により、ストレージ領域７１の拡張を指示する入力操作があると（ステップＡ６、Ｙｅｓ）、デスクトップ／ドロア表示部５０ａは、ストレージ領域７１の表示範囲を拡張してノートアイコンを一覧表示するノートアイコン一覧画面（ドロア画面）を表示する（ステップＡ７）。
　図１１は、ノートアイコン一覧画面（ドロア画面）の表示例を示している。図１１に示すように、ノートアイコン一覧画面では、テンポラリ領域７０ａを縮小し、ストレージ領域７１ａを拡張している。ストレージ領域７１ａでは、グリッド状にノートアイコンを整列させて表示する。なお、デスクトップ／ドロア表示部５０ａは、ノートアイコン一覧画面（ドロア画面）に応じた複数のボタンアイコン７２ｄ、７２ｆ，７２ｇ，７２ｈ（コンテキストボタン）を表示する。
　ドロア画面においてテンポラリ領域７０ａがスワイプされた場合、あるいはストレージ領域７１ａにおいてピンチイン操作がされた場合には、デスクトップ／ドロア表示部５０ａは、ストレージ領域７１ａを縮小し、テンポラリ領域７０ａを拡張することで、図９に示す元のデスクトップ／ドロア画面に表示を戻す。
　デスクトップ／ドロア表示部５０ａは、ストレージ領域７１ａにおいて、例えば縦方向のスワイプ操作がされると、上下方向にドロア画面をスクロールさせて、１画面中に表示できない他のノートアイコンを表示させる。なお、デスクトップ／ドロア表示部５０ａは、図９に示すストレージ領域７１において、例えば左右方向にスワイプ操作あるいはフリック操作がされると、ストレージ領域７１内の画面をスクロールさせて、他のノートアイコンの表示に変更する。
　図１１に示すノートアイコン一覧画面（ドロア画面）において、ノートアイコンがタップ操作などにより指定されると（ステップＡ８、Ｙｅｓ）、デスクトップ／ドロア表示部５０ａは、簡易ページ一覧表示部５０ｃにより簡易ページ一覧表示処理を実行させる。簡易ページ一覧表示部５０ｃは、ノートアイコン一覧画面から指定されたノートアイコンに対応するノートファイルに含まれるページを展開した画面（簡易ページ一覧表示画面）を表示する（ステップＡ９）。
　図１２は、簡易ページ一覧表示画面の一例を示す図である。図１２に示すように、簡易ページ一覧表示画面では、例えばノートファイルの先頭ページ（ページの外形を矩形とする）を中央に表示する。さらにノートファイルに複数のページが含まれている場合には、それぞれのページを一部が重複しないように配置をずらして表示する。複数のページを展開して表示することにより、ノートファイルのページ構成の概略を容易に把握することができる。なお、全てのページを展開するのではなく、予め決めた上限のページ数（例えば５ページ）を越えたページについては展開しないものとする。
　簡易ページ一覧表示画面では、簡易なページ編集機能を実行可能とする。例えば、簡易ページ一覧表示部５０ｃは、簡易ページ一覧表示画面にページ編集に関係する複数のボタンアイコンを表示する。簡易なページ編集機能では、例えば表示されたページに対する操作（図２２参照）に応じたページの表示切り替え（ページ送り、ページ戻し）の他、ボタンアイコンの操作に応じたページ削除、ページ情報の表示、ノートビュー画面（ノートデータ生成機能）への移行、ページ挿入（追加）、ページコピー／ペーストなどを実行することができる。
　また、表示切り替えにより表示されたページがタップされると（ステップＡ１０、Ｙｅｓ）、簡易ページ一覧表示部５０ｃは、ノートに対して手書き入力が可能なノートビュー画面（ノートデータ生成機能）へ移行させる。ノートビュー画面（ノートデータ生成機能）の詳細については後述する（ステップＡ１１）。
　また、簡易ページ一覧表示画面のページ以外の範囲でタップされると（ステップＡ１２、Ｙｅｓ）、簡易ページ一覧表示部５０ｃは、デスクトップ／ドロア表示部５０ａによるノートアイコン一覧画面（ドロア画面）に移行させる（ステップＡ７）。
　また、ノートアイコン一覧画面（ドロア画面）では、ノートアイコンをドラッグして、テンポラリ領域７０に移動させることができる。ストレージ領域７１ａに表示されたノートアイコンが長押しされると、デスクトップ／ドロア表示部５０ａは、ノートアイコンをドラッグ操作が可能な状態にし、ドラッグ操作に応じてノートアイコンの表示位置を変更する（ステップＡ１３，Ａ１４）。
　図１３は、ストレージ領域７１ａに表示されたノートアイコン８０Ｊがドラッグされている画面の一例を示す。　
　ノートアイコン８０Ｊがテンポラリ領域７０ａまでドラッグされると（ステップＡ１５、Ｙｅｓ）、デスクトップ／ドロア表示部５０ａは、ノートアイコン８０Ｊの表示位置をそのままにして、デスクトップ／ドロア画面に表示を切り替える（ステップＡ１６）。
　図１４は、ノートアイコン８０Ｊのドラッグに応じて表示されたデスクトップ／ドロア画面の一例を示す図である。　
　ノートアイコン８０Ｊがテンポラリ領域７０の何れかの領域７５１～７５５までドラッグされた後、ドロップされると（ステップＡ１７、Ｙｅｓ）、デスクトップ／ドロア表示部５０ａは、ドラッグ先の領域にノートアイコン８０Ｊを表示する（ステップＡ１８）。なお、ストレージ領域７１のノートアイコン領域７８１～７８４の何れかにドラッグされた場合、デスクトップ／ドロア表示部５０ａは、ドラッグ先の何れかのノートアイコン領域にノートアイコン８０Ｊを表示する。
　なお、デスクトップ／ドロア表示部５０ａは、図４及び図９に示すように、デスクトップ／ドロア画面にボタンアイコン７２ａ，７２ｂ，７２ｃ，７２ｄ，７２ｅを表示し、図１１に示すように、ノートアイコン一覧画面（ドロア画面）にボタンアイコン７２ｄ、７２ｆ，７２ｇ，７２ｈを表示する。デスクトップ／ドロア表示部５０ａは、ボタンアイコン７２ａ，７２ｂ，７２ｃ，７２ｄ，７２ｅ，７２ｆ，７２ｇ，７２ｈを選択する操作、例えばボタンアイコンをタップする操作があった場合（ステップＡ１９、Ｙｅｓ）、選択されたボタンアイコンに応じて処理を実行する（ステップＡ２０）。
　例えば、ボタンアイコン７２ａは、デスクトップノート画面への移行、ボタンアイコン７２ｂは、ノートアイコン一覧画面（ドロア画面）への移行、ボタンアイコン７２ｃは、ストレージ領域７１への新規のノートアイコンの追加、ボタンアイコン７２ｄは、ノートファイル（ページ）の検索機能の実行、ボタンアイコン７２ｅは、手書き入力プログラム２０２の各種機能について設定をするための設定画面への移行を、それぞれ指示するために用いられるボタンアイコンである。また、ボタンアイコン７２ｆは、デスクトップ／ドロア画面への移行、ボタンアイコン７２ｇは、ストレージ領域７１ａ（または７１）に表示されるノートアイコンをソートするソート機能の実行、ボタンアイコン７２ｈは、ストレージ領域７１ａ（または７１）に表示されるノートアイコンを、条件に該当するノートアイコンのみに特定するフィルタ機能の実行を、それぞれ指示するために用いられる。
　なお、デスクトップ／ドロア表示部５０ａは、前述した機能以外に対応するボタンアイコンを表示するようにしても良い。また、１画面中に全てのボタンアイコンを表示できない場合には、ボタンアイコンの表示をスクロールして、ボタンアイコンの種類を変更するようにしても良い。
　次に、デスクトップ／ドロア画面からデスクトップノート画面への移行について説明する。　
　図９に示すデスクトップ／ドロア画面において、ノートアイコンがタップ操作により選択された場合（ステップＡ２、Ｙｅｓ）、デスクトップ／ドロア表示部５０ａは、選択されたノートアイコンに対応するノートファイルについて、ページ編集をするためのデスクトップノート画面へ移行させる。
　デスクトップ／ドロア表示部５０ａは、テンポラリ領域７０の中央に配置された第１領域７５１のノートアイコン８０１以外のノートアイコンがタップにより選択されると（ステップＡ３、Ｙｅｓ）、この選択されたノートアイコンをノートファイルのページを操作可能な形態（デスクトップノート画面）へ移行させる遷移画像（アニメーションを含む）を表示する（ステップＡ４）。
　図１５は、実施形態のデスクトップ／ドロア画面からデスクトップノート画面への移行表示を示すフローチャートである。図１６の（Ａ）、（Ｂ）、（Ｃ）及び図１７の（Ａ）、（Ｂ）、（Ｃ）は、デスクトップ／ドロア画面からデスクトップノート画面へ移行する際の遷移画像の一例を示している。遷移画像とは、デスクトップ／ドロア画面からデスクトップノート画面へ遷移する間、またはデスクトップノート画面からデスクトップ／ドロア画面へ遷移する間に表示される画像であればどのようなものであってもよい。デスクトップ／ドロア画面では、ノートアイコンの表示形態は少なくとも一以上のノートアイコンを選択可能な形態である。デスクトップノート画面では、ノートアイコンの表示形態は、対応するノートファイルのページを操作可能な形態である。
　まず、デスクトップ／ドロア表示部５０ａは、タップ操作により選択されたノートアイコンの表示形態を変更する（ステップＢ１）。例えば、図１６の（Ａ）によって示される画面上のアイコン８０Ａが選択されると、デスクトップ／ドロア表示部５０ａは、ノートアイコン８０Ａを同じ位置で僅かに拡大する。その後、デスクトップ／ドロア表示部５０ａは、図１６の（Ｂ）、図１６の（Ｃ）に示すように、ノートアイコン８０Ａを第１領域７５１の方向に移動させる。また、デスクトップ／ドロア表示部５０ａは、ノートアイコン８０Ａの移動に伴って、ノートアイコン８０Ａを含む、ノートアイコン８０Ａの周辺のデスクトップ／ドロア画面を拡大表示する（ステップＢ２）。すなわち、デスクトップ／ドロア表示部５０ａは、ノートアイコン８０Ａを第１領域７５１（センター方向）に移動させながら、第１領域７５１の周辺を拡大表示する遷移画像（アニメーションを含む）を表示する。
　図１７の（Ａ）に示すように、ノートアイコン８０Ａが第１領域７５１（センター位置）まで移動されると（ステップＢ３、Ｙｅｓ）、デスクトップ／ドロア表示部５０ａは、図６で説明したノート８０の表シート８２を開く様子を表すように、図１７の（Ｂ）に示すように、ノートアイコンの表示形態を変化させる遷移画像（アニメーションを含む）を表示する（ステップＢ４）。すなわち、ノートファイルを編集可能な状態にするために、ノートファイル（ノート）を開いていることをユーザが認識できる遷移画像（アニメーションを含む）を表示する。
　デスクトップ／ドロア表示部５０ａは、ノートファイルをオープンする表示が完了すると、デスクトップノート表示部５０ｂによりノートファイルに含まれるページを展開する遷移画面（アニメーションを含む）を表示させる（ステップＢ５）。例えば、デスクトップノート表示部５０ｂは、ノートファイルの先頭ページ（ページの外形を矩形とする）を中央に表示する。さらに、ノートファイルに複数のページが含まれている場合には、それぞれのページを一部が重複しないように配置をずらして表示する。複数のページを展開して表示することにより、ノートファイルのページ構成の概略を容易に把握することができる。なお、全てのページを展開するのではなく、予め決めた上限のページ数（例えば５ページ）を越えたページについては展開しないものとする。図１７の（Ｃ）は、ノートファイルに含まれる複数のページが展開された状態を示している。こうして、デスクトップ／ドロア画面からデスクトップノート画面への移行が完了する。
　このようして、デスクトップ／ドロア画面においてノートアイコンがタッチ操作（タップ）により選択されると、ノートアイコンをノートファイルに含まれるページを展開した画面に遷移させる遷移画像（アニメーション）を表示する。従って、ユーザは、直感的に、ノートファイル内のページを操作可能な状態に移行したことを認識することができる。
　なお、図９に示す第１領域７５１に配置されたノートアイコン８０１が選択（タップ）された場合（ステップＡ３、Ｙｅｓ）、デスクトップ／ドロア表示部５０ａは、ノートアイコンを第１領域７５１の方向に移動させる必要が無いため、センター（第１領域７５１）に配置されたノートアイコン用の遷移画像を表示する（ステップＡ５）。すなわち、デスクトップ／ドロア表示部５０ａは、デスクトップ／ドロア画面中の第１領域７５１に配置されたノートアイコン８０１と、ノートアイコン８０１の周囲とを拡大表示する遷移画像を表示し、図１７の（Ａ）に示す表示画面に遷移させた後、図１７の（Ｂ）、図１７の（Ｃ）のように画像を遷移させて、デスクトップノート画面に移行させる。
　次に、図１８に示すフローチャートを参照しながら、デスクトップノート画面に対する入力操作に応じた表示処理について説明する。図１９は、デスクトップノート画面の表示例を示している。
　デスクトップノート画面に対して、ユーザは、ペン１００あるいは指等を用いたジェスチャ操作をすることで、他の機能への移行や画面切り替え等を指示することができる。ジェスチャ操作には、例えばタップ操作、ピンチアウト／ピンチイン操作、スワイプ操作、フリック操作、ドラッグ操作などがある。
　デスクトップノート表示部５０ｂは、デスクトップノート画面の移行時に、常に先頭ページを表示するだけでなく、前回のデスクトップノート画面において最後に表示したページを表示するようにしても良い。図１９に示すデスクトップノート画面では、デスクトップノート表示部５０ｂは、例えばノートファイルに含まれるページ９０１を表示すると共に、ページ９０１から配置をずらして複数のページ９０２，９０３，９０４，９０５を表示する。すなわち、ノートファイルは、複数のページ９０１，９０２，９０３，９０４，９０５それぞれの少なくとも一部分が視認可能で且つこれら複数のページ９０１，９０２，９０３，９０４，９０５が重なった形態で表示される。また、ページ９０１の右側には、ページ送りしたページ９０Ｂを表示する。また、デスクトップノート表示部５０ｂは、ノートファイル（第１領域７５１）の周辺には、例えばペンアイコン７７１、カレンダーアイコン７７２、スクラップノートアイコン７７３、タグアイコン７７４を表示する。
　デスクトップノート画面中の何も表示されていない領域（デスクトップ）がタップされた場合（ステップＣ３、Ｙｅｓ）、デスクトップノート表示部５０ｂは、図１９に示すような、複数のボタンアイコン７４ａ，７４ｂ，７４ｃ，７４ｄ，７４ｅ，７４ｆ，７４ｇを表示する（ステップＣ４）。
　デスクトップノート表示部５０ｂは、ボタンアイコン７４ａ，７４ｂ，７４ｃ，７４ｄ，７４ｅ，７４ｆ，７４ｇを選択する操作、例えばあるボタンアイコンをタップする操作があった場合（ステップＣ１３、Ｙｅｓ）、選択されたボタンアイコンに応じて処理を実行する（ステップＣ１４）。
　例えば、ボタンアイコン７４ａは、デスクトップ／ドロア画面への移行、ボタンアイコン７４ｂは、ページ一覧画面（グリッド表示画面）への移行、ボタンアイコン７４ｃは、デスクトップノート画面に表示されているページの削除、ボタンアイコン７４ｄは、ページ情報の表示、ページアイコン７４ｅは、ノートビュー画面（ノートデータ生成機能）への移行、ボタンアイコン７４ｆは、ページの追加、ボタンアイコン７４ｇは、ページコピーの実行を、それぞれ指示するために用いられる。
　また、１画面中に全てのボタンアイコンを表示できない場合には、ボタンアイコンの表示をスクロールして、ボタンアイコンの種類を変更するようにしても良い。例えば、図１９に示すボタンアイコンの他には、タグ機能に移行するためのボタンアイコンがある。
　図２０は、ボタンアイコン７４ｂのタップに応じて表示するページ一覧画面（グリッド表示画面）の一例を示す図である。デスクトップノート表示部５０ｂは、ノートファイルに含まれる全てのページをグリッド状に整列して表示する。デスクトップノート表示部５０ｂは、１画面中に全てのページを表示できない場合、ページ一覧画面において、例えば縦方向のスワイプ操作がされると、上下方向にページ一覧画面をスクロールさせて、１画面中に表示できない他のページを表示させる。
　なお、デスクトップノート表示部５０ｂは、ページ一覧画面に応じた複数のボタンアイコン（コンテキストボタン）７４ｈ，７４ｋ，７４ｍ，７４ｎを表示する。
　また、ボタンアイコン７４ｈは、デスクトップノート画面への移行（グリッド表示解除）、ボタンアイコン７４ｋは、ページ一覧画面に表示されるページをソートするソート機能の実行、ボタンアイコン７４ｍは、ページ一覧画面に表示されるページを、条件に該当するノートアイコンのみに特定するフィルタ機能の実行、ボタンアイコン７４ｎは、ページに対する検索機能の実行を、それぞれ指示するために用いられる。なお、ページ一覧画面においてピンチイン操作がされた場合には、デスクトップノート表示部５０ｂは、ボタンアイコン７４ｈがタップされた場合と同様にして、グリッド表示を解除して、デスクトップノート画面へ戻る。
　図２１は、図１９のボタンアイコン７４ｄのタップに応じて表示するページ情報の表示画面（プロパティ画面）の一例を示す図である。ノートプロパティ表示部５０ｅは、デスクトップノート画面のトップに表示しているページのページ情報をノートデータ６０ａから検索して、ページサムネイルと共に表示する。ページ情報には、図２１に示すように、例えば作成日時、更新日時、アクセス日時、タグの有無（種類）、ファイルロック、テンプレート種類、用紙設定などがある。
　また、デスクトップノート表示部５０ｂは、デスクトップノート画面において、ページに対する入力操作（ページ操作）があった場合（ステップＣ１、Ｙｅｓ）、ページ操作に応じてページ表示を変更する（ステップＣ２）。デスクトップノート表示部５０ｂは、ページ表示を変更する場合、ページの動きを遷移画像（アニメーション）によって表示するものとする。
　図２２は、ページ操作の一例を示す図である。　
　例えば、中央に表示されるページ９０１に対して左から右方向へのスワイプ操作（あるいはフリック操作）９２ａがあった場合、あるいはページ９０１からページ９０Ｂへのスワイプ操作（あるいはフリック操作）９２ｂがあった場合、デスクトップノート表示部５０ｂは、ページ９０１をページ送りして、ページ９０Ｂの位置に移動させると共に、ページ９０２を新たに中央に表示し、その他のページ９０３～９０５をそれぞれ中央方向に移動させた位置に変更する。このページ操作により、１ページ毎にページを先に送る（ページをめくる）ことができる。
　中央に表示されるページ９０１に対して右から左方向へのスワイプ操作（あるいはフリック操作）９３ａがあった場合、あるいはページ９０Ｂからページ９０１へのスワイプ操作（あるいはフリック操作）９３ｂがあった場合、デスクトップノート表示部５０ｂは、ページ９０Ｂの位置に先送りしたページを、中央位置に移動させると共に、その他の各ページを後方に移動させた位置に変更する。このページ操作により、１ページ毎にページを戻すことができる。
　中央のページ９０１より左側の領域において、上から下方向へのスワイプ操作（あるいはフリック操作）９４があった場合、デスクトップノート表示部５０ｂは、ノートファイルに含まれる最後のページが中央に表示されるまで、その他の全てのページを１ページ毎に先に送る。これにより、ノートファイルに多数のページが含まれていても、簡単に最後のページを表示させることができる。
　中央のページ９０１より左側の領域において、下から上方向へのスワイプ操作（あるいはフリック操作）９５があった場合、デスクトップノート表示部５０ｂは、ノートファイルに含まれる先頭のページが中央に表示されるまで、先に送った全てのページを１ページ毎に戻す。これにより、多数のページを先に送っていても、簡単に最初のページを表示させることができる。
　なお、図２２では、スワイプ操作９４，９５の方向を縦方向としているが、斜め方向であっても良い。また、スワイプ操作９４，９５によって最後のページあるいは先頭のページまでページ送り／戻しをしているが、スワイプ操作がされた画面上の距離に応じて、ページ送り／戻しするページの枚数を変化させても良い。また、フリック操作がされた場合には、操作の強さに応じてページ送り／戻しするページの枚数を変化させても良い。
　中央のページ９０１の左側の上部領域８１ａにおいて、タップ操作９６があった場合、デスクトップノート表示部５０ｂは、デスクトップノート画面からデスクトップ／ドロア画面に移行させる。すなわち、デスクトップノート表示部５０ｂは、図１６の（Ａ）、（Ｂ）、（Ｃ）、図１７の（Ａ）、（Ｂ）、（Ｃ）を用いて説明した遷移画像を、逆の方向で遷移させる。これにより、ユーザは、直感的に、ノートファイルに対するページの操作が終了されたことを認識できる。
　中央のページ９０１に対してピンチアウト操作９８がされた場合、デスクトップノート表示部５０ｂは、図２０に示すページ一覧画面（グリッド表示画面）に移行し、ノートファイルに含まれる全てのページをグリッド状に整列して表示する。従って、ピンチイン操作とピンチアウト操作により、図１９に示すデスクトップノート画面と図２０に示すページ一覧画面（グリッド表示画面）とを簡単に切り替えることができる。
　図２２に示すように、中央のページ９０１に対してタップ操作９７がされた場合（ステップＣ５、Ｙｅｓ）、デスクトップノート表示部５０ｂは、デスクトップノート表示部５０ｂによりノートビュー画面（ノートデータ生成機能）を表示させる（ステップＣ６）。なお、図１９のページアイコン７４ｅへのタップ操作がされた場合も、デスクトップノート表示部５０ｂは、ノートビュー画面への移行させる（ステップＣ６）。なお、デスクトップノート画面のカレンダーアイコン７７２がタップされた場合（ステップＣ７、Ｙｅｓ）、デスクトップノート表示部５０ｂは、タイムラインノート画面に移行する（ステップＣ８）。また、デスクトップノート画面のスクラップノートアイコン７７３がタップされた場合（ステップＣ９、Ｙｅｓ）、デスクトップノート表示部５０ｂは、スクラップノート画面に移行する（ステップＣ１０）。また、デスクトップノート画面のタグアイコン７７４がタップされた場合（ステップＣ１１、Ｙｅｓ）、タグ処理画面表示部５０ｎは、中央に表示するページ９０１にタグを貼り付ける（ステップＣ１２）。また、デスクトップノート表示部５０ｂは、ボタンアイコン７４ａ，７４ｂ，７４ｃ，７４ｄ，７４ｅ，７４ｆ，または７４ｇを選択する操作があった場合（ステップＣ１３、Ｙｅｓ）、選択されたボタンアイコンに対応する処理を実行する（ステップＣ１４）。
　図２３は、ペン入力モード時に表示されるノートビュー画面とメニュー表示モード時に表示されるノートビュー画面との関係を示す。　
　表示処理部５０は、ページ（手書きページ）の新規作成、および既存のページの閲覧および編集が可能なノートビュー画面を表示する。ノートビュー画面は２つの表示モードに対応する２種類の表示形態を有している。すなわち、表示処理部５０（詳しくは、ノートビュー表示部５０ｄ）は２つのモード、つまり、ペン入力モードとメニュー表示モードとを有している。
　ペン入力モードは手書き入力可能なモードである。このペン入力モードにおいては、表示処理部５０は、図２３の左部に示されるノートビュー画面を表示する。このノートビュー画面は手書き入力可能な画面である。このノートビュー画面において、破線で囲まれた矩形の領域５００は手書き可能な領域である。手書き可能な領域５００においては、デジタイザ１７Ｃからの入力は描画のために使用され、タップ、スワイプ等のジェスチャを示すイベントとしては使用されない。一方、ノートビュー画面において、手書き可能な領域５００以外の領域においては、デジタイザ１７Ｃからの入力はタップ、スワイプ等のジェスチャを示すイベントとしても使用され得る。タッチパネル１７Ｂからの入力は、描画には使用されず、タップ、スワイプ等のジェスチャを示すイベントとして使用される。
　ペン入力モードに対応するこのノートビュー画面には、ユーザによって選択された任意のノートファイル内の任意のページを表示することができる。ペン入力モードにおいては、できるだけ大きなサイズの手書き可能領域５００をノートビュー画面内に確保できるようにするために、必要最小限のユーザインタフェースが表示される。本実施形態では、ノートビュー画面の端部、例えば、上端部に、ペン１００を使用したユーザの手書き入力操作を支援するためのユーザインタフェースが表示される。
　このユーザインタフェースは、デジタイザ１７Ｃからの入力に基づいて行われる描画の形態（描画の種類）をユーザが容易に切り替えることを可能にするためのグラフィカルユーザインタフェースである。例えば、描画の形態には、デジタイザ１７Ｃからの入力に基づいて描画されるストロークの属性（色、太さ、形状、その他）、デジタイザ１７Ｃからの入力に基づいて描画される消しゴムの軌跡（消去ストローク）の属性（太さ、形状、その他）、およびデジタイザ１７Ｃからの入力に基づいて描画される範囲選択のための枠の属性（形状、その他）、等が含まれ得る。
　このユーザインタフェースは、描画の形態（描画の種類）をユーザが容易に切り替えることを可能にするために、描画の複数の形態に対応する複数のアイコン（ボタン）５０１～５０５を含む。これらアイコン５０１～５０５は、手書き可能領域を狭めないようにするために、画面の上端部において横に一列に並べられている。
　アイコン（ボタン）５０１～５０５の各々は、手書き可能領域を狭めないようにするために、小さな丸のような形状を有している。これらアイコン（ボタン）５０１～５０５の内のアイコン５０１、５０２、５０３は、手書きストロークを描画するための異なる３つの形態にそれぞれ対応している。つまり、アイコン５０１、５０２、５０３には、手書きストロークを描画するための異なる３つの形態がそれぞれ割り当てられている。
　ここでは、アイコン５０１には、手書きストロークを描画するための形態として、例えば、色＝黒、太さ（線幅）＝ｎポイント、ペン先＝鉛筆、のようなペン種属性が割り当てられている。この場合、アイコン５０１は黒色で塗り潰された小さな丸を表す画像であってもよい。
　アイコン５０２には、手書きストロークを描画するための別の形態として、例えば、色＝赤、太さ（線幅）＝ｍポイント、ペン先＝ポールペン、のようなペン種属性が割り当てられている。この場合、アイコン５０２は赤色で塗り潰された小さな丸を表す画像であってもよい。
　アイコン５０３には、手書きストロークを描画するためのさらに別の形態として、例えば、色＝黄、太さ（線幅）＝２ｍポイント、ペン先＝マーカ、のようなペン種属性が割り当てられている。この場合、アイコン５０３は黄色で塗り潰された小さな丸を表す画像であってもよい。
　ユーザは、アイコン５０１、５０２、５０３のいずれかをペン１００または指でタップするというシングルアクションを行うだけで、容易に使用すべき手書きストロークの描画の形態、つまり使用すべきペン種を切り替えることができる。
　アイコン５０４は、ノートビュー画面上の範囲を選択するための描画の形態に対応している。つまり、アイコン５０４には、ノートビュー画面上の範囲を選択するための描画の形態、例えば、範囲選択のための矩形または自由枠を描画するための形態が割り当てられる。アイコン５０５は、ノートビュー画面上の手書きストロークを消去する（透明にする）ことが可能な描画の形態に対応している。つまり、このアイコン５０５には、ノートビュー画面上の手書きストロークを消去（透明にする）ことが可能な描画の形態が割り当てられている。例えば、ページの背景色と同じ色でペン１００の動きの軌跡（消去ストローク）を描画することにより、あるいは消去ストロークと他の手書きストロークとが交差する交差部分を透明にするための透明の属性を有する消去ストロークを描画することにより、ノートビュー画面上の任意の手書きストロークを消去することができる。
　したがって、本実施形形態では、ユーザは、アイコン５０１、５０２、５０３、５０４、５０５のいずれかをペン１００または指でタップするというシングルアクションを行うだけで、ペン種（赤ペン、黒ペン、マーカ）の切り替えだけでなく、ペンと範囲選択ツールと消しゴムツールとの間の切り替えをすることができる。アイコン５０１、５０２、５０３、５０４、５０５の内から選択されたアイコンは、強調表示される。この場合、選択されたアイコンのサイズを大きくしても良いし、選択されたアイコンの回りに飾り枠を表示しても良い。
　例えば、黒ペンのアイコン５０１が選択（タップ）され、ペン１００を用いて手書き入力されると、表示処理部５０は、ペン１００の動きに合わせて黒色のストローク（軌跡）をノートビュー画面上に表示する。また、ノートデータ生成部４０ａは、ノートビュー画面を通じて入力されるストロークデータをもとにページデータを生成する。
　また、アイコン（選択ボタン）５０４が選択された場合、表示処理部５０は、ペン１００または指を用いたドラッグ操作に応じてノートビュー画面中で範囲選択する。
　従来のインタフェースでは、ユーザは、例えば階層構造のメニューをたどりながら、色を選択する操作、太さを選択する操作などを含む複数の操作を行うことが必要とされる。またもし階層構造のメニューの代わりに、色を選択するためのメニューと、太さを選択するためのメニュー等とを含む複数のメニューを同時に画面上に表示すると、手書き可能領域が狭くなる。
　本実施形態では、上述したように、異なる描画の形態がそれぞれ割り当てられる複数の小さなアイコン５０１～５０５（ミニマムなペン）をノートビュー画面上に表示しているので、手書き可能領域５００を大きく取ることができ、かつシングルアクションでペン種（赤ペン、黒ペン、マーカ）、範囲選択、および消しゴムを素早く切り替えることができる。
　ノートビュー画面上が指でスワイプされると、表示処理部５０は、ノートビュー画面上に表示されるページを別のページに変更することができる。例えば、ノートビュー画面上が指で右方向に向けてスワイプされると、表示処理部５０は、現在表示されているページの次のページをノートビュー画面上に表示する。現在表示されているページがあるノートファイルの第１頁である場合には、右方向へのスワイプに応じて、このノートファイルの第２頁がノートビュー画面上に表示される。
　さらに、もしノートビュー画面上のアイコン以外の領域が指でタップされたならば、表示処理部５０は、メニュー表示モードに遷移する。メニュー表示モードは上述の描画の複数の形態を設定するためのメニューを少なくとも表示可能なモードである。
　このメニュー表示モードにおいては、表示処理部５０は、図２３の右部に示されるように、複数の小さなアイコン５０１～５０５を含むユーザインタフェースの代わりに、このユーザインタフェースよりも大きなサイズを有する別のユーザインタフェース（ペンメニュー）をノートビュー画面上に表示する（円で囲まれているアイコン群）。つまり、円で囲まれているアイコン群を含むユーザインタフェースの面積は、複数の小さなアイコン５０１～５０５を含むユーザインタフェースの面積よりも大きい。さらに、表示処理部５０は、メニュー５２０ａもノートビュー画面上に表示する。
　メニュー表示モードにおいては、ノートビュー画面への手書き入力は行われない。このメニュー表示モードのノートビュー画面においては、デジタイザ１７Ｃからの入力およびタッチパネル１７Ｂからの入力の各々は、タップ操作、スワイプ操作、ピンチ操作等のジェスチャを示すイベントとして使用される。
　メニュー表示モードのノートビュー画面上のペンメニューは、ペン入力モードで表示される複数の小さなアイコン５０１～５０５がどのような機能に対応しているかをユーザが確認することを可能にする。さらに、ノートビュー画面上のペンメニューは、ユーザがアイコン５０１～５０５に対応する描画の形態を設定（または変更）することを可能にし、またユーザが作成／編集しているページに適用可能な各種機能を呼び出すことを可能にする。
　上述したように、ペン入力モードのノートビュー画面にはペン種切り替えのような最小限の機能が割り当てられた小さいサイズのユーザインタフェースが表示されるので、ユーザは、手書き入力可能領域を有効に活用でき、ページへの手書き入力に専念することができる。また、ユーザは、ノートビュー画面をタップするという簡単な操作を行うだけで、アイコン５０１～５０５の機能を確認でき且つページに適用すべき機能（描画の形態の設定／変更を含む）の呼び出しが可能なメニュー表示モードに容易に切り替えることができる。
　メニュー表示モードのノートビュー画面においては、複数の小さなアイコン５０１～５０５を含むユーザインタフェースの代わりに、このユーザインタフェースよりも大きなサイズを有する別のユーザインタフェースであるペンメニュー等が表示される。このペンメニューは、デジタイザ１７Ｃからの入力に基づいて行われる描画の上述の複数の形態に対応し、且つ複数の小さなアイコン５０１～５０５と異なる複数の大きなアイコン（ボタン）５１１～５１５を含む。ユーザは、アイコン５１１～５１５を見ることにより、ペン入力モードで表示される複数の小さなアイコン５０１～５０５にどのような機能が割り当てられているのかを容易に確認することができる。
　アイコン５１１～５１５の各々はこれらアイコンに対応する機能（描画の形態）をリアルに表現するための画像であってもよい。アイコン５１１～５１５は上述の小さなアイコン５０１～５０５にそれぞれ対応している。ペン入力モードにおいては、黒ペン、赤ペン、マーカー、選択（範囲選択）、消しゴムに対応する小さなアイコン５１１～５１５がこの順に横一列に並べられているが、メニュー表示モードにおいては、黒ペン、赤ペン、マーカー、選択、消しゴムに対応するアイコン５１１～５１５はこの順に縦一列に並べられている。このようにペン入力モードとメニュー表示モードとで、アイコンの配置の縦横は変わるものの、黒ペン、赤ペン、マーカー、選択、消しゴムという順番は変わらない。したがって、ユーザはアイコン５１１～５１５が上述の小さなアイコン５０１～５０５にそれぞれ対応していることを理解しやすくなる。
　アイコン５１１は上述の小さなアイコン５０１よりも大きく且つリアルなペンの画像（ここでは、ペンの側面図の画像）であってもよい。小さなアイコン５０１の上述の丸形状は、ペン先の正面図を模式的に表していたが、アイコン５１１はペンの側面図を表す立体感のある画像から構成され得る。アイコン５１１においては、ペンの先端は黒色で表示され、このペン先は現在設定されている黒ペンの太さに対応する太さで表示される。あるいは、図２３に示されているように、ペン先の近くに、現在設定されている黒ペンの太さに対応する太さで黒色の線を表示しても良い。
　アイコン５１２は上述の小さなアイコン５０２よりも大きく且つリアルなペンの画像（ここでは、ペンの側面図の画像）であってもよい。小さなアイコン５０２の上述の丸形状は、ペン先の正面図を模式的に表していたが、アイコン５１２はペンの側面図を表す立体感のある画像から構成される。アイコン５１２においては、ペンの先端は赤色で表示され、このペン先は現在設定されている赤ペンの太さに対応する太さで表示される。あるいは、図２３に示されているように、ペン先の近くに、現在設定されている赤ペンの太さに対応する太さで赤色の線を表示しても良い。
　アイコン５１３は上述の小さなアイコン５０３よりも大きく且つリアルなペンの画像（ここでは、ペンの側面図の画像）であってもよい。小さなアイコン５０３の上述の丸形状は、ペン先の正面図を模式的に表していたが、アイコン５１３はペンの側面図を表す立体感のある画像から構成される。アイコン５１３においては、ペンの先端は黄色で表示され、このペン先は現在設定されているマーカの太さに対応する太さで表示される。あるいは、図２３に示されているように、ペン先の近くに、現在設定されているマーカの太さに対応する太さで、現在設定されているマーカの色（ここでは黄色）の線を表示しても良い。
　同様に、アイコン５１４、５１５も、上述のアイコン５０４、５０５よりも大きく且つ且つリアルな画像から構成される。
　細長形状を有するこれらアイコン５１１～５１５は、これらアイコンの長手方向がノートピュー画面の横方向に延在するようにノートビュー画面上に縦に一列に並べられている。現在選択されているアイコンのノートビュー画面上の位置は自動的に変更される。例えば、アイコン５０２がユーザによって選択されている状態で表示モードがペン入力モードからメニュー表示モードに切り替えられた場合、あるいはメニュー表示モードのノートビュー画面上でアイコン５１２がユーザによって選択された場合には、アイコン５１２の位置が変更される。この場合、アイコン５１２として使用されるペンの画像を、図２３に示されているように、他のアイコンのペン画像よりも画面の中心部に向けて突出するように表示しても良い。このように選択されたアイコンの表示位置を変更することにより、どのアイコンが現在選択されているのかをユーザに分かり易く呈示することができる。
　表示処理部５０は、アイコン５１１～５１５のいずれかが左方向にスワイプされた場合（あるいは選択されているアイコンがさらにタップされた場合）、スワイプされたこのアイコンに対応する描画の形態を設定するための詳細設定メニューをノートビュー画面上に表示し得る。詳細設定メニューを操作することにより、ユーザは、スワイプされたアイコンに割り当てる描画の形態を変更することができる。また、詳細設定メニューを操作することにより、ユーザは、新たな描画の形態を作成することもできる。この場合、この新たな描画の形態が割り当てられた新規の小さなアイコンおよび大きなリアルなアイコンが、表示処理部５０によってペン入力モードのノートビュー画面およびメニュー表示モードのノートビュー画面に表示される。
　メニュー５２０ａは、複数の機能が割り当てられた複数のアイコン（ボタン）を表示する。メニュー５２０ａの内容、つまりメニュー５２０ａ内に表示される複数のアイコンの種類は、ノートビュー画面に表示されているページの内容に応じて自動的に変更される。サブメニューが関連付けられたアイコンを、メニュー５２０ａ内に表示することもできる。サブメニューが関連付けられたアイコンがタップされると、表示処理部５０は、図２４に示すようなサブメニューを表示する。ユーザは、サブメニューから目的の機能に対応するアイコンを選択することができる。
　図２４では、エクスポートアイコン（ボタン）５２１に対応するサブメニューの例と、ペーストアイコン（ボタン）５２２に対応するサブメニューの例を示している。エクスポートアイコン５２１はノートビュー画面に表示されているページを他の各種フォルダ等にエクスポートする機能が割り当てられたアイコンである。このエクスポートアイコン５２１がユーザによってタップされると、表示処理部５０は、エクスポート先のフォルダに対応するアプリケーションプログラムのファイル形式等に対応する幾つかのアイコンを含むサブメニューを表示する。ペーストアイコン（ボタン）５２２は、ノートビュー画面に表示されているページに他のデータをペーストするための機能が割り当てられたアイコンである。
　なお、図２５に示すように、ペン入力モードのノートビュー画面に表示される幾つかのアイコンにサブメニューを割り当てることもでき、同様に、メニュー表示モードのノートビュー画面に表示される幾つかのアイコンにサブメニューを割り当てることもできる。
　図２５では、範囲選択のためのアイコン５０４にサブメニューが割り当てられ、また消しゴムのアイコン５０５にサブメニューが割り当てられている場合が想定されている。
　アイコン５０４が指またはペン１００によってタップされると、表示処理部５０は、サブメニュー５０４ａをノートビュー画面上に表示する。サブメニュー５０４ａには、「矩形」、「自由枠」（フリーハンド枠）、「全選択」に対応する３つのアイコンが表示される。ユーザは、これら３種類の選択ツールの１つを選択することができる。「全選択」に対応するアイコンが選択された場合には、表示処理部５０は、表示中のページ全体を選択することができる。
　アイコン５０５が指またはペン１００によってタップされると、表示処理部５０は、サブメニュー５０５ａをノートビュー画面上に表示する。サブメニュー５０５ａには、消しゴムの太さ（消しゴムに対応する描画の太さ）を指定する３つのアイコンと、「全消去」を指定するアイコンとが表示される。
　メニュー表示モードのノートビュー画面においても、アイコン５１４に関連づけてサブメニュー５０４ａと同様の内容のサブメニュー５１４ａを表示し得、またアイコン５１５に関連づけてサブメニュー５０５ａと同様の内容のサブメニュー５１５ａを表示し得る。
　メニュー表示モードのノートビュー画面において、アイコン５１１～５１５のいずれかが左方向に指またはペン１００によってスワイプされた場合（あるいは選択されているアイコンが指またはペン１００によってさらにタップされた場合）、表示処理部５０は、図２５の右部に示すように、スワイプされたこのアイコン（ここではアイコン５１２）をノートビュー画面の中央に表示すると共に、他の各アイコンをグレーアウトする。そして、表示処理部５０は、ノートビュー画面上に、メニュー５２０ａの代わりに、別のメニュー５２０ｃを表示する。メニュー５２０ｃ内の例えば「編集」アイコンが指またはペン１００によってタップされると、表示処理部５０は、描画の形態を設定するための詳細設定メニュー５３０をノートビュー画面上に表示する。ユーザは、詳細設定メニュー５３０を操作することによって、アイコン５１２（つまりアイコン５０２）に割り当てるべきペン先種別（毛筆、万年筆、鉛筆、ボールペン、マーカ）と、色と、太さと、濃さとを指定することができる。なお、
　図２６は範囲選択動作を示す。　
　ここでは、矩形の枠を用いて範囲選択する場合を想定する。範囲選択のためのアイコン５０４が指またはペン１００によってタップされると、表示処理部５０は、範囲選択モードに移行する。そして、表示処理部５０は、図２６の左部に示すように、ペン入力モードのノートビュー画面上の指又はペン１００の移動操作に基づいて矩形の枠５５０を、アイコン５０４に割り当てられた形態でノートビュー画面上に描画する。
　例えば、指またはペン１００がノートビュー画面上に接触した状態で右下に向けて移動（ドラッグ操作）された後にノートビュー画面から離されると、指またはペン１００のノートビュー画面上の最初の接触位置（ドラッグ開始位置）を左上頂点、離された位置を右下頂点とする矩形の枠５５０が描画される。表示処理部５０は、この矩形の枠５５０内に含まれる手書き文字のようなオブジェクトを選択する。選択箇所（矩形の枠５５０内の領域）は、図２６の右部に示すように、移動可能な状態（フローティング状態）となる。この場合、表示処理部５０は、選択箇所が移動可能であることをユーザに呈示するために、矩形の枠５５０に影線を付加してもよい。ユーザは、指またはペン１００によって選択箇所を移動または回転することができる。また、ユーザは、選択箇所上でピンチイン操作またはピンチアウト操作を行うことにより、選択箇所を縮小または拡大することもできる。
　さらに、表示処理部５０は、ノートビュー画面の下部に、拡張／縮小アイコン、回転アイコン、ゴミ箱アイコン、検索アイコン等を含むサブメニュー５２０ｄを表示する。これらアイコンのいずれかが指またはペン１００よってタップされると、表示処理部５０は、タップされたアイコンに割り当てられた機能を選択箇所に対して実行する。例えば、表示処理部５０は、選択箇所の縮小／拡大、選択箇所の回転、選択箇所の削除、または検索画面の表示といった処理を実行する。図２７に示すように、例えばゴミ箱アイコン５３０がタップされた場合には、表示処理部５０は、矩形の枠５５０によって囲まれた選択箇所をゴミ箱アイコン５３０に向けて移動する。選択箇所の移動中に、表示処理部５０は、選択箇所のコンテクストをグレーアウトする。これによって選択箇所のコンテクストは、移動中にノートビュー画面上から消える。
　図２８は、ペン入力モードのノートビュー画面の例を示す。図２８に示すように、ペン入力モードのノートビュー画面上には、ページの全体が表示される。ここでは、手書きの数式、手書き文字、手書きグラフが既に書かれているページが表示された場合が想定されている。ユーザは、この手書きのページ上に新たな手書き文字を書いたり、既に書かれている手書き文字の削除等を行うことができる。
　いま、アイコン５０１が選択されている場合を想定する。この場合、表示処理部５０は、ノートビュー画面上のペン１００の動きに応じたデジタイザ１７Ｃからの入力に基づき、ストローク（ストロークの軌跡）をアイコン５０１に対応する形態（例えば、色、太さ、等）でページ上に描画する。ユーザによってアイコン５０２がタップされると、今度は、表示処理部５０は、ノートビュー画面上のペン１００の動きに応じたデジタイザ１７Ｃからの入力に基づき、ストローク（ストロークの軌跡）をアイコン５０２に対応する形態（例えば、色、太さ、等）でページ上に描画する。
　このページがユーザの指によってタップされると、表示処理部５０は、タッチパネル１７Ｂからノートビュー画面に対する接触（ここではタップ）による入力を受け取る。表示処理部５０は、この入力に応答して、ペン入力モードからメニュー表示モードに移行し、ノートビュー画面の内容を図２９に示すような内容に変更する。このように、本実施形態では、タッチパネル１７Ｂからのノートビュー画面に対する接触による入力に応答してペン入力モードからメニュー表示モードへの切り替えが行われる。ノートビュー画面への描画はデジタイザ１７Ｃからの入力に基づいて行われるので、指で画面がタップされても描画が行われることはない。したがって、ユーザは、指で画面をタップするという操作を行うだけで、容易にメニュー表示モードへ切り替えることができる。
　図２９に示されているように、表示処理部５０は、メニュー表示モードに遷移すると、上述のアイコン５０１～５０５に代えて、リアルなペンの画像をそれぞれ含む複数のアイコン５１１～５１５をノートビュー画面上に表示する。ペン入力モードのノートビュー画面においてアイコン５０１が選択されていたので、アイコン５０１に対応するアイコン５１１が、他のアイコン５１２～５１５とは異なる位置に表示される。さらに、表示処理部５０は、メニュー５２０ａをノートビュー画面上に表示する。メニュー５２０ａには、デスクトップノート画面（図１９）に戻るための「デスクトップ」アイコンの他、「アンドゥ－」、「リドゥ－」、「コピー」、「ペースト」、「シェア」、「検索」等の機能に対応するアイコンが表示される。
　もしユーザによってアイコン５１２がタップされたならば、表示処理部５０は、図３０に示すように、アイコン５１１を他のアイコンと同じ位置に整列させると共に、アイコン５１２の位置を変更する。もしこの状態でノートビュー画面が指によってタップされると、表示処理部５０は、描画の形態をアイコン５１２に割り当てられた形態に変更し、そしてペン入力モードのノートビュー画面を表示する。ペン入力モードのノートビュー画面では、アイコン５１１に対応するアイコン５０２が強調表示される。表示処理部５０は、ノートビュー画面上のペン１００の動きに応じたデジタイザ１７Ｃからの入力に基づき、ストローク（ストロークの軌跡）をアイコン５０２に割り当てられた形態（例えば、色、太さ、等）でページ上に描画する。
　図３１～図３５は、ペン入力モードのノートビュー画面からメニュー表示モードのノートビュー画面への遷移過程を示す。　
　表示処理部５０は、ペン入力モードからメニュー表示モードへの切り替えの際に、小さなアイコン５０１～５０５とリアルなペンのアイコン５１１～５１５との対応関係を表現可能なアニメーションを遷移画像として使用して、リアルなペンのアイコン５１１～５１５をノートビュー画面上に表示する。すなわち、図３１の画面が指によってタップされると、表示処理部５０は、図３２、図３３に示すように、アイコン５０１～５０５がノートビュー画面の右端部において縦に一列に並ぶようにアイコン５０１～５０５を徐々に連続して移動させる。アイコン５０１～５０５がノートビュー画面の右端部において縦に一列に並ぶと、表示処理部５０は、図３４に示すように、アイコン５０１～５０５の代わりに、リアルなペンのアイコン５１１～５１５をノートビュー画面に表示する。そして、表示処理部５０は、図３５に示すように、現在選択されている描画の形態に対応するアイコン（ここでは、アイコン５１２）の位置を変更すると共に、ノートビュー画面の下端部にメニュー５２０ａを表示する。
　なお、このアニメーションとしては、小さなアイコン５０１～５０５とリアルなペンのアイコン５１１～５１５との対応関係をユーザに呈示可能な他の任意のアニメーションを使用し得る。例えば、アイコン５０１～５０５の移動の途中でアイコン５０１～５０５をアイコン５１１～５１５に変更してもよい。
　図３６のフローチャートは、表示処理部５０によって実行される処理手順を示す。　　上述したように、表示処理部５０は、デスクトップノート画面からペン入力モード（ノートビュー画面）に遷移することができ、またページ一覧画面からペン入力モード（ノートビュー画面）に遷移することができ、さらに、簡易ページ一覧画面からペン入力モード（ノートビュー画面）に遷移することができる。
　デスクトップノート画面からペン入力モードに遷移する場合においては、表示処理部５０は、図１９で説明したように、まず、複数のノートから選択される第１ノートを、第１ノート内の複数のページそれぞれの少なくとも一部分が視認可能で且つこれら複数のページが重なった形態でデスクトップノート画面上に表示する。そして、表示処理部５０は、ユーザによって行われる操作に応じてページ送り動作等を実行する。そしてユーザによって行われるページ選択操作またはペンアイコンのタップ操作に応じて、表示処理部５０は、ペン入力モードに遷移して、複数のページ内の現在の先頭ページと、描画の複数の形態に対応する複数の第１アイコン５０１～５０５（ミニマムなペン）を、ノートビュー画面（ペン入力モード画面）に表示する（ステップＳ１０１）。
　一方、ページ一覧画面からペン入力モードに遷移する場合においては、表示処理部５０は、図１９で説明したように、まず、複数のノートから選択される第１ノートを、第１ノート内の複数のページそれぞれの少なくとも一部分が視認可能で且つこれら複数のページが重なった形態でデスクトップノート画面上に表示する。そして、表示処理部５０は、ユーザによって行われるグリッド表示のための操作に応じて、図２０で説明したように、複数のページに対応する複数のサムネイルをページ一覧画面上に表示する。サムネイルとは、対応するページに対応する画面イメージを縮小したものである。ページ一覧画面上の複数のサムネイル内のあるサムネイル（第１のサムネイル）が選択された場合、表示処理部５０は、ペン入力モードに遷移して、第１のサムネイルに対応するページと、描画の複数の形態に対応する複数の第１アイコン５０１～５０５（ミニマムなペン）とを、ノートビュー画面（ペン入力モード画面）に表示する（ステップＳ１０１）。
　ユーザは小さい複数のアイコン５０１～５０５のいずれかをペン１００または指でタッチ（タップ）することにより、描画の形態を指定することができる。ユーザはペン１００を使用してノートビュー画面上で手書き入力操作を行うことができる。この場合、表示処理部５０は、手書き入力操作に対応する座標系列をデジタイザ１７Ｃから受け取る。このデジタイザ１７Ｃからの入力に基づき、表示処理部５０は、選択されるアイコンに対応する形態で、ペン１００の動きに対応する軌跡をノートビュー画面上に描画する（ステップＳ１０２）。例えば、アイコン５０１が選択されているならば、表示処理部５０は、デジタイザ１７Ｃからの入力に基づき、アイコン５０１に対応する描画の形態、つまり手書きストロークを描画するための第１の形態（色＝黒、太さ（線幅）＝ｎポイント、ペン先＝鉛筆）でストロークをノートビュー画面上に描画（表示）する。もしアイコン５０２がタップされたならば、表示処理部５０は、使用すべき描画の形態を、アイコン５０２に対応する形態（色＝赤、太さ（線幅）＝ｍポイント、ペン先＝ポールペン）に切り替える。そして、表示処理部５０は、デジタイザ１７Ｃからの入力に基づき、切り替えられた形態でストロークをノートビュー画面上に描画（表示）する。
　ノートビュー画面上が指でタップ操作（接触操作）されると、表示処理部５０は、そのタップ操作を示すイベントをタッチパネル１７Ｂから受信することができる。表示処理部５０は、表示モードを上述のペン入力モードと上述のメニュー表示モードとの間で切り替えるモード切り替え部を備えており、ノートビュー画面が指でタップされたか否かを判定する（ステップＳ１０３）。表示処理部５０は、上述のイベントの受信に応答して、つまり、タッチパネル１７Ｂからのノートビュー画面に対する接触による入力に応答して、ノートビュー画面が指でタップされたと判定する。
　ペン入力モードにおいてノートビュー画面が指でタップされたならば（ステップＳ１０３のＹＥＳ）、表示処理部５０は、表示モードをペン入力モードからメニューモードに切り替える。そして、表示処理部５０は、上述の複数の第１アイコン５０１～５０５（ミニマムなペン）に代えて、複数の第２アイコン５１１～５１５（リアルなペン）をノートビュー画面に新たなユーザインタフェースとして表示する（ステップＳ１０４）。ステップＳ１０４では、表示処理部５０は、メニュー５２０ａもノートビュー画面上に上述の新たなユーザインタフェースの一部として表示する。
　メニュー表示モードにおいてノートビュー画面が指でタップされたならば（ステップＳ１０５のＹＥＳ）、表示処理部５０は、表示モードをペン入力モードに戻す。そして、表示処理部５０は、メニュー５２０ａを非表示にすると共に、複数の第２アイコン５１１～５１５（リアルなペン）に代えて、複数の第１アイコン５０１～５０５（ミニマムなペン）ノートビュー画面に表示する（ステップＳ１０６）。
　以上説明したように、本実施形態においては、手書き入力可能なペン入力モードにおいては、デジタイザ１７Ｃからの入力に基づいて行われる描画の複数の形態に対応する複数のアイコン５０１～５０５を含み、第１サイズを有するユーザインタフェースがノートビュー画面上に表示される。そして、複数のアイコン５０１～５０５の１つが選択される場合、デジタイザ１７Ｃからの入力に基づいて、選択されるアイコンに対応する形態で画面上への描画が行われる。したがって、ユーザは、アイコン５０１、５０２、５０３のいずれかをペン１００または指でタップするというシングルアクションを行うだけで、容易に描画の形態（ペン種など）を切り替えることができる。
　また、複数の形態を設定するためのメニューを少なくとも表示可能なメニュー表示モードにおいては、複数の形態に対応する複数のアイコン５１１～５１５を含み、第１サイズよりも大きい第２サイズを有する別のユーザインタフェースがノートビュー画面上に表示される。よって、ユーザは、必要に応じてメニュー表示モードを使用することにより、アイコン５０１～５０５に対応する描画の形態を確認したり、任意の描画形態の設定／変更あるいは他の各種操作を行うことができる。
　このように、ペン入力モードとメニュー表示モードとの２つのモードを使用し、且つペン入力モードとメニュー表示モードとの間でユーザインタフェースを変更することにより、ペン入力モードにおける手書き可能領域を大きく取ることができる。よって、多くの手書き文字や手書き図表等を含む手書きデータを容易に閲覧又は作成することが可能となり、手書きデータを容易に扱うことができる。
　なお、本実施形態の手書き文書に対する各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (13)

  1. 　第１モードにおいて、第１センサからの入力に基づいて行われる描画の複数の形態に対応する複数の第１アイコンを含み、第１サイズを有する第１ユーザインタフェースを画面上に表示し、前記複数の形態を設定するためのメニューを少なくとも表示可能な第２モードにおいて、前記複数の形態に対応する複数の第２アイコンを含み、前記第１サイズよりも大きい第２サイズを有する第２ユーザインタフェースを前記画面上に表示する表示処理手段と、
    　前記表示処理手段のモードを前記第１モードと前記第２モードとの間で切り替える切り替え手段とを具備し、
    　前記表示処理手段は、前記第１モードにおいて前記複数の第１アイコンの１つが選択される場合、前記第１センサからの入力に基づいて、前記複数の第１アイコンの前記１つに対応する第１の形態で前記画面上への描画を行う、電子機器。
  2. 　前記切り替え手段は、前記第１モードにおいて、前記第１センサとは異なる第２センサからの前記画面に対する接触による入力に応答して、前記第１モードから前記第２モードに切り替える請求項１記載の電子機器。
  3. 　前記複数の第１アイコンは、手書きストロークの描画の第１の形態に対応する第１のアイコンと、手書きストロークの描画の、前記第１の形態とは異なる第２の形態に対応する第２のアイコンとを少なくとも含む請求項１記載の電子機器。
  4. 　前記複数の第１アイコンは、前記画面上の手書きストロークを消去可能な描画の形態に対応する第３のアイコンをさらに含む請求項３記載の電子機器。
  5. 　前記複数の第１アイコンは、前記画面上の範囲を選択するための描画の形態に対応する第４のアイコンをさらに含む請求項３記載の電子機器。
  6. 　前記複数の第１アイコンは前記画面上において横に一列に並べられ、前記複数の第２アイコンは、細長形状を有し且つ前記複数の第２アイコンの長手方向が前記画面の横方向に延在するように前記画面上に縦に一列に並べられる請求項１記載の電子機器。
  7. 　前記表示処理手段は、前記複数の第２アイコンの内の１つが選択される場合、選択される前記複数の第２アイコンの１つが表示される前記画面上の位置を変更する請求項１記載の電子機器。
  8. 　前記表示処理手段は、前記第１モードから前記第２モードへの切り替えの際に、前記複数の第１アイコンと前記複数の第２アイコンとの対応関係を表現可能なアニメーションを使用して前記第２のユーザインタフェースを表示する請求項１記載の電子機器。
  9. 　前記複数の第２アイコンは、複数のペンの側面図を表す複数の画像である請求項１記載の電子機器。
  10. 　前記表示処理手段は、さらに、複数のノートから選択される第１ノートを、前記第１ノート内の複数のページそれぞれの少なくとも一部分が視認可能で且つ前記複数のページが重なった形態でデスクトップ画面上に表示し、ユーザによって行われる操作に応じてページ送り動作を実行し、ユーザによって行われる操作に応じて前記第１モードに遷移して前記複数のページ内の現在の先頭ページと前記第１ユーザインタフェースとを画面上に表示する請求項１記載の電子機器。
  11. 　前記表示処理手段は、さらに、複数のノートから選択される第１ノートを、前記第１ノート内の複数のページそれぞれの少なくとも一部分が視認可能で且つ前記複数のページが重なった形態でデスクトップ画面上に表示し、ユーザによって行われる操作に応じて前記複数のページに対応する複数のサムネイルを表示し、前記複数のサムネイル内の第１のサムネイルが選択される場合、前記第１モードに遷移して前記第１のサムネイルに対応する前記複数のページ内の第１ページと前記第１ユーザインタフェースとを画面上に表示する請求項１記載の電子機器。
  12. 　手書き入力のための入力方法であって、
    　第１モードにおいて、第１センサからの入力に基づいて行われる描画の複数の形態に対応する複数の第１アイコンを含み、第１サイズを有する第１ユーザインタフェースを画面上に表示し、
    　前記第１モードにおいて前記複数の第１アイコンの１つが選択される場合、前記第１センサからの入力に基づいて、前記複数の第１アイコンの前記１つに対応する第１の形態で前記画面上への描画を行い、
    　表示モードを前記前記第１モードから、前記複数の形態を設定するためのメニューを少なくとも表示可能な第２モードに切り替え、
    　前記第２モードにおいて、前記複数の形態に対応する複数の第２アイコンを含み、前記第１サイズよりも大きい第２サイズを有する第２ユーザインタフェースを前記画面上に表示する、入力方法。
  13. 　コンピュータによって実行されるプログラムであって、
    　第１モードにおいて、第１センサからの入力に基づいて行われる描画の複数の形態に対応する複数の第１アイコンを含み、第１サイズを有する第１ユーザインタフェースを画面上に表示する手順と、
    　前記第１モードにおいて前記複数の第１アイコンの１つが選択される場合、前記第１センサからの入力に基づいて、前記複数の第１アイコンの前記１つに対応する第１の形態で前記画面上への描画を行う手順と、
    　表示モードを前記前記第１モードから、前記複数の形態を設定するためのメニューを少なくとも表示可能な第２モードに切り替える手順と、
    　前記第２モードにおいて、前記複数の形態に対応する複数の第２アイコンを含み、前記第１サイズよりも大きい第２サイズを有する第２ユーザインタフェースを前記画面上に表示する手順とを前記コンピュータに実行させるためのプログラム。
PCT/JP2013/058132 2012-12-27 2013-03-21 電子機器および入力方法 WO2014103357A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13741961.0A EP2940562A1 (en) 2012-12-27 2013-03-21 Electronic apparatus and input method
CN201380000730.5A CN104854545A (zh) 2012-12-27 2013-03-21 电子设备以及输入方法
US13/965,442 US20140189593A1 (en) 2012-12-27 2013-08-13 Electronic device and input method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-285662 2012-12-27
JP2012285662A JP2014127159A (ja) 2012-12-27 2012-12-27 電子機器および入力方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/965,442 Continuation US20140189593A1 (en) 2012-12-27 2013-08-13 Electronic device and input method

Publications (1)

Publication Number Publication Date
WO2014103357A1 true WO2014103357A1 (ja) 2014-07-03

Family

ID=51020467

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/058132 WO2014103357A1 (ja) 2012-12-27 2013-03-21 電子機器および入力方法

Country Status (4)

Country Link
EP (1) EP2940562A1 (ja)
JP (1) JP2014127159A (ja)
CN (1) CN104854545A (ja)
WO (1) WO2014103357A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255386B (zh) * 2018-02-12 2019-07-05 掌阅科技股份有限公司 电子书手写笔记的显示方法、计算设备及计算机存储介质
JP6678791B2 (ja) * 2019-02-28 2020-04-08 シャープ株式会社 描画像消去方法及び表示装置
CN109977873B (zh) * 2019-03-27 2022-07-08 掌阅科技股份有限公司 基于手写笔迹的笔记生成方法、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202857A (ja) 1995-01-30 1996-08-09 Canon Inc 描画装置
JP2012221262A (ja) * 2011-04-08 2012-11-12 Sharp Corp 表示装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5149212B2 (ja) * 2009-01-28 2013-02-20 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR20110050201A (ko) * 2009-11-06 2011-05-13 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
US8482539B2 (en) * 2010-01-12 2013-07-09 Panasonic Corporation Electronic pen system
EP2527968B1 (en) * 2011-05-24 2017-07-05 LG Electronics Inc. Mobile terminal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202857A (ja) 1995-01-30 1996-08-09 Canon Inc 描画装置
JP2012221262A (ja) * 2011-04-08 2012-11-12 Sharp Corp 表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TETSURO SHIMIZU ET AL.: "Hyokeisan Nyumon Koza Excel Hikeshitai Saishukai Excel o Motto Tsukaiyasuku!", PCFAN, vol. 10, no. 10, 15 April 2003 (2003-04-15), pages 126 - 129, XP008172350 *

Also Published As

Publication number Publication date
JP2014127159A (ja) 2014-07-07
EP2940562A1 (en) 2015-11-04
CN104854545A (zh) 2015-08-19

Similar Documents

Publication Publication Date Title
US20140189593A1 (en) Electronic device and input method
JP5666239B2 (ja) 情報処理装置、情報処理装置の制御方法、プログラム、および記録媒体
US10558341B2 (en) Unified system for bimanual interactions on flexible representations of content
US9310998B2 (en) Electronic device, display method, and display program
US9626096B2 (en) Electronic device and display method
JP2009025920A (ja) 情報処理装置及びその制御方法、コンピュータプログラム
JP6092418B2 (ja) 電子機器、方法及びプログラム
JP5942762B2 (ja) 情報処理装置及びプログラム
JP2012088804A (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、および記録媒体
JP6271125B2 (ja) 電子機器、表示方法、およびプログラム
WO2014192125A1 (ja) 電子機器および処理方法
US20130127745A1 (en) Method for Multiple Touch Control Virtual Objects and System thereof
JP6100013B2 (ja) 電子機器および手書き文書処理方法
JP2016085512A (ja) 電子機器、方法及びプログラム
JP2012088805A (ja) 情報処理装置および情報処理装置の制御方法
WO2014103357A1 (ja) 電子機器および入力方法
JP5749245B2 (ja) 電子機器、表示方法、及び表示プログラム
KR101601691B1 (ko) 전자문서 상에서 레이어를 이용하는 방법 및 그 장치
KR102551568B1 (ko) 전자 장치 및 그 제어 방법
JP6057006B2 (ja) 情報処理装置及びプログラム
JP2015109116A (ja) 電子機器、表示方法、及び表示プログラム
KR20100041150A (ko) 멀티터치를 이용한 사용자 인터페이스 제어방법
JP6329013B2 (ja) 情報処理装置、情報処理プログラムおよび情報処理方法
JP6251408B2 (ja) 電子機器、方法及びプログラム

Legal Events

Date Code Title Description
REEP Request for entry into the european phase

Ref document number: 2013741961

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013741961

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13741961

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE