WO2021049602A1 - デジタルインク処理システム、方法及びプログラム - Google Patents

デジタルインク処理システム、方法及びプログラム Download PDF

Info

Publication number
WO2021049602A1
WO2021049602A1 PCT/JP2020/034425 JP2020034425W WO2021049602A1 WO 2021049602 A1 WO2021049602 A1 WO 2021049602A1 JP 2020034425 W JP2020034425 W JP 2020034425W WO 2021049602 A1 WO2021049602 A1 WO 2021049602A1
Authority
WO
WIPO (PCT)
Prior art keywords
digital ink
stroke
electronic pen
content
server
Prior art date
Application number
PCT/JP2020/034425
Other languages
English (en)
French (fr)
Inventor
司 能美
秀樹 藤巻
正剛 西山
Original Assignee
株式会社ワコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ワコム filed Critical 株式会社ワコム
Priority to EP20862062.5A priority Critical patent/EP4002204A4/en
Priority to JP2021545609A priority patent/JPWO2021049602A1/ja
Priority to CN202080053646.XA priority patent/CN114174965A/zh
Publication of WO2021049602A1 publication Critical patent/WO2021049602A1/ja
Priority to US17/674,501 priority patent/US11907524B2/en
Priority to US18/411,811 priority patent/US20240143163A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/04—Billing or invoicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction

Definitions

  • the present invention relates to a digital ink processing system, method and program for processing digital ink.
  • Patent Document 1 discloses a technique of performing a search in which at least a part of information displayed on the screen of an information processing device including a personal computer is set as a search key and displaying the search result in a pop-up on the screen. ..
  • An object of the present invention is to provide a digital ink processing system, method and program capable of presenting meaningful and highly relevant information to a user when searching using digital ink.
  • the first digital ink processing system of the present invention includes an electronic pen and a tablet that generates digital ink that describes a stroke in response to input by the electronic pen via a display, and the tablet has a processor. Then, the processor enables the instruction operation of the electronic pen with respect to the stroke, and after enabling the instruction operation of the electronic pen, searches for the content related to the semantic attribute of the instructed stroke, or performs the search. A request is made to an external server, and the content obtained by the search is controlled to be displayed on the display together with the stroke.
  • the processor may be controlled so that the stroke on which the instruction operation is activated is emphasized and displayed on the display as compared with that before the activation.
  • the processor may enable the instruction operation of the electronic pen for the stroke to which the semantic attribute is given.
  • the system further includes a digital ink server that imparts the semantic attribute to the stroke by analyzing the digital ink transmitted from the tablet, and the processor has the meaning from the digital ink server.
  • the instruction operation of the electronic pen may be enabled for the stroke for which the semantic data indicating the attribute is acquired.
  • the processor may enable the instruction operation of the electronic pen for the stroke performed by the user who adds the mark or annotation.
  • system further includes a content server that stores the content in association with the usage ID, and the processor transmits data including the usage ID and the semantic attribute to the content server to request a search.
  • Content related to the semantic attribute and permitted to be used may be acquired from the content server.
  • the processor may acquire different contents depending on the degree of appearance of the semantic attribute in the same usage ID.
  • the usage ID may be a pen ID for identifying the electronic pen.
  • the processor Prohibits or restricts editing of the digital ink, while accepting the instruction operation.
  • the content server may perform billing processing for the content user and the provider according to the content usage status.
  • a processor that generates digital ink that describes a stroke in response to an input by the electronic pen via a display enables an instruction operation of the electronic pen with respect to the stroke. After enabling the instruction operation of the electronic pen, the step of searching for the content related to the semantic attribute of the instructed stroke or requesting the search from an external server, and the content obtained by the search are described. A step of controlling the display to be displayed together with the stroke is executed.
  • the third digital ink processing program is a step of enabling a processor that generates digital ink for describing a stroke in response to an input by the electronic pen via a display to perform an instruction operation of the electronic pen with respect to the stroke.
  • the step of searching for the content related to the semantic attribute of the instructed stroke or requesting the search from an external server, and the content obtained by the search are described.
  • a step of controlling the display to be displayed together with the stroke is executed.
  • the present invention when searching using digital ink, it is possible to present to the user information in which the search result is meaningful and highly relevant.
  • FIG. 1 is an overall configuration diagram of a digital ink processing system 10 according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of the digital ink server 20, the content server 30, and the user terminal 40 shown in FIG.
  • the digital ink processing system 10 is configured to be able to provide a "learning support service" for a user such as a student to efficiently learn using an electronic notebook.
  • the digital ink processing system 10 includes a digital ink server 20, a content server 30, one or more user terminals 40, and one or more electronic pens 50. Will be done.
  • WILL Wacom Ink Layer Language
  • InkML Ink Markup Language
  • ISF Ink Serialized Format
  • the digital ink server 20 is a computer that comprehensively controls the processing of the digital ink Ink, and may be either a cloud type or an on-premises type.
  • the digital ink server 20 is illustrated as a single computer, but instead of this, the digital ink server 20 may be a group of computers for constructing a distributed system.
  • the digital ink server 20 includes a communication unit 21, a control unit 22, and a storage unit 23.
  • the communication unit 21 is an interface for transmitting and receiving electric signals to and from an external device.
  • the control unit 22 is composed of a processing arithmetic unit including a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the control unit 22 functions as a "processing engine" of the digital ink Ink by reading and executing the program stored in the storage unit 23.
  • the storage unit 23 is composed of a non-transient and computer-readable storage medium, for example, a hard disk drive (HDD: Hard Disk Drive) or a solid state drive (SSD: Solid State Drive). As a result, the storage unit 23 stores various data handled by the digital ink server 20.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • the content server 30 is a computer that comprehensively controls the provision of educational content including textbooks and dictionaries, and may be either a cloud type or an on-premises type.
  • the content server 30 is illustrated as a single computer, but instead of this, the content server 30 may be a group of computers for constructing a distributed system.
  • the content server 30 includes a communication unit 31, a control unit 32, and a storage unit 33.
  • the communication unit 31 is an interface for transmitting and receiving electric signals to and from an external device.
  • the control unit 32 is composed of a processing arithmetic unit including a CPU and a GPU.
  • the control unit 32 is configured to be able to search and provide content suitable for the user by reading and executing the program stored in the storage unit 33.
  • the user terminal 40 is a terminal that functions as an electronic notebook, and is composed of, for example, a tablet, a smartphone, and a personal computer. Specifically, the user terminal 40 includes a touch panel display 41, a touch IC (Integrated Circuit) 44, a display drive IC 45, a host processor 46, a memory 47, and a communication module 48.
  • a touch panel display 41 a touch panel display 41, a touch IC (Integrated Circuit) 44, a display drive IC 45, a host processor 46, a memory 47, and a communication module 48.
  • a touch IC Integrated Circuit
  • the touch panel display 41 includes a display panel 42 capable of visually outputting contents and a sensor electrode 43 arranged so as to be superimposed on the display screen of the display panel 42.
  • the display panel 42 can display a monochrome image or a color image, and may be, for example, a liquid crystal panel or an organic EL (Electro-Luminescence) panel.
  • the sensor electrode 43 has a plurality of X-line electrodes for detecting the position of the X-axis in the XY sensor coordinate system and a plurality of Y-line electrodes for detecting the position of the Y-axis arranged in a plane shape. It becomes.
  • the touch IC 44 is an integrated circuit that controls the drive of the sensor electrode 43.
  • the touch IC 44 drives the sensor electrode 43 based on the control signal supplied from the host processor 46.
  • the touch IC 44 executes a "pen detection function” for detecting the state of the electronic pen 50 and a "touch detection function” for detecting a touch by a user's finger or the like.
  • the display drive IC 45 is an integrated circuit that controls the drive of the display panel 42.
  • the display drive IC 45 drives the display panel 42 based on a frame-based image signal supplied from the host processor 46. As a result, the image is displayed in the display area of the display panel 42.
  • the image may include an application window, an icon, and a cursor, in addition to the writing lines drawn by the user using the electronic pen 50.
  • the host processor 46 is composed of a processing arithmetic unit including an MPU (Micro-Processing Unit) and a CPU.
  • the host processor 46 reads and executes a program stored in the memory 47 to generate digital ink Ink using data from the touch IC 44, and ink for displaying drawing contents indicated by the digital ink Ink. Performs playback processing, etc.
  • the memory 47 is composed of a non-transient and computer-readable storage medium.
  • the computer-readable storage medium is a portable medium such as a magneto-optical disk, ROM, CD-ROM, or flash memory, or a storage device such as an HDD or SSD built in a computer system.
  • the communication module 48 is configured to be able to send and receive electric signals to and from an external device using wired communication or wireless communication.
  • the user terminal 40 can send and receive digital ink Ink to and from the digital ink server 20 via the network NW, and can receive related contents C1 and C2 from the content server 30.
  • the electronic pen 50 is a pen-type pointing device, and is configured to be able to communicate in one direction or in both directions via an electrostatic coupling formed with the user terminal 40.
  • the user can write a picture or a character on the user terminal 40 by grasping the electronic pen 50 and moving the pen tip while pressing the pen tip against the touch surface of the touch panel display 41.
  • the electronic pen 50 is, for example, an active electrostatic coupling method (AES) or an electromagnetic induction method (EMR) stylus.
  • the digital ink processing system 10 in this embodiment is configured as described above. Subsequently, the first and second operations of the digital ink processing system 10 will be described mainly with reference to the sequence diagrams of FIGS. 3 and 8.
  • This "first operation” means an operation related to "semantic interpretation” that interprets a group of strokes and automatically assigns a semantic attribute (or semantics attribute).
  • the “second action” means an action related to "content citation” in which the content related to the semantic attribute is quoted and displayed in a timely manner.
  • step S01 of FIG. 3 the user terminal 40 authenticates using the identification information (hereinafter, referred to as pen ID) of the electronic pen 50.
  • pen ID the identification information
  • the user terminal 40 permits the digital ink Ink to be edited by the electronic pen 50.
  • the user terminal 40 does not allow the electronic pen 50 to edit the digital ink Ink.
  • step S02 the user terminal 40 accepts input using the electronic pen 50 whose editing is permitted in step S01, that is, various writing operations by the user.
  • This writing operation includes, for example, adding / deleting / changing strokes, selecting an icon, adding marks / annotations, and the like.
  • step S03 the user terminal 40 updates the digital ink Ink periodically or irregularly in order to reflect the writing operation received in step S02.
  • the former there is a case where a predetermined time has passed since the latest update time.
  • An example of the latter is the case where the user accepts an update instruction operation.
  • step S04 the user terminal 40 uses the data obtained through the writing operation in step S02 to generate, for example, a WILL (Ver.3.0) format digital ink Ink.
  • FIG. 4A is a schematic diagram that visualizes the aggregate G0 of strokes.
  • the aggregate G0 shows a handwritten shopping list, and is composed of items of "milk”, “bread”, “eggs”, and “apples” in order from the top.
  • FIG. 4B is a diagram showing an example of the data structure of the digital ink Ink.
  • Digital ink Ink includes [1] document metadata, [2] semantic data (ink semantics), [3] device data (devices), [4] stroke data (strokes), and [5] classification data (5) classification data ( Groups) and [6] have a data structure in which contextual data (contexts) are sequentially arranged.
  • digital ink Ink document metadata, device data, stroke data, and context data have already been determined, but semantic data and classification data have not yet been determined. That is, this digital ink Ink is not subjected to (1) stroke classification and (2) semantic attribute assignment, which will be described later.
  • the digital ink Ink in which the classification data and the semantic data are blank may be referred to as “pre-applied ink”.
  • step S05 the user terminal 40 transmits the pre-applied ink generated in step S04 to the digital ink server 20 in a state of being linked to the pen ID.
  • step S06 the digital ink server 20 acquires the pre-applied ink and the pen ID, respectively, by receiving the data transmitted from the user terminal 40 in step S05.
  • the digital ink server 20 analyzes the stroke data included in the pre-applied ink acquired in step S06 and classifies the strokes. Specifically, the digital ink server 20 groups one or a plurality of stroke aggregates G0 (in relation to the order, position, and shape of the strokes specified by the stroke data, the writing pressure of the electronic pen 50, and the like). For example, it is classified into 5 groups (G1 to G5). By this classification, classification data that describes the inclusion relationship between the group and the stroke element or the inclusion relationship between the groups is obtained.
  • step S08 the digital ink server 20 performs a process of assigning a semantic attribute to the stroke groups G1 to G5 classified in step S07. Specifically, the digital ink server 20 estimates and assigns the semantic attributes of the groups G1 to G5 by using a machine-learned classifier (for example, a hierarchical neural network). By this processing, classification data describing a semantic attribute consisting of a type and a value pair is obtained for each classified group.
  • a machine-learned classifier for example, a hierarchical neural network
  • the above-mentioned classifier is configured to input stroke features (for example, coordinates of start point, waypoint, end point, curvature, etc.) and output a label of a semantic attribute.
  • types include texts (including language types), figures (including graphic types), mathematical formulas, chemical formulas, lists, and tables.
  • values include handwritten characters or strings (eg, "milk"), names of handwritten objects (eg, "pencil” for pencil illustrations), and the like.
  • FIG. 5A is a diagram showing a stroke classification result.
  • the aggregate G0 includes the group G1, and the group G1 is composed of four groups G2 to G5.
  • FIG. 5B is a diagram showing the results of assigning semantic attributes to the groups classified in FIG. 5A.
  • the type of group G1 is "LIST” and the value is "Null”.
  • the type of group G2 is “LIST_ITEM” and the value is "milk”.
  • the type of group G3 is “LIST_ITEM” and the value is "bread”.
  • the type of group G4 is “LIST_ITEM” and the value is “eggs”.
  • the type of group G5 is “LIST_ITEM” and the value is “apples”.
  • step S09 of FIG. 3 the digital ink server 20 updates the pre-applied ink so as to add the classification data obtained in step S07 and the semantic data obtained in step S08.
  • the digital ink Ink to which the classification data and the semantic data are added may be referred to as “post-applied ink”.
  • step S10 the digital ink server 20 transmits the applied ink updated in step S09 to the user terminal 40.
  • step S11 the user terminal 40 receives the data transmitted from the digital ink server 20 in step S10 to acquire the post-grant ink including the classification data and the semantic data.
  • step S12 the user terminal 40 stores the applied ink acquired in step S11 in the memory 47.
  • step S13 the user terminal 40 confirms that the determination condition regarding the stroke classification is satisfied, and enables the instruction operation for at least one group.
  • This "determination condition" is, for example, that the semantic data is acquired from the digital ink server 20.
  • the groups G2 to G5 for which the value of the semantic attribute is valid (other than NULL) are selected as the activation target.
  • the validation of the instruction operation is suspended for group G1 whose meaning attribute value is invalid (Null) and whose meaning is not specified, or for one or more strokes that do not make sense because they are in the middle of writing. Please note that.
  • step S14 the user terminal 40 highlights the stroke groups G2 to G5 activated in step S13 as compared with those before activation.
  • This "highlighting” means displaying in a manner that is easy for the user to see, and examples thereof include changing the display color, expanding the stroke width, and adding an instruction mark.
  • FIG. 6A and 6B are transition diagrams showing the first state change in the display of the user terminal 40. More specifically, FIG. 6A shows the display state before activation, and FIG. 6B shows the display state after activation.
  • FIG. 6B shows the display state after activation.
  • underlines are added to each of the four stroke aggregates G0 corresponding to the groups G2 to G5. As a result, the user can grasp at a glance that the instruction operation for the four words "milk”, “bread”, “eggs” and “apples” has been activated.
  • the digital ink processing system 10 can start the second operation with the end of the first operation as a trigger.
  • the instruction operation is enabled when the user terminal 40 acquires the semantic data from the digital ink server 20, but the determination condition is not limited to this example.
  • the determination condition may be that the user terminal 40 itself has acquired the classification data or the semantic data by analyzing the digital ink Ink, or that the timing for automatically or manually saving the digital ink Ink has arrived. ..
  • the determination condition may be that the user terminal 40 accepts an operation of adding a mark or annotation to at least a part of the stroke aggregate G0.
  • FIG. 7A and 7B are transition diagrams showing a second state change in the display of the user terminal 40.
  • the user uses the electronic pen 50 to surround the “eggs” with a throwing ring (so-called Lasso). Perform the operation. Then, a new window 60 for confirming the necessity of enabling "eggs" is displayed together with the stroke aggregate G0.
  • the display state of the user terminal 40 changes from FIG. 7A to FIG. 7B.
  • a fluorescent marker is added to one word (eggs) corresponding to the group G4 in the stroke aggregate G0.
  • eggs the word corresponding to the group G4 in the stroke aggregate G0.
  • step S21 of FIG. 8 the user terminal 40 uses the electronic pen 50 to instruct one of the activated groups G2 to G5 among the aggregate G0 of strokes displayed on the touch panel display 41. Accepts the operation to be performed (that is, the instruction operation).
  • This instruction operation may be, for example, an operation of long-pressing the portion of "eggs" (group G4) in FIG. 6B or FIG. 7B.
  • step S22 the user terminal 40 reads out the applied ink stored in the memory 47 and acquires the semantic attribute of the group G4 instructed in step S21. Specifically, the user terminal 40 identifies the group ID corresponding to the indicated position of the electronic pen 50 by analyzing the classification data of the ink after application. Then, the user terminal 40 identifies the semantic attribute corresponding to the group ID by analyzing the semantic data of the ink after application.
  • step S23 the user terminal 40 acquires the pen ID of the electronic pen 50 by receiving the data signal transmitted from the electronic pen 50 by the sensor electrode 43.
  • step S24 the user terminal 40 transmits the semantic data acquired in step S22 to the content server 30 in a state of being linked to the pen ID acquired in step S23. That is, the user terminal 40 requests the content server 30 to search for the content.
  • step S25 the content server 30 acquires the pen ID and the semantic attribute, respectively, by receiving the data transmitted from the user terminal 40 in step S24.
  • the content server 30 searches for the content using the semantic attribute and the pen ID acquired in step S25. Specifically, the content server 30 sequentially performs [1] a search for the content using the pen ID and [2] a search within the content using the semantic attribute.
  • the pen ID functions as identification information (hereinafter, usage ID) for determining whether or not to use the content.
  • the usage ID may be the identification information of the user terminal 40 (hereinafter, terminal ID), the user identification information (hereinafter, user ID), or a combination thereof.
  • FIG. 9A is a diagram showing an example of the data structure of the electronic pen information 62.
  • the electronic pen information 62 shows a correspondence relationship between the “pen ID” which is the identification information of the electronic pen 50, the “school” to which the user belongs, and the “grade / class” corresponding to the user.
  • This pen ID corresponds to a usage ID for managing the usage status of the content. Examples of “schools” include elementary schools, junior high schools, high schools, universities, and preparatory schools. As for "grade / class", various grades or classes may be selected depending on the type of school.
  • FIG. 9B is a diagram showing an example of the data structure of the content management information 64.
  • the content management information 64 shows the correspondence between the "school” to which the user belongs, the "grade / class” corresponding to the user, and the "content type” that can be used. “School” and “grade / class” are basically defined in the same manner as the electronic pen information 62, respectively.
  • “School” and “grade / class” are basically defined in the same manner as the electronic pen information 62, respectively.
  • the content server 30 reads out the electronic pen information 62 and the content management information 64 and collates them with "school” and “grade / class” as search keys to acquire at least one type of content corresponding to the pen ID. Then, the content server 30 uses various search methods to match or approximate the "semantic attribute (value)" as the search key from the contents to be searched (hereinafter referred to as "related content C1"). ) To get.
  • step S27 of FIG. 8 the content server 30 transmits the related content C1 as the search result of step 26 to the user terminal 40 in a state of being linked to the pen ID.
  • step S28 the user terminal 40 acquires the related content C1 and the pen ID, respectively, by receiving the data transmitted from the content server 30 in step S27.
  • step S29 the user terminal 40 temporarily stores the related content C1 acquired in step S28 in the memory 47.
  • step S30 the user terminal 40 simultaneously displays the related content C1 obtained by the search together with the stroke aggregate G0 on the touch panel display 41.
  • FIG. 10A and 10B are transition diagrams showing a third state change in the display of the user terminal 40. More specifically, FIG. 10A shows a display state before the appearance of the related content C1, and FIG. 10B shows a display state after the appearance of the related content C1. As can be understood from both figures, by performing the instruction operation for the portion of "eggs", the related content C1 is also displayed around the "eggs" (here, the lower right). This related content C1 is composed of "eggs” written in English and “meaning: egg” written in Japanese.
  • the user can easily confirm that the Japanese translation of the English word “eggs” instructed using the electronic pen 50 is "egg (plural)". In this way, the learning efficiency is further enhanced through the learning support service provided by the digital ink processing system 10.
  • the administrator of the electronic notebook may lend the electronic notebook to the user in the school, while prohibiting the electronic notebook from being taken out of the school. Therefore, by associating the content usage ID with the pen ID, the user can receive the above-mentioned learning support service even in the house.
  • FIG. 11A shows a case where the user terminal 40B is different from the user terminal 40A in which handwriting input is performed using the electronic pen 50.
  • the user can edit the digital ink Ink using the same electronic pen 50 brought back from school.
  • the digital ink processing system 10 refers to the terminal ID included in the "device data" of the digital ink Ink, and restricts or prohibits the editing of the digital ink Ink using the user terminal 40B whose values do not match. It may be configured.
  • the user terminal 40B may display the related content C1 on the touch panel display 41 as in the case of the user terminal 40A. it can. As a result, even in a situation where it is difficult to move the user terminal 40A freely, the user can receive the learning support service at various places by carrying his / her own electronic pen 50.
  • the user terminal 40 may be configured to display different related contents C1 and C2 according to the proficiency level of the user. For example, in the sequence diagram of FIG. 8, an additional step S31 may be provided between steps S23 and S24.
  • step S31 of FIG. 8 the user terminal 40 searches in the semantic data using the "value" (for example, eggs) of the semantic attribute acquired in step S22 as a keyword.
  • the target of this search is not limited to the digital ink Ink being edited, but may include the digital ink Ink stored in its own memory 47 or the digital ink server 20.
  • the user terminal 40 counts the number of "values" that match or approximate the keyword, and calculates the number of times as the "appearance degree". After that, in steps S24 and S25, data including the degree of appearance is transmitted and received between the user terminal 40 and the content server 30.
  • step S26 the content server 30 searches for content using the pen ID, the semantic attribute, and the degree of appearance acquired in step S25. Specifically, the content server 30 performs [1] a search for content using a pen ID, [2] selection of content using the degree of appearance, and [3] a search within content using semantic attributes. Perform sequentially.
  • FIG. 12A is a diagram showing an example of the data structure of the determination table 66.
  • the determination table 66 shows the correspondence between the "number of appearances" indicating the degree of appearance and the "proficiency level" of a typical user.
  • the determination table 66 has a low proficiency level when [1] the number of appearances is less than 9, and [2] proficiency when the number of appearances is 10 or more and less than 20. Describe the criterion that the proficiency level is high when the degree is medium and [3] the number of appearances is 20 times or more.
  • the number of appearances is given as an example of the degree of appearance, but the frequency of appearance may be used together with or separately from this.
  • the content server 30 identifies the user's proficiency level from the appearance degree using the determination table 66, and then selects the content according to the proficiency level from the plurality of types of contents corresponding to the pen ID. For example, in the case of a user with a higher proficiency level, it is assumed that the related content C2 different from the related content C1 shown in FIG. 10B is acquired. After that, steps S27 to S29 are executed in the same manner as described above.
  • step S30 the user terminal 40 displays the related content C2 obtained by the search on the touch panel display 41 together with the aggregate G0 of strokes.
  • the related content C2 is also displayed at a position around the "eggs" where the instruction operation is performed.
  • This related content C2 is composed of a character string of an example sentence "Birds ray eggs.” Using the English word "eggs”.
  • the user terminal 40 may be configured so that the editing authority can be changed according to the pen IDs of the electronic pens 50A and 50B.
  • the user terminal 40 displays a message 70 on the touch panel display 41 to the effect that editing of the digital ink Ink is restricted.
  • the user terminal 40 prohibits or restricts editing of the digital ink Ink using the electronic pen 50B while the message 70 is displayed.
  • prohibited means an operation that does not accept operations related to editing.
  • “restriction” means an operation that prevents some editing-related functions from being executed.
  • the user terminal 40 displays the related content C1 on the touch panel display 41 as in the case of the electronic pen 50A.
  • the user terminal 40 displays the related content C1 on the touch panel display 41 as in the case of the electronic pen 50A.
  • the business operator side server 80 is a server managed by a content provider (for example, a publisher).
  • a content provider for example, a publisher
  • the user terminal 40 is involved in the billing flow, but a school server (not shown) that manages each user terminal 40 is involved in this billing flow together with or separately from the user terminal 40. You may.
  • FIG. 14 is a schematic diagram showing a first example of a billing flow generated during the learning support service.
  • the user terminal 40 accesses the digital ink server 20 every time the meaning interpretation service is used.
  • the digital ink server 20 aggregates the usage status of the meaning interpretation service for each closing date / user of the usage fee, and performs a billing process for charging the usage fee of the service according to a predetermined billing rule.
  • the digital ink server 20 notifies each user terminal 40 that the usage fee determined by the billing process will be charged. When the user who receives this notification makes a payment within the payment period, the payment of the usage fee by the user is completed.
  • the user terminal 40 accesses the content server 30 every time the content quoting service is used.
  • the content server 30 aggregates the usage status of the content associated with the content quoting service for each closing date / user of the usage fee.
  • the content server 30 notifies the business server 80 of the usage status of the content for each user.
  • the business operator side server 80 performs a billing process for charging the content usage fee according to a predetermined billing rule based on the aggregation result of the usage status.
  • the operator-side server 80 notifies each user terminal 40 that the usage fee determined by the billing process will be charged.
  • the operator side server 80 notifies the content server 30 that the service platform provision fee will be paid in accordance with a predetermined contract rule (for example, a pay-as-you-go system proportional to the content usage fee).
  • FIG. 15 is a schematic diagram showing a second example of the billing flow generated during the learning support service.
  • the user terminal 40 accesses the digital ink server 20 every time the meaning interpretation service is used.
  • the digital ink server 20 aggregates the usage status of the meaning interpretation service for each closing date / user of the usage fee, and performs a billing process for charging the service usage fee according to a predetermined billing rule.
  • the digital ink server 20 notifies each user terminal 40 that the usage fee determined by the billing process will be charged. When the user who receives this notification makes a payment within the payment period, the payment of the usage fee by the user is completed.
  • the user terminal 40 accesses the content server 30 every time the content quoting service is used.
  • the content server 30 aggregates the usage status of the content associated with the content quoting service for each closing date / user of the usage fee, and performs a billing process for charging the usage fee for the content according to a predetermined billing rule.
  • the content server 30 notifies each user terminal 40 that the usage fee determined by the billing process will be charged. When the user who receives this notification makes a payment within the payment period, the payment of the usage fee by the user is completed.
  • the content server 30 notifies the business server 80 that it will pay the amount obtained by subtracting the service platform provision fee from the content usage fee.
  • the digital ink processing system 10 is configured to provide a learning support service that supports education for students, but the type of service or the target user is not limited to the above example.
  • the digital ink server 20 classifies strokes and assigns semantic attributes
  • the user terminal 40 can execute classification or both classification and assignment instead of the digital ink server 20. It may be configured.
  • the user terminal 40 may acquire the semantic attribute by analyzing the digital ink Ink by itself, or may acquire the semantic attribute by a manual input operation by the user.
  • the digital ink Ink in which the semantic data is defined has been described as an example, but the digital ink Ink in which the semantic data is not defined may be used.
  • the same operation as that of the above-described embodiment can be realized by managing the digital ink Ink and the semantic data in association with each other.
  • the digital ink processing system 10 is configured to be capable of receiving a writing operation by the electronic pen 50 via the electronic pen 50 and the touch panel display 41 and generating a digital ink Ink that describes an aggregate G0 of strokes. It is configured to include the user terminal 40.
  • the user terminal 40 enables the instruction operation of the electronic pen 50 for the stroke groups G2 to G5 that satisfy the determination condition regarding the stroke classification from the aggregate G0 displayed on the touch panel display 41, while the determination condition.
  • the activation of the instruction operation for the group G1 of the stroke that does not satisfy the above is suspended and the activated instruction operation is accepted, the content related to the semantic attribute of the specified groups G2 to G5 is searched or the search is externally performed.
  • the related contents C1 and C2 obtained by the search are displayed on the touch panel display 41 together with the aggregate G0.
  • the user terminal 40 selects stroke groups G2 to G5 that satisfy the determination condition regarding the stroke classification from the stroke aggregate G0 displayed on the touch panel display 41.
  • the step (S13) of suspending the activation of the instruction operation for the group G1 of the stroke that does not satisfy the determination condition, and the activated instruction operation are accepted (S21).
  • Search for the content related to the semantic attribute given to the groups G2 to G5 or request the search to the outside (S24), and the related contents C1 and C2 obtained by the search are combined with the aggregate G0 on the touch panel display 41.
  • the step (S30) displayed above and the step (S30) are executed.
  • the user terminal 40 may display the groups G2 to G5 in which the instruction operation is enabled with emphasis as compared with those before the activation. This makes it easier for the user to visually recognize that the instruction operation has been activated and its position.
  • the determination condition may be that a semantic attribute is given to the stroke groups G2 to G5.
  • the given semantic attribute can be searched as a search key, and more meaningful search results can be obtained for the user.
  • the digital ink server 20 assigns a semantic attribute to the groups G2 to G5 by analyzing the digital ink Ink transmitted from the user terminal 40, and the determination condition indicates the semantic attribute from the digital ink server 20. It may be that the semantic data has been acquired. By adding the semantic attribute to the digital ink server 20 instead of the user terminal 40, the load of analysis by the user terminal 40 is reduced.
  • the determination condition may be that the operation of the user who gives a mark or annotation to the groups G2 to G5 is accepted. As a result, it becomes possible to specify a group of strokes that have found meaning for the user who performed the operation through the mark or annotation, and it becomes easier to obtain a more accurate meaning attribute.
  • the content server 30 stores the content in association with the usage ID, and the user terminal 40 transmits data including the usage ID and the semantic attribute to the content server 30 to request a search, thereby relating to the semantic attribute.
  • the related contents C1 and C2 that are permitted to be used may be acquired from the content server 30.
  • the user terminal 40 may acquire different related contents C1 and C2 depending on the degree of appearance of the semantic attribute in the same usage ID. By considering the appearance degree that has a high correlation with the user's proficiency level or interest level, it is possible to select and present information suitable for users having different proficiency levels or interest levels.
  • the usage ID may be a pen ID for identifying the electronic pen 50. This makes it possible to associate the available content with the electronic pen 50, and by using the same electronic pen 50, the same related contents C1 and C2 are presented without depending on the user terminals 40A and 40B.
  • the user terminal 40 Editing of the digital ink Ink is prohibited or restricted, while the instruction operation by the electronic pen 50B may be accepted.
  • the digital ink Ink generated by the user is prevented from being edited without permission, and the same related contents C1 and C2 as in the case of the user are presented to a person other than the user.
  • the content server 30 may perform billing processing for the content user and the provider according to the content usage status. As a result, content management and usage fee management can be centrally performed by one device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Physics (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

デジタルインクを用いた検索の際に、検索結果が有意義であって関連性の高い情報をユーザに提示可能なデジタルインク処理システム、方法及びプログラムを提供する。タブレット（４０）が有するプロセッサ（４６）は、ストロークに対する電子ペン（５０）の指示操作を有効化し、電子ペン（５０）の指示操作を有効化した後に、指示されるストロークが有する意味属性に関連する関連コンテンツ（Ｃ１，Ｃ２）を検索し又は該検索を外部のサーバに要求し、検索により得られた関連コンテンツ（Ｃ１，Ｃ２）をストロークと併せてディスプレイ（４２）に表示するように制御する。

Description

デジタルインク処理システム、方法及びプログラム
　本発明は、デジタルインクを処理するデジタルインク処理システム、方法及びプログラムに関する。
　特許文献１では、パーソナルコンピュータを含む情報処理装置の画面上に表示された情報の少なくとも一部を検索キーに設定した検索を行い、その検索結果を画面上にポップアップ表示させる技術が開示されている。
特開２０１５－１１４９５５号公報
　ストロークの集合体を記述するデジタルインクにおいて、一群のストロークによって初めて意味が生じる場合が多い。しかしながら、デジタルインクの編集中に、検索キーに相当する箇所を指示して検索を試みると、意味をなさない検索キー又は意味が誤った検索キーが設定される場合があり、適切な検索結果が得られないという問題がある。
　本発明の目的は、デジタルインクを用いた検索の際に、検索結果が有意義であって関連性の高い情報をユーザに提示可能なデジタルインク処理システム、方法及びプログラムを提供することである。
　第１の本発明におけるデジタルインク処理システムは、電子ペンと、ディスプレイを介した前記電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するタブレットと、を備え、前記タブレットはプロセッサを有し、前記プロセッサは、前記ストロークに対する前記電子ペンの指示操作を有効化し、前記電子ペンの指示操作を有効化した後に、指示されたストロークが有する意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求し、検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御する。
　また、前記プロセッサは、前記指示操作が有効化された前記ストロークを、有効化される前と比べて強調して前記ディスプレイに表示するように制御してもよい。
　また、前記プロセッサは、前記意味属性が付与されたストロークに対して前記電子ペンの指示操作を有効化してもよい。
　また、当該システムは、前記タブレットから送信された前記デジタルインクを解析することで、前記ストロークに対して前記意味属性を付与するデジタルインクサーバをさらに備え、前記プロセッサは、前記デジタルインクサーバから前記意味属性を示す意味データを取得したストロークに対して前記電子ペンの指示操作を有効化してもよい。
　また、前記プロセッサは、マーク又はアノテーションを付与するユーザの操作がなされたストロークに対して前記電子ペンの指示操作を有効化してもよい。
　また、当該システムは、コンテンツを利用ＩＤと対応付けて記憶するコンテンツサーバをさらに備え、前記プロセッサは、前記利用ＩＤ及び前記意味属性を含むデータを前記コンテンツサーバに送信して検索を要求することで、前記意味属性に関連しかつ利用が許可されたコンテンツを前記コンテンツサーバから取得してもよい。
　また、前記プロセッサは、同一の利用ＩＤにおける前記意味属性の出現度合いに応じて異なるコンテンツを取得してもよい。
　また、前記利用ＩＤは、前記電子ペンを識別するためのペンＩＤであってもよい。
　また、第１ペンＩＤが付与された第１電子ペンを用いてデジタルインクが生成され、かつ前記第１ペンＩＤとは異なる第２ペンＩＤが付与された第２電子ペンを用いる場合、前記プロセッサは、前記デジタルインクの編集を禁止又は制限する一方、前記指示操作は受け付けてもよい。
　また、前記コンテンツサーバは、コンテンツのユーザ及び提供事業者に対して、コンテンツの利用状況に応じた課金処理を行ってもよい。
　第２の本発明におけるデジタルインク処理方法は、ディスプレイを介した電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するプロセッサが、前記ストロークに対する前記電子ペンの指示操作を有効化するステップと、前記電子ペンの指示操作を有効化した後に、指示されたストロークが有する意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求するステップと、検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御するステップと、を実行する。
　第３の本発明におけるデジタルインク処理プログラムは、ディスプレイを介した電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するプロセッサに、前記ストロークに対する前記電子ペンの指示操作を有効化するステップと、前記電子ペンの指示操作を有効化した後に、指示されたストロークが有する意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求するステップと、検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御するステップと、を実行させる。
　本発明によれば、デジタルインクを用いた検索の際に、検索結果が有意義であって関連性の高い情報をユーザに提示することができる。
本発明の一実施形態におけるデジタルインク処理システムの全体構成図である。 図１に示すデジタルインクサーバ、コンテンツサーバ、及びユーザ端末のブロック図である。 デジタルインク処理システムの意味解釈動作に関するシーケンス図である。 ストロークの集合体を可視化した模式図である。 デジタルインクのデータ構造の一例を示す図である。 ストロークの分類結果を示す図である。 図５Ａで分類されたグループに対する意味属性の付与結果を示す図である。 ユーザ端末の表示における第１の状態変化を示す遷移図である。 ユーザ端末の表示における第１の状態変化を示す遷移図である。 ユーザ端末の表示における第２の状態変化を示す遷移図である。 ユーザ端末の表示における第２の状態変化を示す遷移図である。 デジタルインク処理システムのコンテンツ引用動作に関するシーケンス図である。 電子ペン情報が有するデータ構造の一例を示す図である。 コンテンツ管理情報が有するデータ構造の一例を示す図である。 ユーザ端末の表示における第３の状態変化を示す遷移図である。 ユーザ端末の表示における第３の状態変化を示す遷移図である。 手書き入力を行ったユーザ端末とは異なるユーザ端末の動作の一例を示す図である。 手書き入力を行ったユーザ端末とは異なるユーザ端末の動作の一例を示す図である。 デジタルインク処理システムの動作の第１改良例を示す図である。 デジタルインク処理システムの動作の第１改良例を示す図である。 デジタルインク処理システムの動作の第２改良例を示す図である。 デジタルインク処理システムの動作の第２改良例を示す図である。 学習支援サービス時に発生する課金フローの第１例を示す模式図である。 学習支援サービス時に発生する課金フローの第２例を示す模式図である。
［デジタルインク処理システム１０の構成］
　図１は、本発明の一実施形態におけるデジタルインク処理システム１０の全体構成図である。図２は、図１に示すデジタルインクサーバ２０、コンテンツサーバ３０、及びユーザ端末４０のブロック図である。デジタルインク処理システム１０は、学生などのユーザが電子ノートを用いて効率的に学習するための「学習支援サービス」を提供可能に構成される。このデジタルインク処理システム１０は、具体的には、デジタルインクサーバ２０と、コンテンツサーバ３０と、１台又は複数台のユーザ端末４０と、１本又は複数本の電子ペン５０と、を含んで構成される。
　デジタルインク（あるいはインクデータ）のデータ形式、いわゆる「インク記述言語」として、例えば、ＷＩＬＬ（Wacom Ink Layer Language）、ＩｎｋＭＬ（Ink Markup Language）、ＩＳＦ（Ink Serialized Format）が挙げられる。このデジタルインクをＪＳＯＮ（JavaScript（登録商標）Object Notation）のデータ構造形式を用いて記述することで、様々なソフトウェアやプログラミング言語間でのデータのやり取りが容易になる。
　デジタルインクサーバ２０は、デジタルインクＩｎｋの処理に関する統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、デジタルインクサーバ２０を単体のコンピュータとして図示しているが、これに代わって、デジタルインクサーバ２０は、分散システムを構築するコンピュータ群であってもよい。
　デジタルインクサーバ２０は、具体的には、通信部２１と、制御部２２と、記憶部２３と、を含んで構成される。通信部２１は、外部装置に対して電気信号を送受信するインターフェースである。制御部２２は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）を含む処理演算装置によって構成される。制御部２２は、記憶部２３に格納されたプログラムを読み出して実行することで、デジタルインクＩｎｋの「処理エンジン」として機能する。記憶部２３は、非一過性であり、かつコンピュータ読み取り可能な記憶媒体、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）又はソリッドステートドライブ（ＳＳＤ：Solid State Drive）から構成される。これにより、記憶部２３は、デジタルインクサーバ２０が取り扱う様々なデータを記憶する。
　コンテンツサーバ３０は、教科書や辞書を含む教育用コンテンツの提供に関する統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、コンテンツサーバ３０を単体のコンピュータとして図示しているが、これに代わって、コンテンツサーバ３０は、分散システムを構築するコンピュータ群であってもよい。
　コンテンツサーバ３０は、具体的には、通信部３１と、制御部３２と、記憶部３３と、を含んで構成される。通信部３１は、外部装置に対して電気信号を送受信するインターフェースである。制御部３２は、ＣＰＵやＧＰＵを含む処理演算装置によって構成される。制御部３２は、記憶部３３に格納されたプログラムを読み出して実行することで、ユーザに適したコンテンツを検索及び提供可能に構成される。
　ユーザ端末４０は、電子ノートとして機能する端末であって、例えば、タブレット、スマートフォン、パーソナルコンピュータで構成される。ユーザ端末４０は、具体的には、タッチパネルディスプレイ４１と、タッチＩＣ（Integrated Circuit）４４と、表示駆動ＩＣ４５と、ホストプロセッサ４６と、メモリ４７と、通信モジュール４８と、を含んで構成される。
　タッチパネルディスプレイ４１は、コンテンツを可視的に出力可能な表示パネル４２と、表示パネル４２の表示画面に重ねて配置されるセンサ電極４３と、を含んで構成される。表示パネル４２は、モノクロ画像又はカラー画像を表示可能であり、例えば、液晶パネル、有機ＥＬ（Electro-Luminescence）パネルであってもよい。センサ電極４３は、Ｘ－Ｙセンサ座標系におけるＸ軸の位置を検出するための複数のＸライン電極と、Ｙ軸の位置を検出するための複数のＹライン電極と、を面状に配置してなる。
　タッチＩＣ４４は、センサ電極４３の駆動制御を行う集積回路である。タッチＩＣ４４は、ホストプロセッサ４６から供給された制御信号に基づいてセンサ電極４３を駆動させる。これにより、タッチＩＣ４４は、電子ペン５０の状態を検出する「ペン検出機能」や、ユーザの指などによるタッチを検出する「タッチ検出機能」を実行する。
　表示駆動ＩＣ４５は、表示パネル４２の駆動制御を行う集積回路である。表示駆動ＩＣ４５は、ホストプロセッサ４６から供給されたフレーム単位の画像信号に基づいて表示パネル４２を駆動させる。これにより、表示パネル４２の表示領域内に画像が表示される。この画像には、ユーザが電子ペン５０を用いて書き込んだ筆記線の他にも、アプリケーションウィンドウ、アイコン、カーソルが含まれ得る。
　ホストプロセッサ４６は、ＭＰＵ（Micro-Processing Unit）やＣＰＵを含む処理演算装置によって構成される。ホストプロセッサ４６は、メモリ４７に格納されたプログラムを読み出して実行することで、タッチＩＣ４４からのデータを用いてデジタルインクＩｎｋを生成する処理、当該デジタルインクＩｎｋが示す描画内容を表示させるためのインク再生処理などを行う。
　メモリ４７は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。ここで、コンピュータ読み取り可能な記憶媒体は、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、フラッシュメモリ等の可搬媒体、コンピュータシステムに内蔵されるＨＤＤ、ＳＳＤなどの記憶装置である。
　通信モジュール４８は、有線通信又は無線通信を用いて、外部装置に対して電気信号を送受信可能に構成される。これにより、例えば、ユーザ端末４０は、ネットワークＮＷを経由して、デジタルインクサーバ２０に向けてデジタルインクＩｎｋを送受信し、コンテンツサーバ３０から関連コンテンツＣ１，Ｃ２を受信することができる。
　電子ペン５０は、ペン型のポインティングデバイスであり、ユーザ端末４０との間で形成される静電結合を介して一方向又は双方向に通信可能に構成されている。ユーザは、電子ペン５０を把持し、タッチパネルディスプレイ４１のタッチ面にペン先を押し当てながら移動させることで、ユーザ端末４０に絵や文字を書き込むことができる。この電子ペン５０は、例えば、アクティブ静電結合方式（ＡＥＳ）又は電磁誘導方式（ＥＭＲ）のスタイラスである。
［デジタルインク処理システム１０の動作］
　この実施形態におけるデジタルインク処理システム１０は、以上のように構成される。続いて、このデジタルインク処理システム１０の第１，第２動作について、主に図３，図８のシーケンス図を参照しながら説明する。この「第１動作」は、ストロークの纏まりを解釈して意味属性（あるいは、セマンティクス属性）を自動的に付与する「意味解釈」に関わる動作を意味する。また、「第２動作」は、意味属性に関連するコンテンツを適時に引用して表示する「コンテンツ引用」に関わる動作を意味する。
＜第１動作：意味解釈動作＞
　まず、デジタルインク処理システム１０の第１動作、すなわち意味解釈動作について説明する。この第１動作は、ユーザ端末４０（より詳しくは、ホストプロセッサ４６）及びデジタルインクサーバ２０（より詳しくは、制御部２２）の協働により実行される。
　図３のステップＳ０１において、ユーザ端末４０は、電子ペン５０の識別情報（以下、ペンＩＤという）を用いた認証を行う。電子ペン５０から受信して得られたペンＩＤが既に登録されている場合、ユーザ端末４０は、当該電子ペン５０によるデジタルインクＩｎｋの編集を許可する。一方、ペンＩＤが登録されていない場合、ユーザ端末４０は、当該電子ペン５０によるデジタルインクＩｎｋの編集を許可しない。
　ステップＳ０２において、ユーザ端末４０は、ステップＳ０１で編集が許可されている電子ペン５０を用いた入力、つまりユーザによる様々な筆記操作を受け付ける。この筆記操作には、例えば、ストロークの追加・削除・変更、アイコンの選択、マーク・アノテーションの付与などが含まれる。
　ステップＳ０３において、ユーザ端末４０は、ステップＳ０２で受け付けた筆記操作を反映させるため、定期的又は不定期にデジタルインクＩｎｋを更新する。前者の例として、直近の更新時点から所定の時間が経過した場合が挙げられる。後者の例として、ユーザによる更新の指示操作を受け付けた場合が挙げられる。
　ステップＳ０４において、ユーザ端末４０は、ステップＳ０２での筆記操作を通じて得られたデータを用いて、例えば、ＷＩＬＬ（Ｖｅｒ．３．０）形式のデジタルインクＩｎｋを生成する。
　図４Ａは、ストロークの集合体Ｇ０を可視化した模式図である。ここで、集合体Ｇ０は、手書きによる買い物リストを示しており、上から順に、「ｍｉｌｋ」、「ｂｒｅａｄ」、「ｅｇｇｓ」及び「ａｐｐｌｅｓ」の品目から構成される。図４Ｂは、デジタルインクＩｎｋのデータ構造の一例を示す図である。デジタルインクＩｎｋは、[１]文書メタデータ（document metadata）、［２］意味データ（ink semantics）、［３］装置データ（devices）、［４］ストロークデータ（strokes）、［５］分類データ（groups）、及び［６］文脈データ（contexts）を順次配列してなるデータ構造を有する。
　デジタルインクＩｎｋの生成時には、文書メタデータ、装置データ、ストロークデータ、及び文脈データが既に決定されているが、意味データ及び分類データがまだ決定されていない。つまり、このデジタルインクＩｎｋは、後述する（１）ストロークの分類、及び（２）意味属性の付与、が行われていない。以下、分類データ及び意味データが空白状態であるデジタルインクＩｎｋを「付与前インク」と称する場合がある。
　ステップＳ０５において、ユーザ端末４０は、ステップＳ０４で生成された付与前インクをペンＩＤに紐付けた状態で、デジタルインクサーバ２０に向けて送信する。
　ステップＳ０６において、デジタルインクサーバ２０は、ステップＳ０５でユーザ端末４０から送信されたデータを受信することで、付与前インク及びペンＩＤをそれぞれ取得する。
　ステップＳ０７において、デジタルインクサーバ２０は、ステップＳ０６で取得された付与前インクに含まれるストロークデータを解析し、ストロークの分類を行う。具体的には、デジタルインクサーバ２０は、ストロークデータにより特定されるストロークの順番・位置・形状、又は電子ペン５０の筆圧などの関係から、ストロークの集合体Ｇ０を１つ又は複数のグループ（例えば、Ｇ１～Ｇ５の５つのグループ）に分類する。この分類により、グループとストローク要素の間の包含関係、又は、グループ同士の間の包含関係を記述する分類データが得られる。
　ステップＳ０８において、デジタルインクサーバ２０は、ステップＳ０７で分類されたストロークのグループＧ１～Ｇ５に対して意味属性を付与する処理を行う。具体的には、デジタルインクサーバ２０は、機械学習がなされた識別器（例えば、階層型ニューラルネットワーク）を用いて、グループＧ１～Ｇ５の意味属性をそれぞれ推定して付与する。この処理により、分類されたグループ毎に、種類及び値のペアからなる意味属性を記述する分類データが得られる。
　例えば、上記した識別器は、ストロークの特徴量（例えば、始点・経由点・終点の座標、曲率など）を入力し、意味属性のラベルを出力するように構成される。「種類」の一例として、テキスト（言語の種類も含む）、図（図形の種類も含む）、数式、化学式、リスト、表などが挙げられる。「値」の一例として、手書きされた文字又は文字列（例えば、「ｍｉｌｋ」）、手書きされた物体の名称（例えば、鉛筆のイラストに対する「鉛筆」）などが挙げられる。
　図５Ａは、ストロークの分類結果を示す図である。本図から理解されるように、集合体Ｇ０はグループＧ１を包含するとともに、グループＧ１は４つのグループＧ２～Ｇ５から構成される。図５Ｂは、図５Ａで分類されたグループに対する意味属性の付与結果を示す図である。グループＧ１の種類は「ＬＩＳＴ」であり、値は「ＮＵＬＬ」である。グループＧ２の種類は「ＬＩＳＴ＿ＩＴＥＭ」であり、値は「ｍｉｌｋ」である。グループＧ３の種類は「ＬＩＳＴ＿ＩＴＥＭ」であり、値は「ｂｒｅａｄ」である。グループＧ４の種類は「ＬＩＳＴ＿ＩＴＥＭ」であり、値は「ｅｇｇｓ」である。グループＧ５の種類は「ＬＩＳＴ＿ＩＴＥＭ」であり、値は「ａｐｐｌｅｓ」である。
　図３のステップＳ０９において、デジタルインクサーバ２０は、ステップＳ０７で得られた分類データ及びステップＳ０８で得られた意味データを追加するように、付与前インクを更新する。以下、分類データ及び意味データが追記されたデジタルインクＩｎｋを「付与後インク」と称する場合がある。
　ステップＳ１０において、デジタルインクサーバ２０は、ステップＳ０９で更新された付与後インクをユーザ端末４０に向けて送信する。
　ステップＳ１１において、ユーザ端末４０は、ステップＳ１０でデジタルインクサーバ２０から送信されたデータを受信することで、分類データ及び意味データを含む付与後インクを取得する。
　ステップＳ１２において、ユーザ端末４０は、ステップＳ１１で取得された付与後インクをメモリ４７に格納する。
　ステップＳ１３において、ユーザ端末４０は、ストロークの分類に関する判定条件を満たすことを確認し、少なくとも１つのグループに対する指示操作を有効化する。この「判定条件」は、例えば、デジタルインクサーバ２０から意味データを取得したことである。この場合、意味属性の値が有効（ＮＵＬＬ以外）であるグループＧ２～Ｇ５が有効化の対象として選択される。なお、意味属性の値が無効（ＮＵＬＬ）であり意味が特定されていないグループＧ１や、筆記の途中のため意味をなしていない１本又は複数本のストロークは、指示操作の有効化が保留される点に留意する。
　ステップＳ１４において、ユーザ端末４０は、ステップＳ１３で有効化されたストロークのグループＧ２～Ｇ５を、有効化される前と比べて強調して表示する。この「強調表示」とは、ユーザにより視認されやすい態様で表示することを意味し、例えば、表示色の変更、ストローク幅の拡大、指示マークの付加などが挙げられる。
　図６Ａ及び図６Ｂは、ユーザ端末４０の表示における第１の状態変化を示す遷移図である。より詳しくは、図６Ａは有効化される前の表示状態を示すとともに、図６Ｂは有効化された後の表示状態を示している。図６Ｂの例では、ストロークの集合体Ｇ０のうち、グループＧ２～Ｇ５に対応する４箇所にそれぞれアンダーラインが追加されている。これにより、ユーザは、「ｍｉｌｋ」、「ｂｒｅａｄ」、「ｅｇｇｓ」及び「ａｐｐｌｅｓ」の４つの単語に対する指示操作が有効化されたことを一目で把握することができる。
　以上のようにして、デジタルインク処理システム１０の第１動作が終了する。デジタルインク処理システム１０は、この第１動作の終了を契機として、第２動作を開始することができる。
　なお、上記した例では、ユーザ端末４０がデジタルインクサーバ２０から意味データを取得したことを契機として指示操作が有効化されるが、判定条件はこの例に限られない。例えば、判定条件は、ユーザ端末４０自身がデジタルインクＩｎｋを解析することで分類データ又は意味データを取得したことでもよいし、自動又は手動によりデジタルインクＩｎｋの保存を行うタイミングが到来したことでもよい。また、判定条件は、ユーザ端末４０がストロークの集合体Ｇ０の少なくとも一部に対してマーク又はアノテーションを付与する操作を受け付けたことでもよい。
　図７Ａ及び図７Ｂは、ユーザ端末４０の表示における第２の状態変化を示す遷移図である。図７Ａに示すように、ストロークの集合体Ｇ０のうちいずれの箇所も有効化されていない状態で、ユーザが、電子ペン５０を用いて「ｅｇｇｓ」の箇所を投げ輪（いわゆるラッソ）で囲む筆記操作を行う。そうすると、ストロークの集合体Ｇ０と併せて、「ｅｇｇｓ」の有効化の要否を確認するウィンドウ６０が新たに表示される。ここで、ウィンドウ６０内の［ＯＮ］ボタンをタッチすることで、ユーザ端末４０の表示状態が図７Ａから図７Ｂに遷移する。
　図７Ｂに示すように、ストロークの集合体Ｇ０のうち、グループＧ４に対応する１つの単語（ｅｇｇｓ）に蛍光マーカが追加されている。これにより、ユーザは、「ｅｇｇｓ」の単語に対する指示操作のみが有効化されたことを一目で把握することができる。
＜第２動作：コンテンツ引用動作＞
　続いて、デジタルインク処理システム１０の第２動作、すなわちコンテンツ引用動作について説明する。この第２動作は、ユーザ端末４０（より詳しくは、ホストプロセッサ４６）及びコンテンツサーバ３０（より詳しくは、制御部３２）の協働により実行される。
　図８のステップＳ２１において、ユーザ端末４０は、電子ペン５０を用いて、タッチパネルディスプレイ４１上に表示されているストロークの集合体Ｇ０のうち、有効化されているグループＧ２～Ｇ５のいずれかを指示する操作（つまり、指示操作）を受け付ける。この指示操作は、例えば、図６Ｂ又は図７Ｂにおいて、「ｅｇｇｓ」（グループＧ４）の箇所を長押しする操作であってもよい。
　ステップＳ２２において、ユーザ端末４０は、メモリ４７に記憶された付与後インクを読み出して、ステップＳ２１で指示されたグループＧ４の意味属性を取得する。具体的には、ユーザ端末４０は、付与後インクの分類データを解析することで、電子ペン５０の指示位置に対応するグループＩＤを特定する。そして、ユーザ端末４０は、付与後インクの意味データを解析することで、グループＩＤに対応する意味属性を特定する。
　ステップＳ２３において、ユーザ端末４０は、電子ペン５０から送信されたデータ信号をセンサ電極４３により受信することで、電子ペン５０のペンＩＤを取得する。
　ステップＳ２４において、ユーザ端末４０は、ステップＳ２２で取得された意味データを、ステップＳ２３で取得されたペンＩＤに紐付けた状態で、コンテンツサーバ３０に向けて送信する。つまり、ユーザ端末４０は、コンテンツサーバ３０に対してコンテンツの検索を要求する。
　ステップＳ２５において、コンテンツサーバ３０は、ステップＳ２４でユーザ端末４０から送信されたデータを受信することで、ペンＩＤ及び意味属性をそれぞれ取得する。
　ステップＳ２６において、コンテンツサーバ３０は、ステップＳ２５で取得された意味属性及びペンＩＤを用いてコンテンツの検索を行う。具体的には、コンテンツサーバ３０は、［１］ペンＩＤを用いたコンテンツの検索と、［２］意味属性を用いたコンテンツ内の検索、を順次行う。ここでは、ペンＩＤが、コンテンツの利用許否を判定するための識別情報（以下、利用ＩＤ）として機能する。この利用ＩＤは、ペンＩＤの他に、ユーザ端末４０の識別情報（以下、端末ＩＤ）、ユーザの識別情報（以下、ユーザＩＤ）、又はこれらの組み合わせであってもよい。
　図９Ａは、電子ペン情報６２が有するデータ構造の一例を示す図である。電子ペン情報６２は、電子ペン５０の識別情報である「ペンＩＤ」と、ユーザが所属する「学校」と、ユーザに該当する「学年／学級」との間の対応関係を示している。このペンＩＤは、コンテンツの利用状況を管理するための利用ＩＤに相当する。「学校」の例として、小学校、中学校、高校、大学、予備校などが挙げられる。「学年／学級」は、学校の種類に応じて、様々な学年又は学級が選択され得る。
　図９Ｂは、コンテンツ管理情報６４が有するデータ構造の一例を示す図である。コンテンツ管理情報６４は、ユーザが所属する「学校」と、ユーザに該当する「学年／学級」と、利用可能な「コンテンツ種類」の間の対応関係を示している。「学校」及び「学年／学級」はそれぞれ、基本的には電子ペン情報６２と同様に定義される。また、コンテンツの種類の一例として、教科書・参考書・問題集を含む書籍名、科目名、出版社名などが挙げられる。
　コンテンツサーバ３０は、電子ペン情報６２及びコンテンツ管理情報６４を読み出し、「学校」及び「学年／学級」を検索キーとして照合することで、ペンＩＤに対応する少なくとも１種類のコンテンツを取得する。そして、コンテンツサーバ３０は、様々な検索手法を用いて、検索対象のコンテンツの中から、検索キーとしての「意味属性（の値）」と一致又は近似する情報（以下、「関連コンテンツＣ１」という）を取得する。
　図８のステップＳ２７において、コンテンツサーバ３０は、ステップ２６の検索結果としての関連コンテンツＣ１をペンＩＤに紐付けた状態で、ユーザ端末４０に向けて送信する。
　ステップＳ２８において、ユーザ端末４０は、ステップＳ２７でコンテンツサーバ３０から送信されたデータを受信することで、関連コンテンツＣ１及びペンＩＤをそれぞれ取得する。
　ステップＳ２９において、ユーザ端末４０は、ステップＳ２８で取得された関連コンテンツＣ１をメモリ４７に一時的に格納する。
　ステップＳ３０において、ユーザ端末４０は、検索により得られた関連コンテンツＣ１をストロークの集合体Ｇ０と併せてタッチパネルディスプレイ４１上に同時に表示する。
　図１０Ａ及び図１０Ｂは、ユーザ端末４０の表示における第３の状態変化を示す遷移図である。より詳しくは、図１０Ａは関連コンテンツＣ１が出現する前の表示状態を示すとともに、図１０Ｂは関連コンテンツＣ１が出現した後の表示状態を示している。両方の図から理解されるように、「ｅｇｇｓ」の箇所に対する指示操作を行うことで、「ｅｇｇｓ」の周辺（ここでは、右下方）に関連コンテンツＣ１が併せて表示される。この関連コンテンツＣ１は、英語で表記された「ｅｇｇｓ」と、日本語で表記された「意味：卵」からなる。
　ユーザは、電子ペン５０を用いて指示した英単語「ｅｇｇｓ」の日本語訳が「卵（複数形）」であることを簡単に確認することができる。このように、デジタルインク処理システム１０が提供する学習支援サービスを通じて、学習の効率がより高められる。
　ところで、電子ノートの管理者は、学校内にいるユーザに電子ノートを貸し出す一方、電子ノートを学校外に持ち出すことを禁止する管理を行う場合がある。そこで、コンテンツの利用ＩＤをペンＩＤと対応付けておくことで、ユーザは、家の中であっても上記の学習支援サービスを受けることができる。
　図１１Ａは、ユーザ端末４０Ｂが、電子ペン５０を用いて手書き入力を行ったユーザ端末４０Ａと異なっている場合を示している。例えば、ユーザは、学校から持ち帰った同一の電子ペン５０を用いて、デジタルインクＩｎｋの編集を行うことができる。あるいは、デジタルインク処理システム１０は、デジタルインクＩｎｋの「装置データ」の中に含まれる端末ＩＤを参照し、値が一致しないユーザ端末４０Ｂを用いたデジタルインクＩｎｋの編集を制限又は禁止するように構成されてもよい。
　一方、図１１Ｂに示すように、ユーザが電子ペン５０を用いて該当領域を指示すると、ユーザ端末４０Ｂは、ユーザ端末４０Ａの場合と同様に、関連コンテンツＣ１をタッチパネルディスプレイ４１上に表示することができる。これにより、ユーザ端末４０Ａを自由に移動させることが難しい状況であっても、ユーザは、自身の電子ペン５０を携帯することで、様々な場所で学習支援サービスを受けることができる。
［動作の改良例］
　以下、デジタルインク処理システム１０の動作の改良例について、図１２Ａ～図１３Ｂを参照しながら説明する。
＜第１改良例＞
　ユーザの学習が進んで習熟度が増すにつれて、そのユーザが知りたい情報が次第に変わっていくことが想定される。そこで、ユーザ端末４０が、ユーザの習熟度に応じて異なる関連コンテンツＣ１，Ｃ２を表示するように構成されてもよい。例えば、図８のシーケンス図において、ステップＳ２３，Ｓ２４の間に、追加のステップＳ３１が設けられてもよい。
　図８のステップＳ３１において、ユーザ端末４０は、ステップＳ２２で取得された意味属性の「値」（例えば、ｅｇｇｓ）をキーワードとする意味データ内の検索を行う。この検索の対象は、編集中のデジタルインクＩｎｋに限られず、自身のメモリ４７又はデジタルインクサーバ２０に格納されているデジタルインクＩｎｋが含まれてもよい。例えば、ユーザ端末４０は、キーワードに一致又は近似する「値」の個数をカウントし、その回数を「出現度合い」として算出する。その後、ステップＳ２４，Ｓ２５において、ユーザ端末４０とコンテンツサーバ３０との間で、出現度合いを含むデータの送受信が行われる。
　ステップＳ２６において、コンテンツサーバ３０は、ステップＳ２５で取得されたペンＩＤ、意味属性、及び出現度合いを用いてコンテンツの検索を行う。具体的には、コンテンツサーバ３０は、［１］ペンＩＤを用いたコンテンツの検索と、［２］出現度合いを用いたコンテンツの選定と、［３］意味属性を用いたコンテンツ内の検索、を順次行う。
　図１２Ａは、判定テーブル６６が有するデータ構造の一例を示す図である。判定テーブル６６は、出現度合いを示す「出現回数」と、典型的なユーザの「習熟度」の間の対応関係を示している。本図の例では、この判定テーブル６６は、［１］出現回数が９回未満である場合に習熟度が低く、［２］出現回数が１０回以上であって２０回未満である場合に習熟度が中程度であり、［３］出現回数が２０回以上である場合に習熟度が高い、という判定基準を記述する。なお、本図では、出現度合いの一例として出現回数が挙げられているが、これと併せて又はこれとは別に、出現の頻度が用いられてもよい。
　コンテンツサーバ３０は、この判定テーブル６６を用いて出現度合いからユーザの習熟度を特定した後、ペンＩＤに対応する複数種類のコンテンツの中から、その習熟度に応じたコンテンツを選定する。例えば、習熟度がより高いユーザの場合、図１０Ｂに示す関連コンテンツＣ１とは異なる関連コンテンツＣ２が取得されたとする。その後、上記と同様にして、ステップＳ２７～Ｓ２９が実行される。
　ステップＳ３０において、ユーザ端末４０は、検索により得られた関連コンテンツＣ２を、ストロークの集合体Ｇ０と併せてタッチパネルディスプレイ４１上に表示する。図１２Ｂに示すように、指示操作が行われた「ｅｇｇｓ」の周辺の位置に、関連コンテンツＣ２が併せて表示される。この関連コンテンツＣ２は、英単語「ｅｇｇｓ」を用いた例文「Ｂｉｒｄｓ　ｌａｙ　ｅｇｇｓ．」の文字列からなる。
　このように、同一の利用ＩＤ（ここでは、ペンＩＤ）における意味属性の出現度合いに応じて異なる関連コンテンツＣ１，Ｃ２を表示させることで、習熟度が異なる個々のユーザに適した情報を提示することができる。なお、出現度合いとユーザの関心度との間にも高い相関性があるので、上記した習熟度の場合と同様の表示を行うことは有効である。
＜第２改良例＞
　電子ノートは個人で使用する物であるため、他人が自分の電子ノートを勝手に編集できる状況は好ましくない場合がある。そこで、ユーザ端末４０が、電子ペン５０Ａ，５０ＢのペンＩＤに応じて編集権限を変更可能に構成されてもよい。
　図１３Ａに示すように、ユーザ端末４０により認識された電子ペン５０ＢのペンＩＤ（例えば、ＩＤ＝００２）が、手書き入力に用いられた電子ペン５０ＡのペンＩＤ（例えば、ＩＤ＝００１）と異なっている。この場合、ユーザ端末４０は、デジタルインクＩｎｋの編集が制限される旨のメッセージ７０を、タッチパネルディスプレイ４１上に表示する。ユーザ端末４０は、メッセージ７０が表示された状態において、電子ペン５０Ｂを用いたデジタルインクＩｎｋの編集を禁止又は制限する。ここで、「禁止」とは、編集に関する操作を受け付けない動作を意味する。また、「制限」とは、編集に関する機能の一部を実行できないようにする動作を意味する。
　一方、図１３Ｂに示すように、ユーザが電子ペン５０Ｂを用いて該当領域を指示すると、ユーザ端末４０は、電子ペン５０Ａの場合と同様に、関連コンテンツＣ１をタッチパネルディスプレイ４１上に表示する。これにより、自分の電子ノートが勝手に編集されることが防止されるとともに、自分以外の者であってもコンテンツ引用サービスを受けることができる。
［学習支援サービスの課金フロー］
　ところで、上記した学習支援サービスの提供に伴って、［１］意味解釈サービスの利用料、［２］コンテンツ引用サービスの利用料のやり取りがそれぞれ発生する。以下、デジタルインクサーバ２０、コンテンツサーバ３０、ユーザ端末４０、及び事業者側サーバ８０の間で行われる課金フローについて説明する。
　ここで、事業者側サーバ８０は、コンテンツの提供事業者（例えば、出版社）が管理するサーバである。なお、説明の便宜上、ユーザ端末４０が課金フローに関与しているが、これと併せて又はこれとは別に、個々のユーザ端末４０を管理する学校側サーバ（不図示）がこの課金フローに関与してもよい。
＜第１例＞
　図１４は、学習支援サービス時に発生する課金フローの第１例を示す模式図である。
［Ｔ１１］ユーザ端末４０は、意味解釈サービスを利用する度に、デジタルインクサーバ２０にアクセスする。
［Ｔ１２］デジタルインクサーバ２０は、利用料の締め日毎／ユーザ毎に、意味解釈サービスの利用状況を集計し、所定の課金規則に従って当該サービスの利用料を課金する課金処理を行う。
［Ｔ１３］デジタルインクサーバ２０は、各々のユーザ端末４０に対して、課金処理により決定された利用料を請求する旨を通知する。この通知を受けたユーザが支払期間内に入金することで、ユーザによる利用料の支払いが完了する。
［Ｔ１４］一方、ユーザ端末４０は、コンテンツ引用サービスを利用する度に、コンテンツサーバ３０にアクセスする。
［Ｔ１５］コンテンツサーバ３０は、利用料の締め日毎／ユーザ毎に、コンテンツ引用サービスに伴うコンテンツの利用状況を集計する。
［Ｔ１６］コンテンツサーバ３０は、事業者側サーバ８０に対して、ユーザ毎のコンテンツの利用状況を通知する。
［Ｔ１７］事業者側サーバ８０は、利用状況の集計結果に基づき、所定の課金規則に従ってコンテンツの利用料を課金する課金処理を行う。
［Ｔ１８］事業者側サーバ８０は、各々のユーザ端末４０に対して、課金処理により決定された利用料を請求する旨を通知する。この通知を受けたユーザが支払期間内に入金することで、ユーザによる利用料の支払いが完了する。
［Ｔ１９］事業者側サーバ８０は、コンテンツサーバ３０に対して、所定の契約規則（例えば、コンテンツの利用料に比例する従量制）に従って、サービスプラットフォームの提供料金を支払う旨を通知する。
＜第２例＞
　図１５は、学習支援サービス時に発生する課金フローの第２例を示す模式図である。
［Ｔ２１］ユーザ端末４０は、意味解釈サービスを利用する度に、デジタルインクサーバ２０にアクセスする。
［Ｔ２２］デジタルインクサーバ２０は、利用料の締め日毎／ユーザ毎に、意味解釈サービスの利用状況を集計し、所定の課金規則に従ってサービスの利用料を課金する課金処理を行う。
［Ｔ２３］デジタルインクサーバ２０は、各々のユーザ端末４０に対して、課金処理により決定された利用料を請求する旨を通知する。この通知を受けたユーザが支払期間内に入金することで、ユーザによる利用料の支払いが完了する。
［Ｔ２４］一方、ユーザ端末４０は、コンテンツ引用サービスを利用する度に、コンテンツサーバ３０にアクセスする。
［Ｔ２５］コンテンツサーバ３０は、利用料の締め日毎／ユーザ毎に、コンテンツ引用サービスに伴うコンテンツの利用状況を集計し、所定の課金規則に従って当該コンテンツの利用料を課金する課金処理を行う。
［Ｔ２６］コンテンツサーバ３０は、各々のユーザ端末４０に対して、課金処理により決定された利用料を請求する旨を通知する。この通知を受けたユーザが支払期間内に入金することで、ユーザによる利用料の支払いが完了する。
［Ｔ２７］コンテンツサーバ３０は、事業者側サーバ８０に対して、コンテンツの利用料からサービスプラットフォームの提供料金を差し引いた額を支払う旨を通知する。
［変形例］
　なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。
　上記した実施形態では、デジタルインク処理システム１０は、学生向けの教育を支援する学習支援サービスを提供するように構成されているが、サービスの種類又は対象ユーザは上記した例に限られない。
　上記した実施形態では、デジタルインクサーバ２０がストロークの分類及び意味属性の付与を行っているが、ユーザ端末４０は、デジタルインクサーバ２０の代わりに、分類、あるいは分類と付与の両方を実行可能に構成されてもよい。例えば、ユーザ端末４０は、自身がデジタルインクＩｎｋを解析して意味属性を取得してもよいし、ユーザによる手動の入力操作によって意味属性を取得してもよい。
　上記した実施形態では、意味データが定義されているデジタルインクＩｎｋを例に挙げて説明したが、意味データが定義されていないデジタルインクＩｎｋを用いてもよい。この場合、デジタルインクＩｎｋ及び意味データを互いに紐付けて管理することで、上記した実施形態と同様の動作を実現することができる。
[実施形態のまとめ]
　以上のように、デジタルインク処理システム１０は、電子ペン５０と、タッチパネルディスプレイ４１を介して電子ペン５０による筆記操作を受け付け、ストロークの集合体Ｇ０を記述するデジタルインクＩｎｋを生成可能に構成されるユーザ端末４０と、を含んで構成される。ユーザ端末４０は、タッチパネルディスプレイ４１上に表示されている集合体Ｇ０の中から、ストロークの分類に関する判定条件を満たすストロークのグループＧ２～Ｇ５に対する電子ペン５０の指示操作を有効化する一方、判定条件を満たさないストロークのグループＧ１に対する指示操作の有効化を保留し、有効化された指示操作を受け付けると、指定されたグループＧ２～Ｇ５が有する意味属性に関連するコンテンツを検索し又は該検索を外部に要求し、検索により得られた関連コンテンツＣ１，Ｃ２を集合体Ｇ０と併せてタッチパネルディスプレイ４１上に表示する。
　また、デジタルインク処理方法及びプログラムによれば、ユーザ端末４０が、タッチパネルディスプレイ４１上に表示されているストロークの集合体Ｇ０の中から、ストロークの分類に関する判定条件を満たすストロークのグループＧ２～Ｇ５を指示する電子ペン５０の指示操作を有効化する一方、判定条件を満たさないストロークのグループＧ１に対する指示操作の有効化を保留するステップ（Ｓ１３）と、有効化された指示操作を受け付けると（Ｓ２１）、グループＧ２～Ｇ５に付与された意味属性に関連するコンテンツを検索し又は該検索を外部に要求し（Ｓ２４）、検索により得られた関連コンテンツＣ１，Ｃ２を集合体Ｇ０と併せてタッチパネルディスプレイ４１上に表示するステップ（Ｓ３０）と、を実行する。
　このように、ストロークの分類に関する判定条件を満たすストロークのグループＧ２～Ｇ５を指示する電子ペン５０の指示操作のみを有効化するので、判定条件を適切に設けることで、纏まりとして意味をなす確度が高くなるように分類されたグループＧ２～Ｇ５に限ってコンテンツの検索が許可される。これにより、デジタルインクＩｎｋを用いた検索の際に、検索結果が有意義であって関連性の高い情報をユーザに提示することができる。
　また、ユーザ端末４０は、指示操作が有効化されたグループＧ２～Ｇ５を、有効化される前と比べて強調して表示してもよい。これにより、ユーザは、視覚を通じて、指示操作が有効化された旨及びその位置を認識しやすくなる。
　また、判定条件は、ストロークのグループＧ２～Ｇ５に対して意味属性が付与されたことであってもよい。これにより、付与された意味属性を検索キーとして検索可能となり、ユーザにとってより意味のある検索結果が得られる。
　また、デジタルインクサーバ２０は、ユーザ端末４０から送信されたデジタルインクＩｎｋを解析することで、グループＧ２～Ｇ５に対して意味属性を付与し、判定条件は、デジタルインクサーバ２０から意味属性を示す意味データを取得したことであってもよい。ユーザ端末４０に代わってデジタルインクサーバ２０が意味属性を付与することで、ユーザ端末４０による解析の負荷が軽減される。
　また、判定条件は、グループＧ２～Ｇ５に対してマーク又はアノテーションを付与するユーザの操作を受け付けたことであってもよい。これにより、マーク又はアノテーションを通じて、操作を行ったユーザにとって意味を見出したストロークの纏まりを指定可能となり、より正確な意味属性が得られやすくなる。
　また、コンテンツサーバ３０は、コンテンツを利用ＩＤと対応付けて記憶し、ユーザ端末４０は、利用ＩＤ及び意味属性を含むデータをコンテンツサーバ３０に送信して検索を要求することで、意味属性に関連しかつ利用が許可された関連コンテンツＣ１，Ｃ２をコンテンツサーバ３０から取得してもよい。
　また、ユーザ端末４０は、同一の利用ＩＤにおける意味属性の出現度合いに応じて異なる関連コンテンツＣ１，Ｃ２を取得してもよい。ユーザの習熟度又は関心度との相関性が高い出現度合いを考慮することで、習熟度又は関心度が異なるユーザに適した情報を選択して提示することができる。
　また、利用ＩＤは、電子ペン５０を識別するためのペンＩＤであってもよい。これにより、利用可能なコンテンツと電子ペン５０を対応付けることが可能となり、同一の電子ペン５０を用いることで、ユーザ端末４０Ａ，４０Ｂに依存することなく同一の関連コンテンツＣ１，Ｃ２が提示される。
　また、第１ペンＩＤが付与された電子ペン５０Ａを用いてデジタルインクＩｎｋが生成され、かつ第１ペンＩＤとは異なる第２ペンＩＤが付与された電子ペン５０Ｂを用いる場合、ユーザ端末４０は、デジタルインクＩｎｋの編集を禁止又は制限する一方、電子ペン５０Ｂによる指示操作は受け付けてもよい。ユーザが生成したデジタルインクＩｎｋが勝手に編集されることが防止されるとともに、ユーザ以外の者に対しても当該ユーザの場合と同一の関連コンテンツＣ１，Ｃ２が提示される。
　また、コンテンツサーバ３０は、コンテンツのユーザ及び提供事業者に対して、コンテンツの利用状況に応じた課金処理を行ってもよい。これにより、１つの装置によって、コンテンツの管理及び利用料の管理を一元的に行うことができる。
［符号の説明］
１０　デジタルインク処理システム、２０　デジタルインクサーバ、３０　コンテンツサーバ、４０，４０Ａ，４０Ｂ　ユーザ端末、４１　タッチパネルディスプレイ、５０，５０Ａ，５０Ｂ　電子ペン、８０　事業者側サーバ、Ｃ１，Ｃ２　関連コンテンツ、Ｇ０　集合体、Ｇ１～Ｇ５　グループ、Ｉｎｋ　デジタルインク

 

Claims (12)

  1. 　電子ペンと、
    　ディスプレイを介した前記電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するタブレットと、
    　を備え、
    　前記タブレットはプロセッサを有し、
    　前記プロセッサは、
    　前記ストロークに対する前記電子ペンの指示操作を有効化し、
    　前記電子ペンの指示操作を有効化した後に、指示されたストロークが有する意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求し、
    　検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御する、デジタルインク処理システム。
  2. 　前記プロセッサは、前記指示操作が有効化された前記ストロークを、有効化される前と比べて強調して前記ディスプレイに表示するように制御する、
    　請求項１に記載のデジタルインク処理システム。
  3. 　前記プロセッサは、前記意味属性が付与されたストロークに対して前記電子ペンの指示操作を有効化する、
    　請求項１に記載のデジタルインク処理システム。
  4. 　前記タブレットから送信された前記デジタルインクを解析することで、前記ストロークに対して前記意味属性を付与するデジタルインクサーバをさらに備え、
    　前記プロセッサは、前記デジタルインクサーバから前記意味属性を示す意味データを取得したストロークに対して前記電子ペンの指示操作を有効化する、
    　請求項３に記載のデジタルインク処理システム。
  5. 　前記プロセッサは、マーク又はアノテーションを付与するユーザの操作がなされたストロークに対して前記電子ペンの指示操作を有効化する、
    　請求項１に記載のデジタルインク処理システム。
  6. 　コンテンツを利用ＩＤと対応付けて記憶するコンテンツサーバをさらに備え、
    　前記プロセッサは、前記利用ＩＤ及び前記意味属性を含むデータを前記コンテンツサーバに送信して検索を要求することで、前記意味属性に関連しかつ利用が許可されたコンテンツを前記コンテンツサーバから取得する、
    　請求項１に記載のデジタルインク処理システム。
  7. 　前記プロセッサは、同一の利用ＩＤにおける前記意味属性の出現度合いに応じて異なるコンテンツを取得する、
    　請求項６に記載のデジタルインク処理システム。
  8. 　前記利用ＩＤは、前記電子ペンを識別するためのペンＩＤである、
    　請求項６又は７に記載のデジタルインク処理システム。
  9. 　第１ペンＩＤが付与された第１電子ペンを用いてデジタルインクが生成され、かつ前記第１ペンＩＤとは異なる第２ペンＩＤが付与された第２電子ペンを用いる場合、
    　前記プロセッサは、前記デジタルインクの編集を禁止又は制限する一方、前記指示操作は受け付ける、
    　請求項８に記載のデジタルインク処理システム。
  10. 　前記コンテンツサーバは、コンテンツのユーザ及び提供事業者に対して、コンテンツの利用状況に応じた課金処理を行う、
    　請求項６に記載のデジタルインク処理システム。
  11. 　ディスプレイを介した電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するプロセッサが、
    　前記ストロークに対する前記電子ペンの指示操作を有効化するステップと、
    　前記電子ペンの指示操作を有効化した後に、指示されたストロークが有する意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求するステップと、
    　検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御するステップと、
    　を実行する、デジタルインク処理方法。
  12. 　ディスプレイを介した電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するプロセッサに、
    　前記ストロークに対する前記電子ペンの指示操作を有効化するステップと、
    　前記電子ペンの指示操作を有効化した後、指示されたストロークが有する意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求するステップと、
    　検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御するステップと、
    　を実行させる、デジタルインク処理プログラム。
PCT/JP2020/034425 2019-09-13 2020-09-11 デジタルインク処理システム、方法及びプログラム WO2021049602A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20862062.5A EP4002204A4 (en) 2019-09-13 2020-09-11 DIGITAL INK PROCESSING SYSTEM, METHOD AND PROGRAM
JP2021545609A JPWO2021049602A1 (ja) 2019-09-13 2020-09-11
CN202080053646.XA CN114174965A (zh) 2019-09-13 2020-09-11 数字墨水处理系统、方法和程序
US17/674,501 US11907524B2 (en) 2019-09-13 2022-02-17 Digital ink processing system, method, and program
US18/411,811 US20240143163A1 (en) 2019-09-13 2024-01-12 Digital ink processing system, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-167137 2019-09-13
JP2019167137 2019-09-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/674,501 Continuation US11907524B2 (en) 2019-09-13 2022-02-17 Digital ink processing system, method, and program

Publications (1)

Publication Number Publication Date
WO2021049602A1 true WO2021049602A1 (ja) 2021-03-18

Family

ID=74865695

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/034425 WO2021049602A1 (ja) 2019-09-13 2020-09-11 デジタルインク処理システム、方法及びプログラム

Country Status (5)

Country Link
US (2) US11907524B2 (ja)
EP (1) EP4002204A4 (ja)
JP (1) JPWO2021049602A1 (ja)
CN (1) CN114174965A (ja)
WO (1) WO2021049602A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023282334A1 (ja) * 2021-07-09 2023-01-12 株式会社ワコム コンテンツ評価装置、方法、プログラム及びシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350396A (ja) * 2000-06-06 2001-12-21 Hitachi Ltd 筆順・画数の教示装置，方法、及びその方法を含む記録媒体
JP2010113656A (ja) * 2008-11-10 2010-05-20 Sharp Corp 手書き入力機能を有する情報処理装置
JP2014052914A (ja) * 2012-09-07 2014-03-20 Toshiba Corp 情報処理装置および手書き文書検索方法
JP2015114955A (ja) 2013-12-13 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012127471A2 (en) * 2011-03-21 2012-09-27 N-Trig Ltd. System and method for authentication with a computer stylus
US10530486B2 (en) * 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
US20180300301A1 (en) * 2017-04-18 2018-10-18 Microsoft Technology Licensing, Llc Enhanced inking capabilities for content creation applications
US10970476B2 (en) * 2017-05-17 2021-04-06 Microsoft Technology Licensing, Llc Augmenting digital ink strokes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350396A (ja) * 2000-06-06 2001-12-21 Hitachi Ltd 筆順・画数の教示装置，方法、及びその方法を含む記録媒体
JP2010113656A (ja) * 2008-11-10 2010-05-20 Sharp Corp 手書き入力機能を有する情報処理装置
JP2014052914A (ja) * 2012-09-07 2014-03-20 Toshiba Corp 情報処理装置および手書き文書検索方法
JP2015114955A (ja) 2013-12-13 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4002204A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023282334A1 (ja) * 2021-07-09 2023-01-12 株式会社ワコム コンテンツ評価装置、方法、プログラム及びシステム

Also Published As

Publication number Publication date
JPWO2021049602A1 (ja) 2021-03-18
US11907524B2 (en) 2024-02-20
US20240143163A1 (en) 2024-05-02
EP4002204A1 (en) 2022-05-25
CN114174965A (zh) 2022-03-11
US20220171528A1 (en) 2022-06-02
EP4002204A4 (en) 2022-09-14

Similar Documents

Publication Publication Date Title
CN108027873B (zh) 基于捕捉到的笔画信息来与助理组件交互
Liao et al. Pen-top feedback for paper-based interfaces
CN111095215B (zh) 应用间传递格式特定的数据对象
CN105393200B (zh) 用户接口反馈元素
CN105378599A (zh) 交互式数字显示器
JP6489005B2 (ja) 情報処理システム、情報処理方法、プログラム
US9569101B2 (en) User interface apparatus in a user terminal and method for supporting the same
CN103493117A (zh) 电子书导航系统和方法
US20140075281A1 (en) Systems and methods for annotating digital documents
KR102386739B1 (ko) 단말 장치 및 그의 데이터 처리 방법
JP2015079494A (ja) 情報処理装置、情報処理方法および記録媒体
US20240143163A1 (en) Digital ink processing system, method, and program
EP3761288A1 (en) Print, and production method and production system for touch-and-talk content of print
JP2022028667A (ja) ユーザ画像認識モデルの更新方法、装置、電子機器、コンピュータ可読記録媒体及びコンピュータプログラム
Chowdhury et al. Designing and evaluating multimodal interactions for facilitating visual analysis with dashboards
CN112182343A (zh) 一种在线学习交互方法、装置、设备和存储介质
JP6273978B2 (ja) 表示制御プログラム、表示制御装置及び表示制御方法
Al-Sa'di et al. Successful user-centred design for tablet PC: A conceptual framework
US10672287B2 (en) Method and system for managing assessments
Lee et al. SBraille: A new braille input method for mobile devices
JP2010113610A (ja) 会議支援システム、関連情報登録方法、関連情報検索方法、サーバおよびプログラム
TW201435825A (zh) 電子裝置、學習方法及其電腦程式產品
Coughlan et al. Evaluating author and user experience for an audio-haptic system for annotation of physical models
Dorigo et al. Nonvisual presentation and navigation within the structure of digital text-documents on mobile devices
KR102207514B1 (ko) 맞춤형 필터링 기능이 구비된 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20862062

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021545609

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020862062

Country of ref document: EP

Effective date: 20220217

NENP Non-entry into the national phase

Ref country code: DE