WO2019235007A1 - 筆記行為評価システム - Google Patents

筆記行為評価システム Download PDF

Info

Publication number
WO2019235007A1
WO2019235007A1 PCT/JP2019/008608 JP2019008608W WO2019235007A1 WO 2019235007 A1 WO2019235007 A1 WO 2019235007A1 JP 2019008608 W JP2019008608 W JP 2019008608W WO 2019235007 A1 WO2019235007 A1 WO 2019235007A1
Authority
WO
WIPO (PCT)
Prior art keywords
writing
speed
writing instrument
act
processing terminal
Prior art date
Application number
PCT/JP2019/008608
Other languages
English (en)
French (fr)
Inventor
信彦 中井
潤 山形
Original Assignee
コクヨ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コクヨ株式会社 filed Critical コクヨ株式会社
Priority to CN201980029995.5A priority Critical patent/CN112074887A/zh
Publication of WO2019235007A1 publication Critical patent/WO2019235007A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/825—Fostering virtual characters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B43—WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43K—IMPLEMENTS FOR WRITING OR DRAWING
    • B43K29/00—Combinations of writing implements with other articles
    • B43K29/08—Combinations of writing implements with other articles with measuring, computing or indicating devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied

Definitions

  • the present invention relates to a system for evaluating the writing ability of users, particularly children who are educated and study hard.
  • Patent Documents 1 to 3 A system for measuring a handwriting that is a locus of movement of a writing tool during writing is known (see Patent Documents 1 to 3 below). This type of system is mainly used in offices and the like to convert written characters, drawn figures, and the like into digital data and import them into information processing terminals such as smartphones and personal computers.
  • timing device stopwatch
  • stopwatch that can be attached to a writing instrument and measures the time during which a child or the like is writing or studying using the writing instrument (see Patent Document 4 below).
  • the present invention is intended to accurately visualize the writing ability of a user who uses a writing instrument in a writing act.
  • a detection unit that detects a writing amount in a writing act using a writing instrument and a writing speed in the writing act, and information according to the writing amount in the writing act detected through the detection unit
  • a writing action evaluation system comprising an information output unit that outputs in a manner that appeals to the sense of sight or hearing, and that outputs information corresponding to the speed of writing in the manner of appealing to the user's vision or hearing did.
  • the information output unit depending on the speed of writing detected through the detection unit during the writing operation, on condition that the writing amount in the writing operation detected through the detection unit has reached a predetermined threshold. Output different information.
  • the writing act evaluation system typically includes a writing instrument side device attached to a writing instrument and provided with the detection unit, and an information processing terminal provided with the information output unit that can exchange data between the writing instrument side device. And the element.
  • the writing instrument side device stores the writing amount in the writing act and the writing speed in the writing act acquired by the detection unit, and the stored writing amount and the writing speed are stored in the information processing.
  • the information processing terminal that transmits the information to the information processing terminal in a state where it can communicate with the terminal and receives the information, outputs the information based on the writing amount and the writing speed in the information output unit.
  • the detection unit has an acceleration sensor that measures the acceleration of the movement of the writing tip of the writing instrument
  • the acceleration sensor is used to simplify both the writing amount in the writing action and the writing speed in the writing action. Can be calculated and acquired.
  • the writing instrument side device used for configuring the writing act evaluation system detects the writing amount in the writing act using the writing instrument and the writing speed of the writing instrument in the writing act, and the detected writing act And a detection unit that stores the writing speed, and a transmission that transmits the writing amount and the writing speed detected and stored in the detection unit to the information processing terminal in a state where the information processing terminal can communicate with the information processing terminal. A part.
  • the writing instrument side device is preferably detachable from the writing instrument used for the writing act.
  • the program used to configure the writing act evaluation system according to the present invention is transmitted from the writing instrument side device attached to the writing instrument to the information processing terminal, the writing amount in the writing act using the writing instrument, and the writing act
  • a receiving unit that receives the speed of writing, and outputs information according to the writing amount received by the receiving unit in a manner that appeals to the user's sight or hearing, and according to the writing speed received by the receiving unit It functions as an information output unit that outputs information in a manner that appeals to the user's vision or hearing.
  • the perspective view which shows the writing instrument side apparatus and information processing terminal which are the elements of the writing action evaluation system of one Embodiment of this invention.
  • the figure which shows the hardware resources with which the writing instrument side apparatus of the embodiment is provided.
  • the figure which shows the hardware resources with which the information processing terminal of the embodiment is provided.
  • the flowchart which shows the example of the procedure of the process which the writing instrument side apparatus of the embodiment performs in order to acquire the data regarding a writing action.
  • the flowchart which shows the example of the procedure of the process performed in order that the writing instrument side apparatus and information processing terminal of the embodiment may transmit / receive the data regarding a writing action.
  • the figure which shows the example which the information processing terminal of the embodiment outputs different information according to the amount of writing and the speed of writing.
  • the figure which shows the example which the information processing terminal of the embodiment outputs different information according to the speed of writing.
  • the writing activity evaluation system in the present embodiment includes a writing instrument side device 1 attached to the writing instrument 0 used for the writing activity, and an information processing terminal 2 capable of communicating with the writing instrument side device 1.
  • the writing instrument side apparatus 1 plays a role of obtaining quantified data related to a writing action using the writing tool 0, for example, a writing amount and a writing speed in the writing action.
  • the information processing terminal 2 receives data related to the writing action acquired by the writing instrument side device 1 from the writing instrument side device 1 and outputs information corresponding to the data in a manner appealing to the user's vision or hearing.
  • the writing instrument side device 1 can be retrofitted to a ready-made writing instrument 0 such as a pencil, a mechanical pencil, or a ballpoint pen.
  • a holding unit 11 that holds the writing instrument 0 is provided in the casing of the writing instrument side apparatus 1.
  • the holding part 11 is, for example, an insertion hole through which the writing instrument 0 can be inserted and held, and is a clip or a clamp that holds and holds the writing instrument 0 or fits on the outer periphery of the writing instrument 0. It doesn't matter.
  • the housing of the writing instrument side apparatus 1 may have a grip portion 12 that is gripped by the finger of a user who performs a writing act using the writing instrument 0.
  • the writing instrument side device 1 can be attached to and detached from the writing instrument 0, and the writing instrument side device 1 can be commonly used for several writing instruments 0.
  • the writing instrument side device 1 is not integrated with the writing instrument 0 and cannot be detached from the writing instrument 0, or does not hinder the aspect of being built in the writing instrument 0.
  • the writing instrument side apparatus 1 is a microcomputer system including hardware resources such as a processor 1a, a main memory 1b, an auxiliary storage device 1c, an acceleration sensor 1d, a communication interface 1e, and a battery 1f.
  • the auxiliary storage device 1c is a flash memory, for example.
  • the acceleration sensor 1d is, for example, a function of a triaxial acceleration sensor that measures acceleration along three directions of the X axis, the Y axis, and the Z axis that are orthogonal to each other, the ⁇ direction around the X axis, and the Y axis.
  • the acceleration sensor 1d can detect the acceleration of the movement of the writing instrument 0 (the tip of the writing instrument), can calculate the speed of the movement of the writing instrument 0 through the time integration of acceleration or the time series of the acceleration measured repeatedly, and the time integration of the speed Alternatively, the displacement amount of the movement of the writing instrument 0 can be calculated through integration of the time series of the repetitively calculated speed.
  • the nine-axis acceleration sensor also has a function of a three-axis geomagnetic sensor (electronic compass) for knowing the direction of east, west, south, and north, but the function of this geomagnetic sensor is not always necessary.
  • the communication interface 1e is a device for performing data communication between the writing instrument side apparatus 1 and the external information processing terminal 2, and is, for example, Bluetooth (registered trademark), a wireless LAN (Local Area Network), or a mobile phone network. , A wireless transceiver for performing wireless communication via a WiMAX (Worldwide Interoperability for Microwave Access) network or the like, or an RFID (Radio Frequency IDentification) card or chip.
  • the battery 1f supplies power necessary for the hardware resources.
  • a power generation device that generates power using the motion (vibration) applied to the writing instrument side device 1 or the temperature of the user gripping the grip portion 12 and supplies or charges the power, It is also conceivable to mount on the writing instrument side device 1.
  • a program to be executed by the processor 1a is stored in the auxiliary storage device 1c.
  • the program is read from the auxiliary storage device 1c into the main memory 1b and decoded by the processor 1a. Is done.
  • the writing instrument side apparatus 1 operates the hardware resources according to a program, and exhibits the functions as the detection unit 101 and the transmission unit 102 shown in FIG.
  • the information processing terminal 2 is, for example, a general-purpose mobile phone terminal, particularly a smartphone, a personal computer, a video game machine, or the like. As shown in FIG. 4, the information processing terminal 2 includes a processor 2a, a main memory 2b, an auxiliary storage device 2c, a video codec 2d, an audio codec 2e, a communication interface 2f, an input device 2g, a display 2h, an audio output device 2i, and a battery. Hardware resources such as 2j are provided, and these are controlled by a controller (system controller, I / O controller, etc.) 2k to operate in cooperation.
  • the auxiliary storage device 2c is a flash memory, a hard disk drive, an optical disk drive, or the like.
  • the video codec 2d generates a screen to be displayed based on the drawing instruction received from the processor 2a, and transmits the screen signal to the display 2h.
  • the video codec 2d temporarily stores the screen and image data.
  • a video memory or the like to be stored is used as an element.
  • the audio codec 2e decodes the encoded audio data and outputs the audio from the audio output device 2i.
  • Each of the video codec 2d and the audio codec 2e can be implemented as software instead of hardware.
  • the communication interface 2f is a device for the information processing terminal 2 to perform data communication with an external device or computer including the writing instrument side device 1, and is, for example, Bluetooth (registered trademark), wireless LAN, mobile phone network , A wireless transceiver for implementing wireless communication via a WiMAX network or the like, or an RFID card reader.
  • the input device 2g is a touch panel (which may be superimposed on the display 2h), a push button, a mouse, a keyboard, or the like that is operated by a user's fingers, or a voice input device that allows a user to input a command with a real voice. .
  • the battery 2j supplies power necessary for the hardware resource.
  • the program to be executed by the processor 2a is stored in the auxiliary storage device 2c, and is read from the auxiliary storage device 2c into the main memory 2b and decoded by the processor 2a when the program is executed. Is done.
  • the information processing terminal 2 operates the hardware resources according to the program, and exhibits the functions as the receiving unit 201 and the information output unit 202 shown in FIG.
  • the detection unit 101 of the writing instrument side apparatus 1 uses the acceleration sensor 1d to acquire quantified data related to the writing action using the writing instrument 0 by the user. Then, the data is stored and held in a required storage area of the main memory 1b or the auxiliary storage device 1c.
  • the data related to the writing action includes the writing amount of the user writing action and the speed of writing in the writing action.
  • the amount of writing indicates the amount of writing performed by the user. More specifically, they are the integrated value of the time when the writing action was performed, the integrated value of the displacement, which is the distance that the writing tip of the writing instrument 0 moved in the writing action, the number of strokes written, or the number of characters written. It can be said that as the amount of writing increases, the user gets used to writing or the achievement level of learning and training increases.
  • the speed of writing indicates the speed of carrying in writing, and the number of strokes and characters written by the user within a certain period of time. More specifically, the angular velocity or speed of the movement of the writing tip of the writing instrument 0 during the writing action. The faster the writing, that is, the faster it can be written, the higher the user's ability to write, and it can be said that they can concentrate on studying and other tasks involving writing.
  • the collection of data relating to writing acts by the writing instrument side device 1 itself does not involve the information processing terminal 2, and the presence of the information processing terminal 2 and communication between the writing instrument side device 1 and the information processing terminal 2 are not necessary.
  • FIG. 5 shows a procedure of processing for acquiring data related to a writing action in the detection unit 101 of the writing instrument side apparatus 1.
  • the detection unit 101 of the writing instrument side apparatus 1 detects triaxial accelerations [X, Y, and X] via the acceleration sensor 1d every predetermined time, for example, every frame (one frame is 1/30 second or 1/60 second).
  • Z] and the angular velocity [ ⁇ , ⁇ , ⁇ ] of rotation about three axes are obtained (step S1).
  • the writing instrument side device 1 is fixed to the writing instrument 0 used by the user, and the acceleration and the angular velocity measured by the acceleration sensor 1d indicate the acceleration and angular velocity of the movement of the writing instrument 0 (the writing tip).
  • a predetermined axis of the acceleration sensor 1d for example, the Z axis is set in advance so as to be parallel or substantially parallel to the axial direction of the writing instrument 0, in other words, the direction in which the writing instrument 0 extends.
  • the acceleration and angular velocity acquired in step S1 may be raw values output from the acceleration sensor 1d, or calculated values obtained by calculation based on the output value of the acceleration sensor 1d, that is, the output of the acceleration sensor 1d. It may be a value calculated by substituting a raw value to be substituted into a predetermined function expression. For example, when the Z axis of the acceleration sensor 1d is aligned with the direction in which the axis of the writing instrument 0 extends, the writing surface (the surface of paper to be written) on which writing is performed in the writing action using the writing instrument 0 is performed.
  • the Z-axis is substantially orthogonal and the writing tip of the writing instrument 0 is displaced in the X-axis direction and the Y-axis direction during writing.
  • the Z axis and the writing surface are always orthogonal, and it is natural that the Z axis is inclined with respect to the writing surface.
  • the acceleration value [X ′, Y ′] after the inclination correction is the acceleration of the movement of the writing tip on the writing surface, that is, Is the acceleration along the biaxial directions parallel to the writing surface and orthogonal to each other.
  • the acceleration value along the Z′-axis direction is 0 unless the writing tip approaches or separates from the writing surface (the Z′-axis direction is a direction perpendicular to the writing surface. Of course, unless one stroke is written, Naturally, the brush tip is displaced in the Z ′ direction).
  • the angle change that is, the rotation is detected using the function of the acceleration sensor 1d as the angular velocity sensor, and the acceleration value [X
  • the acceleration value [X
  • the requirements for the accuracy of data related to writing are not necessarily very high.
  • the actual writing surface is not always horizontal, the top plate is slightly inclined like a desk in a university lecture room, or the writing surface is vertical as when writing on a whiteboard. It is also possible. Therefore, it is not essential to perform the above correction on the output value of the acceleration sensor 1d.
  • Acceleration and angular velocity acquired in step S1 may be obtained by subjecting raw values output from the acceleration sensor 1d to some filter processing.
  • the moving average of the output value of the acceleration sensor 1d is calculated, or the output value of the acceleration sensor 1d is subjected to low-pass filter processing, thereby changing or pulsating. Suppressed proper acceleration and angular velocity can be obtained.
  • the detection unit 101 sets a predetermined number of consecutive frames, for example, ten frames as one period, and for each period, the absolute value of acceleration of each frame included in the period (for example, ⁇ (X 2 + Y 2 )) Or the sum of ⁇ (X ′ 2 + Y ′ 2 )) (sum of absolute values of ten accelerations) is calculated. Then, on the condition that the total value exceeds the determination threshold (step S2), the period is counted as “writing time” during which the user performs a writing act (step S4). Otherwise, the period is counted as “time not written” when the user does not write (step S5).
  • step S5 the detection unit 101 detects the absolute value of the acceleration or angular velocity of the movement of the writing instrument 0 detected via the acceleration sensor 1d in the period or the frame included in the period. Is greater than or equal to the predetermined upper limit value (step S3), it is determined that the large exercise is not due to a writing act, and the period is counted as “time not written” when the user does not perform the writing act. (Step S5).
  • the acceleration or angular velocity value referred to in step S3 may be a raw output value of the acceleration sensor 1d, or a calculated value obtained by calculation based on the output value of the acceleration sensor 1d. In particular, it may be a value subjected to the above-described correction, filter processing, or the like. It is also arbitrary whether to refer to the acceleration in any direction of the X axis, the Y axis, or the Z axis, or to refer to the angular velocity in any rotation direction of the ⁇ direction, the ⁇ direction, or the ⁇ direction.
  • the absolute value of the acceleration in the Z axis direction becomes excessive when the user swings the writing instrument 0 up and down, and when the writing instrument 0 is shaken left and right It is expected that the absolute value of acceleration in the X-axis or Y-axis direction will be excessive. In addition, it is expected that the absolute value of the angular velocity in the ⁇ direction or ⁇ direction will be excessive when the user turns the writing instrument 0, and that the absolute value of the angular velocity in the ⁇ direction will be excessive when the writing instrument 0 is rolled around the axis.
  • the detection unit 101 is an upper limit value corresponding to the absolute values of the X-axis direction acceleration, the Y-axis direction acceleration, the Z-axis direction acceleration, the ⁇ -direction angular velocity, the ⁇ -direction angular velocity, and the ⁇ -direction angular velocity measured for each frame in the target period. If any of them exceeds or exceeds the upper limit value, the period is counted as “time not written”.
  • the sum of absolute values of the X-axis direction acceleration of each frame included in the period (sum of 10 absolute values), the sum of absolute values of the Y-axis direction acceleration, and the sum of absolute values of the Z-axis direction acceleration Value, the sum of absolute values of ⁇ -direction angular velocity, the sum of absolute values of ⁇ -direction angular velocity, and the sum of absolute values of ⁇ -direction angular velocity are compared with the corresponding upper limit values. If it exceeds, it is good also as counting the said period in "time not written".
  • the upper limit value may be set individually for each axial direction or rotational direction, may be the same value in the triaxial direction, or may be the same value in all rotational directions.
  • step S3 the average value, median value, maximum value, or the like of the speed (absolute value) or displacement (absolute value) of the writing instrument 0 in the target period is compared with a predetermined upper limit value, When the former is greater than or greater than the latter, the period may be counted as “non-writing time” when the user is not writing.
  • the speed or amount of displacement of the writing instrument 0 during the period can be calculated based on the acceleration and / or angular velocity detected via the acceleration sensor 1d during the period.
  • the number of periods of “writing time” counted through steps S1 to S5 corresponds to the writing amount of the writing act performed by the user using the writing instrument 0. And the total value of the counted number of “Writing time” and the number of “Writing time” period is the total time that the user was holding the writing instrument 0, including the time other than writing.
  • Corresponds to the length of The detection unit 101 of the writing instrument side apparatus 1 stores at least the number of periods of “writing time” corresponding to the writing amount in the main memory 1b or the auxiliary storage device 1c.
  • the sum of the number of periods of “time not written” and / or the number of periods of “time written” and the number of periods “time not written” is stored in the main memory 1b or the auxiliary storage device 1c.
  • the detection unit 101 determines, for each period determined as “writing time”, an absolute value of acceleration of each frame included in the period (for example, ⁇ (x 2 + y 2 ) or ⁇ (X ′ 2 + Y ' 2 )) is summed up (total of absolute values of ten accelerations) in a stepwise evaluation, for example, in five steps (step S6). That is, it is determined in which range of the five rank categories the sum of the absolute values of acceleration exceeding the determination threshold value in step S3 is located. This means that the brush stroke speed in the period is evaluated in five levels. Then, the frequency of occurrence of the five-level evaluation is counted (step S7). For example, if the sum of the absolute values of acceleration of a certain period is within the range of the C rank, the value of the occurrence frequency of the C rank is increased by one.
  • an absolute value of acceleration of each frame included in the period for example, ⁇ (x 2 + y 2 ) or ⁇ (X ′ 2 + Y ' 2
  • the occurrence frequency of each rank counted through steps S6 and S7 suggests the speed of writing in the writing action performed by the user using the writing instrument 0.
  • the detection unit 101 of the writing instrument side apparatus 1 uses the main memory 1b or the auxiliary value as the histogram of the occurrence frequency of each rank, that is, the occurrence frequency of the A rank, the occurrence frequency of the B rank,. Store in the storage device 1c. If the number of periods counted in “writing time” is 500, the total value of the occurrence frequency of rank A, the occurrence frequency of rank B,.
  • the rank with the highest occurrence frequency, or the occurrence frequency and rank score value of each rank (for example, 5 for A rank, 4 for B rank, ..., E rank) Then, the average value or median value of the sum of the product with 1) for all ranks can be used as an index for the evaluation.
  • the detection unit 101 repetitively executes the above steps S1 to S7, thereby acquiring data related to the writing action using the writing instrument 0 of the user, that is, the writing amount and the writing speed in the writing action, and the main memory 1b or It is stored and held in the auxiliary storage device 1c.
  • the output value of the acceleration sensor 1d obtained during the period determined as “non-writing time” in step S2 or S3, and the writing amount and writing speed calculated based on the output value are obtained as data relating to writing act. (I.e., it is not counted as "writing time", nor is it subject to a five-step evaluation of writing speed.
  • the counting of "not writing time” corresponds to data related to writing act, not writing amount. Do not remember).
  • the detection unit 101 may calculate and store the accumulated value of the displacement amount of the writing tip 0 of the writing instrument 0 in the period determined as “writing time” as the writing amount in the writing action. In addition, as the writing speed in the writing action, the detection unit 101 determines the average value or median value of the movement speed of the writing tip of the writing instrument 0 in the period determined as “writing time”, “writing time”. The value obtained by dividing the integrated value of the displacement of the writing tip of the writing instrument 0 in the period determined as “the writing time” by the number of periods (after all, the displacement of the writing tip per unit time), or one of them The occurrence frequency of each rank when evaluated may be calculated and stored.
  • the transmission unit 102 of the writing instrument side apparatus 1 uses the communication interface 1e, and the data relating to the writing action using the writing instrument 0 by the user, which is detected by the detection unit 101 and stored in the main memory 1b or the auxiliary storage device 1c. Is transmitted to the information processing terminal 2.
  • the receiving unit 201 of the information processing terminal 2 receives the data related to the writing action transmitted from the writing instrument side device 1 using the communication interface 2f, and stores the received data in the main memory 2b or the auxiliary storage device 2c. Store and hold in the area.
  • the user attaches the end portion of the writing instrument 0 attached to the writing instrument side apparatus 1 (the front end portion having the writing tip or the rear end portion on the side opposite to the writing tip may be used).
  • An operation of tilting downward from the top toward the information processing terminal 2 an operation of changing the posture of the writing instrument 0 from the position in which the writing instrument 0 is laid down (closer to horizontal) to the posture in which the writing instrument 0 is raised (closer to vertical)
  • Data between the writing instrument side device 1 and the information processing terminal 2 triggered by an operation as if water stored in the writing instrument 0 was poured into the information processing terminal 2 from the end of the writing instrument 0 Begin giving and receiving.
  • the writing amount of the writing action performed by the user using the writing tool 0 is regarded as a certain kind of energy or power, and the energy or power accumulated by the user in the writing tool 0 through the writing action is poured into the information processing terminal 2. Simulates behavior.
  • FIG. 7 shows a procedure of processing for transmission / reception of data related to writing by the transmitting unit 102 of the writing instrument side device 1 and the receiving unit 201 of the information processing terminal 2.
  • the transmitting unit 102 of the writing instrument side device 1 is ready for the previous stage of data transmission / reception (step S8), and then rotates around the three axes of the writing instrument 0 via the acceleration sensor 1d every predetermined time, that is, every frame.
  • the angular velocity [ ⁇ , ⁇ , ⁇ ] of rotation is obtained (step S9).
  • step S8 becomes true when, for example, the user operates a predetermined button or switch mounted on the writing instrument side apparatus 1 itself. Alternatively, the user performs a specific operation via the input device 2 g of the information processing terminal 2, and a signal or information indicating that is transmitted from the information processing terminal 2 to the writing instrument side apparatus 1. True when received. Of course, the operation of turning the end of the writing instrument 0 downward is also performed during writing. Therefore, step S8 is intended to prevent transmission of data from the writing instrument side apparatus 1 to the information processing terminal 2 from being started during writing, even though the user does not intend.
  • the angular velocity acquired in step S9 may be a raw value output from the acceleration sensor 1d, or a raw value output from the acceleration sensor 1d may be subjected to some filter processing.
  • the transmitting unit 102 of the writing instrument side apparatus 1 uses the Euler angle or the quaternion (quaternary) as the time series of the angular velocity [ ⁇ , ⁇ , ⁇ ] of the rotation of the writing instrument 0 detected via the acceleration sensor 1d every predetermined time.
  • the number is transmitted to the information processing terminal 2 in any numerical format (step S10).
  • the receiving unit 201 of the information processing terminal 2 receives the time series of the angular velocity of the rotation of the writing instrument 0 every predetermined time, which is provided from the writing instrument side apparatus 1 (step S11). And based on this, it is determined whether the user performed operation which inclines the edge part of the writing instrument 0 toward the information processing terminal 2 (step S12). When it is determined that the user has performed an operation of tilting the end of the writing instrument 0 toward the information processing terminal 2, a signal or information indicating that is transmitted to the writing instrument side apparatus 1 (step S13).
  • the transmitter 102 of the writing instrument side apparatus 1 receives the above signal or information from the information processing terminal 2 (Step S14), and stores the data stored in the main memory 1b or the auxiliary storage device 1c. Transmission for the information processing terminal 2 is started (step S15).
  • steps S10 to S14 are to determine and confirm on the information processing terminal 2 side that the operation of tilting the end of the writing instrument 0 toward the information processing terminal 2 is performed by the user's hand. However, in the writing instrument side apparatus 1, it is determined whether or not such an operation has been performed based on the time series of the angular velocity of the rotation of the writing instrument 0 every predetermined time. The transmission to the information processing terminal 2 may be executed (step S15). If it is determined in the writing instrument side apparatus 1 whether or not the operation is performed, steps S10 to S14 can be omitted.
  • the data transmitted from the writing instrument side apparatus 1 to the information processing terminal 2 in step S15 is the data related to the user's writing action, and indicates the number of periods of “writing time” indicating the writing amount and the writing speed. Occurrence frequency of each rank of the five-level evaluation shown, and the number of periods of "unwritten time” and / or the total number of periods of "written time” and period of "unwritten time” including.
  • the receiving unit 201 of the information processing terminal 2 receives the data provided from the writing instrument side apparatus 1 (step S16) and stores it in the main memory 2b or the auxiliary storage device 2c.
  • the newly received “writing time” is added to the number of “writing time” periods received in the past and stored in the main memory 2b or the auxiliary storage device 2c.
  • the number of periods may be added.
  • the newly received histogram of the frequency of occurrence of each rank may be added to the histogram of the frequency of occurrence of each rank in the five-stage evaluation of writing speed received and stored in the past.
  • the number of periods of “unwritten time” received and stored in the past, or the sum of the number of periods of “writing time” and the number of periods of “unwritten time” has been newly added. May be added to the number of periods of “time not written” or the sum of the number of periods of “time written” and the number of periods of “time not written”.
  • the data transmission / reception in steps S15 and S16 may be completed as quickly as possible.
  • the larger the data value stored or held in the writing instrument side apparatus 1 or the larger the amount of data the more data transmission / reception is possible. It is also possible to produce an effect that takes a long time to complete. More specifically, the length of time that the transmission unit 102 of the writing instrument side device 1 and the receiving unit 201 of the information processing terminal 2 maintain the state where the user tilts the end of the writing instrument 0 toward the information processing terminal 2.
  • the transmission / reception of data is completed on the condition that the threshold value exceeds the threshold value, and the threshold value is set to be larger (longer) as the number of periods of “writing time” stored in the writing instrument side device 1 is larger, Alternatively, the larger the frequency of occurrence of each rank of the five-step evaluation of the writing speed stored in the writing instrument side device 1, the larger the setting. In other words, the more energy or power that the user has accumulated in the writing instrument 0 through the writing action, the longer it takes for the energy or power to flow into the information processing terminal 2.
  • the receiving unit 201 of the information processing terminal 2 information for making the user aware that the transmission / reception process is in progress, in other words, for allowing the user to recognize that the state should still be maintained is provided. It is also preferable to output in a manner that appeals to the visual or auditory sense of the user. For example, during transmission / reception, a moving image in which water is poured may be displayed on the screen of the display 2h, or a sound effect such as a sound in which water is poured is output from the audio output device 2i. Also good.
  • the data value stored in the main memory 1b or the auxiliary storage device 1c of the writing instrument side apparatus 1 during the transmission / reception, particularly “writing” Data stored in the main memory 2b or the auxiliary storage device 2c of the information processing terminal 2 while gradually changing (gradually decreasing) the value of the occurrence frequency of each rank in the five-stage evaluation of the number of periods of time and the speed of writing It is also possible to perform processing so as to gradually change (gradually increase) the value, in particular, the number of periods of “writing time” and the value of the occurrence frequency of each rank in the five-stage evaluation of writing speed.
  • the transmission / reception of data itself May be canceled, that is, the data stored in each of the writing instrument side device 1 and the information processing terminal 2 may be data before the start of transmission / reception (or recovered to data before transmission / reception).
  • the user stops maintaining the above state The data value may be stored and held in the writing instrument side device 1 and the information processing terminal 2.
  • Whether or not the user keeps the end of the writing instrument 0 tilted toward the information processing terminal 2 during the transmission / reception is determined by determining whether the user holds the end of the writing instrument 0 as the transmission / reception start condition.
  • the determination result is transmitted (transmitted) from the information processing terminal 2 to the writing instrument side device 1 after being executed on the information processing terminal 2 side.
  • the writing instrument side device 1 itself may make the determination.
  • step S15 and S16 After the data transmission / reception (steps S15 and S16) between the writing instrument side apparatus 1 and the information processing terminal 2 is completed, the writing instrument side apparatus 1 has been stored in the main memory 1b or the auxiliary storage device 1c until then. Erasing the transmitted data from the main memory 1b or the auxiliary storage device 1c, in other words, the number of periods of “writing time”, the number of periods of “not writing time”, and the speed of writing The frequency of occurrence of each rank of evaluation is reset to 0 (step S17).
  • the transmitting unit 102 of the writing instrument side device 1 and the receiving unit 201 of the information processing terminal 2 block communication between the two in a period other than the time when the data transmission / reception in steps S8 to S17 described above is performed, that is, wirelessly directed toward each other. Signal transmission is stopped, thereby reducing power consumption.
  • the information output unit 202 of the information processing terminal 2 receives information from the writing instrument side device 1 and stored in the main memory 2b or the auxiliary storage device 2c according to the data related to the writing action performed by the user using the writing instrument 0. , Output in a manner appealing to the user's visual or auditory sense.
  • the tree 21 that greatly increases as the writing amount increases.
  • different audio information such as timbre, melody, and loudness may be generated or selected according to the amount of writing performed by the user so far and output from the audio output device 2i.
  • the amount of writing can be said to be the result of the user's previous study or training, etc., and by presenting this to the user in a timely manner, the writing act using the writing instrument 0 has game characteristics, especially for children etc. Inspire users' willingness to study.
  • the information output unit 202 of the information processing terminal 2 is a histogram of the frequency of occurrence of each rank in the five-stage evaluation of the writing speed of the writing action that the user has performed so far.
  • the speed of writing As shown in FIGS. 8 and 9, the information output unit 202 of the information processing terminal 2 is a histogram of the frequency of occurrence of each rank in the five-stage evaluation of the writing speed of the writing action that the user has performed so far.
  • the apple 22 will be fruited as shown in FIG. 9 (b). , And so on.
  • different audio information such as timbre, melody, and loudness may be generated or selected according to the writing speed of the writing action performed by the user so far, and output from the audio output device 2i.
  • the speed of writing in the past writing action of the user depends on the rank with the highest occurrence frequency among the occurrence frequencies of each rank of the five-level evaluation, the occurrence frequency of each rank, and the score value of the rank. Can be evaluated from the average or median of the sums of all ranks.
  • the frequency of occurrence of D rank was the highest, it can be evaluated that the user's writing speed is slightly slower than the medium, and there is room for growth or improvement, and if the frequency of occurrence of A rank is the highest, It can be evaluated that the user's writing has become considerably faster and the ability to write out has increased. If the average value or median value of the product of the rank occurrence frequency and the rank score value is referred to, it can be evaluated that the higher the value, the faster the user's writing.
  • the ability of the information processing terminal 2 to present not only the amount of writing by the user so far but also the speed of writing in the writing act leads to making the user such as children especially aware of the speed of writing, and the ability to write out It is expected to contribute to the cultivation of If you are in the lower grades of elementary school, you can write 15 to 20 characters per minute, if you are in the middle grade you can write 20 to 25 characters per minute, and if you are in the upper grades you can write 25 to 30 characters per minute. Speed will be a measure of your goal. If you have the ability to write thirty characters per minute constantly with decent characters, that is the writing power of an adult who has no shortage of writing, and when you try to write notes, memos, diaries, postcards, letters, etc. The brush will move immediately.
  • the detection unit 101 for detecting the writing speed in the writing action, and the writing amount in the writing action detected through the detection unit 101 A writing act comprising: an information output unit 202 that outputs information in a manner that appeals to the user's vision or hearing, and that outputs information that varies according to the speed of writing in the writing act in a manner that appeals to the user's vision or hearing
  • An evaluation system was configured. According to the present embodiment, both the writing amount and the writing speed in the user's writing action can be output and presented to the user. As a result, it becomes possible to accurately visualize the degree of improvement of the user's writing ability as well as the degree of achievement of the user's learning through the writing action and use it for evaluation.
  • the information output unit 202 detects the speed of writing detected through the detecting unit 101 during the writing operation on condition that the writing amount of the writing act detected through the detecting unit 101 has reached a predetermined threshold. Different information is output depending on. If it describes in accordance with the example shown in FIG. 8, if the fruit 22 which displays the speed of writing will not grow to the magnitude
  • the writing action evaluation system of the present embodiment is an information processing terminal that can exchange data between the writing instrument side device 1 that is attached to the writing instrument 0 and includes the detection unit 101, and the information output unit 202. 2, and the writing instrument side device 1 stores the writing amount of the writing action acquired by the detection unit 101 and the writing speed in the writing action, and the stored writing amount and the writing speed. Is transmitted to the information processing terminal 2 in a situation where it can communicate with the information processing terminal 2, and the information processing terminal 2 that receives the information transmits the information based on the writing amount and the writing speed in the information output unit 202. The information is output.
  • a value that suggests the speed of writing that is, a histogram of the occurrence frequency of the five-stage evaluation is calculated and stored in the writing instrument side apparatus 1 in advance, and the writing instrument side apparatus 1 and the information processing terminal 2 Send and receive when communication is possible. Accordingly, during the writing action, the acceleration, speed, displacement, position coordinates, etc. of the writing tip of the writing instrument 0 are continuously transmitted from the writing instrument side apparatus 1 to the information processing terminal 2 constantly and over a long period of time. There is no need. That is, power saving can be realized by appropriately limiting opportunities for communication between the writing instrument side apparatus 1 and the information processing terminal 2. Furthermore, the collection of data related to writing acts can be performed without the need of the information processing terminal 2 (even if the information processing terminal 2 is absent), and the presence of the information processing terminal 2 does not interfere with the writing act. .
  • the detection unit 101 includes an acceleration sensor 1d that measures the acceleration of the movement of the writing tip of the writing instrument 0.
  • the writing amount of the writing action and the writing speed in the writing action can be easily performed using the acceleration sensor 1d. Can be calculated and acquired.
  • the writing instrument side apparatus 1 attached to the writing instrument 0 used for the writing act and the information processing terminal 2 that can exchange data between the writing instrument side apparatus 1 are used as elements.
  • 1 is a condition that a detection unit 101 that acquires and stores data quantified with respect to a writing action using the writing instrument 0 and an operation of tilting the end of the writing instrument 0 toward the information processing terminal 2 are performed.
  • a transmission unit 102 that transmits the data acquired and stored by the detection unit 101 to the information processing terminal 2, and the information processing terminal 2 receives data transmitted from the writing instrument side device 1.
  • the transmission / reception system including the receiving unit 201 is configured. According to the present embodiment, when data is exchanged between the writing instrument side apparatus 1 and the information processing terminal 2, it is possible to provide a linked experience between the writing instrument 0 and the application program on the information processing terminal 2, Game nature is improved.
  • the information processing terminal 2 includes an information output unit 202 that outputs information in a manner that appeals to the user's sight or hearing according to the data received by the receiving unit 201.
  • the transmission unit 102 and the reception unit 201 complete transmission / reception on condition that the length of time during which the end of the writing instrument 0 is tilted toward the information processing terminal 2 exceeds a threshold value.
  • the threshold value fluctuates in accordance with the magnitude of the data value acquired or stored by the detection unit 101 or the amount of data.
  • the transmission unit 102 and the reception unit 201 cut off communication between the two during a period other than when the data is transmitted and received to reduce power consumption.
  • the data related to the writing action is the output value of the sensor 1d that is attached to the writing instrument 0 and measures the acceleration, speed, or displacement of the movement of the writing instrument 0, or the calculated value that is calculated based on the output value.
  • the detection unit 101 acquires the output value of the sensor 1d or the calculated value obtained based on the output value above or beyond a predetermined upper limit value.
  • the writing instrument side apparatus 1 that does not acquire the output value or the calculated value that exceeds or exceeds the upper limit value as data related to the writing action is configured.
  • the movement of the writing instrument 0 caused by the writing action and the movement of the writing instrument 0 caused by the action other than the writing action are separated without separately mounting sensors and switches other than the sensor 1d. Can be identified. And it can suppress effectively that an error mixes in the data about the writing act acquired via sensor 1d.
  • the sensor 1d measures the acceleration, speed, or displacement of the movement of the writing instrument 0 along the direction of at least one of three axes that are set immovable with respect to the writing instrument 0 and are orthogonal to each other.
  • the unit 101 outputs an output value that exceeds or exceeds the upper limit value or The calculated value is not acquired as data related to the writing act.
  • the sensor 1d measures the acceleration, speed, or displacement of the rotational movement of the writing instrument 0 about at least one of three axes that are set immovable with respect to the writing instrument 0 and are orthogonal to each other.
  • the unit 101 outputs an output value that exceeds or exceeds the upper limit value or The calculated value is not acquired as data related to the writing act.
  • the sensor 1d has functions of a triaxial acceleration sensor and a triaxial gyro sensor.
  • the detection unit 101 acquires both the writing amount of the writing action and the writing speed in the writing action as data relating to the writing action.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

筆記行為を使用するユーザの書く能力を的確に可視化すべく、筆記具を使用した筆記行為における筆記量、及び同筆記行為における筆記の速さを検出する検出部１０１と、前記検出部１０１を介して検出した筆記行為における筆記量に応じた情報をユーザの視覚または聴覚に訴えかける態様で出力し、なおかつ同筆記行為における筆記の速さに応じた情報をユーザの視覚または聴覚に訴えかける態様で出力する情報出力部２０２とを具備する筆記行為評価システムを構成した。

Description

筆記行為評価システム
　本発明は、ユーザ、特に教育を受け勉学に励む子供等の書く能力を評価するためのシステムに関する。
　筆記行為の最中における筆記具の筆先の移動の軌跡である筆跡を計測するシステムが公知である（下記特許文献１ないし３を参照）。この種のシステムは、主にオフィス等で、筆記された文字や描画された図形等をディジタルデータ化してスマートフォンやパーソナルコンピュータ等の情報処理端末に取り込む用途に供される。
　また、筆記具に装着可能であり、子供等が当該筆記具を使用して筆記や勉強を行っている時間を計測する計時装置（ストップウォッチ）も既存である（下記特許文献４を参照）。
　ところで、近時、子供等の教育において、書く力を育むことに焦点が当てられようとしている。とりわけ、書写または習字と作文との中間に位置する、文字を書くことを意識せずに実行できる力、算数の掛け算の九九に相当するような思考の基礎となる力が重視され、ここではこれを「書き出す力」と呼称する。書き出す力が高ければ、思考しながら書き、書きながら思考することが可能となる。また、書き出す力の向上は、読解力の向上にも通ずると期待される。従って、日々の勉強や訓練を通じて、子供達の頭脳を、文字を書くことに気をとられる（書く作業の認知負荷が重い）状態から、書きたいことをすらすらと文字として書くことができ思考に集中できる（書く作業の認知負荷が軽い）状態へと進化させることが求められる。
特開２０１６－０２４５０４号公報 特開２００４－２７４５１８号公報 特開２００４－０２９９１５号公報 特許第５１７６０４６号公報
　本発明は、筆記行為における筆記具を使用するユーザの書く能力を的確に可視化することを所期の目的としている。
　本発明では、筆記具を使用した筆記行為における筆記量、及び同筆記行為における筆記の速さを検出する検出部と、前記検出部を介して検出した筆記行為における筆記量に応じた情報をユーザの視覚または聴覚に訴えかける態様で出力し、なおかつ同筆記行為における筆記の速さに応じた情報をユーザの視覚または聴覚に訴えかける態様で出力する情報出力部とを具備する筆記行為評価システムを構成した。
　筆記量が増えることは、書き慣れること、また学習や訓練の達成度が上がることを意味する。一方で、筆記が速くなる、速く書けることは、書き出す力が向上し、勉強その他の筆記を伴う作業に集中できていることを示唆する。本発明は、この点に着目したものであり、筆記量のみならず筆記の速さに応じた情報を出力しユーザに提示することにより、現在書き出す力がどの程度身についているのかをユーザに伝えるとともに、筆記の速さをユーザに意識させることを可能としている。
　前記情報出力部は、前記検出部を介して検出した筆記行為における筆記量が所定の閾値に到達したことを条件として、同筆記行為中に検出部を介して検出した筆記の速さに応じて異なる情報を出力する。
　本発明に係る筆記行為評価システムは、典型的には、筆記具に付帯し前記検出部を備える筆記具側装置と、当該筆記具側装置との間でデータを授受でき前記情報出力部を備える情報処理端末とを要素とする。その上で、前記筆記具側装置が、前記検出部で取得した筆記行為における筆記量及び同筆記行為における筆記の速さを記憶し、その記憶している筆記量及び筆記の速さを前記情報処理端末と通信可能な状況下で当該情報処理端末に向けて送信し、これを受信した情報処理端末が、前記情報出力部において当該筆記量及び筆記の速さに基づき前記情報を出力する。
　前記検出部が、筆記具の筆先の移動の加速度を計測する加速度センサを有するものであれば、当該加速度センサを利用して、筆記行為における筆記量及び同筆記行為における筆記の速さの双方を簡便に算出し取得することができる。
　本発明に係る筆記行為評価システムを構成するために用いられる筆記具側装置は、筆記具を使用した筆記行為における筆記量、及び同筆記行為における筆記具の筆記の速さを検出するとともに、検出した筆記行為及び筆記の速さを記憶する検出部と、前記検出部で検出し記憶している筆記量及び筆記の速さを情報処理端末と通信可能な状況下で当該情報処理端末に向けて送信する送信部とを備える。
　筆記具側装置は、筆記行為に使用される筆記具に対して着脱可能であることが好ましい。
　本発明に係る筆記行為評価システムを構成するために用いられるプログラムは、情報処理端末を、筆記具に付帯する筆記具側装置から送信される、筆記具を使用した筆記行為における筆記量、及び同筆記行為における筆記の速さを受信する受信部、並びに、前記受信部で受信した筆記量に応じた情報をユーザの視覚または聴覚に訴えかける態様で出力し、なおかつ受信部で受信した筆記の速さに応じた情報をユーザの視覚または聴覚に訴えかける態様で出力する情報出力部として機能させる。
　本発明によれば、筆記行為におけるユーザの書く能力を的確に可視化することができる。
本発明の一実施形態の筆記行為評価システムの要素である筆記具側装置及び情報処理端末を示す斜視図。 同実施形態の筆記具側装置が備えるハードウェア資源を示す図。 同実施形態の筆記行為評価システムの機能ブロック図。 同実施形態の情報処理端末が備えるハードウェア資源を示す図。 同実施形態の筆記具側装置が筆記行為に関するデータを取得するために実行する処理の手順例を示すフロー図。 同実施形態の筆記具側装置から情報処理端末への筆記行為に関するデータの送受信の実行開始条件としてユーザが行う操作を示す図。 同実施形態の筆記具側装置及び情報処理端末が筆記行為に関するデータを送受信するために実行する処理の手順例を示すフロー図。 同実施形態の情報処理端末が筆記量及び筆記の速さに応じて異なる情報を出力する例を示す図。 同実施形態の情報処理端末が筆記の速さに応じて異なる情報を出力する例を示す図。
　本発明の一実施形態を、図面を参照して説明する。図１に示すように、本実施形態における筆記行為評価システムは、筆記行為に使用される筆記具０に付帯する筆記具側装置１と、この筆記具側装置１と通信が可能な情報処理端末２とを主たる構成要素とする。筆記具側装置１は、筆記具０を使用した筆記行為に関する定量化されたデータ、例えば筆記行為における筆記量や筆記の速さを取得する役割を担う。情報処理端末２は、筆記具側装置１が取得した筆記行為に関するデータを筆記具側装置１から受信するとともに、そのデータに応じた情報をユーザの視覚または聴覚に訴えかける態様で出力する。
　筆記具側装置１は、鉛筆やシャープペンシル、ボールペン等といった既製の筆記具０に後付けすることが可能である。そのために、筆記具側装置１の筐体に、筆記具０を保持する保持部１１を設けている。保持部１１は、例えば筆記具０を挿通して保持することのできる挿通孔であるが、筆記具０をくわえ込み挟持する、または筆記具０の外周に嵌合するクリップやクランプのようなものであっても構わない。筆記具側装置１の筐体は、筆記具０を使用して筆記行為を行うユーザの手指に把持される把持部１２を有することがある。本実施形態では、筆記具側装置１を筆記具０に対して着脱可能としており、幾つもの筆記具０に対して当該筆記具側装置１を共通に使用可能としている。だが、筆記具側装置１が、筆記具０と一体化し筆記具０から脱離不能である、または筆記具０に内蔵されている態様を妨げるものではない。
　図２に示すように、筆記具側装置１は、プロセッサ１ａ、メインメモリ１ｂ、補助記憶デバイス１ｃ、加速度センサ１ｄ、通信インタフェース１ｅ、バッテリ１ｆ等のハードウェア資源を備えるマイクロコンピュータシステムである。補助記憶デバイス１ｃは、例えばフラッシュメモリである。加速度センサ１ｄは、例えば、互いに直交するＸ軸、Ｙ軸及びＺ軸の三軸のそれぞれの方向に沿った加速度を計測する三軸加速度センサの機能と、Ｘ軸回りのθ方向、Ｙ軸回りのφ方向及びＺ軸回りのΨ方向のそれぞれの回転方向に沿った角速度を計測する三軸回転角速度センサ（ジャイロセンサ）の機能とを兼ね備えた、いわゆる六軸加速度センサまたは九軸加速度センサである。加速度センサ１ｄにより、筆記具０（の筆先）の運動の加速度を検出でき、加速度の時間積分または反復的に計測した加速度の時系列の積算を通じて筆記具０の運動の速度を算出でき、速度の時間積分または反復的に演算した速度の時系列の積算を通じて筆記具０の運動の変位量を算出できる。因みに、九軸加速度センサは、東西南北の方位を知るための三軸地磁気センサ（電子コンパス）の機能をも有しているが、この地磁気センサの機能は必ずしも必要ではない。
　通信インタフェース１ｅは、当該筆記具側装置１と外部の情報処理端末２との間でデータ通信を行うためのデバイスであって、例えばＢｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、携帯電話網、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ　Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ　ｆｏｒ　Ｍｉｃｒｏｗａｖｅ　Ａｃｃｅｓｓ）網等を介した無線通信を実施するための無線トランシーバ、またはＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）カード若しくはチップを含む。バッテリ１ｆは、上記ハードウェア資源に必要な電力を供給する。なお、バッテリ１ｆに代えて、またはバッテリ１ｆとともに、筆記具側装置１に加わる運動（振動）または把持部１２を把持するユーザの体温等を利用して発電し電力供給または充電を行う発電装置を、筆記具側装置１に実装することも考えられる。
　筆記具側装置１にあって、プロセッサ１ａにより実行されるべきプログラムは補助記憶デバイス１ｃに格納されており、プログラムの実行の際には補助記憶デバイス１ｃからメインメモリ１ｂに読み込まれ、プロセッサ１ａによって解読される。筆記具側装置１は、プログラムに従って上記ハードウェア資源を作動させ、図３に示す検出部１０１及び送信部１０２としての機能を発揮する。
　情報処理端末２は、例えば汎用的な携帯電話端末、特にスマートフォンや、パーソナルコンピュータ、ビデオゲーム機等である。図４に示すように、情報処理端末２は、プロセッサ２ａ、メインメモリ２ｂ、補助記憶デバイス２ｃ、ビデオコーデック２ｄ、オーディオコーデック２ｅ、通信インタフェース２ｆ、入力デバイス２ｇ、ディスプレイ２ｈ、音声出力デバイス２ｉ、バッテリ２ｊ等のハードウェア資源を備え、これらがコントローラ（システムコントローラ、Ｉ／Ｏコントローラ等）２ｋにより制御されて連携動作するものである。補助記憶デバイス２ｃは、フラッシュメモリ、ハードディスクドライブ、光学ディスクドライブ、その他である。ビデオコーデック２ｄは、プロセッサ２ａより受けた描画指示をもとに表示させるべき画面を生成しその画面信号をディスプレイ２ｈに向けて送出するＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、画面や画像のデータを一時的に格納しておくビデオメモリ等を要素とする。オーディオコーデック２ｅは、符号化されている音声データを復号化して音声出力デバイス２ｉから音声出力する。ビデオコーデック２ｄ及びオーディオコーデック２ｅはそれぞれ、ハードウェアでなくソフトウェアとして実装することも可能である。
　通信インタフェース２ｆは、当該情報処理端末２が筆記具側装置１を含む外部の装置またはコンピュータとの間でデータ通信を行うためのデバイスであって、例えばＢｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ、携帯電話網、ＷｉＭＡＸ網等を介した無線通信を実施するための無線トランシーバ、またはＲＦＩＤカードリーダを含む。入力デバイス２ｇは、ユーザが手指で操作するタッチパネル（ディスプレイ２ｈに重ね合わされたものであることがある）、押下ボタン、マウス、キーボード等、またはユーザが肉声により指令を入力する音声入力デバイス等である。バッテリ２ｊは、上記ハードウェア資源に必要な電力を供給する。
　情報処理端末２にあって、プロセッサ２ａにより実行されるべきプログラムは補助記憶デバイス２ｃに格納されており、プログラムの実行の際には補助記憶デバイス２ｃからメインメモリ２ｂに読み込まれ、プロセッサ２ａによって解読される。情報処理端末２は、プログラムに従って上記ハードウェア資源を作動させ、図３に示す受信部２０１及び情報出力部２０２としての機能を発揮する。
　以降、本システムの各部の機能について詳述する。筆記具側装置１の検出部１０１は、加速度センサ１ｄを利用して、ユーザによる筆記具０を使用した筆記行為に関する定量化されたデータを取得する。そして、そのデータを、メインメモリ１ｂまたは補助記憶デバイス１ｃの所要の記憶領域に記憶して保持する。
　本実施形態にあって、筆記行為に関するデータとは、ユーザの筆記行為における筆記量、及び同筆記行為における筆記の速さを含む。筆記量は、ユーザが筆記行為を行った量を示す。より具体的には、筆記行為を行った時間の積算値、筆記行為において筆記具０の筆先が移動した距離である変位量の積算値、筆記した画数または筆記した文字数である。筆記量が増えるほど、ユーザが書くことに慣れる、または学習や訓練の達成度が上がると言える。筆記の速さは、筆記行為における筆運びの速さ、一定の時間内にユーザが筆記した画数や文字数を示す。より具体的には、筆記行為中の筆記具０の筆先の移動の角速度または速度である。筆記が速いほど、つまり速く書けるほど、ユーザの書き出す力が高く、勉強その他の筆記を伴う作業に集中できていると言える。
　筆記具側装置１による筆記行為に関するデータの収集それ自体には、情報処理端末２は関与せず、情報処理端末２の存在及び筆記具側装置１と情報処理端末２との通信は必要ではない。
　図５に、筆記具側装置１の検出部１０１における筆記行為に関するデータの取得のための処理の手順を示す。筆記具側装置１の検出部１０１は、所定時間毎、例えば一フレーム（一フレームは、１／３０秒または１／６０秒）毎に、加速度センサ１ｄを介して三軸の加速度［Ｘ，Ｙ，Ｚ］及び三軸回りの回転の角速度［θ，φ，Ψ］を知得する（ステップＳ１）。筆記具側装置１はユーザが用いる筆記具０に固定されており、加速度センサ１ｄが計測する加速度及び角速度は当該筆記具０（の筆先）の運動の加速度及び角速度を示唆する。このとき、加速度センサ１ｄの所定の軸、例えばＺ軸が、筆記具０の軸線方向、換言すれば筆記具０が伸長する方向に平行または略平行となるよう、予め設定されている。
　ステップＳ１にて取得する加速度及び角速度は、加速度センサ１ｄが出力する生の値であってもよいし、加速度センサ１ｄの出力値を基に演算して得た算出値、即ち加速度センサ１ｄの出力する生の値を所定の関数式に代入する等して算出した値であってもよい。例えば、加速度センサ１ｄのＺ軸を筆記具０の軸の伸長する方向に合わせている場合、当該筆記具０を用いた筆記行為において筆記が行われる筆記面（筆記される紙等の面）に対してＺ軸が概ね直交し、当該筆記具０の筆先が筆記中にＸ軸方向及びＹ軸方向に変位することが想定される。しかしながら、Ｚ軸と筆記面とが恒常的に直交することは保証されておらず、Ｚ軸が筆記面に対して傾斜することは当然にあり得る。従って、筆記面上での筆先の移動の加速度、速度または変位量を精確に知得するためには、加速度センサ１ｄに作用する重力に基づいてＺ軸の筆記面即ち水平面に対する傾きを検出した上、加速度センサ１ｄの生の出力値［Ｘ，Ｙ，Ｚ］を傾き補正後の加速度値［Ｘ’，Ｙ’，Ｚ’］に変換することが必要となる。筆記中に筆記具０の軸であるＺ軸の筆記面に対する角度が一定であれば、この傾き補正後の加速度値［Ｘ’，Ｙ’］が、筆記面上での筆先の移動の加速度、つまりは筆記面に平行で互いに直交する二軸の方向に沿った加速度となる。並びに、Ｚ’軸方向に沿った加速度値は、筆先が筆記面に対して接近または離間しない限りは０となる（Ｚ’軸方向は筆記面と直交する方向。勿論、一筆書きをしない限り、筆先がＺ’方向に変位することは当然にある）。
　尤も、筆記行為の最中に筆記具０の軸の角度は変化し得るので、加速度センサ１ｄの角速度センサとしての機能を利用してその角度変化即ち回転を検出し、傾き補正後の加速度値［Ｘ’，Ｙ’，Ｚ’］にさらに筆記具０の回転を打ち消すような回転行列を適用することで、さらに精度よく筆記面上での筆先の移動の加速度を算出することが可能となる。
　とは言え、筆記行為に関するデータの精度に対する要求は必ずしも顕著に高くはない。しかも、現実の筆記面は常に水平であるとは限らず、大学の講義室の机のように天板がやや傾いていたり、ホワイトボードに書く場合のように筆記面が鉛直面であったりすることも可能性としてある。よって、加速度センサ１ｄの出力値に上述の補正を施すことは必須ではない。
　ステップＳ１にて取得する加速度及び角速度は、加速度センサ１ｄが出力する生の値に何らかのフィルタ処理を施したものであることがある。加速度センサ１ｄの出力値が頻々に変動または脈動する場合には、加速度センサ１ｄの出力値の移動平均を算出し、または加速度センサ１ｄの出力値をローパスフィルタ処理することで、変動または脈動を抑制した適正な加速度及び角速度を得ることができる。
　次いで、検出部１０１は、連続した所定数のフレーム、例えば十フレームを一ピリオドとし、その各ピリオド毎に、当該ピリオドに含まれる各フレームの加速度の絶対値（例えば、√（Ｘ2＋Ｙ2）または√（Ｘ’2＋Ｙ’2））の合算（十個の加速度の絶対値の総和）を算出する。そして、当該合算値が判定閾値を超えている（ステップＳ２）ことを条件として、当該ピリオドをユーザが筆記行為を行っている「書いている時間」にカウントする（ステップＳ４）。さもなくば、当該ピリオドをユーザが筆記行為を行っていない「書いていない時間」にカウントする（ステップＳ５）。
　但し、あるピリオドにおける各フレームの加速度の絶対値の合算が判定閾値を超えていたとしても、そのピリオドが「書いている時間」であると直ちに断定はできない。筆記行為以外の要因により、加速度センサ１ｄが検出する筆記具０の運動の加速度が大きくなることがあり得るからである。ユーザが子供等である場合、筆記具０を振ったり、回したり、転がしたりして遊ぶことは想像に難くない。それ故、検出部１０１は、ステップＳ２の判定結果が真であったとしても、当該ピリオドまたは当該ピリオドに含まれるフレームにおいて加速度センサ１ｄを介して検出した筆記具０の運動の加速度または角速度の絶対値が所定の上限値以上またはこれを超えている（ステップＳ３）ときには、その大きな運動は筆記行為によるものではないとして、当該ピリオドをユーザが筆記行為を行っていない「書いていない時間」にカウントする（ステップＳ５）。
　ステップＳ３で参照する（上限値と比較する）加速度または角速度の値は、加速度センサ１ｄの生の出力値であってもよいし、加速度センサ１ｄの出力値を基に演算して得た算出値、特に上述の補正やフィルタ処理等を施した値であってもよい。また、Ｘ軸、Ｙ軸、Ｚ軸の何れの方向の加速度を参照するのか、θ方向、φ方向、Ψ方向の何れの回転方向の角速度を参照するのかも、任意である。加速度センサ１ｄのＺ軸を筆記具０の軸の伸長する方向に合わせている場合において、ユーザが筆記具０を上下に振るときにはＺ軸方向の加速度の絶対値が過大化し、筆記具０を左右に振るときにはＸ軸またはＹ軸方向の加速度の絶対値が過大化すると予想される。並びに、ユーザが筆記具０を回すときにはθ方向またはφ方向の角速度の絶対値が過大化し、筆記具０を軸回りに転がすときにはΨ方向の角速度の絶対値が過大化すると予想される。検出部１０１は、対象のピリオド中の各フレームに計測したＸ軸方向加速度、Ｙ軸方向加速度、Ｚ軸方向加速度、θ方向角速度、φ方向角速度、Ψ方向角速度の絶対値をそれぞれ対応する上限値と比較し、何れかが上限値以上またはこれを上回るのであれば当該ピリオドを「書いていない時間」にカウントする。または、当該ピリオドに含まれる各フレームのＸ軸方向加速度の絶対値の合算値（十個の絶対値の総和）、Ｙ軸方向加速度の絶対値の合算値、Ｚ軸方向加速度の絶対値の合算値、θ方向角速度の絶対値の合算値、φ方向角速度の絶対値の合算値、Ψ方向角速度の絶対値の合算値をそれぞれ対応する上限値と比較して、何れかが上限値以上またはこれを上回るのであれば当該ピリオドを「書いていない時間」にカウントすることとしてもよい。上限値は、軸方向や回転方向毎に個別に設定してもよいし、三軸方向で同値でもよいし、全回転方向で同値でもよい。
　あるいは、ステップＳ３にて、対象のピリオド中の筆記具０の運動の速度（の絶対値）または変位量（の絶対値）の平均値、中央値若しくは最大値等を所定の上限値と比較し、前者が後者以上または後者を上回っているときに、当該ピリオドをユーザが筆記行為を行っていない「書いていない時間」にカウントすることとしても構わない。ピリオド中の筆記具０の運動の速度または変位量は、同ピリオド中に加速度センサ１ｄを介して検出した加速度及び／または角速度を基に算出することができる。
　ステップＳ１ないしＳ５を通じてカウントした「書いている時間」のピリオド数は、ユーザが筆記具０を使用して行った筆記行為の筆記量に相当する。そして、カウントした「書いている時間」のピリオド数と「書いていない時間」のピリオド数との合算値は、筆記行為以外の時間を含めた、ユーザが筆記具０を手にしていた時間の総体の長さに相当する。筆記具側装置１の検出部１０１は、少なくとも筆記量に相当する「書いている時間」のピリオド数を、メインメモリ１ｂまたは補助記憶デバイス１ｃに記憶する。並びに、「書いていない時間」のピリオド数、及び／または、「書いている時間」のピリオド数と「書いていない時間」のピリオド数との合算値を、メインメモリ１ｂまたは補助記憶デバイス１ｃに記憶する。
　加えて、検出部１０１は、「書いている時間」と判定した各ピリオドについて、そのピリオドに含まれる各フレームの加速度の絶対値（例えば、√（ｘ2＋ｙ2）または√（Ｘ’2＋Ｙ’2））の合算（十個の加速度の絶対値の総和）の大きさを段階評価、例えば五段階で評価する（ステップＳ６）。即ち、ステップＳ３における判定閾値を上回る加速度の絶対値の合算が、五段階のランク区分のうちの何れの範囲内に位置するのかを判断する。これは、当該ピリオドにおける筆運びの速さを五段階評価することを意味する。その上で、その五段階評価の発生頻度をカウントする（ステップＳ７）。例えば、あるピリオドの加速度の絶対値の合算がＣランクの範囲内にあるとしたら、Ｃランクの発生頻度の値を１加増する。
　ステップＳ６及びＳ７を通じてカウントした各ランクの発生頻度は、ユーザが筆記具０を使用して行った筆記行為における筆記の速さを示唆する。筆記具側装置１の検出部１０１は、各ランクの発生頻度のヒストグラム、即ちＡランクの発生頻度、Ｂランクの発生頻度、……、Ｅランクの発生頻度の各々の値を、メインメモリ１ｂまたは補助記憶デバイス１ｃに記憶する。「書いている時間」にカウントしたピリオド数が５００だとすれば、Ａランクの発生頻度、Ｂランクの発生頻度、……、Ｅランクの発生頻度の合計値が５００になる。ユーザの筆記の速さを評価する際には、最も発生頻度の多かったランク、または各ランクの発生頻度とランクのスコア値（例えば、Ａランクなら５、Ｂランクなら４、……、Ｅランクなら１）との積を全ランクについて合算したものの平均値若しくは中央値等を、その評価のための指標として用いることができる。
　検出部１０１は、上記ステップＳ１ないしＳ７を反復的に実行することにより、ユーザの筆記具０を使用した筆記行為に関するデータ、即ち筆記行為における筆記量及び筆記の速さを取得してメインメモリ１ｂまたは補助記憶デバイス１ｃに記憶保持する。ステップＳ２またはＳ３において「書いていない時間」と判定したピリオド中に得た加速度センサ１ｄの出力値、及びそれを基に算出される筆記量や筆記の速さは、筆記行為に関するデータとして取得せず（即ち、「書いている時間」にカウントせず、筆記の速さの五段階評価の対象にもしない。「書いていない時間」のカウントは、筆記量ではなく、筆記行為に関するデータに該当しない）、これを記憶保持しない。
　なお、検出部１０１が、筆記行為における筆記量として、「書いている時間」と判定したピリオド中の筆記具０の筆先の変位量の積算値を算出して記憶保持することとしてもよい。並びに、検出部１０１が、同筆記行為における筆記の速さとして、「書いている時間」と判定したピリオド中の筆記具０の筆先の運動の速度の平均値若しくは中央値、「書いている時間」と判定したピリオド中の筆記具０の筆先の変位量の積算値を「書いている時間」のピリオド数で除したもの（結局、単位時間あたりの筆先の変位量）、またはそれらの何れかを段階評価したときの各ランクの発生頻度を算出して記憶保持することとしてもよい。
　筆記具側装置１の送信部１０２は、通信インタフェース１ｅを利用して、検出部１０１が検出しメインメモリ１ｂまたは補助記憶デバイス１ｃに記憶保持している、ユーザによる筆記具０を使用した筆記行為に関するデータを情報処理端末２に向けて送信する。情報処理端末２の受信部２０１は、通信インタフェース２ｆを利用して、筆記具側装置１から送信される、筆記行為に関するデータを受信して、それをメインメモリ２ｂまたは補助記憶デバイス２ｃの所要の記憶領域に記憶して保持する。
　本実施形態では、図６に示すように、ユーザが、筆記具側装置１の付帯する筆記具０の端部（筆先を有する前端部、または筆先と反対側にある後端部。何れでもよい）を、置かれている情報処理端末２に向けて上方から下方に傾ける操作（筆記具０を寝かせた（より水平に近い）姿勢から筆記具０を立てる（より鉛直に近い）姿勢へと変化させる操作）、あたかも筆記具０内に蓄えた水を筆記具０の端部から情報処理端末２に注ぎ入れるかのような操作を行ったことをきっかけとして、筆記具側装置１と情報処理端末２との間でのデータの授受を開始する。この操作は、ユーザが筆記具０を使用して行った筆記行為の筆記量をある種のエネルギまたはパワーに見立て、ユーザが筆記行為を通じて筆記具０に溜めたそのエネルギまたはパワーを情報処理端末２に流し込む行動を模している。
　図７に、筆記具側装置１の送信部１０２及び情報処理端末２の受信部２０１による、筆記行為に関するデータの送受信のための処理の手順を示す。筆記具側装置１の送信部１０２は、データの送受信の前段階の準備が整って以後（ステップＳ８）、所定時間毎、即ち一フレーム毎に、加速度センサ１ｄを介して筆記具０の三軸回りの回転の角速度［θ，φ，Ψ］を知得する（ステップＳ９）。
　ステップＳ８の分岐判断は、例えば、ユーザが筆記具側装置１自体に実装されている所定のボタンまたはスイッチ等を操作したときに真となる。または、ユーザが情報処理端末２の入力デバイス２ｇを介して特定の操作を行い、その旨を示す信号または情報が当該情報処理端末２から筆記具側装置１に送信されて、これを筆記具側装置１が受信したときに真となる。当然ながら、筆記具０の端部を下方に向ける操作は筆記中にも行われる。従って、ステップＳ８は、ユーザが意図していないにもかかわらず筆記中に筆記具側装置１から情報処理端末２に向けたデータの送信が実行開始されるのを防止することを目的としている。
　ステップＳ９にて取得する角速度は、加速度センサ１ｄが出力する生の値であってもよく、加速度センサ１ｄが出力する生の値に何らかのフィルタ処理を施したものであってもよい。
　しかして、筆記具側装置１の送信部１０２は、所定時間毎に加速度センサ１ｄを介して検出した筆記具０の回転の角速度［θ，φ，Ψ］の時系列を、オイラー角またはクォータニオン（四元数）等の任意の数値形式で、情報処理端末２に向けて送信する（ステップＳ１０）。
　情報処理端末２の受信部２０１は、筆記具側装置１からもたらされる、所定時間毎の筆記具０の回転の角速度の時系列を受信する（ステップＳ１１）。そして、これに基づき、ユーザが筆記具０の端部を情報処理端末２に向けて傾ける操作を行ったか否かを判定する（ステップＳ１２）。ユーザが筆記具０の端部を情報処理端末２に向けて傾ける操作を行ったと判定した場合には、その旨を示す信号または情報を筆記具側装置１に向けて送信する（ステップＳ１３）。
　筆記具側装置１の送信部１０２は、情報処理端末２からもたらされる上記の信号または情報を受信したことを条件として（ステップＳ１４）、メインメモリ１ｂまたは補助記憶デバイス１ｃに記憶保持しているデータの情報処理端末２に向けた送信を実行開始する（ステップＳ１５）。
　上述のステップＳ１０ないしＳ１４は、ユーザの手により筆記具０の端部を情報処理端末２に向けて傾ける操作が行われたことを、情報処理端末２の側で判断し確認するものであった。だが、筆記具側装置１において、所定時間毎の筆記具０の回転の角速度の時系列に基づき、そのような操作が行われたか否かを判断し、当該操作が行われたことを条件として、データの情報処理端末２に向けた送信を実行（ステップＳ１５）するようにしても構わない。筆記具側装置１において当該操作の有無を判断するのであれば、ステップＳ１０ないしＳ１４の手順を省略することができる。
　ステップＳ１５にて筆記具側装置１が情報処理端末２に向けて送信するデータは、ユーザの筆記行為に関するデータである、筆記量を示す「書いている時間」のピリオド数、及び筆記の速さを示す五段階評価の各ランクの発生頻度、並びに、「書いていない時間」のピリオド数、及び／または、「書いている時間」のピリオド数と「書いていない時間」のピリオド数との合算値を含む。
　情報処理端末２の受信部２０１は、筆記具側装置１からもたらされるデータを受信し（ステップＳ１６）、これをメインメモリ２ｂまたは補助記憶デバイス２ｃに記憶する。このとき、情報処理端末２では、過去に受信してメインメモリ２ｂまたは補助記憶デバイス２ｃに記憶保持している「書いている時間」のピリオド数に、今般新たに受信した「書いている時間」のピリオド数を加算することがある。また、過去に受信して記憶保持している筆記の速さの五段階評価の各ランクの発生頻度のヒストグラムに、今般新たに受信した各ランクの発生頻度のヒストグラムを加算することがある。並びに、過去に受信して記憶保持している「書いていない時間」のピリオド数、または「書いている時間」のピリオド数と「書いていない時間」のピリオド数との合算値に、今般新たに受信した「書いていない時間」のピリオド数、または「書いている時間」のピリオド数と「書いていない時間」のピリオド数との合算値を加算することがある。
　ステップＳ１５及びＳ１６のデータの送受信は、可能な限り速やかに完遂してもよいが、筆記具側装置１において記憶保持しているデータの値が大きいほど、またはデータの量が多いほど、データの送受信が完了するまでに要する時間が長くなるような演出を施すこともできる。より詳しく述べると、筆記具側装置１の送信部１０２及び情報処理端末２の受信部２０１が、ユーザが筆記具０の端部を前記情報処理端末２に向けて傾けた状態を保っている時間の長さが閾値を超えたことを条件としてデータの送受信を完了することとし、その閾値を、筆記具側装置１が記憶保持する「書いている時間」のピリオド数が多いほど大きく（長く）設定し、または筆記具側装置１が記憶保持する筆記の速さの五段階評価の各ランクの発生頻度が多いほど大きく設定する。つまり、ユーザが筆記行為を通じて筆記具０に溜めたエネルギまたはパワーが多いほど、そのエネルギまたはパワーを全て情報処理端末２に流し込むのに長い時間を要するということである。
　データの送受信が完了するまでの間、即ちユーザが筆記具０の端部を情報処理端末２に向けて傾けた状態を保っている間（その状態を保っている時間の長さが閾値に達していない時点において）、情報処理端末２の受信部２０１の機能として、送受信処理の中途であることをユーザに意識させる、換言すればその状態を依然として維持するべきことをユーザに認識させるための情報を、ユーザの視覚または聴覚に訴えかける態様で出力することも好ましい。例えば、送受信の最中に、水が注がれるような動画像をディスプレイ２ｈの画面に表示させてもよいし、水の注がれる音のような効果音を音声出力デバイス２ｉから出力してもよい。
　また、このように、データの送受信を即時的に完了しない場合においては、その送受信の最中に、筆記具側装置１のメインメモリ１ｂまたは補助記憶デバイス１ｃに記憶するデータ値、特に「書いている時間」のピリオド数や筆記の速さの五段階評価の各ランクの発生頻度の値を徐変（徐々に減少）させつつ、情報処理端末２のメインメモリ２ｂまたは補助記憶デバイス２ｃに記憶するデータ値、特に「書いている時間」のピリオド数や筆記の速さの五段階評価の各ランクの発生頻度の値を徐変（徐々に加増）するように処理することも可能である。
　ユーザが筆記具０の端部を情報処理端末２に向けて傾けた状態を保っている時間の長さが閾値を超える前に、ユーザがその状態を維持することを止めたときには、データの送受信そのものをキャンセルする、即ち筆記具側装置１及び情報処理端末２の各々が記憶するデータを送受信開始前のものとする（または、送受信前のデータに回復させる）ようにしてもよい。あるいは、送受信の最中に筆記具側装置１及び情報処理端末２の各々が記憶するデータ値を徐変させる処理を実施しているのであれば、ユーザが上記の状態を維持することを止めた時点でのデータ値を筆記具側装置１及び情報処理端末２に記憶保持させるようにしてもよい。送受信の最中にユーザが筆記具０の端部を情報処理端末２に向けて傾けた状態を保っているか否かの判断は、送受信の開始条件としてユーザが筆記具０の端部を情報処理端末２に向けて傾ける操作を行ったか否かを判断するのと同様の手順により、情報処理端末２側で実行した上で情報処理端末２から筆記具側装置１に向けてその判断結果を通知（送信）してもよく、筆記具側装置１自身で判断してもよい。
　筆記具側装置１と情報処理端末２との間でのデータの送受信（ステップＳ１５及びＳ１６）が完了した後、筆記具側装置１では、それまでメインメモリ１ｂまたは補助記憶デバイス１ｃに記憶保持していた送信済みのデータを、メインメモリ１ｂまたは補助記憶デバイス１ｃから消去する、換言すれば、「書いている時間」のピリオド数、「書いていない時間」のピリオド数、及び筆記の速さの五段階評価の各ランクの発生頻度を、それぞれ０にリセットする（ステップＳ１７）。
　筆記具側装置１の送信部１０２及び情報処理端末２の受信部２０１は、上述したステップＳ８ないしＳ１７のデータの送受信を行うとき以外の期間において、両者の間の通信を遮断、即ち互いに向けた無線信号の送出を停止し、以て電力消費を抑制する。
　情報処理端末２の情報出力部２０２は、筆記具側装置１から受信してメインメモリ２ｂまたは補助記憶デバイス２ｃに記憶した、ユーザが筆記具０を使用して行った筆記行為に関するデータに応じた情報を、ユーザの視覚または聴覚に訴えかける態様で出力する。
　例えば、図８に示すように、ユーザがこれまで行った筆記行為における筆記量（の累積値）を基に、その筆記量を視覚的に示す情報として、筆記量が多くなるほど大きく伸びる樹木２１のような画像を生成または選択し、ディスプレイ２ｈの画面に表示させる。このとき、ユーザがこれまで行った筆記量に応じて音色や旋律、音の大きさ等の異なる音声の情報を生成または選択し、音声出力デバイス２ｉから出力してもよい。
　筆記量は、ユーザのこれまでの勉強または訓練等の成果であると言え、これを適時ユーザに向けて提示することで、筆記具０を使用した筆記行為にゲーム性を持たせ、特に子供等のユーザの自発的な勉学への意欲を引き出す。
　加えて、情報処理端末２の情報出力部２０２は、図８及び図９に示すように、ユーザがこれまで行った筆記行為における筆記の速さ（の五段階評価の各ランクの発生頻度のヒストグラム）を基に、その筆記の速さを視覚的に示す情報として、筆記の速さに応じて種類の異なる果実２２が樹木２１に実るような画像を生成または選択し、ディスプレイ２ｈの画面に表示させる。例えば、筆記の速さがある低位のランクまたはある低位値よりも低い場合には図９（ａ）に示しているようにチェリー２２が実り、筆記の速さがある高位のランクまたはある高位値よりも高い場合には図９（ｃ）に示しているようにバナナ２２が実り、筆記の速さがそれらの中間にある場合には図９（ｂ）に示しているようにリンゴ２２が実る、というような態様である。このとき、ユーザがこれまで行った筆記行為の筆記の速さに応じて音色や旋律、音の大きさ等の異なる音声の情報を生成または選択し、音声出力デバイス２ｉから出力してもよい。既述の通り、ユーザの過去の筆記行為における筆記の速さは、五段階評価の各ランクの発生頻度のうちの最も発生頻度の多かったランクや、各ランクの発生頻度と当該ランクのスコア値との積を全ランクについて合算したものの平均値若しくは中央値等から評価することができる。Ｄランクの発生頻度が最も多かったのであれば、ユーザの筆記の速さは中程度よりもやや遅く成長または改善の余地があると評価でき、Ａランクの発生頻度が最も多かったのであれば、ユーザの筆記が相当に速くなっており書き出す力が高まっていると評価できる。ランクの発生頻度とランクのスコア値との積の平均値若しくは中央値等を参照するのであれば、その値が高いほどユーザの筆記が速いと評価できる。
　情報処理端末２が、ユーザのこれまでの筆記量だけでなく、筆記行為における筆記の速さをも提示することが、特に子供等のユーザに筆記の速さを意識させることに繋がり、書き出す力の涵養に資するものと期待される。小学校低学年であれば一分間に十五文字ないし二十文字、中学年であれば一分間に二十文字ないし二十五文字、高学年であれば一分間に二十五文字ないし三十文字を書くことができる速さが、目標の一つの目安となろう。まともな文字でコンスタントに一分間あたり三十文字書くことができる力があれば、それは書くことに事欠かない大人並みの筆力であり、ノートやメモ、日記や葉書、手紙等を書こうとしたときにすぐに筆が動いてくれるであろう。
　本実施形態では、筆記具０を使用した筆記行為における筆記量、及び同筆記行為における筆記の速さを検出する検出部１０１と、前記検出部１０１を介して検出した筆記行為における筆記量に応じた情報をユーザの視覚または聴覚に訴えかける態様で出力し、なおかつ同筆記行為における筆記の速さによって異なる情報をユーザの視覚または聴覚に訴えかける態様で出力する情報出力部２０２とを具備する筆記行為評価システムを構成した。本実施形態によれば、ユーザの筆記行為における筆記量と、筆記の速さとの両方をそれぞれ出力してユーザに提示することができる。ひいては、筆記行為を通じたユーザの学習の達成度とともに、ユーザの書き出す力の向上の度合いを的確に可視化して評価に供することが可能となる。
　前記情報出力部２０２は、前記検出部１０１を介して検出した筆記行為の筆記量が所定の閾値に到達したことを条件として、同筆記行為中に検出部１０１を介して検出した筆記の速さに応じて異なる情報を出力する。図８に示した例に則して述べると、筆記の速さを表示する果実２２は、筆記量に応じて伸びる樹木２１がある大きさまで生長しないと、つまり樹木２１がその大きさに生長するのに必要な量即ち閾値まで情報処理端末２に記憶している筆記量が増加しないと、実らない。筆記の速さに応じた音声情報の出力も、同様である。
　本実施形態の筆記行為評価システムは、筆記具０に付帯し前記検出部１０１を備える筆記具側装置１と、当該筆記具側装置１との間でデータを授受でき前記情報出力部２０２を備える情報処理端末２とを要素とし、前記筆記具側装置１が、前記検出部１０１で取得した筆記行為の筆記量及び同筆記行為における筆記の速さを記憶し、その記憶している筆記量及び筆記の速さを前記情報処理端末２と通信可能な状況下で当該情報処理端末２に向けて送信し、これを受信した情報処理端末２が、前記情報出力部２０２において当該筆記量及び筆記の速さに基づき前記情報を出力する。本実施形態では、筆記具側装置１において予め筆記の速さを示唆する値、即ち五段階評価の発生頻度のヒストグラムを算出して記憶保持しておき、筆記具側装置１と情報処理端末２との交信が可能なときにそれを送受信する。従って、筆記行為の最中に、恒常的かつ長時間に亘って継続的に、筆記具０の筆先の加速度、速度、変位量、位置座標等を筆記具側装置１から情報処理端末２に送信し続ける

必要がない。つまり、筆記具側装置１と情報処理端末２との間の通信の機会を適切に制限して省電力を実現できる。さらには、筆記行為に関するデータの収集を情報処理端末２を必要とせずに（情報処理端末２が不在であっても）遂行することができ、情報処理端末２の存在が筆記行為の妨げとならない。
　前記検出部１０１は、筆記具０の筆先の移動の加速度を計測する加速度センサ１ｄを有しており、当該加速度センサ１ｄを利用して簡便に筆記行為の筆記量及び同筆記行為における筆記の速さを算定し取得することができる。
　また、本実施形態では、筆記行為に使用される筆記具０に付帯する筆記具側装置１と、当該筆記具側装置１との間でデータを授受できる情報処理端末２とを要素とし、前記筆記具側装置１が、筆記具０を使用した筆記行為に関して定量化されたデータを取得して記憶する検出部１０１と、筆記具０の端部を前記情報処理端末２に向けて傾ける操作が行われたことを条件として、前記検出部１０１で取得し記憶しているデータを情報処理端末２に向けて送信する送信部１０２とを備え、前記情報処理端末２が、前記筆記具側装置１から送信されるデータを受信する受信部２０１を備える送受信システムを構成した。本実施形態によれば、筆記具側装置１と情報処理端末２との間でのデータの授受に際して、筆記具０という物と、情報処理端末２上のアプリケーションプログラムとの連動体験を提供でき、面白みやゲーム性が増進される。
　前記情報処理端末２が、前記受信部２０１で受信したデータに応じて情報をユーザの視覚または聴覚に訴えかける態様で出力する情報出力部２０２を備える。
　前記送信部１０２及び前記受信部２０１は、筆記具０の端部を前記情報処理端末２に向けて傾けた状態を保っている時間の長さが閾値を超えたことを条件として送受信を完了するものであり、前記検出部１０１で取得し記憶しているデータの値の大きさまたはデータの量に応じて前記閾値が変動する。これにより、筆記具０に蓄えられた筆記量のデータに応じて、ユーザが筆記具０を情報処理端末２に向けて傾ける操作を行う時間が変化し、筆記具０に溜めたエネルギまたはパワーが多いほど、そのエネルギまたはパワーを全て情報処理端末２に流し込むのに時間を要するというヴァーチャルリアルな体験をユーザに提供できる。
　前記送信部１０２及び前記受信部２０１は、前記データの送受信を行うとき以外の期間において、両者の間の通信を遮断して消費電力の低減を図る。
　さらに、本実施形態では、筆記具０に付帯し、筆記具０の運動の加速度、速度または変位を計測するセンサ１ｄの出力値または当該出力値を基に演算して得た算出値を筆記行為に関するデータとして取得する検出部１０１を備えるものであって、前記検出部１０１は、前記センサ１ｄの出力値または当該出力値を基に演算して得た算出値が所定の上限値以上またはこれを超えているとき、その上限値以上またはこれを超えた出力値または算出値を筆記行為に関するデータとして取得しない筆記具側装置１を構成した。本実施形態によれば、前記センサ１ｄ以外のセンサやスイッチ類を別途実装せずとも、筆記行為に起因する筆記具０の運動と、筆記行為以外の行為に起因する筆記具０の運動等を切り分けて特定することができる。そして、センサ１ｄを介して取得する筆記行為に関するデータに誤差が混入することを効果的に抑制できる。
　前記センサ１ｄは、筆記具０に対して不動に設定され互いに直交する三軸のうちの少なくとも一つの軸の方向に沿った筆記具０の運動の加速度、速度または変位を計測するものであり、前記検出部１０１は、前記センサ１ｄの出力値または当該出力値を基に演算して得た算出値が所定の上限値以上またはこれを超えているとき、その上限値以上またはこれを超えた出力値または算出値を筆記行為に関するデータとして取得しない。
　前記センサ１ｄは、筆記具０に対して不動に設定され互いに直交する三軸のうちの少なくとも一つの軸を中心とする筆記具０の回転運動の加速度、速度または変位を計測するものであり、前記検出部１０１は、前記センサ１ｄの出力値または当該出力値を基に演算して得た算出値が所定の上限値以上またはこれを超えているとき、その上限値以上またはこれを超えた出力値または算出値を筆記行為に関するデータとして取得しない。
　前記センサ１ｄは、三軸加速度センサ及び三軸ジャイロセンサの機能を有するものである。
　前記検出部１０１は、筆記行為に関するデータとして、筆記行為の筆記量及び同筆記行為における筆記の速さをともに取得する。
　なお、本発明は以上に詳述した実施形態に限られるものではない。各部の具体的な構成や処理の手順等は、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
　０…筆記具
　１…筆記具側装置
　１ｄ…加速度センサ
　１０１…検出部
　１０２…送信部
　２…情報処理端末
　２０１…受信部
　２０２…情報出力部
　２１…筆記行為における筆記量に応じて異なる情報（樹木）
　２２…筆記行為における筆記の速さに応じて異なる情報（果実）

Claims (8)

  1. 筆記具を使用した筆記行為における筆記量、及び同筆記行為における筆記の速さを検出する検出部と、
    前記検出部を介して検出した筆記行為における筆記量に応じた情報をユーザの視覚または聴覚に訴えかける態様で出力し、なおかつ同筆記行為における筆記の速さに応じた情報をユーザの視覚または聴覚に訴えかける態様で出力する情報出力部と
    を具備する筆記行為評価システム。
  2. 前記情報出力部は、前記検出部を介して検出した筆記行為における筆記量が所定の閾値に到達したことを条件として、同筆記行為中に検出部を介して検出した筆記の速さに応じた情報を出力する請求項１記載の筆記行為評価システム。
  3. 筆記具に付帯し前記検出部を備える筆記具側装置と、当該筆記具側装置との間でデータを授受でき前記情報出力部を備える情報処理端末とを要素とし、
    前記筆記具側装置が、前記検出部で取得した筆記行為における筆記量及び同筆記行為における筆記の速さを記憶し、その記憶している筆記量及び筆記の速さを前記情報処理端末と通信可能な状況下で当該情報処理端末に向けて送信し、これを受信した情報処理端末が、前記情報出力部において当該筆記量及び筆記の速さに基づき前記情報を出力する請求項１または２記載の筆記行為評価システム。
  4. 前記検出部が、筆記具の筆先の移動の加速度を計測する加速度センサを有し、当該加速度センサを利用して筆記行為における筆記量及び同筆記行為における筆記の速さを取得する請求項１、２または３記載の筆記行為評価システム。
  5. 請求項１、２、３または４記載の筆記行為評価システムを構成するために用いられるものであって、
    筆記具を使用した筆記行為における筆記量、及び同筆記行為における筆記具の筆記の速さを検出するとともに、検出した筆記行為及び筆記の速さを記憶する検出部と、
    前記検出部で検出し記憶している筆記量及び筆記の速さを情報処理端末と通信可能な状況下で当該情報処理端末に向けて送信する送信部と
    を備える筆記具側装置。
  6. 筆記行為に使用される筆記具に対して着脱可能である請求項５記載の筆記具側装置。
  7. 請求項１、２、３または４記載の筆記行為評価システムを構成するために用いられるものであって、
    情報処理端末を、
    筆記具に付帯する筆記具側装置から送信される、筆記具を使用した筆記行為における筆記量、及び同筆記行為における筆記の速さを受信する受信部、並びに、
    前記受信部で受信した筆記量に応じた情報をユーザの視覚または聴覚に訴えかける態様で出力し、なおかつ受信部で受信した筆記の速さに応じた情報をユーザの視覚または聴覚に訴えかける態様で出力する情報出力部
    として機能させるプログラム。
  8. 請求項５または６記載の筆記具側装置と、請求項７記載のプログラムとの組。
PCT/JP2019/008608 2018-06-04 2019-03-05 筆記行為評価システム WO2019235007A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201980029995.5A CN112074887A (zh) 2018-06-04 2019-03-05 书写行为评价系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-106808 2018-06-04
JP2018106808A JP2019211587A (ja) 2018-06-04 2018-06-04 筆記行為評価システム

Publications (1)

Publication Number Publication Date
WO2019235007A1 true WO2019235007A1 (ja) 2019-12-12

Family

ID=68769314

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008608 WO2019235007A1 (ja) 2018-06-04 2019-03-05 筆記行為評価システム

Country Status (3)

Country Link
JP (2) JP2019211587A (ja)
CN (1) CN112074887A (ja)
WO (1) WO2019235007A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006007569A (ja) * 2004-06-25 2006-01-12 Fuji Xerox Co Ltd 筆記制御付きペン及びペンの筆記制御プログラム
JP2009031614A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 電子添削システム
US20170109566A1 (en) * 2014-05-12 2017-04-20 The Johns Hopkins University Kinematic and morpometric analysis of digitized handwriting tracings
JP2018001721A (ja) * 2016-07-08 2018-01-11 国立大学法人大阪大学 筆記装置及びコンピュータープログラム
WO2018168784A1 (ja) * 2017-03-13 2018-09-20 圭司 田谷 電子機器および情報処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872259B (zh) * 2010-06-03 2012-01-25 中国人民解放军第二炮兵工程学院 自动录入书写内容的自然交互笔及笔迹检测方法
CN101872260B (zh) * 2010-06-03 2013-07-31 张通达 一种远程交互笔及书写笔迹检测方法
CN102346859B (zh) * 2010-07-26 2013-10-09 卡西欧计算机株式会社 文字识别装置
CN103871276A (zh) * 2012-12-10 2014-06-18 中国电信股份有限公司 电子板书信息的显示方法、系统与书写终端
CN103927025B (zh) * 2014-04-29 2017-02-08 南京数模微电子有限公司 一种笔迹数字化实现装置及其方法
CN107765890A (zh) * 2017-09-04 2018-03-06 浙江大学 一种基于加速度传感器的写字内容检测系统和方法
CN107728907B (zh) * 2017-09-26 2020-03-20 马新禹 一种书写笔迹生成方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006007569A (ja) * 2004-06-25 2006-01-12 Fuji Xerox Co Ltd 筆記制御付きペン及びペンの筆記制御プログラム
JP2009031614A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 電子添削システム
US20170109566A1 (en) * 2014-05-12 2017-04-20 The Johns Hopkins University Kinematic and morpometric analysis of digitized handwriting tracings
JP2018001721A (ja) * 2016-07-08 2018-01-11 国立大学法人大阪大学 筆記装置及びコンピュータープログラム
WO2018168784A1 (ja) * 2017-03-13 2018-09-20 圭司 田谷 電子機器および情報処理方法

Also Published As

Publication number Publication date
CN112074887A (zh) 2020-12-11
JP2023095875A (ja) 2023-07-06
JP2019211587A (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
US20180158370A1 (en) Hand motion interpretation and communication apparatus
US20170153804A1 (en) Display device
KR101551424B1 (ko) 수화 인식 장치
JP2014062962A (ja) 情報処理装置、筆記具、情報処理方法およびプログラム
WO2016017379A1 (ja) 携帯端末、トレーニング管理プログラムおよびトレーニング管理方法
CN113302672A (zh) 变速语音发音机器
CN108215585B (zh) 一种力度模拟书写装置、方法及智能书写笔
CN107798322A (zh) 一种智能笔
Arsenault et al. Gesture recognition using Markov Systems and wearable wireless inertial sensors
US20080158164A1 (en) Portable media storage and playback device
CN106356046A (zh) 一种乐器演奏评价方法、装置及系统
WO2019235007A1 (ja) 筆記行為評価システム
WO2019235009A1 (ja) 筆記具側装置
WO2019235008A1 (ja) 送受信システム
JP7022431B2 (ja) 学習支援システム、プログラム
CN110321993B (zh) 计数信息更新方法、电子系统及可携式电子装置
JP2022179538A (ja) 行為嘉賞システム
JP5652647B2 (ja) 小型電子機器、処理方法及びプログラム
TW201830198A (zh) 手語辨識方法及系統
TWM546589U (zh) 手語辨識系統
JP2010175755A (ja) 書字訓練支援装置
Das et al. Analytical study and overview on glove based Indian Sign Language interpretation technique
Sousa et al. GyGSLA: A portable glove system for learning sign language alphabet
Chakoma et al. Converting South African sign language to verbal
Jhunjhunwala et al. Sign Language To Speech Conversion Using Arduino

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19815536

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19815536

Country of ref document: EP

Kind code of ref document: A1