WO2018168784A1 - 電子機器および情報処理方法 - Google Patents

電子機器および情報処理方法 Download PDF

Info

Publication number
WO2018168784A1
WO2018168784A1 PCT/JP2018/009535 JP2018009535W WO2018168784A1 WO 2018168784 A1 WO2018168784 A1 WO 2018168784A1 JP 2018009535 W JP2018009535 W JP 2018009535W WO 2018168784 A1 WO2018168784 A1 WO 2018168784A1
Authority
WO
WIPO (PCT)
Prior art keywords
writing
electronic device
information
pen
frequency
Prior art date
Application number
PCT/JP2018/009535
Other languages
English (en)
French (fr)
Inventor
圭司 田谷
崇志 大坪
将城 大溝
Original Assignee
圭司 田谷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 圭司 田谷 filed Critical 圭司 田谷
Priority to US16/494,115 priority Critical patent/US11175754B2/en
Priority to CN201880015817.2A priority patent/CN110462710B/zh
Priority to JP2018548225A priority patent/JP6612470B2/ja
Priority to CN202210664883.0A priority patent/CN115050106A/zh
Publication of WO2018168784A1 publication Critical patent/WO2018168784A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures
    • G06V40/33—Writer recognition; Reading and verifying signatures based only on signature image, e.g. static signature recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/825—Fostering virtual characters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B43—WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43K—IMPLEMENTS FOR WRITING OR DRAWING
    • B43K29/00—Combinations of writing implements with other articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B43—WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43K—IMPLEMENTS FOR WRITING OR DRAWING
    • B43K29/00—Combinations of writing implements with other articles
    • B43K29/08—Combinations of writing implements with other articles with measuring, computing or indicating devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B11/00—Teaching hand-writing, shorthand, drawing, or painting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to an electronic device and an information processing method, and more particularly to an electronic device capable of changing information such as images on software and playing a game in response to a writing operation such as writing a character or drawing a picture.
  • the present invention relates to an information processing method.
  • Patent Documents 1 and 2 disclose a game for raising a virtual creature.
  • the image display device described in Patent Document 1 the growth process of a living organism such as an animal or a plant is displayed as an image by an electronic device such as an electronic notebook or an electronic game machine.
  • an electronic device such as an electronic notebook or an electronic game machine.
  • a player responds to a call or request from a virtual creature on the screen and performs a corresponding action, so that the virtual creature is trained or grown. I try to do it.
  • Patent Document 3 discloses a technology that detects the movement of a toy cane and affects software and the like.
  • Patent Document 4 discloses a technique for reading a pen movement and transmitting it to a server.
  • Patent Documents 5 and 6 disclose techniques for tracking handwriting. That is, in Patent Document 5, the light from the moving light source on the writing instrument is transmitted as an indication of the position and path of the writing instrument on the two-dimensional writing surface, the light is detected by two or more sensors, A method is disclosed that includes generating a sequence of signals representative of sensed light and applying a technique that enhances sub-pixel readout stability. Further, in Patent Document 6, at least a means for extracting and analyzing body movement information from writing information with an electronic pen, an answer state obtained by the analyzing means, an answer result input by the electronic pen, and correct answer information for the question are at least An electronic correction system having display means capable of displaying is disclosed.
  • Patent Document 7 discloses a handwriting input device. That is, in the handwriting input device disclosed in Patent Document 7, when writing with an input pen, the handwriting is detected in real time and displayed on the TV as drawn.
  • Patent Document 8 discloses a handwritten character input game device that can advance a game by inputting characters by handwriting.
  • This apparatus determines means for displaying a character as a model, means for inputting a handwritten character by pen input and displaying the contents at the same time, means for recognizing a stroke of the handwritten character, and a stroke of the input character. And means for storing the learning difficulty level and model, and a progress means for displaying the result and the model of the next difficulty level on the display unit according to the determined result.
  • Patent Document 9 discloses a portable handwritten character input device.
  • handwritten characters are read by a camera and stored in a memory as video data, and the stored video data is transmitted to an external device by infrared rays.
  • Patent Document 10 discloses a controller related to an interactive painting game.
  • the controller tracks the position information of the controller in a three-dimensional space and sends a sensor signal representing the position information to the computer and a haptic effect when receiving a control signal from a processor connected to the controller.
  • an actuator configured to output to a user.
  • Patent Documents 11 to 14 disclose an apparatus for detecting toothbrush movement and assisting in toothbrushing.
  • Japanese Patent Laid-Open No. 7-160853 Japanese Patent Laid-Open No. 10-232595 JP-T 2006-521162 JP-T-2004-537342 JP 2009-187565 A JP 2009-031614
  • Japanese Patent Laid-Open No. 7-248875 JP 2006-204853 A Japanese Patent Laid-Open No. 2002-041230 Special table 2012-512724 gazette International Publication No. WO2016 / 104442 JP 2017-060661 A Japanese Patent Laid-Open No. 2017-060662 JP 2009-240760 A
  • Writing instruments such as pencils, mechanical pencils, and ballpoint pens are used when studying or drawing. When using such writing instruments to improve knowledge acquisition and skills, it is important to increase motivation.
  • Patent Document 1 and Patent Document 2 there are training games for raising animals on software, virtual creatures, pets, etc. with smartphones, personal computers, game machines, and the like. , enjoys returning virtual creatures from eggs, growing and evolving. Further, the techniques described in Patent Document 3 and Patent Document 4 read the movement of the electronic device. However, these specialize in the game nature of raising virtual creatures, and there is no connection with useful acts such as writing letters or drawing pictures. For this reason, the effect of raising the motivation of character practice and study cannot be expected.
  • the stroke of the input character is determined by inputting the character as a model, but only the determination for the determined model is performed.
  • the controller related to the interactive painting game described in Patent Document 10 outputs a Haboutique effect to the user.
  • the devices described in Patent Documents 11 to 14 provide support related to tooth brushing. With these technologies, it is not possible to sufficiently combine various writing operations such as writing letters and drawing with the effect of enhancing motivation for study such as learning and improving skills.
  • An object of the present invention is to provide an electronic apparatus and an information processing method in which a user who performs a writing operation such as a character or drawing using a writing instrument is highly motivated and can improve learning and skills while having fun. .
  • an electronic apparatus includes a pen-type or writing instrument having a writing function, a main body that can be attached to the writing tool, and a detection unit that detects the frequency of a user's writing operation.
  • a storage unit that stores data having at least one of image data and numerical data, and data is selected from the storage unit corresponding to the frequency detected by the detection unit, and an image based on the selected data is displayed on the display unit
  • a control unit that performs control.
  • at least one of the storage unit, the display unit, and the control unit may be provided in the main body of the electronic device or an external device (such as a portable terminal).
  • an image is displayed on the display unit corresponding to the frequency of the writing operation by the writing instrument. That is, the image displayed on the display unit changes depending on the frequency based on the writing operation such as characters and drawing.
  • An electronic apparatus includes a panel unit having a detection unit that detects handwriting, a storage unit that stores data having at least one of image data and numerical data, and handwriting detected by the detection unit. And a control unit that performs control to select data from the storage unit corresponding to the frequency of writing based on and to display an image based on the selected data on the display unit.
  • the handwriting is detected by the detection unit provided in the panel unit, and an image is displayed on the display unit corresponding to the frequency of writing based on the detected handwriting.
  • the image displayed on the display unit changes depending on the frequency of writing based on characters written on the panel unit or handwriting such as drawing.
  • An information processing method includes a sensor that detects a user's operation and a control unit that performs control to change an image displayed on a display unit based on information detected by the sensor.
  • This is an information processing method using an electronic device.
  • the control unit corresponds to the step of detecting the writing operation from the information acquired by the sensor, the step of obtaining the writing operation frequency from the detected writing operation, and the frequency. And selecting an image to be displayed on the display unit.
  • a writing operation is detected among the user operations, and an image is displayed on the display unit corresponding to the frequency based on the detected writing operation. That is, the image displayed on the display unit changes depending on the frequency based on the writing operation such as the character written by the user or the drawing.
  • An information processing method includes a step of detecting a writing operation when a user uses an electronic device including a sensor that detects a writing operation, and a writing operation detected by the sensor. And a step of obtaining the frequency of the writing operation and a step of performing at least one of giving a point associated with the user and exchanging a consideration corresponding to the point with the server via the network.
  • a writing operation is detected among the user operations, and points corresponding to the frequency based on the detected writing operation are given. And, it becomes possible to exchange for a desired value using this point.
  • (A) And (b) is a schematic diagram which shows the other structural example of 1st Embodiment. It is a schematic diagram which shows the other structural example of 1st Embodiment. It is a schematic diagram explaining the example using a some pen-type electronic device. It is a flowchart which shows an example of a process when two pen-type electronic devices approach. It is a schematic diagram which illustrates auxiliary equipment. It is a block diagram which illustrates auxiliary equipment. It is a schematic diagram which illustrates the structure of the pen-type electronic device provided with the power generation function. It is a schematic diagram which illustrates the electronic device which concerns on 2nd Embodiment. It is a schematic diagram which shows the other structural example of 2nd Embodiment.
  • FIG. 1 is a schematic view illustrating an electronic apparatus according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an electronic apparatus according to the first embodiment.
  • the electronic device according to the present embodiment is a pen-type electronic device 1 such as a mechanical pencil or a ballpoint pen.
  • the pen-type electronic device 1 includes a main body 10 having a writing function.
  • the main body 10 includes a display (display unit) 2, an information processing unit 4, a battery 5, and a sensor 6.
  • a pen tip 10p is provided at one end of the main body 10, and the user can hold the main body 10 and draw characters and pictures with the pen tip 10p.
  • a knock portion 3 may be provided at the other end of the main body 10. In other words, the pen tip 10p may be protruded by pushing in the knock portion 3.
  • the display 2 is a display unit using liquid crystal or organic EL.
  • the display 2 is disposed, for example, near the other end of the main body 10 (a position that is not hidden when the main body 10 is held by hand). A predetermined image, character information, and the like are displayed on the display 2.
  • the information processing unit 4 includes a control unit 41, a memory 42, and a communication unit 43. These may be constituted by one chip or may be constituted by another chip.
  • the control unit 41 is, for example, a CPU, and controls each unit by a program executed here.
  • the memory 42 includes a ROM and a RAM. The memory 42 stores a program executed by the control unit, data to be displayed on the display 2 (at least one of image data and numerical data), and the like.
  • the communication unit 43 is a part that inputs and outputs information with an external device (for example, the mobile terminal 7).
  • the communication unit 43 includes a transmission unit 431 that transmits information to the outside and a reception unit 432 that receives information sent from the outside.
  • an external device in addition to the mobile terminal 7, for example, a smartphone, a tablet terminal, a game machine, a dedicated terminal, and a personal computer are listed.
  • the communication unit 43 is, for example, wireless communication means (communication means using radio waves or light). Examples of wireless communication means include Bluetooth (registered trademark), Wi-Fi (registered trademark), infrared communication means, and telephone lines.
  • the battery 5 is a storage battery, for example, and is a power supply source for driving each unit.
  • the sensor 6 is a part that detects the movement of the main body 10.
  • Examples of the sensor 6 include an acceleration sensor, a tilt sensor, a rotational trajectory sensor, a gravitational acceleration sensor, a gyro sensor, an inertial sensor, and a pressure sensor. Further, the sensor 6 may include means for detecting the operation of the knock unit 3.
  • the sensor 6 detects the frequency of the writing operation by the user.
  • the frequency of the writing operation is the frequency of writing by the pen-type electronic device 1, the number of times of writing, the amount of writing, the politeness of characters, the speed of writing, the acceleration of writing, the angle of the main body 10, and the pressure at the time of writing. Is at least one of the following values.
  • the sensor 6 may detect a value based on how to use and move the pen-type electronic device 1. These frequencies may be output values themselves from the sensor 6 or values obtained by calculation from the output values. The calculation for obtaining the frequency of the writing operation may be performed by the sensor 6, or may be performed by the control unit 41 or other portions.
  • the acceleration of the acceleration sensor exceeds a certain value and the change exceeds a certain number of times, it is determined to be “start”, and the acceleration of the acceleration sensor is equal to or less than a certain value. When it continues for a certain time or more, it is judged as “end”. When the start and end occur, the frequency of writing is counted as one time, and the number of times the start and end has occurred becomes the frequency of writing.
  • the number of writings is counted when the acceleration sensor, tilt sensor, and rotation sensor feel a change.
  • the amount of writing is counted according to how long the change detected by the sensor has occurred.
  • the method for determining the politeness of the characters is determined, for example, by the fact that the period of change is uniform and that movements such as honey and tome occur regularly. For example, when drawing a picture, the acceleration changes relatively slowly. When writing kanji, the acceleration changes continuously in a short cycle and repeatedly at an angle close to 0 ° / 90 °. Determined by what happens.
  • the movement method is detected by, for example, a change in acceleration, a change in tilt, or a change in rotation direction. Further, by measuring the time until these changes as needed, information such as the distance, direction, period, interval, rotation, and tilt of the pen tip 10p can be obtained. By detecting at least one of these pieces of information, it is possible to detect how to move the pen tip 10p.
  • the frequency of the user's writing operation detected by the sensor 6 may be stored in the memory 42, stored in the mobile terminal 7, or stored in the server via the network.
  • the control unit 41 selects data (at least one of image data and numerical data) from the memory 42 in accordance with the frequency of the user's writing operation detected by the sensor 6, and sets the selected data as the selected data. Control to display the image based on the display 2 is performed.
  • control unit 41 may transmit information on the frequency of the writing operation to the mobile terminal 7 via the communication unit 43.
  • application software is activated, and when information transmitted from the pen electronic device 1 by wireless communication or the like is received, image data or the like corresponding to the information is selected and displayed on the display 8.
  • the image data or the like may be stored in the portable terminal 7 or downloaded from a server via a network (for example, the Internet).
  • the pen-type electronic apparatus 1 of the present embodiment includes the power switch 205, the image processing unit 201, the charging unit 208, and the antenna 209 shown in FIG.
  • the power switch 205 turns the pen-type electronic device 1 on and off.
  • the image processing unit 201 processes the image data read from the memory 42 according to an instruction from the control unit 41 and sends the processed image data to the display 2.
  • the charging unit 208 includes a circuit for charging the battery 5 and a cable connection terminal.
  • the antenna 209 is connected to the communication unit 43 and transmits / receives information to / from an external device.
  • FIG. 3 is a flowchart showing an outline of the information processing method according to the present embodiment.
  • the information processing method using the pen-type electronic device 1 is illustrated here, the same information processing method can be applied even to other types of electronic devices.
  • step S1 when the operation of the pen-type electronic device 1 is started (step S1), it is determined whether or not a movement is detected by the sensor 6 (step S2). When motion is detected, motion information is acquired based on the motion detected by the sensor 6 (step S3).
  • the movement information includes the frequency of the writing operation.
  • the control unit 41 selects data (at least one of image data and numerical data) corresponding to the frequency of the writing operation.
  • data at least one of image data and numerical data
  • step S5 it is determined whether or not the pen-type electronic device 1 is continuously used. If the pen-type electronic device 1 is continuously used, the process returns to step S2 to repeat the subsequent processing. If it is not continuously used, the operation is terminated (step S6).
  • a character or the like is born from an egg, grows, becomes stronger, lives longer, changes in character, changes in nature, or evolves based on information on use or movement of the pen-type electronic device 1. For example, it is possible to perform image display or graph display with some change.
  • FIG. 4 is a flowchart showing a detailed example (part 1) of the information processing method according to the present embodiment.
  • step S541 when the operation of the pen-type electronic device 1 is started (step S541), it is determined whether or not a motion is detected by the sensor 6 (step S542). ).
  • step S543 motion information is acquired based on the motion detected by the sensor 6 (step S543), and the acquired motion information is accumulated (step S544).
  • the movement information may be stored in the memory 42 in the pen-type electronic device 1 or may be stored in an external device (such as the mobile terminal 7 or a server) via a network.
  • step S545 This determination includes determining a mark sheet, a language other than Japanese such as English, whether it is a polite character, a learning item, or the like from the analyzed writing operation.
  • step S546 it is determined whether or not to transmit information.
  • a process of transmitting information (movement information and determined information) from the pen-type electronic device 1 to the mobile terminal 7 or a process of transmitting information from the mobile terminal 7 to the server via the network is performed.
  • step S547 the movement analysis and determination are performed by the device (mobile terminal 7, server, etc.) that has received the information (step S547).
  • a language other than Japanese such as a mark sheet, English, polite characters, a learning item, or the like may be determined from the analyzed writing operation.
  • the pen movement may be analyzed and determined by an algorithm different from that of the pen-type electronic device 1.
  • step S548 based on the determined information, it is determined whether or not to change the image or the like (step S548). That is, when the determined information satisfies the condition for changing the image or the like, it is determined that the information is to be changed.
  • control unit 41 performs a process corresponding to the change determination (step S549). For example, a process of changing an image of a character or the like on software, obtaining points as numerical data, obtaining items, or displaying a graph is performed. As a result, an image display in which a character or the like grows along with the writing operation, a point increases with the writing operation, or an item can be obtained.
  • step S550 it is determined whether or not the pen-type electronic device 1 is continuously used. If the pen-type electronic device 1 is continuously used, the process returns to step S542 and the subsequent processing is repeated. If not continuously used, the operation is terminated (step S551).
  • FIG. 5 is a flowchart illustrating a detailed example (part 2) of the information processing method according to the present embodiment.
  • information transmission step S546
  • information analysis / judgment step S547 in the processing of the detailed example (part 1) of the information processing method shown in FIG. Is omitted.
  • the process of the detailed example includes the start of operation of the pen-type electronic device 1 (step S541), motion detection (step S542), motion information acquisition (step S543), motion information accumulation (step S544), information Analysis / discrimination (step S545), change determination (step S548), processing corresponding to change determination (step S549), continuation determination (step S550), and processing end (step S551).
  • FIG. 6 is a flowchart illustrating a detailed example (part 2) of the information processing method according to the present embodiment.
  • the information analysis / determination (step S545) is omitted from the processing of the detailed example (part 1) of the information processing method shown in FIG.
  • the process of the detailed example includes the start of operation of the pen-type electronic device 1 (step S541), motion detection (step S542), motion information acquisition (step S543), motion information accumulation (step S544), information It includes transmission (step S546), information analysis / discrimination (step S547), change determination (step S548), processing corresponding to the change determination (step S549), continuation determination (step S550), and processing end (step S551).
  • FIG. 7 is a flowchart illustrating a detailed example (part 2) of the information processing method according to the present embodiment.
  • the information analysis / determination (step S547) is omitted from the processing of the detailed example (part 1) of the information processing method shown in FIG.
  • the process of the detailed example includes the start of operation of the pen-type electronic device 1 (step S541), motion detection (step S542), motion information acquisition (step S543), motion information accumulation (step S544), information Analysis / discrimination (step S545), information transmission (step S546), change determination (step S548), processing corresponding to change determination (step S549), continuation determination (step S550), and processing end (step S551).
  • the pen-type electronic apparatus 1 shown in FIG. 8A is an example in which a main body 10 is provided with a sensor 6 and an information processing unit 4. That is, the pen-type electronic device 1 shown in FIG. 8A is not provided with the display 2 as shown in FIG. Even if the main body 10 of the pen-type electronic device 1 is not provided with the display 2, an image may be displayed on a display unit of an external device such as the mobile terminal 7. Since the display 2 is not provided in the pen-type electronic device 1, weight reduction and cost reduction can be achieved.
  • the pen-type electronic device 1 shown in FIG. 8B includes a power supply unit 15 for charging the battery 5.
  • a power supply unit 15 for charging the battery 5.
  • a USB connector or a wireless power supply unit is used. If the USB connector is used, power is supplied by wire, and if the wireless power supply unit is used, non-contact power supply is possible.
  • the pen-type electronic device 1 shown in FIG. 9 includes an interface unit 16 for connecting to an external device (for example, the mobile terminal 7) via a cable C. That is, the pen-type electronic device 1 shown in FIG. Therefore, the pen-type electronic device 1 shown in FIG. 9 may or may not include a wireless communication unit.
  • the interface unit 16 may also serve as the power feeding unit 15 for charging the battery 5.
  • FIG. 10 is a schematic diagram illustrating an example in which a plurality of pen-type electronic devices are used.
  • the sensor 6 performs an operation other than the writing operation such as bringing the first pen-type electronic device 11 and the second pen-type electronic device 12 closer to a predetermined distance or bringing them into contact with each other.
  • the characters and the like approach (contact) on the software, and a specific action occurs.
  • the first pen-type electronic device 11 and the second pen-type electronic device 12 are brought into contact with each other and the acceleration of the contact is detected by the sensor 6, an image such as a character or an egg or a child is born on the software. Is displayed. After an egg or child is born, a writing operation using the respective pen-type electronic devices 11 and 12 causes an image change in which the egg hatches or a character or the like grows greatly from the child. .
  • an image in which a single character or the like is generated on one or both of the first pen-type electronic device 11 and the second pen-type electronic device 12 may be displayed by approaching or contacting the first pen-type electronic device 11 and the second pen-type electronic device 12. Further, the information of one device may be transferred to the other device by the approach or contact of the first pen-type electronic device 11 and the second pen-type electronic device 12.
  • FIG. 11 is a flowchart illustrating an example of processing when two pen-type electronic devices are approaching. Note that the processing shown in this flowchart is program processing of one of the two pen-type electronic devices. In addition, contact includes contact.
  • the control unit 41 of one pen-type electronic device detects whether the other pen-type electronic device has approached (step S8). When the approach is detected, the control unit 41 acquires information on the other pen-type electronic device that has approached (step S9).
  • control unit 41 grasps information such as the mutual characters of the two pen-type electronic devices that have approached (step S10).
  • the control unit 41 determines the occurrence of an egg or a child based on the mutual character information (step S11). If no egg or child is generated in the mutual character or the like, the process proceeds to step S15.
  • the control unit 41 determines whether or not a part of the information is taken over (step S12).
  • the transfer of a part of information refers to, for example, taking over a part of individuality of a parent character or the like when an egg or a child is born from the character or the like.
  • image data of a new character or the like egg or child
  • image data of a new character egg or child
  • image data of a new character eg egg or piece
  • a new character eg egg or piece
  • step S15 it is determined whether or not the pen-type electronic device 1 is continuously used. If the pen-type electronic device 1 is continuously used, the process returns to step S2 to repeat the subsequent processing. If not continuously used, the operation is terminated (step S16).
  • an egg or a child such as a character is born, or a child character or the like who inherits a part of the personality or character of the parent character or the like is obtained.
  • An image to be born is displayed on the display 2 or the display unit of the external device. Thereby, it becomes possible to grow on eggs, such as a born character, and children on software.
  • connection between the first pen-type electronic device 11 and the second pen-type electronic device 12 can be established by approaching or contacting the first pen-type electronic device 11 and the second pen-type electronic device 12.
  • Various information based on the connection is shared, such as passing on the connection information that has been established by software, such as sending messages to each other (encouraging messages, etc.), moving characters back and forth, and sharing study time and graphs. You can also.
  • FIG. 12 is a schematic view illustrating an auxiliary device.
  • the pen-type electronic device 1 may be used by being connected to a dedicated auxiliary device 17.
  • the auxiliary device 17 includes a charging terminal 18 and a display 19.
  • the display 19 may be a touch panel.
  • the pen-type electronic device 1 is inserted into the storage portion 17 a of the auxiliary device 17 and connected to the charging terminal 18. Thereby, charging is performed.
  • the display 19 of the auxiliary device 17 displays an image of a character or the like held by the connected pen-type electronic device 1 so that the state of growth of the character or the like can be confirmed or a game can be played.
  • the touch panel of the display 19 may be used, or the sensor (acceleration sensor) 20 and the key 23 may be provided and used.
  • the auxiliary device 17 may include a communication unit 21 that connects to a network (for example, a wireless LAN or the Internet) or a connection to an external device, and a battery 22 that is convenient for carrying.
  • FIG. 13 is a block diagram illustrating an auxiliary device.
  • the auxiliary device 17 may include the image processing unit 50, the memory 52, the control unit 53, the power switch 56, the charging unit 59, the power feeding unit 60, and the antenna 61 illustrated in FIG.
  • the auxiliary device 17 is turned on / off by the power switch 56.
  • the power switch 56 may operate so as to be turned on when the pen-type electronic device 1 is inserted into the storage portion 17a and turned off when the pen-type electronic device 1 is removed.
  • the image processing unit 50 processes the image data read from the memory 52 according to an instruction from the control unit 53 and sends the processed image data to the display 19.
  • the charging unit 59 includes a circuit for charging the battery 22 and a cable connection terminal.
  • the power feeding unit 60 is connected to the charging terminal 18 shown in FIG.
  • the antenna 61 is connected to the communication unit 21 and transmits / receives information to / from an external device.
  • FIG. 14 is a schematic view illustrating the configuration of a pen-type electronic device having a power generation function. That is, the pen-type electronic device 1 shown in FIG.
  • the power generation unit 71 of the pen-type electronic device 1 generates power by a movement such as a writing operation or a carrying operation, or a movement of the main body 10, and charges the battery 5.
  • the battery 5 is charged by power generation by the power generation unit 71.
  • FIG. 15 is a schematic view illustrating an electronic apparatus according to the second embodiment.
  • the electronic device according to the present embodiment is a grip-type electronic device 81 that is attached to a writing instrument 84 such as a mechanical pencil or a ballpoint pen.
  • the grip-type electronic device 81 includes a main body 80 that can be attached to the handle portion of the writing instrument 84.
  • the main body 80 is provided with a sensor 82 and a memory 83.
  • Examples of the sensor 82 include an acceleration sensor, a tilt sensor, a rotation trajectory sensor, and a gravitational acceleration sensor, as in the first embodiment.
  • the frequency of the writing operation is at least one of a value indicating the frequency of writing with the writing tool 84, the number of times of writing, the amount of writing, and the politeness of the characters. Further, the sensor 82 may detect a value based on how to use and move the writing instrument 84.
  • the frequency of the user's writing operation detected by the sensor 82 may be stored in the memory 83.
  • Information regarding the frequency of the writing operation stored in the memory 83 may be transmitted to an external device via a communication unit (transmission unit) (not shown), or may be transferred to the external device via a cable.
  • the external device selects and displays an image based on the transferred information regarding the frequency of the writing operation.
  • the grip-type electronic device 81 may have a function of receiving information sent from the outside by a communication unit (reception unit) (not shown).
  • a grip-type electronic device 81 information relating to the writing operation is detected by the sensor 82 by performing the writing operation by attaching the grip-type electronic device 81 to the writing instrument 84 that the user normally uses.
  • image display and image change corresponding to the frequency of the writing operation are executed. For example, in response to the frequency of writing movement, software characters etc. are born from eggs, grow, become stronger, live longer, change personality, change nature, evolve, etc. It can be carried out.
  • a plurality of grip-type electronic devices 81 may be brought close (contacted) to generate a specific operation.
  • a grip-type electronic device 81 shown in FIG. 16 has a configuration in which a display 87 is provided on a main body 80. By providing the main body 80 with the display 87, an image of a character or the like on the software can be confirmed with the grip-type electronic device 81 at hand.
  • the main body 80 may be provided with a battery 88, a communication unit 90, and a power feeding unit 91 in addition to the sensor 82.
  • the battery 88 is, for example, a storage battery, and is a power supply source for driving each unit.
  • the communication unit 90 is a part (transmission unit and reception unit) that inputs and outputs information with an external device (for example, the mobile terminal 14).
  • the power supply unit 91 a USB connector or a wireless power supply unit is used, and the battery 88 is charged with power taken from the outside via the power supply unit 91.
  • the grip-type electronic device 81 shown in FIG. 17 includes an interface unit 92 for connecting to an external device (for example, the mobile terminal 14) via a cable C. As a result, the grip-type electronic device 81 inputs and outputs information with the external device via the cable C.
  • the interface unit 92 may also serve as the power supply unit 91 for charging the battery 88.
  • FIG. 18A is a schematic view illustrating an auxiliary device.
  • the grip-type electronic device 81 may be used by being connected to a dedicated auxiliary device 93.
  • the auxiliary device 93 includes a charging terminal 94 and a display 19.
  • the display 19 may be a touch panel.
  • the grip-type electronic device 81 is inserted into the storage position of the auxiliary device 93 while being attached to the writing instrument 84 and connected to the charging terminal 94. Thereby, charging is performed.
  • An image of a character or the like held by the connected grip-type electronic device 81 is displayed on the display 19 of the auxiliary device 93 so that the state of growth of the character or the like can be confirmed or a game can be played.
  • the touch panel of the display 19 may be used, or the sensor (acceleration sensor) 20 and the key 23 may be provided and used.
  • FIG. 18B is a schematic view illustrating the configuration of a grip-type electronic device having a power generation function. That is, the grip-type electronic device 81 shown in FIG.
  • the power generation unit 95 of the grip-type electronic device 81 generates power by a movement such as a writing operation or a carrying operation, and shaking the main body 80 to charge the battery 88.
  • the battery 88 is charged by power generation by the power generation unit 95.
  • FIG. 19 is a schematic view illustrating a cap-type electronic device.
  • the grip-type electronic device 81 attached to the writing instrument 84 has been described.
  • a cap-type electronic instrument 85 attached to the writing instrument 84 may be used.
  • the cap-type electronic device 85 is mounted so as to be inserted into the handle of the writing instrument 84 when the writing instrument 84 is used. Further, when the writing instrument 84 is not used, it is inserted into the tip of the writing instrument 84 (the pen tip 10p side) and used as a pen cap.
  • FIG. 20 is a schematic view illustrating an electronic apparatus according to the third embodiment.
  • the electronic device according to the present embodiment is a panel type electronic device 100 having a detection unit such as a touch panel.
  • the panel type electronic device 100 includes a panel unit 105, a control unit 110, and a memory 120.
  • the panel unit 105 is provided with a display unit that displays an image and the like, and a detection unit 106 that detects a position (coordinates) touched on the display unit. That is, the panel unit 105 is a touch panel.
  • the detection unit 106 determines the handwriting detected by the detection unit 106 and counts the frequency.
  • the memory 120 stores image data and the like.
  • the memory 120 may be provided in the main body of the panel type electronic device 100 or may be provided in an external device. When the memory 120 is provided in an external device, necessary image data or the like may be transferred from the memory 120 to the panel electronic device 100 via a communication unit (network, cable, or the like).
  • control unit 110 detects the frequency of writing based on the handwriting detected by detection unit 106.
  • the frequency of writing based on the handwriting is determined from the coordinates detected by the detecting unit 106 of the panel unit 105 and the movement thereof, and the acceleration, direction, rotational trajectory, etc. of the handwriting are obtained, the frequency of writing obtained from these values, the number of times of writing, It is at least one of a value indicating the amount of writing and the politeness of letters.
  • the detecting unit 106 may detect a method of using the writing instrument 101, a value based on how to move, and a pressure at the time of writing.
  • the written text or picture content itself may be recorded, or it may be analyzed and used.
  • the control unit 110 performs control to select image data from the memory 120 corresponding to the writing frequency based on the handwriting detected by the detection unit 106 and display an image based on the selected image data on the display unit of the panel unit 105. .
  • FIG. 21 is a flowchart showing an outline of the operation of the electronic apparatus according to the present embodiment.
  • the detection unit 106 of the panel unit 105 determines whether or not a handwriting (trajectory) has been detected.
  • the trajectory information is acquired based on the trajectory detected by the detection unit 106 (step S103).
  • the trajectory information is the frequency of writing.
  • the control unit 110 selects image data corresponding to the writing frequency.
  • an image of a character or the like on software is changed (step S104). That is, the control unit 110 selects image data such as a character on the software from the memory 120 corresponding to the writing frequency, and displays an image based on the image data on the display unit of the panel unit 105. For example, an image of a grown character or the like is displayed as the writing frequency increases. Thereby, it is possible to obtain an image display in which a character or the like grows along with the writing operation. Further, the control unit 110 may acquire numerical data corresponding to the writing frequency from the memory 42 or the like, graph the numerical data, and display the graph on the display 2.
  • step S105 it is determined whether or not the panel type electronic device 100 is continuously used. If the panel type electronic device 100 is continuously used, the process returns to step S102 and the subsequent processing is repeated. If not continuously used, the operation is terminated (step S106).
  • FIG. 22 is a schematic diagram illustrating an example in which a plurality of panel-type electronic devices are used. As shown in FIG. 22, when an operation other than a writing operation such as bringing the first panel-type electronic device 102 and the second panel-type electronic device 103 close to a predetermined distance or bringing them into contact with each other, Characters and the like approach (contact) with each other on the software, and a specific action occurs.
  • a writing operation such as bringing the first panel-type electronic device 102 and the second panel-type electronic device 103 close to a predetermined distance or bringing them into contact with each other
  • Characters and the like approach (contact) with each other on the software, and a specific action occurs.
  • the first panel-type electronic device 102 and the second panel-type electronic device 103 are brought into contact with each other, an image such as an egg or a child such as a character is displayed on the software.
  • an image such as an egg or a child such as a character is displayed on the software.
  • a writing operation using the respective panel type electronic devices 102 and 103 causes a change in an image such that the egg hatches or a character or the like grows greatly from the child. .
  • an image in which a single character or the like is generated on one or both of the first panel type electronic device 102 and the second panel type electronic device 103 may be displayed by approaching or contacting the first panel type electronic device 102 and the second panel type electronic device 103. Further, the information of one device may be transferred to the other device by approaching or contacting the first panel-type electronic device 102 and the second panel-type electronic device 103.
  • FIG. 23 is a schematic diagram illustrating another configuration example of the fourth embodiment.
  • the panel-type electronic device 152 is an underlay type that is laid under a writing paper 151 such as a notebook.
  • the panel-type electronic device 152 includes a flat plate unit 150 that can be used as an underlay, a sensor 155 provided on the plate unit 150, a memory 156, and a control unit 157.
  • the sensor 155 detects the pressure corresponding to the handwriting by detecting the writing pressure or the like when the user performs writing with the writing tool 153 with the plate portion 150 as an underlay and under the writing paper 151.
  • the memory 156 stores image data and the like.
  • the memory 156 may be provided in the plate unit 150 of the panel electronic device 152 or may be provided in an external device. When the memory 156 is provided in an external device, necessary image data or the like may be transferred from the memory 156 to the panel electronic device 152 via a communication unit (network, cable, or the like).
  • the control unit 157 detects the frequency of writing based on the handwriting detected by the sensor 155.
  • the frequency of writing based on the handwriting is determined from the coordinates detected by the sensor 155 and the movement thereof, and the acceleration, direction, rotational trajectory, pressure during writing, etc. are obtained from the values, and the frequency of writing and the number of writings obtained from these values. , At least one of a value indicating the amount of writing and the politeness of the characters.
  • the sensor 155 may detect a value based on how to use the writing instrument 153 and how to move it.
  • the control unit 157 selects image data from the memory 156 corresponding to the frequency of writing based on the detected handwriting.
  • the image data selected by the control unit 157 is transferred to the external device and displayed on the display unit of the external device.
  • the control unit 157 stores the frequency of writing based on the detected handwriting in the memory 156, and stores it in the memory 156 when the panel electronic device 152 is connected to an external device (connected by a network or a cable).
  • the frequency of writing may be transferred to an external device.
  • the corresponding image data is selected from the transferred writing frequency and displayed on the display unit of the external device.
  • the user With such a panel type electronic device 152, the user lays the plate portion 150 under the writing paper 151 to make it underlay, and performs a writing operation with the writing tool 153.
  • a writing operation When a writing operation is performed, information related to the writing operation is detected by the sensor 155, and an image display and an image change corresponding to the writing frequency are executed by the external device. For example, according to the frequency of writing, software characters etc. are born from eggs, grow, become stronger, live longer, change their personality, change their properties, evolve, etc. be able to.
  • the plate unit 150 may have only information such as magnetic force, and the pen-type electronic device 1 may be used as the writing instrument 153.
  • the positional relationship between the plate unit 150 and the pen-type electronic device 1 is read using information such as the magnetic force of the plate unit 150, the writing information of the pen-type electronic device 1 is acquired, and the various processes and communication described above are performed. May be performed.
  • a plurality of panel-type electronic devices 152 may be approached (contacted) to generate a specific operation.
  • writing is performed using the writing tools 101 and 153, but writing may be performed by tracing with a finger.
  • FIG. 24 is a schematic diagram illustrating an example in which different types of electronic devices are used.
  • Each type of electronic device such as the pen-type electronic device 1, the grip-type electronic device 81, and the panel-type electronic device 100 described above operates individually.
  • the software executed on each electronic device changes the character, etc. on the software from the egg based on the information on how often, how many times it was used, how much it used, how it was used, and how it was moved. It has a function to change something, such as growing, becoming stronger, living longer, changing personality, changing nature, evolving.
  • Each electronic device may be connected to the server 161 via a network, and may be able to enjoy a battle game with each other.
  • the software characters and the like in each electronic device grow further, and if it is stronger, the software game can be advantageously advanced. It is also advantageous when fighting against other creatures. In addition, it can be advantageously advanced when a creature or a character raised by another person fights or enjoys a battle game via the Internet.
  • FIG. 25A shows an example of information exchange when an electronic device of the same form (for example, pen-type electronic device 1) approaches, and FIG. 25B shows an electronic device of a different form (for example, a pen).
  • An example of information exchange when the mold electronic device 1 and the grip electronic device 81) approach each other is shown.
  • FIG. 26 shows an example in which information is exchanged via a network even if electronic devices do not directly approach each other.
  • the pen-type electronic device 1 is connected from the portable terminal 7 to the server 161 connected to the Internet so as to be virtually in contact with another electronic device via a communication line.
  • characters and the like of each electronic device that are virtually in contact with each other are displayed on the screen of the mobile terminal 7.
  • a character 162 on the software of the pen-type electronic device 1 and a character 163 on the software of another electronic device that is virtually in contact via the network are displayed on the screen of the mobile terminal 7.
  • the screen is displayed as if these characters 162 and 163 met.
  • a state where a new character egg or child is born from the two characters 162, 163 is displayed.
  • the new character's egg or child may be set to inherit the characteristics of the parent.
  • the points may be exchangeable for digital information, electronic money, or points of partner companies. Further, the point may be exchanged for a character or the like on the software, a house related to the character, or furniture. Further, it may be possible to exchange for nutrients or food on software that helps the character or the like grow. Examples of the digital information include music, movies, games, puzzles, and the like. Moreover, the function of releasing the time which can play a game with a point may be used. Further, the pen-type electronic device 1 may have a function of writing a letter or an electronic message and sending image data or points such as characters on the software together with the written letter or electronic message.
  • FIG. 27 is a flowchart showing an information processing method according to the fifth embodiment.
  • This information processing method is realized by a program process executed by the control unit 41.
  • the pen-type electronic device 1, the grip-type electronic device 81, and the panel-type electronic device 100 are connected to the server 161 via a network.
  • step S205 it is determined whether or not the point is used.
  • digital information such as creatures, characters, furniture, and movies is obtained according to the point used (step S206).
  • This process is a process for exchanging a point selected by the user and a value corresponding to the point by a program process executed by the server 161, for example.
  • step S207 it is determined whether or not it is continuously used. If it is continued, the process returns to step S202, and the subsequent processing is repeated. If it is not continuously used, the operation is terminated (step S208).
  • Software characters and points may be given in advance to the purchased electronic device. Further, the weights of the software characters themselves, the degree of growth, points, and the like can be changed according to time, date, and time. This makes it possible to make a habit of studying, such as making it a habit of studying at a fixed time, or ending summer homework early.
  • points and characters on the software may be obtained by solving the test and practicing letters and pictures.
  • not only the electronic usage information from the electronic device but also the written characters and the drawn pictures may be sent by mail or in an electronic state. In that case, you can give the privilege that you can get more characters and points on the software if you are polite characters and good pictures.
  • these electronic devices and software may have a function of exchanging characters or transferring them. Similarly, it may have a function of exchanging or transferring the obtained points.
  • These electronic devices and software have a mechanism in which not only business owners but also third parties and users can enter. For example, it is as follows. (1) A third party or a user can register characters and games on the software. This makes it possible for many users to enjoy software characters created by users and third parties and to enjoy games. (2) Money or points are given to a third party or user who created the game, such as a character on software. (3) Pen-type, grip-type, and panel-type electronic devices can have a configuration of only an internal electronic device that does not include a pen exterior such as a writing unit. As a result, a third party can create a pen-type or grip-type electronic device having a degree of freedom in appearance. (4) It has a mechanism for changing the weighting of points and the like described above.
  • a third party can enter and may have a mechanism that can restrict security and the like. For example, it is as follows. That is, pen-type, grip-type, and underlay-type electronic devices have a security function and an individual identification function, and operate only by corresponding to software. This prevents the use of only pen-type electronic devices and software alone. It is also possible to prevent unauthorized use.
  • FIG. 28 is a flowchart illustrating the restriction process.
  • information embedded in the electronic device is acquired (step S251), and the embedded information is transmitted (step S252).
  • software information is acquired (step S253).
  • the information embedded in the electronic device is compared with the software information (step S254), and it is determined whether or not to permit (step S255). If not permitted, the movement / use information is rejected / not used (step S366). If permitted, the movement / use information is allowed / used (step S257).
  • a third party may have a mechanism for registering software characters, games, and the like in the software, and may have a mechanism for performing an examination at the time of registration.
  • a mechanism for receiving a part of the service may be created.
  • the business owner may have a mechanism capable of checking the character on the software itself and the content of the game.
  • the electronic apparatus may determine whether or not a mark sheet, a language other than Japanese, such as English, or a polite character. For example, in the case of a mark sheet, an operation such as filling a certain range is identified. Whether the character is polite or not is determined by the speed of movement and movement at regular intervals. Whether or not it is English is discriminated by shifting laterally at short intervals or short cycles, unlike kanji.
  • 29 and 30 are flowcharts illustrating the motion determination process.
  • This determination process is realized by a program process executed by the control unit 41.
  • the movement is determined from the acquisition of the movement / use information (steps S301 to S302) (step S303).
  • Case (a) the information “used in mark sheet” is added (step S304), and Case (b ) Adds information “Used in English” (step S305), and Case (c) adds information “draws a picture” (step S306).
  • the movement is determined from the acquisition of the movement / use information (steps S301 to S302) (step S303), and in Case (d), it is determined that it is a “poor character”. (Step S308), in Case (e), it is determined that it is a “miscellaneous character” (Step S309).
  • A.I. I. Artificial Intelligence
  • machine learning machine learning
  • deep learning deep learning
  • the discrimination result can also be used as a learning record or game data.
  • the discriminated information is added to the movement or use information. In that case, you may change the point given to the additional information, or change the speed of upbringing.
  • FIG. 31 is a flowchart illustrating the determination process of the learning item.
  • This determination process is realized by a program process executed by the control unit 41. That is, as shown in FIG. 31, first, the movement is determined from the acquisition of the movement / use information (steps S501 to S502) (step S503), and the information that “I studied English” is added in Case (a). (Step S504), in Case (b), the information “Study of science” is added (Step S505), and in Case (c), the information “Study of mathematics / arithmetic” is added (Step S506). ).
  • A. I. Machine learning, deep learning, etc. This makes it possible to more accurately discriminate the learning item based on the writing operation unique to each item.
  • the discrimination result can also be used as a learning record or game data.
  • the type of writing content (mark sheet, English, picture, polite character, miscellaneous character, learning item, etc.) determined based on the writing action is the writing type.
  • the memory 42 that is a storage unit of the electronic device according to the present embodiment and the external device (the mobile terminal 7 or the server 161) are determined by the time (writing time) calculated based on the frequency of the writing operation and the control unit 41.
  • the determined writing type is stored.
  • the control unit 41 may perform at least one of graphing and ranking based on the writing time and writing type stored in the storage unit.
  • FIG. 32 is a schematic diagram illustrating an example of a graph display. That is, based on the information (such as writing time) acquired by the electronic device (for example, the pen-type electronic device 1) according to the present embodiment and the determined writing type (such as information on the learning section), the learning time and the learning item , Graph at least one of the time of concentration, the time of writing polite characters, etc.
  • a graph is displayed on the display 8 of the mobile terminal 7.
  • the graph may be a learning record for each hour, or may be a learning record for every day, every month, or the like.
  • learning performed without using the electronic apparatus according to the present embodiment may be input manually.
  • FIG. 33 is a schematic diagram illustrating an example of handwriting discrimination.
  • the electronic apparatus for example, the pen-type electronic apparatus 1
  • the pen itself or the electronic device for example, the portable terminal 7
  • This determination can be made using a specific rule base, A. I. , Machine learning, deep learning, etc. Further, not only the character identification but also the complete reproduction including the handwriting may be performed.
  • FIG. 34 is a schematic diagram illustrating an example of information sharing.
  • information acquired by the electronic device (for example, the pen-type electronic device 1) according to the present embodiment is sent to the mobile terminal 7 via wireless communication, and the mobile terminal 7 passes through the network base station 600. It is shared by the mobile terminal 14 of a friend or parent.
  • the information to be shared includes information (message, guidance, etc.) notified from a terminal such as a smartphone, a tablet, or a game machine, the Web, the electronic device according to the present embodiment, a pen-shaped device, or the like.
  • FIG. 35 is a schematic diagram showing an example of ranking display.
  • the ranking is displayed on the display 8 of the mobile terminal 7.
  • the ranking display may be a ranking with friends obtained through the network, a ranking with people all over the country, or a ranking with one's own past records. .
  • FIG. 36 is a schematic diagram illustrating an example of information aggregation.
  • Information acquired by the electronic device (for example, the pen-type electronic device 1) according to the present embodiment is sent to the mobile terminal 7 via wireless communication, and a specific information is transmitted from the mobile terminal 7 via the network base station 600. It is sent to the terminal 500. Information sent to a specific terminal 500 is aggregated and can be confirmed as statistical information.
  • the information collected in this way can be confirmed by, for example, a learning cram school or the parent terminal 500. Even if the cram school or the parent does not have the electronic device according to the present embodiment, the information can be referred to by registering the electronic device or a user who has registered the electronic device in advance.
  • FIG. 37 is a flowchart illustrating an example of the information confirmation process.
  • an electronic device for example, pen-type electronic device 1 or a user according to the present embodiment is detected (step S512). If detected, a pen or user is registered (step S513). Next, it is determined whether or not there is an additional registration (step S514). If there is an additional registration, the process returns to step S512, and the subsequent processing is repeated. If there is no additional registration, the registered pen or user information is confirmed (step S515).
  • people connected via a network may be able to send feedback to each other.
  • a friend, a parent, a cram school, or the like presses a button indicating some kind of intention.
  • the intention display may provide a merit on the training game. For example, an item may be obtained when the number of intention indications obtained exceeds a predetermined value, or in the game, the user who obtained the intention indication and the user who sent the intention indication together with the enemy You may be able to defeat.
  • Characters etc. raised by themselves on the software may be sent to the outside as actual items such as toys and stationery by sending the information to the outside by some method such as the Internet.
  • An example of a toy is a stuffed animal, and an attached character or the like brought up on software may arrive at hand as an actual item, not software.
  • the stationery is, for example, a pencil case or pen on which the character is printed.
  • FIG. 38 is a flowchart illustrating an example of an exchange process for an actual object.
  • a character or the like on the software is selected (step S312), and then an actual product is selected (step S313).
  • a payment process is performed (step S314).
  • step S315 it is determined whether or not the selected product is an existing product. If there is an existing product, the product is delivered (step S317). If there is no ready-made product, the product is created (step S316) and delivered (step S317).
  • Pen-type and grip-type electronic devices, touch-type displays, pressure-sensitive underlay usage frequency, usage count, usage amount, usage method, information on how to move, and trajectory information are converted into points. You can decide how each one will use. For example, you can decide to use points to change eggs or to use points to improve your personality. Moreover, if points can be bought by charging, the motivation for charging will increase.
  • the state of change of characters on the software can be referred to on a display provided on a pen-type or grip-type electronic device, or on a display of an auxiliary device or a mobile terminal (smartphone, tablet, etc.).
  • FIG. 39 is a schematic diagram showing an example of displaying the state of growth. In this example, it is displayed on the display 2 of the pen-type electronic device 1, but the same applies to the display of another electronic device.
  • changes such as changing from an egg, a character or the like to grow or evolve on the display 2 are sequentially displayed at predetermined time intervals. Further, the state of change may be sequentially displayed by a predetermined button operation.
  • FIG. 40 is a schematic diagram illustrating an example of collection display. In this example, stored images of characters and the like are listed on the display 211 of the portable terminal 204.
  • Characters on the software itself, eggs, points to grow, etc. can also be sold by attaching them to actual items such as pencils and pencil pencils, stationery items such as mechanical pencils, books such as problem books and textbooks, etc. . Moreover, you may sell not only with stationery and a book but with food, daily necessities, etc. When selling with an actual product, attach the password or barcode to the product itself, and load it into a pen-type electronic device, grip-type electronic device, smartphone or tablet, dedicated device, etc. This can be reflected on the software. In addition, when the problem is solved and the answer is entered and the answer is correct, the character or the like or points may be given.
  • the pen-type electronic device 1 does not have an individual power switch, and may have a function of turning on the power by shaking the knock unit 3 for putting in a pen core or the pen-type electronic device 1 itself. Good. Further, a function of automatically turning off the power may be provided when there is no movement such as a change in acceleration or knocking or clicking for a certain period of time.
  • the control unit 41 distinguishes between a writing operation and a non-writing operation.
  • the control unit 41 distinguishes writing operations as follows. First, as shown in FIG. 41A, the control unit 41 detects a certain plane SF from the detection value by the sensor 6. For example, the plane SF is detected using the principle that three points (P1, P2, and P3) of three-dimensional coordinates read by the sensor 6 or three or more points become a plane.
  • the coordinate of the pen tip 10p becomes a movement in a three-dimensional direction different from the detected plane SF, and it moves beyond a certain distance D, it is determined that the movement is not treated as a writing operation.
  • the specific distance D in the three-dimensional direction is, for example, 10 cm.
  • the long distance is, for example, 10 cm
  • the long time is, for example, 5 seconds.
  • FIG. 42 is a schematic view illustrating the distinction of users of electronic devices.
  • an identification knock unit 302 is provided.
  • a user person / individual
  • a user can be provided by providing a plurality of parts that knock the pen's bottom, or rotating a part of the pen, such as a multi-function ballpoint pen (multicolored ballpoint pen). Make a distinction.
  • the user person / individual
  • the habit of the movement and the habit of the character is distinguished by the habit of the movement and the habit of the character.
  • peculiarity refers to a movement speed, a moving interval, a period, a handwriting, and the like of a pen when writing a character or drawing a picture, and each of the information has an individual-specific change pattern.
  • the control unit 41 calculates information corresponding to the above-mentioned “habit” from the value related to the motion detected by the sensor 6, and performs similarity determination and pattern matching with the information of the “habit” of the individual registered in advance. Thereby, the user (person / individual) is distinguished.
  • a pen-type, grip-type, and panel-type electronic device may have a function of controlling the movement of software by determining a specific movement or a specific locus. For example, the lock is released only when a specific movement is performed, and used information can be stored or transmitted. Further, by tracing a specific pattern (password) or the like, a character or the like on software may be obtained, nurtured, grown, or a point may be made available. The user (person / individual) may be identified by performing a specific movement (for example, a pre-registered electronic device swinging method).
  • FIG. 43 is a schematic diagram for explaining association between a pen-type electronic device and character information.
  • FIG. 44 is a flowchart for explaining association between a pen-type electronic device and character information.
  • a start mark 351 and an end mark 352 are put on a sheet or the like, and characters for tracing from above are provided. Detection is started by the user tracing the start mark 351 with the pen-type electronic device 1.
  • the user After tracing the start mark 351, the user traces the characters 353 provided in advance in the pen-type electronic device 1 in order. For example, it is assumed that “a” is provided as the first character and is traced.
  • the detection value by the sensor 6 at this time is associated with the text data “A”.
  • information on correspondence between the detection value of the sensor 6 and text data is accumulated.
  • the data accumulation is finished.
  • step S351 Data accumulation and character discrimination processing will be described with reference to FIG.
  • This process is realized by a program process executed by the control unit.
  • the process is started (step S351).
  • step S352 the movement / use information of the writing operation is acquired by the sensor 6 (step S353). This operation is repeated until the end mark is detected (step S354).
  • the movement / use information of the writing operation acquired by the sensor 6 is transmitted to the server 161 or the like (step S355).
  • the transmitted movement / use information of the writing operation is associated with the information (text data) of the character to be written sandwiched between the start mark and the end mark (steps S356 and S357).
  • the attached information is accumulated (step S358).
  • the text data of the character is obtained from the information of the sensor 6 when the writing operation is performed using the pen-type electronic device 1. It becomes possible to discriminate (step S359).
  • the pen-type electronic device 1 can be provided with a function such as OCR (Optical Character Recognition).
  • OCR Optical Character Recognition
  • a notebook with thin characters such as a kanji exercise book
  • information on the movement of the writing operation of the character using the pen-type electronic device 1 (detected value by the sensor 6), previously known text data, The information of the correspondence is accumulated.
  • text data corresponding to the writing operation can be obtained from the writing operation using the pen-type electronic device 1.
  • a training game using the software is based on connection with other electronic devices and others (registration on software, etc.).
  • Benefit from the benefits can be considered. (1) Studying at the same time or near time, such as within an hour before and after, will be advantageous for fighting against virtual enemies where virtual creatures will grow faster. (2) If you register, you can cooperate in the battle with the virtual enemy on the software. (3) Points and items can be obtained regularly depending on the presence or absence of registration and the number of registered people.
  • a breeding game using the software can have a function of starting in a specific environment. For example, when a notebook for learning is discriminated with a camera of a smartphone, a game using virtual reality (AR) can be played thereon. Alternatively, the pen-type electronic device 1 or smart watch is read and a game related to the electronic device is played.
  • AR virtual reality
  • the acquired period may not always be the same period. That is, in the control unit, the frequency of writing, the number of times of writing, the amount of writing and the politeness of writing, the speed of writing, the acceleration of writing, the angle of writing (pen angle), the angle of writing, and the pressure during writing
  • a plurality of acquisition modes having different sampling frequencies may be switched. For example, a first acquisition mode for acquiring writing information at a first sampling count per fixed time and a second acquisition mode for acquiring writing information at a second sampling count less than the first sampling count per fixed time. You may make it switch. Further, when switching between three or more acquisition modes, a first acquisition mode, a second acquisition mode,..., An Nth acquisition mode (N is a natural number) may be prepared and switched.
  • FIG. 45 is a schematic diagram illustrating an example of acquisition mode switching.
  • the horizontal axis indicates time, and one vertical line indicates the timing of one writing information acquisition.
  • first acquisition mode M1 for example, a sampling frequency of about 50 Hz to 5000 Hz is assumed.
  • second acquisition mode M2 when information is acquired at a low frequency, a sampling frequency of about 0.01 Hz to 50 Hz is assumed.
  • the high frequency (the first acquisition mode M1) and the low frequency (the second acquisition mode M2) may be switched periodically, or may be switched not periodically but with randomness.
  • Information acquisition itself may be performed at regular intervals, and the frequency may be changed when information is stored or data is transmitted. Moreover, you may change the kind of data to acquire for every time. For example, at a certain timing, all the acceleration data of the X axis, the Y axis, and the Z axis are acquired, and at another timing, the acceleration data is acquired only for the X axis and the Y axis.
  • the period change may be performed in such a manner that the learning item or character is discriminated in the high frequency period (first acquisition mode M1) and the learning time is measured in the low frequency (second acquisition mode M2). It is done. This makes it possible to achieve both acquisition of information necessary for processing and reduction of the data amount.
  • the learning frequency, learning amount, learning speed, concentration data, etc. for each learning item accumulated are analyzed, and the analysis is performed. It is possible to provide a function of proposing a better learning method from the obtained data. For example, if you don't have enough time to study Japanese language, you can encourage you to study Japanese language. This action may be input by a parent or a cram school. I. For example, the determination may be made automatically.
  • Learning records can also be linked to grade growth. In that case, it is assumed that the results of regular tests, etc. are input by themselves, their parents, or a cram school. It is also assumed that each question is linked to the correct answer. In this case, it reads information entered by itself, a guardian or a cram school, or information such as a circle or x. You may make it read a mark sheet.
  • FIG. 46 is a flowchart illustrating an example of correct answer determination processing.
  • the motion information read by the sensor 6 is accumulated (step S522), and the motion information is analyzed (step S523).
  • the correct answer information is read from the database (step S524), and the information obtained from the analysis result of the motion information is compared with the correct answer information to determine whether the answer is correct (step S525). If the determination is correct, a predetermined value is provided (step S526), and the process proceeds to the next process (step S527). For example, if the answer is correct, the training speed increases, and many items and points can be obtained. On the other hand, if the answer is not correct, the predetermined value is not provided or another value is provided (step S528), and the process proceeds to the next process (step S529). By such processing, it is possible to link learning records and achievement growth.
  • the software using the electronic apparatus can have a function of identifying the politeness of characters, speed, angle, and how to hold the pen.
  • FIG. 47 is a flowchart illustrating an example of the restriction function process.
  • step S531 when processing is started (step S531), use of software according to the present embodiment is permitted (step S532).
  • step S533 a restriction introduction determination is performed (step S533), and it is determined whether or not the restriction is introduced. If it is not restricted, the process returns to step S532 to continue using the software according to the present embodiment. On the other hand, if it is restricted, the process proceeds to step S534 to restrict the use of software.
  • the software according to the present embodiment when used for a certain time, a certain period, or until a certain flow is finished, the use of the smartphone itself or the game machine itself may be restricted. As a restriction, for example, it is required to input a password.
  • the control unit acquires biological information including at least one of the blood flow and heart rate of the user in addition to the writing information. Thereby, the user's concentration can be measured using at least one of the written information and the biological information.
  • the writing pressure may be acquired by the electronic apparatus according to the present embodiment (for example, the pen-type electronic apparatus 1). By doing so, it is possible to accurately determine whether or not a character is written, and it is also possible to accurately know the start and end of writing. In addition, it is possible to acquire information on the strength of writing pressure, which can be used to feed back the politeness of letters and better writing.
  • the sensor 6 for example, a pressure sensor or a strain sensor may be disposed near the pen tip 10p.
  • the grip strength may be acquired by the electronic apparatus (for example, the pen-type electronic apparatus 1) according to the present embodiment.
  • the electronic apparatus for example, the pen-type electronic apparatus 1
  • a pressure sensor or the like is disposed in the grip portion.
  • the user's concentration may be determined using the electronic device according to the present embodiment (for example, the pen-type electronic device 1). Further, the determined concentration may be fed back to the person, the parent, or a cram school. Learning can be improved based on this information. For determination of concentration, the movement of the pen may be analyzed, or information on the heart rate, writing pressure, and grip strength as described above may be used.
  • the electronic device according to the present embodiment (for example, the pen-type electronic device 1) is operated as a so-called pen rotation, it has a function of reading the movement and determining the technical name or scoring. It may be allowed.
  • FIG. 48 is a schematic diagram showing a scoring example of a pen turning operation. For example, if an acceleration sensor, a gravitational acceleration sensor, or the like used as the sensor 6 of the pen-type electronic device 1 is used, it is possible to detect how many times and at what angle the pen has rotated.
  • the pen-type electronic device 1 and the portable terminal 7 have a function of analyzing the information, determining the technical name, and scoring the goodness.
  • a smart watch As a substitute for the electronic apparatus according to the present embodiment, a smart watch, a ring type device, or a band type device can be used. In this case, it is possible to use an existing electronic device, although the accuracy is inferior to the case of attaching to a pen.
  • a device wound around the wrist it is possible to acquire information on hand muscles and muscle movement and use it for motion detection.
  • the sensor which acquires blood flow and heart rate simultaneously can be provided.
  • the electronic device for example, pen-type electronic device 1
  • the electronic device may incorporate a speaker.
  • FIG. 49 is a schematic diagram illustrating an example of an electronic device with a built-in speaker.
  • the speaker 9 is built in the main body 10 of the pen-type electronic device 1.
  • sound, voice, music, etc. can be played from the speaker 9.
  • the built-in speaker 9 makes it possible to produce sound effects when using an electronic device according to the present embodiment such as the pen-type electronic device 1, play music to increase the motivation of study, You can be called by voice.
  • the electronic device (for example, the pen-type electronic device 1) according to the present embodiment may have a function of combining a still image or a moving image distributed from a server via a network and data acquired by the electronic device. .
  • This function may be provided to a server connected to the network.
  • FIG. 50 is a flowchart illustrating an example of a process of associating a moving image with a pen movement.
  • step S561 when distribution of a moving image is started (step S561), the position and time information of the moving image are acquired (step S562).
  • step S563 when the movement of the pen-type electronic apparatus 1 which is an example of the electronic apparatus starts (step S563), the pen movement, use state, and time information are acquired (step S564).
  • step S562 the moving image time acquired in step S562 and the pen movement time acquired in step S564 are associated with each other so that the moving image and pen movement information are associated (step S565).
  • step S566 pen movement analysis (character type, politeness, etc.) is performed. Then, in order to use the analysis result for content improvement or the like, it is fed back to the video distribution provider (step S567), fed back as learning information to the user of the electronic device (step S568), or other feedback is performed. .
  • a gesture can be recognized from the movement of the pen, and the moving image can be controlled according to the recognized gesture.
  • the pen has a function to automatically stop the video, and a function to control operations such as pausing, fast-forwarding, and rewinding the video with a specific pen gesture be able to.
  • the electronic device for example, pen-type electronic device 1
  • the electronic device can be used for rehabilitation and dementia prevention.
  • feedback is given to the user by applying vibration to the main body 10 or outputting sound, light, images, or the like.
  • by sending information such as how much the user of the pen-type electronic device 1 was writing and how the hand was moving to a terminal owned by an attendant such as a nurse or a caregiver, It is possible to grasp the relationship between pen movement and the situation of rehabilitation and care.
  • the electronic device according to the present embodiment (for example, the pen-type electronic device 1) is applicable when signing for identity verification, such as when using a credit card.
  • the movement of the pen when signing is detected by using the electronic apparatus (for example, the pen-type electronic apparatus 1) according to the present embodiment.
  • security can be improved, such as prevention of impersonation of a signature.
  • FIG. 51 is a flowchart illustrating an example of signature determination processing.
  • a prior signature is acquired (step S571).
  • the user writes a signature using the electronic device (for example, the pen-type electronic device 1) according to the present embodiment.
  • step S572 signature analysis is performed (step S572). That is, information on the movement of the pen when the user writes a signature is detected.
  • the information on the movement of the pen is writing information including at least one of character politeness, writing speed, writing acceleration, writing angle (pen angle) and writing pressure. This written information is considered to be user-specific information.
  • the analysis result is stored (step S573).
  • a signature for identity verification is acquired (step S574). That is, when using a credit card, the user is asked to write a signature using the electronic device according to the present embodiment (for example, the pen-type electronic device 1) for identity verification.
  • step S575 signature analysis is performed. This process detects information about the movement of the pen when writing a signature for identity verification. The information on the movement of the pen is the same as the writing information stored in step S573.
  • step S576 signature matching is determined. That is, the degree of coincidence between the correct signature writing information stored in step S573 and the signature writing information for identity verification analyzed in step S575 is obtained.
  • step S577 If the degree of coincidence exceeds a predetermined value, the sign is coincident and authentication is OK (step S577). If the degree of coincidence is equal to or smaller than the predetermined value, the sign is not coincident and authentication NG (Step S578).
  • writing information (writing direction, writing speed, writing acceleration, and polite character writing obtained from pen movement) Since the writing angle (pen angle) and writing information including at least one of the pressures at the time of writing) is used, the discriminability becomes higher than handwriting collation. For example, in order to imitate another person's signature, it may be possible to draw slowly compared to the writing speed of the person. Also, the pen angle and writing pressure may differ from the person himself. In the present embodiment, even if the same shape as the signature of the principal is drawn, such writing information is comprehensively judged to determine whether or not the signature is the principal. Therefore, discrimination can be performed with higher accuracy than simple handwriting collation. In addition, the process of discrimination
  • the pen-type electronic device 1 and the grip-type electronic device 81 are configured to be held by hand, it is preferable that they have the following size and weight.
  • the length is 50 cm or less and the weight is 1 kg or less.
  • the position where the sensor 6 for detecting movement is arranged is a position closer to the tip (the pen tip 10p side) than the central portion of the main body 10 so that the movement of the pen tip 10p can be easily detected. Or, it is preferable to be disposed at a position close to the bottom of the main body 10 (on the side opposite to the pen tip 10p). For example, the sensor 6 is within 5 cm from the nib 10 p of the main body 10 or within 5 cm from the bottom of the main body 10.
  • the character on the software is born from the egg, grows, becomes stronger, lives longer, and changes in character in accordance with the frequency of the writing operation. It is possible to display images that change something, such as changes in nature or evolution.
  • the politeness and cleanliness of the characters, the goodness of the picture, etc. are discriminated, and the information is used to grow the character, etc., strength, You may make it affect a form etc. For example, if you draw a lot of good pictures, you become a beautiful creature. If you write a lot of polite characters, you will have a gentle personality.
  • the images displayed on the display 2 include not only creatures and characters, but also vehicles such as cars and airplanes, inanimate objects such as robots and machines, and plants. It may also be a real person or a historical person.
  • the grip-type electronic device 81 and the cap-type electronic device 85 to attach to the pen-type electronic device 1 or a writing instrument such as a pencil, a mechanical pencil, and a ballpoint pen.
  • the amount of usage, usage, and what movement can be detected by the sensor.
  • characters and the like on the software grow based on the information read by the sensor.
  • the growth of the character or the like can be confirmed by a display attached to the pen, a smartphone, a game machine, a dedicated terminal, or the like.
  • a game using the character or the like can be performed.
  • this embodiment and its application example were demonstrated above, this invention is not limited to these examples.
  • sound or sound may be output instead of displaying an image or together with displaying an image.
  • character information or numerical information may be displayed in addition to the character or the like. For example, when the same kanji is repeatedly written, it may be recognized that the same kanji is written from the movement of the electronic device, and the number of times the kanji is written may be displayed on the display 2 or the number of times may be output by voice.
  • the present invention can be suitably used in addition to writing instruments, such as toothbrushes, spoons, forks, and chopsticks, which are used by hand. Further, the same system as that of the present invention can be applied to an alarm clock that requires habitualization.
  • the software described in the embodiments may be executed by a computer, recorded on a recording medium, or distributed via a network.
  • the software and application described above can be realized without using an electronic device such as the pen-type electronic device 1 or the panel-type electronic device 100. For example, typing on a personal computer may be handled as character information instead of acceleration input information of the pen-type electronic device 1 or the like, or information written with a stylus on a tablet terminal may be used as character or picture information. You may make it treat as. By doing so, even in learning using a personal computer or tablet, the same effects as in the present embodiment can be obtained, and motivation for study can be increased.
  • Power switch 59 ... Charging part 60 ... Power feeding part 61 ... Antenna 71 ... Power generation part 80 ... Main body 81 ... Grip-type electronic Device 82 ... Sensor 83 ... Memory 84 ... Writing instrument 85 ... Cap-type electronic device 87 ... Display 88 ... Battery 90 ... Communication unit 91 ... Power feeding unit 92 ... In Face unit 93 ... Auxiliary device 94 ... Charging terminal 95 ... Power generation unit 100 ... Panel type electronic device 101 ... Writing instrument 102 ... First panel type electronic device 103 ... Second panel type electronic device 105 ... Panel unit 106 ... Detection unit DESCRIPTION OF SYMBOLS 110 ... Control part 120 ... Memory 150 ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Position Input By Displaying (AREA)

Abstract

筆記具を用いて文字や描画などの筆記動作を行う利用者が、モチベーション高く、楽しみながら学習や技能向上を図ることができる電子機機器および情報処理方法を提供すること。　本発明の一態様に係る電子機器は、筆記機能を有するペン型または筆記具に取り付け可能な本体と、本体に設けられ、使用者の筆記動作の度数を検知する検知部と、画像データおよび数値データの少なくともいずれかを含むデータを記憶する記憶部と、検知部で検知した度数に対応して記憶部から画像データや数値データを選択し、選択した画像データや須知データに基づく画像を表示部へ表示させる制御を行う制御部と、を備える。

Description

電子機器および情報処理方法
　本発明は、電子機器および情報処理方法に関するものであり、特に文字を書いたり、絵を描いたりといった筆記動作に対応してソフトウェア上の画像等の情報を変化させる、またゲームができる電子機器および情報処理方法に関するものである。
　特許文献１および２には、仮想の生物を育てるゲームが開示される。例えば、特許文献１に記載の画像表示装置では、電子式の手帳や電子ゲーム器等の電子機器で、動物や植物等、生物の成長過程を画像として表示している。また、特許文献２に記載の育成シミュレーション装置では、画面内の仮想生命体からの呼びかけや要求に対して遊戯者が応答して対応する処置を行うことにより、仮想生命体をしつけたり、成長させたりするようにしている。
　特許文献３には、おもちゃの杖の動きを検出し、ソフトウェアなどに影響を与える技術が開示される。特許文献４には、ペンの動きを読み取り、サーバに伝える技術が開示される。
　特許文献５および６には、筆跡を追跡する技術が開示される。すなわち、特許文献５では、筆記用具上の移動する光源からの光を、二次元筆記表面上の筆記用具の位置および経路の表示として伝える段階、２つまたはそれ以上のセンサで光を検知し、検知された光を表す信号のシーケンスを生成する段階、および画素未満の読取りの安定性を高める技術を適用する段階を含む方法が開示される。また、特許文献６では、電子ペンによる筆記情報から体動情報を抽出して解析する手段と、解析手段によって得られる回答状態と、電子ペンによって入力された回答結果と、質問に対する正解情報を少なくとも表示できる表示手段を有する電子添削システムが開示される。
　特許文献７には、筆跡入力装置が開示される。すなわち、特許文献７で開示される筆跡入力装置では、入力ペンにより筆記すると、その筆跡がリアルタイムで検出されると共に、描画の通りにＴＶに表示される。
　特許文献８には、手書きで文字を入力する事でゲームを進める事が出来る手書き文字入力ゲーム装置が開示される。この装置は、お手本となる文字を表示する手段と、ペン入力により手書き文字を入力しその内容を同時に表示する手段と、手書き文字のストロークを認識する手段と、入力された文字のストロークを判定する手段と、学習の難易度とお手本を記憶する手段と、判定された結果により表示手段にその結果及び、次の難易度のお手本を表示する進行手段で構成される。
　特許文献９には、携帯手書き文字入力装置が開示される。この装置では、手書き文字をカメラにより読取り映像データとしてメモリに記憶し、記憶した映像データを赤外線により外部装置に発信している。
　特許文献１０には、対話型ペインティングゲームに関連するコントローラが開示される。このコントローラは、三次元空間におけるコントローラの位置情報を追跡するとともに位置情報を表すセンサー信号をコンピュータに送信するように構成されたセンサーと、コントローラに接続されたプロセッサから制御信号を受信するとハプティック効果をユーザに出力するように構成されたアクチュエータと、を備える。
　また、特許文献１１から１４には、歯ブラシの動きを検知して歯磨きに関する支援を行う装置が開示される。
特開平７－１６０８５３号公報 特開平１０－２３２５９５号公報 特表２００６－５２１１６２号公報 特表２００４－５３７３４２号公報 特開２００９－１８７５６５号公報 特開２００９－０３１６１４号公報 特開平７－２４８８７５号公報 特開２００６－２０４８５３号公報 特開２００２－０４１２３０号公報 特表２０１２－５１２７２４号公報 国際公開第ＷＯ２０１６／１０４４４２号 特開２０１７－０６０６６１号公報 特開２０１７－０６０６６２号公報 特開２００９－２４０７６０号公報
　勉強や絵を描く際には、鉛筆やシャープペンシル、ボールペンなどの筆記具が用いられる。このような筆記具を用いて知識の習得や技能を向上させる場合、モチベーションを高めることは重要である。
　ここで、特許文献１や特許文献２に記載された技術のように、スマートフォンやパーソナルコンピュータ、ゲーム機などで、ソフトウェア上の動物や、仮想の生物、ペットなどを育てる育成ゲームというものが存在し、仮想の生物を卵から返したり、成長させたり、進化させたりということを楽しんでいる。また、特許文献３や特許文献４に記載された技術では、電子機器の動きを読み取っている。しかし、これらは、仮想の生物を育てるというゲーム性に特化しており、文字を書く、絵を描くといった役に立つ行為との結びつきはない。このため、文字の練習や勉強のモチベーションを上げる効果は期待できい。
　また、特許文献５および６に記載の筆跡追跡や、特許文献７に記載の筆跡入力装置、特許文献９に記載の手書き文字入力装置では、筆跡の追跡はできるものの、文字の練習や勉強のモチベーションを高める効果には結びつかない。
　また、特許文献８に記載の文字入力ゲーム装置では、お手本となる文字を入力することで入力された文字のストロークを判定しているが、決められたお手本に対する判定だけである。また、特許文献１０に記載の対話型ペインティングゲームに関連するコントローラでは、ユーザに対してハブティック効果を出力するものである。また、特許文献１１～１４に記載の装置では、歯磨きに関する支援を行うものである。これらの技術では、文字を書くことや絵を描くといった各種の筆記動作と、学習や技能の向上といった勉強のモチベーションを高める効果とを十分に結びつけることはできない。
　本発明では、筆記具を用いて文字や描画などの筆記動作を行う利用者が、モチベーション高く、楽しみながら学習や技能向上を図ることができる電子機機器および情報処理方法を提供することを目的とする。
　上記課題を解決するため、本発明の一態様に係る電子機器は、筆記機能を有するペン型または筆記具に取り付け可能な本体と、本体に設けられ、使用者の筆記動作の度数を検知する検知部と、画像データおよび数値データの少なくともいずれかを有するデータを記憶する記憶部と、検知部で検知した度数に対応して記憶部からデータを選択し、選択したデータに基づく画像を表示部へ表示させる制御を行う制御部と、を備える。ここで、記憶部、表示部および制御部の少なくともいずれかは電子機器の本体または外部機器（携帯端末など）に設けられていればよい。
　このような構成によれば、筆記具による筆記動作の度数に対応して表示部に画像が表示される。すなわち、文字や描画などの筆記動作に基づく度数によって表示部に表示される画像が変化することになる。
　本発明の他の一態様に係る電子機器は、筆跡を検知する検知部を有するパネル部と、画像データおよび数値データの少なくともいずれかを有するデータを記憶する記憶部と、検知部で検知した筆跡に基づく筆記の度数に対応して記憶部からデータを選択し、選択したデータに基づく画像を表示部へ表示させる制御を行う制御部と、を備える。
　このような構成によれば、パネル部に設けられた検知部で筆跡を検知し、この検知した筆跡に基づく筆記の度数に対応して表示部に画像が表示される。すなわち、パネル部に書いた文字や描画などの筆跡に基づく筆記の度数によって表示部に表示される画像が変化することになる。
　本発明の他の一態様に係る情報処理方法は、使用者の動作を検知するセンサと、センサで検知した情報に基づき表示部に表示する画像を変化させる制御を行う制御部と、を備えた電子機器による情報処理方法である。
　この情報処理方法において、制御部は、センサで取得した情報から、使用者の動作のうち筆記動作を検出する工程と、検出した筆記動作から、筆記動作の度数を求める工程と、度数に対応して表示部に表示する画像を選択する工程と、を備える。
　このような構成によれば、使用者の動作のうち筆記動作を検知し、検知した筆記動作に基づく度数に対応して表示部に画像が表示される。すなわち、使用者が書いた文字や描画などの筆記動作に基づく度数によって表示部に表示される画像が変化することになる。
　本発明の他の一態様に係る情報処理方法は、筆記動作を検出するセンサを備えた電子機器を使用者が使用した場合の筆記動作をセンサで検出する工程と、センサで検出した筆記動作から、筆記動作の度数を求める工程と、使用者と対応付けしたポイントの付与およびポイントに対応した対価との交換の少なくともいずれかをネットワークを介してサーバと行う工程と、を備える。
　このような構成によれば、使用者の動作のうち筆記動作を検知し、検知した筆記動作に基づく度数に対応したポイントが付与される。そして、このポイントを利用して所望の対価との交換を行うことができるようになる。
　本発明によれば、筆記具を用いて文字や描画などの筆記動作を行う利用者が、モチベーション高く、楽しみながら学習や技能向上を図ることができる電子機器および情報処理方法を提供することが可能となる。
第１実施形態に係る電子機器を例示する模式図である。 第１実施形態に係る電子機器を例示するブロック図である。 本実施形態に係る情報処理方法の概略を示すフローチャートである。 本実施形態に係る情報処理方法の詳細例（その１）を示すフローチャートである。 本実施形態に係る情報処理方法の詳細例（その１）を示すフローチャートである。 本実施形態に係る情報処理方法の詳細例（その１）を示すフローチャートである。 本実施形態に係る情報処理方法の詳細例（その１）を示すフローチャートである。 （ａ）および（ｂ）は、第１実施形態の他の構成例を示す模式図である。 第１実施形態の他の構成例を示す模式図である。 複数のペン型電子機器を利用する例を説明する模式図である。 ２つのペン型電子機器が接近した場合の処理の一例を示すフローチャートである。 補助機器を例示する模式図である。 補助機器を例示するブロック図である。 発電機能を備えたペン型電子機器の構成を例示する模式図である。 第２実施形態に係る電子機器を例示する模式図である。 第２実施形態の他の構成例を示す模式図である。 第２実施形態の他の構成例を示す模式図である。 （ａ）および（ｂ）は、第２実施形態の他の構成例を示す模式図である。 キャップ型電子機器を例示する模式図である。 第３実施形態に係る電子機器を例示する模式図である。 本実施形態に係る電子機器の動作の概略を示すフローチャートである。 複数のパネル型電子機器を利用する例を説明する模式図である。 第４実施形態の他の構成例を示す模式図である。 異なる形態の電子機器を利用する例を説明する模式図である。 （ａ）および（ｂ）は、各電子機器同士の情報交換を例示する模式図である。 各電子機器同士の情報交換を例示する模式図である。 第５実施形態に係る情報処理方法を示すフローチャートである。 制限処理を例示するフローチャートである。 動きの判定処理を例示するフローチャートである。 動きの判定処理を例示するフローチャートである。 学習課目の判定処理を例示するフローチャートである。 グラフ表示の例を示す模式図である。 筆跡判別の例を示す模式図である。 情報共有の例を示す模式図である。 ランキング表示の例を示す模式図である。 情報集約の例を示す模式図である。 情報確認処理の例を示すフローチャートである。 実際の物への交換処理を例示するフローチャートである。 成長の様子を表示する例を示す模式図である。 コレクション表示の例を示す模式図である。 （ａ）および（ｂ）は、筆記動作の区別を例示する模式図である。 電子機器の利用者の区別について例示する模式図である。 ペン型電子機器と文字情報との対応付けについて説明する模式図である。 ペン型電子機器と文字情報との対応付けについて説明するフローチャートである。 取得モードの切り替え例について示す模式図である。 正解判定処理の例を示すフローチャートである。 制限機能処理の例を示すフローチャートである。 ペン回し動作の採点例を示す模式図である。 スピーカを内蔵した電子機器の例を示す模式図である。 動画とペンの動きの紐付け処理の例を示すフローチャートである。 サインの判別処理の例を示すフローチャートである。
　以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。
（第１実施形態）
　図１は、第１実施形態に係る電子機器を例示する模式図である。
　図２は、第１実施形態に係る電子機器を例示するブロック図である。
　本実施形態に係る電子機器は、シャープペンシルや、ボールペンなどのようなペン型電子機器１である。ペン型電子機器１は、筆記機能を有する本体１０を備える。本体１０には、ディスプレイ（表示部）２、情報処理部４、バッテリー５およびセンサ６が設けられる。
　本体１０の一端にはペン先１０ｐが設けられ、利用者は本体１０を持ってペン先１０ｐで文字や絵を描くことができる。本体１０の他端にはノック部３が設けられていてもよい。すなわち、ノック部３を押し込むことでペン先１０ｐが突出するようになっていてもよい。
　ディスプレイ２は、液晶や有機ＥＬなどが用いられた表示部である。ディスプレイ２は、例えば本体１０の他端寄り（本体１０を手で持った際に隠れない位置）に配置されている。ディスプレイ２には、所定の画像や文字情報などが表示される。
　情報処理部４は、制御部４１、メモリ４２、通信部４３を含む。これらは１チップで構成されていてもよいし、別チップで構成されていてもよい。制御部４１は例えばＣＰＵであり、ここで実行されるプログラムによって各部を制御する。メモリ４２は、ＲＯＭおよびＲＡＭを含む。メモリ４２には制御部で実行されるプログラムやディスプレイ２に表示するデータ（画像データおよび数値データの少なくともいずれか）などが記憶される。
　通信部４３は、外部機器（例えば、携帯端末７）との間で情報の入出力を行う部分である。通信部４３は、情報を外部へ送信する送信部４３１および外部から送られた情報を受信する受信部４３２を備える。外部機器としては、携帯端末７のほか、例えばスマートフォン、タブレット型端末、ゲーム機、専用端末、パーソナルコンピュータが挙げられる。通信部４３は、例えば無線通信手段（電波や光を用いた通信手段）である。無線通信手段としては、Bluetooth（登録商標）やＷｉ－Ｆｉ（登録商標）、赤外線通信手段、電話回線が挙げられる。バッテリー５は例えば蓄電池であり、各部を駆動するための電力の供給原である。
　センサ６は、本体１０の動きを検知する部分である。センサ６としては、加速度センサ、傾きセンサ、回転軌道センサ、重力加速度センサ、ジャイロセンサ、慣性センサおよび圧力センサなどが挙げられる。また、センサ６は、ノック部３の操作を検知する手段を備えていてもよい。
　本実施形態では、センサ６によって、使用者による筆記動作の度数を検知する。ここで、筆記動作の度数は、ペン型電子機器１による筆記の頻度、筆記の回数、筆記の量、文字の丁寧さ、筆記の速度、筆記の加速度、本体１０の角度および筆記の際の圧力を示す値の少なくともいずれかである。また、センサ６によって、ペン型電子機器１の使用方法、動かし方に基づく値を検知してもよい。これらの度数は、センサ６からの出力値そのものであったり、出力値から演算して求められる値であったりする。筆記動作の度数を求める演算は、センサ６で行ってもよいし、制御部４１や他の部分で行ってもよい。
　例えば、筆記動作として、加速度センサの加速度が一定の値を超え、さらにその変化が一定回数を超えたときに「開始」であると判断し、加速度センサの加速度が一定の値以下であり、これが一定時間以上続いたとき「終了」であると判断する。その開始と終了が起こると、筆記の頻度は１回とカウントされ、その開始と終了が起こった回数が筆記の頻度となる。
　筆記の回数は、加速度センサ、傾きセンサ、回転センサがそれぞれ変化を感じたときにカウントされる。筆記の量は、上記センサで検知した変化がどの程度の時間連続して起こったかによってカウントされる。
　文字の丁寧さを判断する方法は、例えば、変化の周期が一様であること、ハネやトメといった動きが定期的に起こっていることで判別される。使用方法は、例えば、絵を描くのであれば、加速度の変化は比較的緩やかに起こる、漢字を書く場合は加速度の変化が短い周期で連続的に、また０°／９０°に近い角度で繰り返し起こることによって、判別される。
　動かし方は、例えば、加速度の変化、傾きの変化、回転方向の変化などによって検知される。また、これらの変化までの時間を随時測定することにより、ペン先１０ｐが動いた距離、方向、周期、間隔、回転、傾きなどの情報を得ることができる。これらの少なくとも１つの情報を検知することで、ペン先１０ｐの動かし方を検知することができる。
　センサ６で検知した使用者の筆記動作の度数は、メモリ４２に記憶されてもよいし、携帯端末７内に記憶されてもよいし、ネットワークを介してサーバに記憶されてもよい。本実施形態において、制御部４１は、センサ６で検知した使用者の筆記動作の度数に対応して、メモリ４２からデータ（画像データおよび数値データの少なくともいずれか）を選択し、選択したデータに基づく画像をディスプレイ２に表示させる制御を行う。
　また、制御部４１は、通信部４３を介して携帯端末７に筆記動作の度数の情報を送信してもよい。携帯端末７ではアプリケーションソフトウェアが起動しており、ペン型電子機器１から無線通信等で送られた情報を受信した場合にその情報に対応した画像データ等を選択してディスプレイ８に表示する。この場合、画像データ等は携帯端末７内に記憶されたものでもよいし、ネットワーク（例えば、インターネット）を介してサーバからダウンロードしたものであってもよい。
　上記構成のほか、本実施形態のペン型電子機器１は、図２に示す電源スイッチ２０５、画像処理部２０１、充電部２０８およびアンテナ２０９を備えている。電源スイッチ２０５によってペン型電子機器１の電源のＯＮ／ＯＦＦが行われる。画像処理部２０１は、制御部４１の指示によってメモリ４２から読み出された画像データを処理してディスプレイ２に送る。充電部２０８は、バッテリー５を充電するための回路やケーブル接続端子を有する。アンテナ２０９は通信部４３に接続されており、外部機器との情報の送受信を行う。
（情報処理方法）
　図３は、本実施形態に係る情報処理方法の概略を示すフローチャートである。
　なお、ここではペン型電子機器１を用いた情報処理方法を例示するが、他の形態の電子機器であっても同様な情報処理方法を適用することができる。
　先ず、ペン型電子機器１の動作を開始すると（ステップＳ１）、センサ６によって動きを検知したか否かの判断を行う（ステップＳ２）。動きを検知した場合には、センサ６によって検出した動きに基づき動きの情報を取得する（ステップＳ３）。動きの情報には、筆記動作の度数が含まれる。
　次に、制御部４１は、筆記動作の度数に対応したデータ（画像データおよび数値データの少なくともいずれか）の選択を行う。本実施形態では、一例として、ソフトウェア上での生き物、キャラクタ（以下、単に「キャラクタ等」とも言う。）の画像を変化させる（ステップＳ４）。すなわち、制御部４１は、筆記動作の度数に対応して、ソフトウェア上でのキャラクタ等の画像データをメモリ４２等から選択して、その画像データに基づく画像をディスプレイ２に表示させる。例えば、筆記動作の度数が高くなるほど、より成長したキャラクタ等の画像が表示される。これにより、筆記動作とともにキャラクタ等が成長していくような画像表示を得ることができる。また、制御部４１は、筆記動作の度数に対応した数値データをメモリ４２等から取得して、その数値データをグラフ化してディスプレイ２に表示するようにしてもよい。
　次に、ペン型電子機器１を継続使用しているか否かの判断を行い（ステップＳ５）、継続している場合にはステップＳ２へ戻り、以降の処理を繰り返す。また、継続使用していない場合には、動作を終了する（ステップＳ６）。
　このような動作によって、ペン型電子機器１の使用や動きに関する情報を元に、例えば、キャラクタ等が、卵から生まれる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化するなど、なんらかの変化をする画像表示や、グラフ表示を行うことができる。
　ここで、本実施形態に係る情報処理方法の詳細例を説明する。
　図４は、本実施形態に係る情報処理方法の詳細例（その１）を示すフローチャートである。
　図４に示す情報処理方法の詳細例（その１）では、先ず、ペン型電子機器１の動作を開始すると（ステップＳ５４１）、センサ６によって動きを検知したか否かの判断を行う（ステップＳ５４２）。動きを検知した場合には、センサ６によって検知した動きに基づき動きの情報を取得し（ステップＳ５４３）、取得した動きの情報を蓄積する（ステップＳ５４４）。動きの情報は、ペン型電子機器１内のメモリ４２に蓄積されてもよいし、ネットワークを介して外部の機器（携帯端末７、サーバ等）に蓄積されてもよい。
　次に、蓄積された情報に基づき、動きの分析および判別を情報処理部４で行う（ステップＳ５４５）。この判別では、分析された筆記動作から、マークシート、英語など日本語以外の言語、丁寧な字であるかどうか、学習課目などを判別することを含む。
　次に、情報の送信を行うか否かの判断を行う（ステップＳ５４６）。情報を送信する場合、ペン型電子機器１から携帯端末７へ情報（動きの情報や判別した情報）を送信する処理、または携帯端末７からネットワークを介してサーバへ情報を送信する処理を行う。
　次に、情報を受信した機器（携帯端末７、サーバ等）で動きの分析および判別を行う（ステップＳ５４７）。情報を受信した機器においても、ステップＳ５４５と同様に、分析された筆記動作から、マークシート、英語など日本語以外の言語、丁寧な字であるかどうか、学習課目などを判別してもよい。また、情報を受信した機器において、ペン型電子機器１とは異なるアルゴリズムでペンの動きの分析および判別を行ってもよい。　
　次に、この判別した情報に基づいて、画像等を変化させるか否かの判断を行う（ステップＳ５４８）。すなわち、判別した情報が、画像等を変化させるための条件を満たしている場合には変化させると判断する。
　次に、制御部４１は、変化の判断に対応した処理を行う（ステップＳ５４９）。例えば、ソフトウェア上でのキャラクタ等の画像を変化させたり、数値データとしてのポイントを入手したり、アイテムを入手したり、グラフ表示したりする処理を行う。これにより、筆記動作とともにキャラクタ等が成長していくような画像表示が行われたり、筆記動作とともにポイントが上昇したり、アイテムを入手できたりする。
　次に、ペン型電子機器１を継続使用しているか否かの判断を行い（ステップＳ５５０）、継続している場合にはステップＳ５４２へ戻り、以降の処理を繰り返す。また、継続使用していない場合には、動作を終了する（ステップＳ５５１）。
　図５は、本実施形態に係る情報処理方法の詳細例（その２）を示すフローチャートである。
　図５に示す情報処理方法の詳細例（その２）では、図４に示す情報処理方法の詳細例（その１）の処理のうち、情報送信（ステップＳ５４６）および情報分析／判断（ステップＳ５４７）が省略されている。すなわち、詳細例（その２）の処理は、ペン型電子機器１の動作の開始（ステップＳ５４１）、動き検知（ステップＳ５４２）、動き情報取得（ステップＳ５４３）、動き情報蓄積（ステップＳ５４４）、情報分析／判別（ステップＳ５４５）、変化判断（ステップＳ５４８）、変化の判断に対応した処理（ステップＳ５４９）、継続判断（ステップＳ５５０）、処理終了（ステップＳ５５１）を有する。
　図６は、本実施形態に係る情報処理方法の詳細例（その２）を示すフローチャートである。
　図６に示す情報処理方法の詳細例（その３）では、図４に示す情報処理方法の詳細例（その１）の処理のうち、情報分析／判断（ステップＳ５４５）が省略されている。すなわち、詳細例（その３）の処理は、ペン型電子機器１の動作の開始（ステップＳ５４１）、動き検知（ステップＳ５４２）、動き情報取得（ステップＳ５４３）、動き情報蓄積（ステップＳ５４４）、情報送信（ステップＳ５４６）、情報分析／判別（ステップＳ５４７）、変化判断（ステップＳ５４８）、変化の判断に対応した処理（ステップＳ５４９）、継続判断（ステップＳ５５０）、処理終了（ステップＳ５５１）を有する。
　図７は、本実施形態に係る情報処理方法の詳細例（その２）を示すフローチャートである。
　図７に示す情報処理方法の詳細例（その４）では、図４に示す情報処理方法の詳細例（その１）の処理のうち、情報分析／判断（ステップＳ５４７）が省略されている。すなわち、詳細例（その４）の処理は、ペン型電子機器１の動作の開始（ステップＳ５４１）、動き検知（ステップＳ５４２）、動き情報取得（ステップＳ５４３）、動き情報蓄積（ステップＳ５４４）、情報分析／判別（ステップＳ５４５）、情報送信（ステップＳ５４６）、変化判断（ステップＳ５４８）、変化の判断に対応した処理（ステップＳ５４９）、継続判断（ステップＳ５５０）、処理終了（ステップＳ５５１）を有する。
（第１実施形態の他の構成例）
　図８および図９は、第１実施形態の他の構成例を示す模式図である。
　図８（ａ）に示すペン型電子機器１は、本体１０にセンサ６と情報処理部４とが設けられた例である。すなわち、図８（ａ）に示すペン型電子機器１では、図１に示すようなディスプレイ２が設けられていない。ペン型電子機器１の本体１０にディスプレイ２が設けられていなくても、携帯端末７などの外部機器の表示部に画像を表示させればよい。ペン型電子機器１にディスプレイ２が設けられていないことで、軽量化およびコストダウンを図ることができる。
　図８（ｂ）に示すペン型電子機器１は、バッテリー５に充電を行うための給電部１５を備えている。給電部１５としては、ＵＳＢコネクタや無線給電部が用いられる。ＵＳＢコネクタであれば有線によって給電を行い、無線給電部であれば非接触での給電が可能である。
　図９に示すペン型電子機器１は、外部機器（例えば、携帯端末７）とケーブルＣによって接続するためのインタフェース部１６を備えている。すなわち、図９に示すペン型電子機器１は、ケーブルＣを介して外部機器と情報の入出力を行う。したがって、図９に示すペン型電子機器１は、無線通信手段を備えていてもよいし、備えていなくてもよい。なお、このインタフェース部１６は、バッテリー５の充電のための給電部１５を兼用してもよい。
　図１０は、複数のペン型電子機器を利用する例を説明する模式図である。
　図１０に示すように、第１のペン型電子機器１１と、第２のペン型電子機器１２とを所定の距離まで接近させたり、互いに接触させたりするといった筆記動作以外の動作をセンサ６で検知した場合、ソフトウェア上でキャラクタ等同士が接近（接触）して、特定の動作が発生する。
　例えば、第１のペン型電子機器１１と第２のペン型電子機器１２とを接触させて、その接触の加速度をセンサ６で検知すると、ソフトウェア上でキャラクタ等の卵や子供が生まれるような画像が表示される。卵や子供が生まれた後は、それぞれのペン型電子機器１１、１２を用いた筆記動作によって、その卵がふ化したり、キャラクタ等が子供から大きく成長していったりする画像の変化を生じさせる。
　また、第１のペン型電子機器１１と第２のペン型電子機器１２との接近または接触によって、一方または双方に単独のキャラクタ等が発生する画像を表示させてもよい。
　また、第１のペン型電子機器１１と第２のペン型電子機器１２との接近または接触によって、一方の機器の情報を他方の機器へ転送するようにしてもよい。
　図１１は、２つのペン型電子機器が接近した場合の処理の一例を示すフローチャートである。なお、このフローチャートに示す処理は、２つのペン型電子機器のうちの一方のプログラム処理である。また、接近には接触も含まれるものとする。
　先ず、一方のペン型電子機器の制御部４１によって、他方のペン型電子機器が接近したか否かを検出する（ステップＳ８）。接近を検知した場合、制御部４１は接近した他方のペン型電子機器の情報を取得する（ステップＳ９）。
　次に、制御部４１は、接近した２つのペン型電子機器の相互のキャラクタ等の情報を把握する（ステップＳ１０）。次いで、制御部４１は、相互のキャラクタ等の情報に基づき、卵や子供の発生の判断を行う（ステップＳ１１）。相互のキャラクタ等では卵や子供の発生が行われない場合には、ステップＳ１５へ進む。一方、相互のキャラクタ等から卵や子供の発生が行われると判断した場合、制御部４１は、情報の一部を引き継ぐか否かの判断を行う（ステップＳ１２）。情報の一部の引き継ぎとは、例えばキャラクタ等から卵や子供が生まれる際に親のキャラクタ等の個性の一部を引き継ぐことを言う。
　情報の一部を引き継ぐ場合には、情報の一部を引き継いだ新たなキャラクタ等（卵や子）の画像データを作成（または選択）し、ディスプレイ２に表示する（ステップＳ１３）。一方、情報の一部を引き継がない場合には、情報の一部を引き継がない新たなキャラクタ等（卵や個）の画像データを生成（または選択）し、ディスプレイ２に表示する（ステップＳ１４）。
　次に、ペン型電子機器１を継続使用しているか否かの判断を行い（ステップＳ１５）、継続している場合にはステップＳ２へ戻り、以降の処理を繰り返す。また、継続使用していない場合には、動作を終了する（ステップＳ１６）。
　このような処理によって、２つのペン型電子機器１１、１２が接近した場合には、キャラクタ等の卵や子供が生まれたり、親のキャラクタ等の性格、性質の一部を引き継ぐ子供のキャラクタ等が誕生したりする画像がディスプレイ２や外部機器の表示部に表示されることになる。これにより、誕生したキャラクタ等の卵や子供について、ソフトウェア上で育成を行うことが可能になる。
　また、ソフトウェア上のキャラクタ等を使い、ゲームをして遊んだり、他の生き物やキャラクタ等と戦ったり、といったことも可能になる。また、通信機能やインターネットを介して、他の人が育てた生き物やキャラクタ等同士を戦わせてもよいし、対戦ゲームを楽しむようにしてもよい。
　また、他の例としては、第１のペン型電子機器１１と第２のペン型電子機器１２との接近または接触によって、双方のつながりを構築することもできる。構築されたつながりの情報をソフトウェアで引き継ぎ、例えば、お互いにメッセージ（励まし合うメッセージなど）を送る、キャラクタを行き来させる、勉強の時間やグラフを共有するなど、つながりに基づく様々な情報の共有を行うこともできる。
　図１２は、補助機器を例示する模式図である。
　図１２に示すように、本実施形態に係るペン型電子機器１は、専用の補助機器１７に接続して使用するようにしてもよい。
　補助機器１７は、充電用端子１８、ディスプレイ１９を備える。ディスプレイ１９はタッチパネルになっていてもよい。例えば、ペン型電子機器１は補助機器１７の収納部１７ａに差し込まれ、充電用端子１８と接続される。これにより、充電が行われる。
　補助機器１７のディスプレイ１９には、接続したペン型電子機器１で保持されたキャラクタ等の画像が表示され、キャラクタ等の成長の様子を確認したり、ゲームを行ったりすることができる。ゲーム機能を有する場合には、ディスプレイ１９のタッチパネルを利用したり、センサ（加速度センサ）２０やキー２３を設けておき、これらを利用したりしてもよい。
　また、補助機器１７は、ネットワーク（例えば、無線ＬＡＮやインターネット）との接続や外部機器との接続を行う通信部２１や、持ち運ぶ際に便利なバッテリー２２を備えていてもよい。
　図１３は、補助機器を例示するブロック図である。補助機器１７は、上記構成のほか、図１３に示す画像処理部５０、メモリ５２、制御部５３、電源スイッチ５６、充電部５９、給電部６０およびアンテナ６１を備えていてもよい。電源スイッチ５６によって補助機器１７のＯＮ／ＯＦＦが行われる。電源スイッチ５６は、ペン型電子機器１が収納部１７ａに挿入された際にＯＮ、外された際にＯＦＦになるよう動作してもよい。
　画像処理部５０は、制御部５３の指示によってメモリ５２から読み出された画像データを処理してディスプレイ１９に送る。充電部５９は、バッテリー２２を充電するための回路やケーブル接続端子を有する。給電部６０は、図１２に示す充電用端子１８に接続される。アンテナ６１は通信部２１に接続されており、外部機器との情報の送受信を行う。
　図１４は、発電機能を備えたペン型電子機器の構成を例示する模式図である。
　すなわち、図１４に示すペン型電子機器１は、発電部７１を備えている。このペン型電子機器１の発電部７１は、筆記動作や持ち運びの際の動き、本体１０を振る、などの動きによって発電し、バッテリー５への充電を行っている。バッテリー５は、発電部７１による発電で充電される。
（第２実施形態）
　図１５は、第２実施形態に係る電子機器を例示する模式図である。
　本実施形態に係る電子機器は、シャープペンシルや、ボールペンなどのような筆記具８４に装着するグリップ型電子機器８１である。グリップ型電子機器８１は、筆記具８４の柄の部分に取り付け可能な本体８０を備える。本体８０には、センサ８２およびメモリ８３が設けられる。
　センサ８２としては、第１実施形態と同様に、加速度センサ、傾きセンサ、回転軌道センサ、重力加速度センサなどが挙げられる。使用者が筆記具８４を用いて筆記動作を行った場合、筆記具８４とともに移動する本体８０の動きをセンサ８２によって検知し、筆記動作の度数を得る。
　筆記動作の度数は、筆記具８４による筆記の頻度、筆記の回数、筆記の量および文字の丁寧さを示す値の少なくともいずれかである。また、センサ８２によって、筆記具８４の使用方法、動かし方に基づく値を検知してもよい。
　センサ８２で検知した使用者の筆記動作の度数は、メモリ８３に記憶してもよい。メモリ８３に記憶した筆記動作の度数に関する情報などは、図示しない通信部（送信部）を介して外部機器に送信してもよいし、ケーブルを介して外部機器に転送してもよい。外部機器では、転送された筆記動作の度数に関する情報に基づいて画像を選択して表示する。グリップ型電子機器８１は、図示しない通信部（受信部）によって外部から送られる情報を受信する機能を備えていてもよい。
　このようなグリップ型電子機器８１によれば、利用者が普段使用している筆記具８４にグリップ型電子機器８１を装着して筆記動作を行うことで、この筆記動作に関する情報をセンサ８２で検知して、筆記動作の度数に対応した画像の表示、画像の変化が実行される。例えば、筆記動作の度数に対応して、ソフトウェア上のキャラクタ等が、卵から生まれる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化するなど、なんらかの変化をする画像表示を行うことができる。
　また、本実施形態においても、第１実施形態と同様に、複数のグリップ型電子機器８１を接近（接触）させて際の特定の動作を発生させてもよい。
（第２実施形態の他の構成例）
　図１６～図１８は、第２実施形態の他の構成例を示す模式図である。
　図１６に示すグリップ型電子機器８１は、本体８０にディスプレイ８７が設けられた構成を有する。本体８０にディスプレイ８７が設けられていることで、ソフトウェア上のキャラクタ等の画像を手元のグリップ型電子機器８１で確認することができる。
　すなわち、グリップ型電子機器８１のセンサ８２で検知した筆記動作の度数に基づき、例えば、キャラクタ等が、卵から生まれる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化するなど、なんらかの変化をする画像を本体８０のディスプレイ８７で確認することができる。
　また、本体８０には、センサ８２のほか、バッテリー８８、通信部９０および給電部９１が設けられていてもよい。バッテリー８８は例えば蓄電池であり、各部を駆動するための電力の供給原である。通信部９０は、外部機器（例えば、携帯端末１４）との間で情報の入出力を行う部分（送信部および受信部）である。給電部９１としては、ＵＳＢコネクタや無線給電部が用いられ、給電部９１を介して外部から取り込んだ電力によってバッテリー８８の充電を行う。
　図１７に示すグリップ型電子機器８１は、外部機器（例えば、携帯端末１４）とケーブルＣによって接続するためのインタフェース部９２を備えている。これにより、グリップ型電子機器８１は、ケーブルＣを介して外部機器と情報の入出力を行う。なお、このインタフェース部９２は、バッテリー８８の充電のための給電部９１を兼用してもよい。
　図１８（ａ）は、補助機器を例示する模式図である。
　図１８（ａ）に示すように、本実施形態に係るグリップ型電子機器８１は、専用の補助機器９３に接続して使用されてもよい。
　補助機器９３は、充電用端子９４、ディスプレイ１９を備える。ディスプレイ１９はタッチパネルになっていてもよい。例えば、グリップ型電子機器８１は、筆記具８４に取り付けられた状態で補助機器９３の収納位置に差し込まれ、充電用端子９４と接続される。これにより、充電が行われる。
　補助機器９３のディスプレイ１９には、接続したグリップ型電子機器８１で保持されたキャラクタ等の画像が表示され、キャラクタ等の成長の様子を確認したり、ゲームを行ったりすることができる。ゲーム機能を有する場合には、ディスプレイ１９のタッチパネルを利用したり、センサ（加速度センサ）２０やキー２３を設けておき、これらを利用したりしてもよい。また、通信部２１や、持ち運ぶ際に便利なバッテリー２２を備えていてもよい。
　図１８（ｂ）は、発電機能を備えたグリップ型電子機器の構成を例示する模式図である。
　すなわち、図１８（ｂ）に示すグリップ型電子機器８１は、発電部９５を備えている。このグリップ型電子機器８１の発電部９５は、筆記動作や持ち運びの際の動き、本体８０を振る、などの動きによって発電し、バッテリー８８への充電を行っている。バッテリー８８は、発電部９５による発電で充電される。
　図１９は、キャップ型電子機器を例示する模式図である。
　図１５～図１８に示す例では、筆記具８４に装着するグリップ型電子機器８１を説明したが、図１９に示すように、筆記具８４に装着するキャップ型電子機器８５であってもよい。キャップ型電子機器８５は、筆記具８４を使用する際に筆記具８４の柄に差し込むように装着される。また、筆記具８４を使用しないときは、筆記具８４の先端（ペン先１０ｐ側）に差し込んで、ペンキャップとして用いられる。
（第３実施形態）
　図２０は、第３実施形態に係る電子機器を例示する模式図である。
　本実施形態に係る電子機器は、タッチパネル等の検知部を有するパネル型電子機器１００である。パネル型電子機器１００は、パネル部１０５と、制御部１１０と、メモリ１２０とを備える。
　パネル部１０５には画像等を表示する表示部と、表示部上で接触した位置（座標）を検知する検知部１０６が設けられる。すなわち、パネル部１０５はタッチパネルである。パネル部１０５の上にスタイラスペン等の筆記具１０１の先端を接触させて筆記動作を行うと、検知部１０６によって筆跡が検知される。制御部１１０は、検知部１０６で検知した筆跡を判別し、度数をカウントする。
　メモリ１２０は画像データ等を記憶している。メモリ１２０は、パネル型電子機器１００の本体内に設けられていてもよいし、外部機器に設けられていてもよい。メモリ１２０が外部機器に設けられている場合には、通信手段（ネットワークやケーブル等）を介してメモリ１２０から必要な画像データ等をパネル型電子機器１００に転送すればよい。
　パネル型電子機器１００において、制御部１１０は、検知部１０６で検知した筆跡に基づく筆記の度数を検知する。筆跡に基づく筆記の度数は、パネル部１０５の検知部１０６で検知した座標およびその移動から、筆跡の加速度、方向、回転軌道などを求め、これらの値から得た筆記の頻度、筆記の回数、筆記の量および文字の丁寧さを示す値の少なくともいずれかである。また、検知部１０６によって、筆記具１０１の使用方法、動かし方に基づく値、筆記の際の圧力を検知してもよい。また、書いた文字や絵の内容自体を記録してもよいし、それを分析して使用してもよい。
　制御部１１０は、検知部１０６で検知した筆跡に基づき筆記の度数に対応してメモリ１２０から画像データを選択し、選択した画像データに基づく画像をパネル部１０５の表示部へ表示させる制御を行う。
　図２１は、本実施形態に係る電子機器の動作の概略を示すフローチャートである。
　本実施形態に係る電子機器の例であるパネル型電子機器１００の動作を開始すると（ステップＳ１０１）、先ず、パネル部１０５の検知部１０６によって筆跡（軌跡）を検知したか否かの判断を行う（ステップＳ１０２）。筆跡を検知した場合には、検知部１０６によって検出した軌跡に基づき軌跡の情報を取得する（ステップＳ１０３）。軌跡の情報は、筆記の度数である。
　次に、制御部１１０は、筆記の度数に対応した画像データの選択を行う。本実施形態では、一例として、ソフトウェア上でのキャラクタ等の画像を変化させる（ステップＳ１０４）。すなわち、制御部１１０は、筆記の度数に対応して、ソフトウェア上でのキャラクタ等の画像データをメモリ１２０から選択して、その画像データに基づく画像をパネル部１０５の表示部に表示させる。例えば、筆記の度数が高くなるほど、成長したキャラクタ等の画像が表示される。これにより、筆記動作とともにキャラクタ等が成長していくような画像表示を得ることができる。また、制御部１１０は、筆記の度数に対応した数値データをメモリ４２等から取得して、その数値データをグラフ化してディスプレイ２に表示するようにしてもよい。
　次に、パネル型電子機器１００を継続使用しているか否かの判断を行い（ステップＳ１０５）、継続している場合にはステップＳ１０２へ戻り、以降の処理を繰り返す。また、継続使用していない場合には、動作を終了する（ステップＳ１０６）。
　このようなパネル型電子機器１００の動作によって、パネル部１０５の上に筆記具１０１で筆記動作を行うと、この筆記動作に関する情報を検知部１０６で検知して、筆記の度数に対応した画像の表示、画像の変化が実行される。例えば、筆記の度数に対応して、ソフトウェア上のキャラクタ等が、卵から生まれる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化するなど、なんらかの変化をする画像表示を行うことができる。
　図２２は、複数のパネル型電子機器を利用する例を説明する模式図である。
　図２２に示すように、第１のパネル型電子機器１０２と、第２のパネル型電子機器１０３とを所定の距離まで接近させたり、互いに接触させたりするといった筆記動作以外の動作をした場合、ソフトウェア上でキャラクタ等同士が接近（接触）して、特定の動作が発生する。
　例えば、第１のパネル型電子機器１０２と第２のパネル型電子機器１０３とを接触させると、ソフトウェア上でキャラクタ等の卵や子供が生まれるような画像が表示される。卵や子供が生まれた後は、それぞれのパネル型電子機器１０２、１０３を用いた筆記動作によって、その卵がふ化したり、キャラクタ等が子供から大きく成長していったりする画像の変化を生じさせる。
　また、第１のパネル型電子機器１０２と第２のパネル型電子機器１０３との接近または接触によって、一方または双方に単独のキャラクタ等が発生する画像を表示させてもよい。
　また、第１のパネル型電子機器１０２と第２のパネル型電子機器１０３との接近または接触によって、一方の機器の情報を他方の機器へ転送するようにしてもよい。
（第４実施形態の他の構成例）
　図２３は、第４実施形態の他の構成例を示す模式図である。
　このパネル型電子機器１５２は、ノートなどの筆記用紙１５１の下に敷く下敷き型になっている。パネル型電子機器１５２は、下敷きとして利用可能な平坦なプレート部１５０と、プレート部１５０に設けられたセンサ１５５と、メモリ１５６と、制御部１５７とを備える。
　センサ１５５は、プレート部１５０を下敷きとして筆記用紙１５１の下に敷いた状態で利用者が筆記具１５３で筆記を行った場合、筆圧等を検知して筆跡に対応した座標を検出する。
　メモリ１５６は画像データ等を記憶している。メモリ１５６は、パネル型電子機器１５２のプレート部１５０内に設けられていてもよいし、外部機器に設けられていてもよい。メモリ１５６が外部機器に設けられている場合には、通信手段（ネットワークやケーブル等）を介してメモリ１５６から必要な画像データ等をパネル型電子機器１５２に転送すればよい。
　制御部１５７は、センサ１５５で検知した筆跡に基づく筆記の度数を検知する。筆跡に基づく筆記の度数は、センサ１５５で検知した座標およびその移動から、筆跡の加速度、方向、回転軌道、筆記の際の圧力などを求め、これらの値から得た筆記の頻度、筆記の回数、筆記の量および文字の丁寧さを示す値の少なくともいずれかである。また、センサ１５５によって、筆記具１５３の使用方法、動かし方に基づく値を検知してもよい。
　制御部１５７は、検知した筆跡に基づき筆記の度数に対応してメモリ１５６から画像データを選択する。制御部１５７によって選択された画像データは外部機器に転送され、外部機器の表示部に表示される。
　なお、制御部１５７は、検知した筆跡に基づく筆記の度数をメモリ１５６に記憶しておき、パネル型電子機器１５２が外部機器と接続（ネットワークやケーブルで接続）された段階でメモリ１５６に記憶した筆記の度数を外部機器へ転送するようにしてもよい。外部機器では、転送された筆記の度数から対応する画像データを選択して、外部機器の表示部に表示させる処理を行う。
　このようなパネル型電子機器１５２によって、利用者はプレート部１５０を筆記用紙１５１の下に敷いて下敷きとし、筆記具１５３によって筆記動作を行う。筆記動作を行うと、この筆記動作に関する情報をセンサ１５５で検知して、筆記の度数に対応した画像の表示、画像の変化が外部機器で実行される。例えば、筆記の度数に対応して、ソフトウェア上のキャラクタ等が、卵から生まれる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化するなど、なんらかの変化をする画像表示を行うことができる。
　また、プレート部１５０には磁力などの情報のみを持たせ、筆記具１５３としてペン型電子機器１を用いてよい。この場合、プレート部１５０の磁力などの情報を利用してプレート部１５０とペン型電子機器１との位置関係を読み取り、ペン型電子機器１の筆記情報を取得して上記説明した各種処理、通信を行うようにしてもよい。
　なお、本実施形態においても、前記の実施形態と同様に、複数のパネル型電子機器１５２を接近（接触）させて際の特定の動作を発生させてもよい。また、パネル型電子機器１００、１５２では筆記具１０１、１５３を用いて筆記を行っているが、指でなぞって筆記を行ってもよい。
　図２４は、異なる形態の電子機器を利用する例を説明する模式図である。
　上記説明したペン型電子機器１や、グリップ型電子機器８１、パネル型電子機器１００といった各形態の電子機器は、それぞれ個別に動作している。すなわち、各電子機器のそれぞれにおいて実行されるソフトウェアは、使用頻度、使用回数、使用量、使用方法、どういった動かし方をしたかという情報を元に、ソフトウェア上のキャラクタ等が、卵からかえる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化するなど、なんらかの変化をする機能を有する。
　各電子機器はネットワークを介してサーバ１６１に接続可能であり、お互いに対戦型のゲームを楽しむことができるようになっていてもよい。各電子機器におけるソフトウェア上のキャラクタ等がより成長し、より強ければソフトウェア上のゲームを有利に進めることができるようになる。また、他の生き物と戦うといった時にも有利になる。また、インターネットを介して、他の人が育てた生き物やキャラクタ等同士が戦う、対戦ゲームを楽しむといった時にも有利に進めることができる。
　図２５および図２６は、各電子機器同士の情報交換を例示する模式図である。
　図２５（ａ）には同じ形態の電子機器（例えば、ペン型電子機器１）が接近した場合の情報交換の例が示され、図２５（ｂ）には異なる形態の電子機器（例えば、ペン型電子機器１とグリップ型電子機器８１）が接近した場合の情報交換の例が示される。
　例えば、２つの電子機器が接近することで、ソフトウェア上でキャラクタ等が接触したり、近づいたりなど、画面表示において特定の動作が行われ、ソフトウェア上で卵や子供を産む、といった画面表示が行われる。それにより、また、次のキャラクタ等を育成することが可能となる。
　図２６には、各電子機器同士が直接接近しなくてもネットワークを介して情報交換を行う例が示される。例えば、ペン型電子機器１を携帯端末７からインターネットに接続されたサーバ１６１と接続し、通信回線を介して他の電子機器と仮想的に接触させるようにする。これにより、携帯端末７の画面には、仮想的に接触した各電子機器のキャラクタ等が表示される。図２６に示す例では、携帯端末７の画面に、ペン型電子機器１のソフトウェア上のキャラクタ１６２と、ネットワークを介して仮想的に接触した他の電子機器のソフトウェア上のキャラクタ１６３とが表示される。画面にはこれらのキャラクタ１６２、１６３が出会ったような画面表示がなされる。
　そして、携帯端末７の画面上において２つのキャラクタ１６２、１６３から新たなキャラクタの卵や子供が誕生する様子が表示される。新たなキャラクタの卵や子供は、親の特徴を引き継ぐような設定にしてもよい。
（第５実施形態）
　ペン型電子機器１や、グリップ型電子機器８１、パネル型電子機器１００によって使用や動きに関する情報や筆跡（軌跡）の情報は、直接的にソフトウェア上のキャラクタ等の育成ではなく、ポイントとして付与されてもよい。
　そのポイントは、デジタル情報や、電子マネー、提携会社のポイントと交換が可能となっていてもよい。また、そのポイントをソフトウェア上のキャラクタ等の育成や、キャラクタ等に関係する住む家や、家具に交換できるようになっていてもよい。さらに、キャラクタ等の成長を助けるソフトウェア上の栄養剤や食料に交換できてもよい。
　上記、デジタル情報の例を挙げると、音楽、映画などや、ゲーム、パズルなどである。
　また、ポイントによってゲームが出来る時間が開放されるなどの機能であってもよい。
　さらに、ペン型電子機器１で手紙や電子的なメッセージを書き、その書いた手紙や電子的なメッセージと一緒にソフトウェア上のキャラクタ等の画像データやポイントを送る機能を持っていてもよい。
　図２７は、第５実施形態に係る情報処理方法を示すフローチャートである。
　この情報処理方法は、制御部４１で実行されるプログラム処理によって実現される。
　ペン型電子機器１、グリップ型電子機器８１、パネル型電子機器１００はネットワークを介してサーバ１６１に接続されている。
　先ず、処理を開始すると（ステップＳ２０１）、動き／使用を検知したか否かを判断する（ステップＳ２０２）。動き／使用を検知した場合、動き／使用の情報を取得する（ステップＳ２０３）。動き／使用の情報は、筆記の度数である。次に、取得した動き／使用の情報に基づくポイントを入手する（ステップＳ２０４）。ポイントは使用者毎にサーバ１６１で管理される。
　次に、ポイントを使用するか否かの判断を行い（ステップＳ２０５）、使用する場合には使用するポイントに応じて生き物やキャラクタ、家具、映画などのデジタル情報を入手する（ステップＳ２０６）。この処理は、例えばサーバ１６１で実行されるプログラム処理によって、使用者が選択したポイントと、そのポイントに対応した対価とを交換するための処理である。
　次に、継続使用しているか否かの判断を行い（ステップＳ２０７）、継続している場合にはステップＳ２０２へ戻り、以降の処理を繰り返す。また、継続使用していない場合には、動作を終了する（ステップＳ２０８）。
　ソフトウェア上のキャラクタ等やポイントを、購入した電子機器にあらかじめ付与しておくようにしてもよい。
　また、これらのソフトウェア上のキャラクタ等自体や、成長の度合い、ポイントなどは、時間や、日にち、時期によって、重み付けを変化させることもできる。これにより、決まった時間に勉強をする習慣をつける、早めに夏休みの宿題を終わらせるなどといった行動の習慣づけができる。
　また、電子機器同士や、ソフトウェア上のキャラクタ等同士を、友達や特定の人とリンクさせておくことで、同じ日や同じ時刻など、特定の条件で使うと、ポイントが多くもらえるなど、特典を付けてもよい。こうすることで、一体感が生まれ、勉強などの動機付けになる。
　また、パズルを解くとポイントやソフトウェア上のキャラクタ等がもらえるようにしてもよい。また、テストを解く、文字や絵の練習をするとポイントやソフトウェア上のキャラクタ等がもらえるようにしてもよい。
　また、その際、電子機器からの電子的な使用の情報だけではなく、書いた字や描いた絵を郵送もしくは電子化された状態で送ってもよい。その際、丁寧な字や上手な絵だと、より多くのソフトウェア上のキャラクタ等やポイントがもらえるという特典を付与してもおい。
　また、これらの電子機器とソフトウェアは、キャラクタ等を交換したり、譲渡したりする機能を持っていてもよい。同様に、得られたポイントを交換したり、譲渡したりする機能を持っていてもよい。
　これらの電子機器や、ソフトウェアは、事業主だけではなく、第三者（サードパティー）やユーザが参入可能な仕組みを持つ。例えば、下記のようなものである。
　（１）ソフトウェア上のキャラクタ等やゲームを、第三者（サードパティー）、もしくはユーザが登録できる。これによって、ユーザや第三者が作ったソフトウェア上のキャラクタ等を楽しんだり、ゲームを多くの人が楽しんだりすることができるようになる。
　（２）ソフトウェア上のキャラクタ等、ゲームを作った第三者やユーザに金銭やポイントが与えられる。
　（３）ペン型やグリップ型、パネル型の電子機器は、筆記部などペンの外装を含まない、中身の電子装置のみの構成をとることができる。これにより、外観に自由度を持たせたペン型やグリップ型の電子機器を、第三者が作成可能となる。
　（４）上記説明したポイント等の重み付け変更を行う仕組みを持つ。
　これらの電子機器やソフトウェアについて、第三者（サードパティー）が参入可能で、かつ、セキュリティなど制限をかけることができる仕組みを持っていてもよい。例えば、下記のようなものである。
　すなわち、ペン型やグリップ型、下敷き型の電子機器がセキュリティ機能や個体識別機能を持ち、ソフトウェアと対応することによってのみ動作する。これにより、ペン型の電子機器のみ、ソフトウェアのみを単独で使用することを防ぐ。また、不正使用などを防ぐことも可能である。
　図２８は、制限処理を例示するフローチャートである。
　先ず、電子機器に埋め込まれた情報を取得し（ステップＳ２５１）、埋め込まれた情報の送信を行う（ステップＳ２５２）。一方、ソフトウェアの情報を取得する（ステップＳ２５３）。次に、電子機器に埋め込まれた情報とソフトウェアの情報との比較を行い（ステップＳ２５４）、許可するか否かの判断を行う（ステップＳ２５５）。許可しない場合には動き／使用情報の拒否／不使用となり（ステップＳ３６６）、許可する場合には動き／使用情報の許可／使用となる（ステップＳ２５７）。
　また、第三者が、ソフトウェア上のキャラクタ等や、ゲームなどをソフトウェアに登録する仕組みを持ち、登録の際に審査を行う仕組みを持っていてもよい。また、登録の際に課金する場合は、その一部を事業者が受け取る仕組みを作ってもよい。
　また、事業主が、ソフトウェア上のキャラクタ等自体や、ゲームの内容をチェックすることが可能な仕組みを持っていてもよい。
　また、本実施形態に係る電子機器は、マークシート、英語など日本語以外の言語、丁寧な字であるかどうかなどを判別するようにしてもよい。いくつか例を挙げると、マークシートであれば、ある一定の範囲を塗りつぶすなどの動作を識別する。丁寧な字かどうかは、動きのスピードや等間隔な動きで、判別する。また、英語かどうかは、漢字とは異なり短い間隔や短い周期で横にずれていくことで判別する。
　図２９および図３０は動きの判定処理を例示するフローチャートである。
　この判定処理は、制御部４１で実行されるプログラム処理によって実現される。
　図２９では、動き／使用情報の取得（ステップＳ３０１～Ｓ３０２）から動きの判定を行い（ステップＳ３０３）、Ｃａｓｅ（ａ）では「マークシートで使用」という情報を付加し（ステップＳ３０４）、Ｃａｓｅ（ｂ）では「英語で使用」という情報を付加し（ステップＳ３０５）、Ｃａｓｅ（ｃ）では「絵を描いている」という情報を付加する（ステップＳ３０６）。また、図３０では、図２９と同様に、動き／使用情報の取得（ステップＳ３０１～Ｓ３０２）から動きの判定を行い（ステップＳ３０３）、Ｃａｓｅ（ｄ）では「丁寧な字」であると判定し（ステップＳ３０８）、Ｃａｓｅ（ｅ）では「雑な字」であると判定する（ステップＳ３０９）。
　判別の手法としては、Ａ．Ｉ．（Artificial Intelligence）、マシーンラーニング、ディープラーニングなどが挙げられる。これにより、より正確に使用情報の判別が可能になる。そして、この判別結果を学習記録やゲームのデータとして使うこともできる。
　これらの判別された情報を、動きや使用の情報に付加する場合もある。その場合は、その付加情報に与えるポイントを変えたり、育成のスピードを変えたりということを行ってもよい。
　また、本実施形態に係る電子機器で取得した情報は、学習課目の判定に利用することもできる。
　図３１は、学習課目の判定処理を例示するフローチャートである。
　この判定処理は、制御部４１で実行されるプログラム処理によって実現される。
　すなわち、図３１に示すように、先ず、動き／使用情報の取得（ステップＳ５０１～Ｓ５０２）から動きの判定を行い（ステップＳ５０３）、Ｃａｓｅ（ａ）では「英語の勉強をした」という情報を付加し（ステップＳ５０４）、Ｃａｓｅ（ｂ）では「理科の勉強をした」という情報を付加し（ステップＳ５０５）、Ｃａｓｅ（ｃ）では「数学／算数の勉強をした」という情報を付加する（ステップＳ５０６）。
　判定の手法としては、Ａ．Ｉ．、マシーンラーニング、ディープラーニングなどが挙げられる。これにより、課目ごとの特有な筆記動作に基づき、より正確に学習課目の判別が可能になる。そして、この判別結果を学習記録やゲームのデータとして使うこともできる。
　上記のように、筆記動作に基づき判別した筆記の内容の種類（マークシート、英語、絵、丁寧な字、雑な字、学習課目など）は筆記種類である。本実施形態に係る電子機器の記憶部であるメモリ４２や、外部機器（携帯端末７やサーバ１６１）は、筆記動作の度数をもとにして割り出した時間（筆記時間）、および制御部４１で判別した筆記種類を記憶する。制御部４１は、記憶部に記憶された筆記時間および筆記種類に基づき、グラフ化および順位付けの少なくともいずれかを行うようにしてもよい。
　図３２は、グラフ表示の例を示す模式図である。
　すなわち、本実施形態に係る電子機器（例えば、ペン型電子機器１）で取得した情報（筆記時間など）や、判別した筆記種類（学習課目の情報など）をもとに、学習時間や学習課目、集中した時間、丁寧な文字を書いた時間などの少なくとも１つをグラフ化する。図３２の例では、携帯端末７のディスプレイ８にグラフが表示される。グラフは、時間ごとの学習記録であってもよいし、日にちごと、月ごとなどの学習の記録であってもよい。また、本実施形態に係る電子機器を使わずに行った学習などは手作業で入力できるようにしておいてもよい。
　また、本実施形態に係る電子機器で取得した情報で、文字自体を判別することが可能である。
　図３３は、筆跡判別の例を示す模式図である。
　例えば、本実施形態に係る電子機器（例えば、ペン型電子機器１）で紙４００の上に「あ」と書いた場合、ペン自体や、それを送信した電子デバイス（例えば、携帯端末７）、もしくはクラウド上のコンピュータで「あ」と判別することができる。この判別は、特定のルールベースや、Ａ．Ｉ．、マシーンラーニング、ディープラーニングなどによって行ってもよい。また、文字の識別だけではなく、筆跡を含めて完全に再現してもよい。　
　本実施形態に係る電子機器（例えば、ペン型電子機器１）から取得した情報、それを分析した情報、また、上記のように手作業で入力した情報は、無線通信（ネットワーク）を通じて各種デバイスで共有できるようにしてもよい。一例を挙げると、共有するのは、事前に登録した友達や親などである。
　図３４は、情報共有の例を示す模式図である。
　例えば、本実施形態に係る電子機器（例えば、ペン型電子機器１）で取得した情報は、無線通信を介して携帯端末７に送られ、この携帯端末７からネットワークの基地局６００を経由して友人や親の携帯端末１４で共有される。共有される情報としては、スマートフォン、タブレット、ゲーム機といった端末やＷｅｂ上、また本実施形態に係る電子機器、ペン形状のデバイスなどから通知される情報（メッセージや案内など）を含む。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）から取得した情報、それを分析した情報、また、上記のように手作業で入力した情報をもとに、順位づけ、ランキング付けを行ってもよい。
　図３５は、ランキング表示の例を示す模式図である。
　この例では、携帯端末７のディスプレイ８にランキングが表示される。ランキング表示は、ネットワークを介して得られた友達とのランキングであってもよいし、全国の人たちとのランキングであってもよいし、自分自身の過去の記録とのランキングであってもよい。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）から取得した情報、それを分析した情報、また、上記のように手作業で入力した情報は、ネットワークを介して集約されてもよい。
　図３６は、情報集約の例を示す模式図である。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）で取得した情報は、無線通信を介して携帯端末７に送られ、この携帯端末７からネットワークの基地局６００を経由して特定の端末５００へ送られる。特定の端末５００へ送られた情報は集約され、統計情報として確認することができる。
　このように集約された情報は、例えば学習塾や親の端末５００によって確認することができる。学習塾や親は、本実施形態に係る電子機器を持っていなくても、あらかじめその電子機器、もしくは電子機器を登録しているユーザを登録しておくことで、情報を参照することができる。
　図３７は、情報確認処理の例を示すフローチャートである。
　先ず、処理を開始すると（ステップＳ５１１）、本実施形態に係る電子機器（例えば、ペン型電子機器１）またはユーザの検出を行う（ステップＳ５１２）。検出された場合には、ペンまたはユーザの登録を行う（ステップＳ５１３）。次に、追加の登録があるか否かを判断し（ステップＳ５１４）、追加がある場合にはステップＳ５１２へ戻り、以降の処理を繰り返す。追加の登録がない場合には、登録されたペンまたはユーザの情報の確認を行う（ステップＳ５１５）。
　また、ネットワークを介して繋がった人は、互いにフィードバックを送り合うことができるようにしてもよい。例えば、友達や、親、学習塾などが、何らかの意思表示を示すボタンを押してくれるなどである。その意思表示を示すボタンを押すことで、本実施形態に係る電子機器のユーザにそのことが示される。その意思表示によって、育成ゲーム上でメリットが得られるようにしてもよい。例えば、得られた意思表示の数が所定値を超えた場合にアイテムを得られるようにしてもよいし、ゲーム上において、意思表示が得たユーザと意思表示を送ったユーザとで一緒に敵を倒せるようにしてもよい。
　また、これらのソフトウェア上のキャラクタ等の育成や、それを使ったゲームは無料の部分と、有料の部分、そのどちらか、もしくは両方を有する。
　無料の部分と、有料の部分のどちらも混在する場合、課金する（お金を支払う）と、メリットを受けることができる。
　メリットの一例を挙げると下記のようなものがある。
　（１）卵を早くかえすことができる。
　（２）複数の卵をかえすことができる。
　（３）キャラクタ等が早く育つ。
　（４）複数の卵やキャラクタ等が育てられる。
　（５）ポイントがもらえる。
　（６）ポイントのもらえる割合が増える。
　ソフトウェア上において自分で育てたキャラクタ等は、その情報を、インターネットを通じてなど、何らかの方法で外部へ送信することで、玩具や文房具などの実際の物となって手元に届くようにしてもよい。玩具とは、一例を挙げると、ぬいぐるみなどであり、ソフトウェア上で育てた愛着のあるキャラクタ等が、ソフトウェアでなく、実際のものとして手元に届くようにしてもよい。また、文房具とは、一例を挙げると、そのキャラクタ等がプリントされた筆箱やペンなどである。それ以外にも、日用品や自転車など乗り物など、製品の種類は問わない。
　図３８は、実際の物への交換処理を例示するフローチャートである。
　処理を開始すると（ステップＳ３１１）、ソフトウェア上のキャラクタ等の選択を行い（ステップＳ３１２）、次に現実の商品の選択を行う（ステップＳ３１３）。次いで、代金の支払い処理を行う（ステップＳ３１４）。
　次に、選択された商品が既成のものであるか否かを判断する（ステップＳ３１５）。既成の商品があれば、その商品の配送を行う（ステップＳ３１７）。既成の商品がない場合には、その商品を作成し（ステップＳ３１６）、配送する（ステップＳ３１７）。
　また、ソフトウェア上では、もてる卵の個数や、キャラクタ等の数、同時に育成できるキャラクタ等の数などには、なんらか制限を与えてもよい。これにより、早く卵からかえそう、生き物を育成しようというモチベーションが生まれる。また、課金することにより、その上限を増やすことができるようにすれば、課金のモチベーションが生まれる。
　また、ソフトウェア上のキャラクタ等が卵からかえる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化する、同時に育成できるキャラクタ等の数などは、ポイント制によって変わるようにしてもよい。ペン型やグリップ型の電子機器やタッチ式のディスプレイ、感圧式の下敷きの使用頻度、使用回数、使用量、使用方法、どういった動かし方をしたかという情報や、軌跡の情報をポイント換算して、それぞれがどういう風に使うかを決めることができる。例えば、卵からかえすことにポイントを使う、性格を良くするためにポイントを使うなどを決めることができる。また、課金することによってポイントを買うことができるようにしておけば、課金へのモチベーションが上がる。
　ペン型やグリップ型の電子機器に設けられたディスプレイや、補助機器や携帯端末（スマートフォン、タブレット等）のディスプレイでは、ソフトウェア上のキャラクタ等の変化の様子を参照することができる。
　図３９は、成長の様子を表示する例を示す模式図である。この例ではペン型電子機器１のディスプレイ２に表示されているが、他の電子機器のディスプレイであっても同様である。ここでは、ディスプレイ２に卵からかえる、キャラクタ等が成長する、進化するなどの変化の様子が所定の時間間隔で順次表示される。また、所定のボタン操作によって変化の様子が順次表示されるようにしてもよい。
　また、電子機器等にソフトウェア上のキャラクタ等を保存し、コレクションしている様子を確認することができる機能を備えていてもよい。図４０は、コレクション表示の例を示す模式図である。この例では、保存されているキャラクタ等の画像が携帯端末２０４のディスプレイ２１１に一覧表示されている。
　ソフトウェア上のキャラクタ等自体や、卵、成長するためのポイントなどは、鉛筆やシャープペンシルの芯のような文房具や、問題集や教科書などの書籍など実際の物につけて販売することも可能である。また、文房具や書籍だけでなく、食品や日用品などと合わせて販売してもよい。実際の物に付けて販売する場合、その物自体には、パスワードやバーコードなどを付けておき、ペン型の電子機器や、グリップ型の電子機器、スマートフォンやタブレット、専用の端末などに読み込ませることでソフトウェア上に反映させるようにすればよい。
　また、問題を解いてその答えを入れて正解した場合にキャラクタ等自体やポイントなどが付与されるようにしてもよい。
　ペン型電子機器１は、個別に電源スイッチを持たず、ペンの芯などをだし入れするためのノック部３や、ペン型電子機器１自体を振ることによって、電源が入る機能を持たせてもよい。また、一定時間、加速度の変化や、ノック、クリックなどの動きがない場合には、自動的に電源が切れる機能を持たせておいてもよい。
　図４１（ａ）および（ｂ）は、筆記動作の区別を例示する模式図である。
　本実施形態に係る電子機器において、制御部４１は、筆記している動作と、そうでない動作との区別が行われる。制御部４１は、一例として、次のようにして筆記動作の区別を行う。
　先ず、図４１（ａ）に示すように、制御部４１は、センサ６による検出値から、一定の平面ＳＦを検出する。例えば、センサ６によって読み取った３次元座標の３点（Ｐ１，Ｐ２およびＰ３）、または３点以上の点を繋ぐと平面になるという原理を利用して、平面ＳＦを検出する。
　そして、センサ６の検出値によってペン先１０ｐの座標がこの平面ＳＦ上にある場合には筆記動作であると区別する。また、図４１（ｂ）に示すように、ペン先１０ｐの座標がこの平面ＳＦから一定の距離Ｄ以内にある場合も筆記動作であると区別する。
　一方、ペン先１０ｐの座標が、検出した平面ＳＦと異なる３次元方向の動きとなり、一定の距離Ｄを超えて離れた場合、その動きは筆記動作として扱わないと判断する。特定の３次元方向の距離Ｄは、例えば１０ｃｍである。
　また、一定周期、一定方向、一定距離の同じ動作が長距離、長時間入った場合には、筆記動作として扱わないと判断してもよい。長距離としては例えば１０ｃｍであり、長時間としては例えば５秒である。
　例えば、文字を書くのではなく、あまり意味を持たない円をグルグルといくつも描く場合はポイント入手やキャラクタの育成が可能となる筆記動作とは扱わない。これは、加速度の変化が少なく、その状態が一定時間続くことから判別される。また、加速度のベクトルが一定方向を向いている場合や、上下に辺を繰り返し動かす場合も、加速度のベクトルの変化が、決まった間隔で続くことになる。この場合も、筆記動作として扱わない。
　同じ電子機器を複数の人が使用し、人ごとにソフトウェア上のキャラクタ等や、ポイントを区別する場合、例えば次のように行われる。
　（１）図４２は、電子機器の利用者の区別について例示する模式図である。図４２に示すペン型電子機器３０１のように、識別用ノック部３０２を設けておく。例えば、多機能ボールペン（多色ボールペン）のように、ペンのお尻のノックする部分を複数設けておいたり、ペンの一部を回転させたりすることになどよって、利用者（人物／個人）の区別を行う。
　（２）文字を書いたり、絵を描いたりした時に、その動きのクセ、文字のクセによって利用者（人物／個人）の区別を行う。ここで、「クセ」とは、文字を書いたり絵を描いたりする際のペンを移動速度、動かす間隔、周期、筆跡などであり、いずれも個人特有の変化のパターンを有する情報である。センサ６で検出した動きに関する値から、制御部４１によって上記「クセ」に相当する情報を演算し、予め登録されている個人の「クセ」の情報との類似度判定やパターンマッチングを行う。これにより、利用者（人物／個人）の区別を行う。
　また、ペン型やグリップ型、パネル型の電子機器では、特定の動きや、特定の軌跡を判別することによって、ソフトウェアの動きを制御する機能を持たせてもよい。一例を挙げると、特定の動きをした時だけにロックが解除され、使用した情報を蓄積、または送信できるようになるなどである。
　また、ある特定パターン（パスワード）などをなぞることにより、ソフトウェア上のキャラクタ等を入手、育成、成長させる、またはポイントを入手可能になってもよい。
　また、特定の動き（例えば、予め登録した電子機器の振り方）をすることにより、利用者（人物／個人）の識別を行うようにしてもよい。
　図４３は、ペン型電子機器と文字情報との対応付けについて説明する模式図である。
　図４４は、ペン型電子機器と文字情報との対応付けについて説明するフローチャートである。
　本実施形態に係るペン型電子機器１を用いることで、センサ６で検知した筆記動作から自動的に文字や記号の電子情報（テキストデータ）を得ることができる。
　すなわち、ペン型電子機器１を使用して文字や記号を書いた際、センサ６で検出した動きの情報を蓄積しておく。そして、この情報とテキストデータとの対応付けをすることで、ペン型電子機器１で筆記動作を行った際に、その筆記動作と対応した文字や記号のテキストデータを検出して、テキストデータへの変換を行う。
　筆記動作とテキストデータとの対応付けを行いやすくするため、図４３に示すように、用紙等に開始マーク３５１と終了マーク３５２とを入れておき、上からトレースするための文字を設けておく。利用者が、開始マーク３５１をペン型電子機器１でトレースすることで、検出を開始する。
　開始マーク３５１をトレースした後、利用者はペン型電子機器１で予め設けられた文字３５３を順番にトレースする。例えば、一番目の文字として「あ」が設けられ、これをトレースしたとする。この際のセンサ６による検出値は、「あ」のテキストデータと対応付けされる。同様に、複数の文字についてトレースしていくことで、センサ６の検出値とテキストデータとの対応付けの情報が蓄積される。利用者が終了マーク３５２をトレースした段階で、データ蓄積を終了する。
　データ蓄積および文字判別の処理を図４４に沿って説明する。
　この処理は、制御部で実行されるプログラム処理によって実現される。
　先ず、処理を開始し（ステップＳ３５１）、開始マークを検出すると（ステップＳ３５２）、センサ６によって筆記動作の動き／使用情報を取得する（ステップＳ３５３）。この動作を、終了マークを検出するまで繰り返す（ステップＳ３５４）。
　終了マークを検出した後、センサ６によって取得した筆記動作の動き／使用情報をサーバ１６１等に送信する（ステップＳ３５５）。次に、送信した筆記動作の動き／使用情報と、開始マークと終了マークとに挟まれた筆記されるべき文字の情報（テキストデータ）との対応付けを行い（ステップＳ３５６、Ｓ３５７）、この対応付けした情報の蓄積を行う（ステップＳ３５８）。
　筆記動作の動き／使用情報と、テキストデータとの対応付けの情報が蓄積されることで、ペン型電子機器１を用いて筆記動作を行った際のセンサ６の情報から、文字のテキストデータを判別することが可能となる（ステップＳ３５９）。
　このような利用方法によって、本実施形態に係るペン型電子機器１にＯＣＲ（Optical Character Recognition）のような機能を持たせることができる。例えば、漢字練習帳のような文字が薄くかかれたノートを利用し、ペン型電子機器１を用いた文字の筆記動作の動きの情報（センサ６による検出値）と、予め分かっているテキストデータとの対応付けの情報を蓄積していく。この対応付けの情報をデータベースとして利用し、ペン型電子機器１を用いた筆記動作から、その筆記動作に対応したテキストデータを得ることが可能となる。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）を用いたソフトウェアに関して、それを用いた育成ゲームは、他の電子機器や、他者とのつながり（ソフトウェア上への登録など）によってメリットを受けることができる。例を挙げると、次のようなものが考えられる。
　（１）同一の時刻もしくは、前後１時間以内など近い時刻に勉強すると、早く仮想の生き物が育つ、仮想の敵との戦いに有利になる。
　（２）登録をしておくと、ソフトウェア上の仮想の敵との戦いの時に協力してもらえる。
　（３）登録の有無、登録人数などにより定期的にポイントやアイテムが入手できる。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）を用いたソフトウェアに関して、それを用いた育成ゲームは、特定の環境下で起動する機能を持たせることができる。
　例えば、スマートフォンのカメラで学習用のノートを判別した場合、その上で仮想現実（ＡＲ：Augmented Reality）を用いたゲームを行うことができる。
　または、ペン型電子機器１やスマートウォッチなどを読み取り、その電子機器に関係したゲームを行う、などである。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）で取得する情報に関して、その取得する周期は、常に同一周期でない場合も存在する。すなわち、制御部において、筆記の頻度、筆記の回数、筆記の量および文字の丁寧さ、筆記の速度、筆記の加速度、筆記の角度（ペンの角度）、筆記の角度および筆記の際の圧力の少なくともいずれかを含む筆記情報を取得する際、サンプリング周波数の異なる複数の取得モードを切り替えるようにしてもよい。例えば、一定時間あたり第１のサンプリング回数で筆記情報を取得する第１取得モードと、一定時間あたり第１のサンプリング回数よりも少ない第２のサンプリング回数で筆記情報を取得する第２取得モードとを切り替えるようにしてもよい。また、３つ以上の取得モードを切り替える場合には、第１取得モード、第２取得モード、…、第Ｎ取得モード（Ｎは自然数）を用意しておき、これらを切り替えるようにすればよい。
　これにより、高頻度で情報を取得する期間と、低頻度で情報を取得する期間とが混在する状態となる。
　図４５は、取得モードの切り替え例について示す模式図である。
　図４５の横軸は時間、１本の縦線は１回の筆記情報の取得タイミングを示す。
　高頻度で情報を取得するとき（第１取得モードＭ１）は、例えば、５０Ｈｚ～５０００Ｈｚ程度のサンプリング周波数が想定される。一方、低頻度で情報を取得するとき（第２取得モードＭ２）は、０．０１Ｈｚ～５０Ｈｚ程度のサンプリング周波数が想定される。この高頻度（第１取得モードＭ１）と低頻度（第２取得モードＭ２）とは、周期的に切り替えてもよいし、周期的ではなく、ランダム性をもたせて切り替えてもよい。
　また、情報の取得自体は、一定間隔で行なっておき、情報を蓄積する、もしくはデータを送信するときに頻度を変えてもよい。
　また、取得するデータの種類を時間ごとに変えてもよい。例えば、あるタイミングでは、Ｘ軸、Ｙ軸、Ｚ軸のすべての加速度データを取得し、他のタイミングでは、Ｘ軸とＹ軸のみ加速度データを取得する、などである。
　これらの周期の変化は、例えば、高頻度の期間（第１取得モードＭ１）で学習課目や文字の判別を行い、低頻度（第２取得モードＭ２）で学習時間を計測する、といった使い分けが考えられる。
　これにより、処理に必要な情報の取得と、データ量の削減との両立を図ることができる。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）を用いたソフトウェアに関して、蓄積された学習課目ごとの学習頻度や、学習量、学習スピード、集中力のデータなどを解析し、その解析されたデータから、より良い学習方法を提案する機能を持たせることができる。
　例えば、国語の勉強時間が少なければ、国語の勉強を促す、集中力が切れてきたら、休憩を促すなどである。
　また、この行為は、親や学習塾が入力してもよいし、Ａ．Ｉ．などで自動的に判別するようにしてもよい。
　学習記録は、成績の伸びとリンクさせることも可能である。その場合は、定期テストの結果などを、自らや保護者、学習塾が入力することを想定している。また、各問題の正解とリンクさせることも想定している。この場合は、自らや保護者、学習塾が入力する情報や、○印や×印などの情報を読み取る。マークシートを読み取るようにしてもよい。
　図４６は、正解判定処理の例を示すフローチャートである。
　先ず、処理を開始すると（ステップＳ５２１）、センサ６で読み取った動きの情報を蓄積し（ステップＳ５２２）、動き情報の解析を行う（ステップＳ５２３）。
　次に、正解の情報をデータベースから読み込み（ステップＳ５２４）、動きの情報の解析結果から得た情報と、正解の情報とを比較して、正解か否かの判定を行う（ステップＳ５２５）。
　この判定で正解となった場合には、所定の価値を提供し（ステップＳ５２６）、次の処理へ進む（ステップＳ５２７）。例えば、正解であれば、育成スピードが速くなる、アイテムやポイントが多くもらえるなどである。一方、正解でなかった場合には、所定の価値の非提供または別の価値を提供し（ステップＳ５２８）、次の処理へ進む（ステップＳ５２９）。このような処理によって、学習記録と成績の伸びとをリンクさせることが可能となる。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）を用いたソフトウェアに関して、文字の丁寧さを、速度、角度、ペンの持ち方を識別する機能を持たせることができる。また、文字が丁寧な人、きれいな文字の人の情報を蓄積して、そのデータを機械学習などで分析し、それと比較することで、判別をすることも可能である。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）を用いたソフトウェアに関して、電子機器で取得した情報（筆記時間、学習時間など）や、判別した筆記種類（マークシート、言語、学習課目、文字の丁寧さ、ランキングなどの情報）や、グラフ化した情報を利用して、なりたい職業や行きたい大学から逆算して、目標を設定する機能を持たせることができる。
　例えば、東京大学生の高校時代の勉強量を把握し、それを目標として高校生が日々の勉強量の目標を設定できるなどである。また、例えば、プログラマーになりたいのであれば、数学や算数などの必要な情報の他に、プログラミングの教材の提供を行ってもよい。これらの目標となる指標は、ネットワークを介して送られてきてもいいし、自ら設定しても良い。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）を用いたソフトウェアに関して、育成ゲームと、学習記録／学習記録の内容とを結びつける機能を持たせることができる。以下に一例を示す。
　（１）ソフトウェア上の仮想の生き物に職業を持たせ、その職業に関連する課目の学習をすることで、その仮想の生き物が強くなる。
　（２）ソフトウェア上の仮想の生き物に職業を持たせ、その職業に関連する課目の学習をしないと、その生き物が生まれない。
　（３）ソフトウェア上の仮想の生き物が行くことができるソフトウェア上の仮想の場所は、特定の時間、学習しないと解放され、行くことができない。
　（４）ソフトウェア上の仮想の生き物が行くことができるソフトウェア上の仮想の場所は、特定の課目を学習しないと行くことができない。
　（５）ソフトウェア上の仮想の生き物が手に入れることができるアイテムは、学習した課目によって異なる。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）を用いたソフトウェアに関して、一定時間や、一定期間、一定の流れを終了すると、ソフトウェアを使えなくする、もしくは制限させる機能を持たせることができる。
　図４７は、制限機能処理の例を示すフローチャートである。
　先ず、処理を開始すると（ステップＳ５３１）、本実施形態に係るソフトウェアの使用を許可する（ステップＳ５３２）。次に、制限の導入判断を行い（ステップＳ５３３）、制限が導入されるか否かの判断を行う。制限されない場合にはステップＳ５３２へ戻り、本実施形態に係るソフトウェアの使用を続ける。一方、制限される場合にはステップＳ５３４へ進み、ソフトウェアの使用の制限をかける。
　なお、本実施形態に係るソフトウェアを一定時間や、一定期間、一定の流れを終了するまで使用した場合、スマートフォン自体、ゲーム機自体の使用を制限するようにしてもよい。制限としては、例えば、パスワードの入力を求めるなどである。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）のグリップ部分に心拍数モニターの素子をつけ、心拍数を計測するようにしてもよい。
　すなわち、制御部は、筆記情報に加え、使用者の血流および心拍数の少なくともいずれかを含む生体情報を取得する。これにより、筆記情報および生体情報の少なくともいずれかを使い使用者の集中力を測定することができる。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）で筆圧を取得できるようにしてもよい。そうすることで、文字を書いているかどうかを正確に判別することができ、また、書き始めと書き終わりも正確にわかるようになる。また、筆圧の強弱の情報も取得することができ、文字の丁寧さやより良い書き方をフィードバックすることにも役立てることができる。筆圧を取得する手段としては、センサ６として、例えば、ペン先１０ｐに近い部分に圧力センサや、歪みセンサを配置しておくことが挙げられる。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）で握りの強さを取得できるようにしてもよい。握りの強さをとるには、グリップの部分に、例えば、圧力センサなどを配置することが挙げられる。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）を用いて、使用者の集中力を判別できるようにしてもよい。また、判別した集中力を、本人や、親、学習塾などにフィードバックしてもよい。その情報を元に、学習の改善が可能になる。集中力の判別は、ペンの動きを解析してもよいし、上記のような心拍や筆圧、握りの強さの情報を用いてもよい。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）を用いて、いわゆるペン回しの動作をした場合に、その動きを読み取って、技名を判別したり、採点したりする機能を持たせてもよい。
　図４８は、ペン回し動作の採点例を示す模式図である。
　例えば、ペン型電子機器１のセンサ６として用いられる加速度センサ、重力加速度センサなどを用いれば、ペンがどの方向にどれだけの回数、どのような角度で回ったかを検出することができる。ペン型電子機器１や携帯端末７は、その情報を解析し、技名の判別を行い、そのうまさを採点する機能を有する。
　本実施形態に係る電子機器の代用として、スマートウォッチや、指輪型デバイス、バンド型のデバイスを使用することもできる。この場合、ペンにつける場合と比較して、精度は劣るものの、既存の電子機器を利用することが可能となる。また、手首に巻く形状のデバイスでは、手の筋肉や筋の動きの情報を取得して、動作検知に用いることが可能である。また、手首に巻く形状のデバイスでは、同時に血流や心拍数を取得するセンサを設けることができる。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）は、スピーカを内蔵していてもよい。
　図４９は、スピーカを内蔵した電子機器の例を示す模式図である。
　例えば、ペン型電子機器１の本体１０に、スピーカ９が内蔵されている。これによりスピーカ９から音や声、音楽などを流すことができるようになる。スピーカ９が内蔵されることで、ペン型電子機器１などの本実施形態に係る電子機器を使った時に、効果音を鳴らしたり、勉強のモチベーションを上げるために音楽を鳴らしたり、キャラクタから音や声などで呼びかけられたりすることができる。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）は、ネットワークを介してサーバから配信される静止画や動画と、電子機器で取得したデータとを組み合わせる機能を有していてもよい。この機能は、ネットワークに接続されたサーバに持たせてもよい。
　図５０は、動画とペンの動きの紐付け処理の例を示すフローチャートである。
　先ず、動画の配信を開始すると（ステップＳ５６１）、動画の位置および時刻情報を取得する（ステップＳ５６２）。一方、電子機器の例であるペン型電子機器１の動きが始まると（ステップＳ５６３）、ペンの動き、使用状態および時刻情報を取得する（ステップＳ５６４）。
　次に、ステップＳ５６２で取得した動画の時刻と、ステップＳ５６４で取得したペンの動きの時刻とを対応付けして、動画およびペンの動きの情報を紐付けるようにする（ステップＳ５６５）。
　次に、ペンの動きの解析（文字種、丁寧さなど）を行う（ステップＳ５６６）。そして、解析結果をコンテンツの改善などに役立てるため、動画配信の事業者へフィードバックしたり（ステップＳ５６７）、電子機器のユーザへの学習情報としてフィードバックしたり（ステップＳ５６８）、その他のフィードバックおこなったりする。
　このような処理により、動画のうち、どの部分でペンが動き、文字が書かれているのか、といった動画とペンの動きとの関係を把握することができる。これによって、例えば、動画のどの部分で集中的に勉強しているか、逆に動画のどの部分は聞き流しているか、といった情報を得ることができる。この情報に基づき、例えば教育事業者は動画の改善を行うこともできる。
　なお、本実施形態では、ペンの動きと動画との対応付けを行うことができることから、例えば、ペンの動きからジェスチャーを認識して、この認識したジェスチャーに応じて動画のコントロールを行うこともできる。例えば、ペンが一定時間動いていないと判断した場合には、動画を自動的に止める機能や、特定のペンのジェスチャーで動画の一時停止、早送り、早戻し、といった動作をコントロールする機能を持たせることができる。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）は、リハビリテーションや認知症予防に用いることができる。例えば、ペンの動きを検知して解析した結果に基づき、本体１０に振動を与えたり、音、光、画像などを出力したりして使用者にフィードバックを与える。また、看護師や介護士など、付き添い者が所有する端末に、ペン型電子機器１の使用者がどの程度文字を書いていたか、手がどのように動いていたか、といった情報を送ることで、ペンの動きとリハビリテーションや介護の状況との関係を把握させることができる。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）は、クレジットカードを使用した際など、本人確認のためにサインを行う場合に適用可能である。この際、本実施形態に係る電子機器（例えば、ペン型電子機器１）を用いることで、サインを行う際のペンの動きを検知する。これにより、サインのなりすましの防止など、セキュリティを高めることができる。
　図５１は、サインの判別処理の例を示すフローチャートである。
　先ず、事前サインの取得を行う（ステップＳ５７１）。この処理は、予め正しいサインの登録を行うため、本実施形態に係る電子機器（例えば、ペン型電子機器１）を用いて利用者にサインを書いてもらう。
　次に、サインの分析を行う（ステップＳ５７２）。すなわち、利用者がサインを書く際のペンの動きの情報を検出する。ペンの動きの情報は、文字の丁寧さ、筆記の速度、筆記の加速度、筆記の角度（ペンの角度）および筆記の際の圧力の少なくともいずれかを含む筆記情報である。この筆記情報は、利用者固有の情報と考えられる。そして、分析の結果を記憶する（ステップＳ５７３）。
　次に、本人確認のためのサインの取得を行う（ステップＳ５７４）。すなわち、クレジットカードの利用の際など、本人確認のために本実施形態に係る電子機器（例えば、ペン型電子機器１）を用いて利用者にサインを書いてもらう。
　次に、サインの分析を行う（ステップＳ５７５）。この処理は、本人確認のためのサインを書いた際のペンの動きの情報を検出する。ペンの動きの情報は、ステップＳ５７３で記憶した筆記情報と同じである。
　次に、サインの一致の判別を行う（ステップＳ５７６）。すなわち、ステップＳ５７３で記憶した正しいサインの筆記情報と、ステップＳ５７５で分析した本人確認のためのサインの筆記情報との一致度を求める。
　そして、一致度が所定の値を超えている場合にはサインが一致しているとして認証ＯＫとなり（ステップＳ５７７）、一致度が所定の値以下の場合にはサインが一致していないとして認証ＮＧとする（ステップＳ５７８）。
　本実施形態に係る電子機器（例えば、ペン型電子機器１）を用いたサインの判別処理においては、ペンの動きから得た筆記情報（筆記の方向、筆記の速度、筆記の加速度、文字の丁寧さ、筆記の角度（ペンの角度）および筆記の際の圧力の少なくともいずれかを含む筆記情報）を用いるため、筆跡照合よりも判別性が高くなる。例えば、他人のサインを真似るため、本人の筆記速度に比べてゆっくりと描くことが考えられる。また、ペンの角度、筆記の際の圧力も本人とは異なることが考えられる。本実施形態では、たとえ本人のサインと同じ形を描いたとしても、このような筆記情報を総合的に判断して本人のサインか否かを判断する。したがって、単なる筆跡照合に比べて高い精度で判別を行うことができる。
　なお、筆記情報に基づく一致の判別（ステップＳ５７６）の処理は、Ａ．Ｉ．、マシーンラーニング、ディープラーニングなどで行ってもよい。
　ここで、本実施形態に係る電子機器の具体的な大きさの一例を示す。
　ペン型電子機器１およびグリップ型電子機器８１については、手に持って使う構成のため、次のような大きさ、重さであることが好ましい。一例を挙げると、長さ５０ｃｍ以下、重さ１ｋｇ以下である。
　また、ペン型電子機器１において、動きを感知するセンサ６を配置する位置は、ペン先１０ｐの動きを感知しやすいように、本体１０の中央部分よりも先端（ペン先１０ｐ側）に近い位置、または本体１０の尻に近い位置（ペン先１０ｐとは反対側）に配置されることが好ましい。一例を挙げると、センサ６は、本体１０のペン先１０ｐから５ｃｍ以内、または本体１０の尻から５ｃｍ以内である。
　上記のように、本実施形態に係る電子機器を利用することで、筆記動作の度数に対応して、ソフトウェア上のキャラクタ等が、卵から生まれる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化するなど、なんらかの変化をする画像表示を行うことができる。
　また、ソフトウェアや、ペン型、グリップ型の電子機器などで、文字の丁寧さやきれいさ、絵のうまさなどを判別し、その情報を用いて、ソフトウェア上のキャラクタ等の成長や性格、強さ、形態などに影響を与えるようにしてもよい。例えば、うまい絵をたくさん描くと、きれいな生物になる。丁寧な文字をたくさん書くと、優しい性格になる、などである。
　また、卵からかえるキャラクタ等やキャラクタ等自体に影響を与えてもいい。例えば、絵を描いた場合には、ある種類や形態のキャラクタ等が生まれ、文字を書いた場合には、別の種類や形態のキャラクタ等が生まれる、などである。
　また、ディスプレイ２に表示される画像としては、生き物やキャラクタだけでなく、車や飛行機などの乗り物や、ロボットや機械などの無生物、植物なども含まれる。また、実在の人物や、歴史上の人物であってもよい。
　上記説明した実施形態に係る電子機器によれば、次のような作用効果を得られる。
　（１）ペン型電子機器１、または鉛筆やシャープペンシル、ボールペンといった筆記用具に付けるにグリップ型電子機器８１およびキャップ型電子機器８５を用いることで、使用しているかどうか、使用頻度、使用回数、使用量、使用方法、どういった動きをセンサで検知することができる。これにより、そのセンサで読み取った情報を元に、ソフトウェア上のキャラクタ等が成長する。そのキャラクタ等の成長する様子は、ペンに付けられたディスプレイや、スマートフォン、ゲーム機、専用の端末などによって確認することができる。また、そのキャラクタ等を使ったゲームを行うことができる。
　（２）同じ機能を持ったペン同士を近づける、接触させることなどによって、卵や子供が生まれ、また次のキャラクタ等の育成が可能となる。
　（３）ペンと専用の端末やスマートフォンなどとの情報のやり取りは、有線もしくは無線の通信によって可能となる。
　（４）上記（１）～（３）によってペンを使うことの動機につながり、さらには勉強や絵を描くと行ったことを動機づける効果を得る。また、どういった使い方をするかで、キャラクタ等の成長度合いや、成長の過程、性格、性質などが変わることで、真面目に勉強する、丁寧な文字をかく、などの動機となる。
　なお、上記に本実施形態およびその適用例（変形例、具体例）を説明したが、本発明はこれらの例に限定されるものではない。例えば、本実施形態ではディスプレイ２に画像を表示しているが、画像の表示に代えて、または画像の表示とともに音や音声を出力してもよい。また、筆記動作の度数に対応して表示する画像としては、キャラクタ等のほかに、文字情報や数値情報を表示してもよい。例えば、同じ漢字を繰り返し筆記した場合、電子機器の動きから同じ漢字を筆記したことを認識し、その漢字の筆記回数をディスプレイ２に表示したり、音声で回数を出力したりしてもよい。また、前述の各実施形態またはその適用例（変形例、具体例）に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に包含される。
　本発明は、筆記具の他に、歯ブラシ、スプーン、フォーク、箸など、手に持って使用するものに好適に利用可能である。また、目覚まし時計など習慣化が必要なものにも本発明と同じシステムを適用することが可能である。また、実施形態で説明したソフトウェアは、コンピュータに実行させたり、記録媒体に記録されたり、ネットワークを介して配信されてもよい。また、上記で説明したソフトウェア、アプリケーションを、ペン型電子機器１やパネル型電子機器１００などの電子機器を使わずに実現することも可能である。例えば、パーソナルコンピュータでタイピングしたことをペン型電子機器１等の加速度の入力情報の代わりに文字の情報として扱うようにしてもよいし、タブレット端末にスタイラスで記入した情報を、文字や絵の情報として扱うようにしてもよい。こうすることにより、パーソナルコンピュータやタブレットを使った学習でも、本実施形態と同様な効果を得ることができ、勉強のモチベーションを高めることが可能となる。
１…ペン型電子機器
２…ディスプレイ
３…ノック部
４…情報処理部
５…バッテリー
６…センサ
７…携帯端末
８…ディスプレイ
９…スピーカ
１０…本体
１０ｐ…ペン先
１１…第１のペン型電子機器
１２…第２のペン型電子機器
１４…携帯端末
１５…給電部
１６…インタフェース部
１７…補助機器
１７ａ…収納部
１８…充電用端子
１９…ディスプレイ
２０…センサ
２１…通信部
２２…バッテリー
２３…キー
４１…制御部
４２…メモリ
４３…通信部
５０…画像処理部
５２…メモリ
５３…制御部
５６…電源スイッチ
５９…充電部
６０…給電部
６１…アンテナ
７１…発電部
８０…本体
８１…グリップ型電子機器
８２…センサ
８３…メモリ
８４…筆記具
８５…キャップ型電子機器
８７…ディスプレイ
８８…バッテリー
９０…通信部
９１…給電部
９２…インタフェース部
９３…補助機器
９４…充電用端子
９５…発電部
１００…パネル型電子機器
１０１…筆記具
１０２…第１のパネル型電子機器
１０３…第２のパネル型電子機器
１０５…パネル部
１０６…検知部
１１０…制御部
１２０…メモリ
１５０…プレート部
１５１…筆記用紙
１５２…パネル型電子機器
１５３…筆記具
１５５…センサ
１５６…メモリ
１５７…制御部
１６１…サーバ
１６２…キャラクタ
１６３…キャラクタ
２０１…画像処理部
２０４…携帯端末
２０５…電源スイッチ
２０８…充電部
２０９…アンテナ
２１１…ディスプレイ
３０１…ペン型電子機器
３０２…識別用ノック部
３５１…開始マーク
３５２…終了マーク
３５３…文字
４００…紙
５００…端末
６００…基地局
Ｃ…ケーブル
Ｄ…距離
ＳＦ…平面
Ｐ１，Ｐ２，Ｐ３…点

Claims (25)

  1. 　筆記機能を有するペン型または筆記具に取り付け可能な本体と、
    　前記本体に設けられ、使用者の筆記動作の度数を検知する検知部と、
    　画像データおよび数値データの少なくともいずれかを有するデータを記憶する記憶部と、
    　前記検知部で検知した前記度数に対応して前記記憶部から前記データを選択し、選択した前記データに基づく画像を表示部へ表示させる制御を行う制御部と、
    　を備えた電子機器。
  2. 　前記度数は、筆記の頻度、筆記の回数、筆記の量、文字の丁寧さ、筆記の速度、筆記の加速度、前記本体の角度および筆記の際の圧力を示す値の少なくともいずれかである、請求項１記載の電子機器。
  3. 　前記記憶部は、キャラクタ画像に基づく前記データを記憶し、
    　前記制御部は、前記検知部で検知した前記度数の増加に応じて前記キャラクタ画像が成長するように前記データを選択する、請求項１または２に記載の電子機器。
  4. 　前記記憶部、前記表示部および前記制御部の少なくともいずれかは前記本体または外部機器に設けられた、請求項１～３のいずれか１つに記載の電子機器。
  5. 　前記本体に設けられ、前記度数を外部に送信する送信部、および前記本体の動作によって発電を行う発電部の少なくともいずれかをさらに備えた、請求項１～４のいずれか１つに記載の電子機器。
  6. 　外部から送られる他のデータを受信する受信部をさらに備え、
    　前記検知部は、前記筆記動作以外の前記本体の特定の動作を検知し、
    　前記制御部は、前記検知部で前記特定の動作を検知した場合、前記受信部で受信した前記他のデータを前記記憶部に記憶する、請求項１～５のいずれか１つに記載の電子機器。
  7. 　筆跡を検知する検知部を有するパネル部と、
    　画像データおよび数値データの少なくともいずれかを有するデータを記憶する記憶部と、
    　前記検知部で検知した筆跡に基づく筆記の度数に対応して前記記憶部から前記データを選択し、選択した前記データに基づく画像を表示部へ表示させる制御を行う制御部と、
    　を備えた電子機器。
  8. 　前記度数は、筆記の頻度、筆記の回数、筆記の量、文字の丁寧さ、筆記の速度、筆記の加速度および筆記の際の圧力を示す値の少なくともいずれかである、請求項７記載の電子機器。
  9. 　前記記憶部は、キャラクタ画像に基づく前記データを記憶し、
    　前記制御部は、前記検知部で検知した前記度数の増加に応じて前記キャラクタ画像が成長するように前記データを選択する、請求項７または８に記載の電子機器。
  10. 　前記制御部は、筆記した内容の種類である筆記種類を判別し、
    　前記記憶部は、前記度数をもとにして割り出した筆記時間、および前記制御部で判別した前記筆記種類を記憶し、
    　前記制御部は、前記記憶部に記憶された前記筆記時間および前記筆記種類に基づき、グラフ化および順位付けの少なくともいずれかを行う、請求項１～９のいずれか１つに記載の電子機器。
  11. 　前記表示部は、前記筆跡に沿った表示を行う、請求項７～１０のいずれか１つに記載の電子機器。
  12. 　前記パネル部の少なくとも一方面は平坦面である、請求項７～１１のいずれか１つに記載の電子機器。
  13. 　前記記憶部、前記表示部および前記制御部の少なくともいずれかは前記パネル部または外部機器に設けられた、請求項７～１２のいずれか１つに記載の電子機器。
  14. 　前記パネル部に設けられ、前記度数を外部に送信する送信部をさらに備えた、請求項７～１３のいずれか１つに記載の電子機器。
  15. 　使用者の動作を検知するセンサと、前記センサで検知した情報に基づき表示部に表示する画像を変化させる制御を行う制御部と、を備えた電子機器による情報処理方法であって、
    　前記制御部は、
    　　前記センサで取得した情報から、前記使用者の動作のうち筆記動作を検出する工程と、
    　　検出した前記筆記動作から、前記筆記動作の度数を求める工程と、
    　　前記度数に対応して前記表示部に表示する前記画像を選択する工程と、
    　を備えた情報処理方法。
  16. 　前記筆記動作を検出する工程は、前記センサで取得した情報から、前記使用者の動作が予め設定された時間内で一定の平面上での動作のみとなっている場合、前記筆記動作であると判断する処理を含む、請求項１５記載の情報処理方法。
  17. 　前記筆記動作を検出する工程は、前記センサで取得した情報から、前記使用者の動作が予め設定された時間内で一定の３次元空間を超えた場合、前記筆記動作ではないと判断する処理を含む、請求項１５または１６に記載の情報処理方法。
  18. 　前記度数は、筆記の頻度、筆記の回数、筆記の量、文字の丁寧さ、筆記の速度、筆記の加速度、筆記の角度および筆記の際の圧力を示す値の少なくともいずれかである、請求項１５～１７のいずれか１つに記載の情報処理方法。
  19. 　前記画像を選択する工程は、前記度数の増加に応じてキャラクタ画像が成長するように前記画像を選択すること、および前記度数に基づきグラフ化するように前記画像を選択することの少なくともいずれかを含む、請求項１５～１８のいずれか１つに記載の情報処理方法。
  20. 　前記制御部は、
    　　検出した前記筆記動作から筆跡を抽出する工程と、
    　　抽出した前記筆跡と予めデータベースに登録された筆跡との照合を行う工程と、
    　　前記照合の結果に基づき前記電子機器の使用者情報を切り替える工程と、
    　をさらに備えた請求項１５～１９のいずれか１つに記載の情報処理方法。
  21. 　前記制御部は、
    　　検出した前記筆記動作から筆記の速度、筆記の加速度、筆記具の角度および筆記の頻度の少なくともいずれかを含む筆記情報をもとに筆跡を判別する工程をさらに備えた、請求項１５～２０のいずれか１つに記載の情報処理方法。
  22. 　前記制御部は、
    　　前記筆記情報に加え、前記使用者の血流および心拍数の少なくともいずれかを含む生体情報を取得する工程と、
    　　前記筆記情報および前記生体情報の少なくともいずれかを使い前記使用者の集中力を測定する工程と、をさらに備えた、請求項２１記載の情報処理方法。
  23. 　前記制御部は、
    　　筆記の頻度、筆記の回数、筆記の量および文字の丁寧さ、筆記の速度、筆記の加速度、ペンの角度および筆記の際の圧力の少なくともいずれかを含む筆記情報を取得する際、サンプリング周波数の異なる複数の取得モードを切り替えて行う、請求項１５～２２のいずれか１つに記載の情報処理方法。
  24. 　前記制御部は、
    　　予め登録された利用者の筆記の方向、筆記の速度、筆記の加速度、文字の丁寧さ、ペンの角度および筆記の際の圧力の少なくともいずれかを含む登録済み筆記情報と、使用者が筆記した際の筆記の方向、筆記の速度、筆記の加速度、文字の丁寧さ、ペンの角度および筆記の際の圧力の少なくともいずれかを含む判別対象筆記情報との一致度を判別して、予め登録された前記利用者と、ペンの前記使用者とが同一人物か否かを判別する処理を行う、請求項１５～２３のいずれか１つに記載の情報処理方法。
  25. 　筆記動作を検出するセンサを備えた電子機器を使用者が使用した場合の前記筆記動作をセンサで検出する工程と、
    　前記センサで検出した前記筆記動作から、前記筆記動作の度数を求める工程と、
    　前記度数に対応したポイントを算出する工程と、
    　前記使用者と対応付けした前記ポイントの付与および前記ポイントに対応した対価との交換の少なくともいずれかネットワークを介してサーバと行う工程とを備えた情報処理方法。
     
PCT/JP2018/009535 2017-03-13 2018-03-12 電子機器および情報処理方法 WO2018168784A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/494,115 US11175754B2 (en) 2017-03-13 2018-03-12 Electronic device and information processing method
CN201880015817.2A CN110462710B (zh) 2017-03-13 2018-03-12 电子设备以及信息处理方法
JP2018548225A JP6612470B2 (ja) 2017-03-13 2018-03-12 電子機器および情報処理方法
CN202210664883.0A CN115050106A (zh) 2017-03-13 2018-03-12 电子设备以及信息处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017047237 2017-03-13
JP2017-047237 2017-03-13

Publications (1)

Publication Number Publication Date
WO2018168784A1 true WO2018168784A1 (ja) 2018-09-20

Family

ID=63522086

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009535 WO2018168784A1 (ja) 2017-03-13 2018-03-12 電子機器および情報処理方法

Country Status (4)

Country Link
US (1) US11175754B2 (ja)
JP (3) JP6612470B2 (ja)
CN (2) CN115050106A (ja)
WO (1) WO2018168784A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235007A1 (ja) * 2018-06-04 2019-12-12 コクヨ株式会社 筆記行為評価システム
KR20200072764A (ko) * 2018-12-13 2020-06-23 동의대학교 산학협력단 스터디 펜
WO2023199531A1 (ja) * 2022-04-13 2023-10-19 株式会社ワコム コンテンツ評価システム、方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3567597A1 (en) 2018-05-11 2019-11-13 Anoto Korea Corp. Method and apparatus of diagnostic test
JP7063928B2 (ja) * 2020-03-09 2022-05-09 本田技研工業株式会社 情報提供装置、情報提供方法、およびプログラム
WO2021205553A1 (ja) * 2020-04-07 2021-10-14 株式会社ソニー・インタラクティブエンタテインメント 操作装置及び操作システム
KR20220032343A (ko) * 2020-09-07 2022-03-15 삼성전자주식회사 전자 장치 및 전자 장치에서 인 에어 제스처를 처리하는 방법
JP7030231B1 (ja) * 2021-06-10 2022-03-04 株式会社バンダイ 知育玩具およびプログラム
US11545047B1 (en) * 2021-06-24 2023-01-03 Knowledge Ai Inc. Using biometric data intelligence for education management
JP2023176050A (ja) * 2022-05-31 2023-12-13 常雄 竹内 空間に文字を書くように器具を動かすことで、動きの軌跡を取得し、文字認識の後文字入力する方法
CN116795222B (zh) * 2023-06-20 2024-03-29 广东工业大学 一种基于OpenCV图像识别的数字毛笔

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4740161A (en) * 1984-06-28 1988-04-26 Didier Schwartz Educational toy for stimulating writing
JPH01218899A (ja) * 1988-02-29 1989-09-01 Seiko Epson Corp 発電装置内蔵筆記用具
JPH10222240A (ja) * 1997-02-04 1998-08-21 Canon Inc 電子ペン及び個人認証システム並びに個人認証方法
JP2005062609A (ja) * 2003-08-18 2005-03-10 Snk Playmore Corp 学習ゲームプログラム、評価ゲームプログラム、ゲーム機
JP2008134331A (ja) * 2006-11-27 2008-06-12 Bunkeidou:Kk 採点入力デバイス、及び採点入力システム
JP2009031614A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 電子添削システム
JP2013130678A (ja) * 2011-12-21 2013-07-04 Ricoh Co Ltd 手書き文字評価装置及びこれを備えた文字学習支援装置
JP2018001721A (ja) * 2016-07-08 2018-01-11 国立大学法人大阪大学 筆記装置及びコンピュータープログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2848219B2 (ja) 1993-12-13 1999-01-20 カシオ計算機株式会社 画像表示装置及び画像表示方法
JPH07248875A (ja) 1994-03-08 1995-09-26 Yashima Denki Co Ltd 筆跡入力装置
US6213871B1 (en) 1997-02-19 2001-04-10 Kabushiki Kaisha Bandai Nurturing simulation apparatus for virtual creatures
JPH11188180A (ja) * 1997-04-07 1999-07-13 Snk:Kk ゲームシステム
US6289124B1 (en) * 1998-04-27 2001-09-11 Sanyo Electric Co., Ltd. Method and system of handwritten-character recognition
AU1351001A (en) 1999-10-27 2001-05-08 Digital Ink, Inc. Tracking motion of a writing instrument
US7500917B2 (en) 2000-02-22 2009-03-10 Creative Kingdoms, Llc Magical wand and interactive play experience
JP2002041230A (ja) 2000-07-24 2002-02-08 Nec Yonezawa Ltd 携帯手書き文字入力装置と方法
SE0101250L (sv) 2001-04-06 2002-10-07 Anoto Ab Förfarande för genomförande av spel
US6703633B2 (en) * 2001-08-16 2004-03-09 Hewlett-Packard Development Company, L.P. Method and apparatus for authenticating a signature
JP2004061743A (ja) 2002-07-26 2004-02-26 Yasuhito Fujii 学習促進方法及び学習促進システム
KR100501721B1 (ko) 2003-03-19 2005-07-18 삼성전자주식회사 자계센서를 이용한 펜형 입력시스템 및 그 궤적 복원 방법
JP2006204853A (ja) 2005-01-27 2006-08-10 Tomotoshi Ichikawa 手書き文字入力ゲーム装置
JP5359210B2 (ja) 2008-03-14 2013-12-04 オムロンヘルスケア株式会社 電動歯ブラシ
WO2010071827A2 (en) * 2008-12-19 2010-06-24 Immersion Corporation Interactive painting game and associated controller
DE202010018601U1 (de) * 2009-02-18 2018-04-30 Google LLC (n.d.Ges.d. Staates Delaware) Automatisches Erfassen von Informationen, wie etwa Erfassen von Informationen unter Verwendung einer dokumentenerkennenden Vorrichtung
CN101576954A (zh) * 2009-06-10 2009-11-11 中兴通讯股份有限公司 书写笔画识别装置、移动终端及实现空间书写的方法
CN102346859B (zh) * 2010-07-26 2013-10-09 卡西欧计算机株式会社 文字识别装置
US20130035890A1 (en) * 2011-08-04 2013-02-07 Wang Jeen-Shing Moving trajectory calibration method and moving trajectory generation method
JP2013242434A (ja) * 2012-05-21 2013-12-05 Sony Corp 情報処理装置、情報処理方法および情報処理システム
US20140234809A1 (en) 2013-02-15 2014-08-21 Matthew Colvard Interactive learning system
DE102013214021A1 (de) * 2013-07-17 2015-01-22 Stabilo International Gmbh Stromersparnis
US9357493B1 (en) * 2014-11-14 2016-05-31 Amazon Technologies, Inc. Stylus power management using motion and orientation sensing
CN110731608B (zh) 2014-12-22 2022-10-04 太阳星光齿磨公司 刷牙辅助系统
CN105893338B (zh) * 2015-02-17 2021-07-09 北京三星通信技术研究有限公司 用于输入公式的方法、装置和电子设备
JP6551110B2 (ja) 2015-09-25 2019-07-31 サンスター株式会社 口腔ケアサポートシステム
JP6690166B2 (ja) 2015-09-25 2020-04-28 サンスター株式会社 歯ブラシモジュール、及び歯磨支援システム
KR102393683B1 (ko) * 2015-10-21 2022-05-04 삼성전자주식회사 센서를 포함하는 전자 장치 및 그의 동작 방법
CN106155313B (zh) * 2016-06-28 2019-03-12 努比亚技术有限公司 移动终端、字符输入系统及方法
US10599915B2 (en) * 2017-01-19 2020-03-24 International Business Machines Corporation Providing suggested content based on user detected gesture

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4740161A (en) * 1984-06-28 1988-04-26 Didier Schwartz Educational toy for stimulating writing
JPH01218899A (ja) * 1988-02-29 1989-09-01 Seiko Epson Corp 発電装置内蔵筆記用具
JPH10222240A (ja) * 1997-02-04 1998-08-21 Canon Inc 電子ペン及び個人認証システム並びに個人認証方法
JP2005062609A (ja) * 2003-08-18 2005-03-10 Snk Playmore Corp 学習ゲームプログラム、評価ゲームプログラム、ゲーム機
JP2008134331A (ja) * 2006-11-27 2008-06-12 Bunkeidou:Kk 採点入力デバイス、及び採点入力システム
JP2009031614A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 電子添削システム
JP2013130678A (ja) * 2011-12-21 2013-07-04 Ricoh Co Ltd 手書き文字評価装置及びこれを備えた文字学習支援装置
JP2018001721A (ja) * 2016-07-08 2018-01-11 国立大学法人大阪大学 筆記装置及びコンピュータープログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235007A1 (ja) * 2018-06-04 2019-12-12 コクヨ株式会社 筆記行為評価システム
KR20200072764A (ko) * 2018-12-13 2020-06-23 동의대학교 산학협력단 스터디 펜
KR102207596B1 (ko) * 2018-12-13 2021-01-25 동의대학교 산학협력단 스터디 펜
WO2023199531A1 (ja) * 2022-04-13 2023-10-19 株式会社ワコム コンテンツ評価システム、方法、及びプログラム

Also Published As

Publication number Publication date
JP6612470B2 (ja) 2019-11-27
US20210132709A1 (en) 2021-05-06
JPWO2018168784A1 (ja) 2019-03-28
JP2021101246A (ja) 2021-07-08
CN110462710B (zh) 2022-06-28
CN110462710A (zh) 2019-11-15
US11175754B2 (en) 2021-11-16
JP6854019B2 (ja) 2021-04-07
CN115050106A (zh) 2022-09-13
JP2020038377A (ja) 2020-03-12
JP7212960B2 (ja) 2023-01-26

Similar Documents

Publication Publication Date Title
JP6612470B2 (ja) 電子機器および情報処理方法
CN102446025B (zh) 基于物理模型的手势识别
Nacher et al. Interactive technologies for preschool game-based instruction: Experiences and future challenges
US20170136380A1 (en) Smart Toys
US11947399B2 (en) Determining tap locations on a handheld electronic device based on inertial measurements
Wilmott et al. ‘I am he. I am he. Siri rules’: Work and play with the Apple Watch
KR101360980B1 (ko) 필기구형 전자 입력장치
Ushaw et al. A paradigm for the development of serious games for health as benefit delivery systems
Kwon et al. Myokey: Surface electromyography and inertial motion sensing-based text entry in ar
CN104464390A (zh) 一种体感教育系统
CN107292221A (zh) 一种轨迹处理方法和装置、一种用于轨迹处理的装置
Lane et al. Enabling computer access: introduction to the test of mouse proficiency
Mehigan et al. Detecting learning style through biometric technology for mobile gbl
Hayler Incorporating technology: A phenomenological approach to the study of artefacts and the popular resistance to e-reading
US20190134463A1 (en) Wearable system, wearable device, cloud server and operating method thereof
US20150273321A1 (en) Interactive Module
CN104399248B (zh) Pad互动玩具及系统
Nácher Soler Kindertivity: Usability and communicability strategies for interactive surfaces and pre-kindergarten children
Allen Tangible interfaces in smart toys
Zidianakis et al. Employing ambient intelligence technologies to adapt games to children’s playing maturity
Babtie 100 Ideas for Primary Teachers: Numeracy Difficulties and Dyscalculia
Álvarez et al. Exploring body language as narrative interface
Brown Help children to grasp it
Fennis Exploring and implementing pleasant touch in the interface of products for design purposes: The case of a Bang & Olufsen remote control
Cottrell Supporting Self-Regulation with Deformable Controllers

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018548225

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18768575

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18768575

Country of ref document: EP

Kind code of ref document: A1