WO2022149443A1 - ペンデータ蓄積装置 - Google Patents
ペンデータ蓄積装置 Download PDFInfo
- Publication number
- WO2022149443A1 WO2022149443A1 PCT/JP2021/046903 JP2021046903W WO2022149443A1 WO 2022149443 A1 WO2022149443 A1 WO 2022149443A1 JP 2021046903 W JP2021046903 W JP 2021046903W WO 2022149443 A1 WO2022149443 A1 WO 2022149443A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pen
- pen data
- information
- data
- storage device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0383—Signal control means within the pointing device
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
Definitions
- the present invention relates to a pen data storage device that stores pen data including coordinate data of a position instructed and input by an electronic pen.
- the position detecting device has a function of detecting the coordinates of the position indicated and input by the electronic pen.
- the position detection device includes the pen pressure value applied to the pen tip of the electronic pen, the tilt angle of the electronic pen, the height of the pen tip (height from the input surface), and the like. Many can also be detected.
- the above pen data including the coordinates of the position detected by the position detection device, pen pressure value, tilt angle, height, instruction input time, etc. is an information processing device integrated with or separate from the position detection device.
- the processing result data in chronological order for example, writing trace data and drawing data of a painting are generated.
- the information processing apparatus performs processing such as displaying a character image based on the generated writing trace data and displaying a drawn image based on the generated drawing data on the display screen.
- the pen pressure value, the tilt angle, and the like are reflected in the line thickness of the character image and the drawn image, the shade of color, and the like.
- Electronic data such as writing trace data and drawing data processed and generated by the information processing device is generally stored in the memory in the information processing device in file units.
- the writing trace data and drawing data files are stored and managed by adding an extension indicating a processing application to the file name (Patent Document 1 (Japanese Unexamined Patent Publication No. 2015-109052). reference).
- Patent Document 2 Japanese Patent Application Laid-Open No. 2019-136513
- biometric information such as blood pressure, pulse, and body temperature of an electronic pen user is associated with pen data as described above, not in file units.
- a system for estimating the emotional state at the time of inputting an instruction by the user's electronic pen has been proposed based on collecting a large amount of data.
- the emotion estimation device in the emotion estimation system of Patent Document 1, a large amount of data (big data) in which pen data and biometric information are associated is accumulated, and the emotions derived from the biometric information and the pen data at the time of the emotions are stored. Create an emotion database that associates features. Then, when the pen data including the acquisition request of the emotion state is sent, the emotion estimation device refers to the emotion database and detects the emotion state corresponding to the characteristics of the pen data included in the acquisition request, and the emotion. Try to respond to the status acquisition request side.
- digitized data such as pen data can be stored in a server device having a large storage capacity, and data generated in the past can be taken out and used at an appropriate timing.
- cloud services stored in server devices on the Internet are also being used.
- pen data is generally stored and managed in file units by adding the extension of the processing application in the information processing device to the file name.
- pen data is stored in file units as a method of storing electronic data in the server device, it is necessary to open the file and retrieve the pen data when you want to reproduce the processing using the individual pen data in the file. There is, and it is troublesome.
- An object of the present invention is to provide a pen data storage device capable of solving the above problems.
- a pen data storage device that stores pen data including at least the coordinate data of a position instructed and input by an electronic pen in units of the pen data.
- Each of the stored pen data provides a pen data storage device, which includes functional identification information for identifying a processing function of the pen data.
- the pen data is stored in the pen data unit, so that the process of opening the file when taking out and using it is performed as in the case of storing in the file unit. It can be unnecessary. Further, since the pen data includes function identification information for identifying the processing function of the pen data, when each of the pen data is acquired, the processing function specified by the function identification information is used. By processing the pen data, the processing result of the pen data can be reproduced.
- FIG. 1 shows the system configuration example of the embodiment of the pen data storage apparatus by this invention. It is a block diagram which shows the structural example of the pen input device 2A in the system of the example of FIG. It is a figure for demonstrating the display example of the display screen in the configuration example of the pen input device 2A and the pen input device 2B in the system of the example of FIG. It is a figure which shows a part of the flowchart for demonstrating the processing operation example in the configuration example of the pen input device 2A in the system of the example of FIG. It is a figure which shows a part of the flowchart for demonstrating the processing operation example in the configuration example of the pen input device 2A in the system of the example of FIG.
- FIG. 1 is a diagram illustrating an outline of an embodiment of a pen data storage device according to the present invention.
- the pen data storage device of this embodiment includes a network system configuration, and in this example, a plurality of pen input devices 2A, 2B, for the pen data storage server device 1 through a communication network NW configured on the Internet. 2C, ... Are connected and configured.
- Each of the pen input devices 2A, 2B, 2C, ... Can be configured with various types.
- the pen input devices 2A, 2B, and 2C shown in FIG. 1 are examples of pen input devices having different types of configurations.
- the pen input device 2A includes an electronic pen 21A, a tablet 22A that constitutes an example of a position detection device unit, and a personal computer (hereinafter abbreviated as PC) 23A that constitutes an example of an information processing device unit.
- the display area of the display screen of the display 23Adsp included in the PC 23A and the position detection area of the position detection sensor 221A included in the tablet 22A are associated with each other.
- the user can input instructions on the input surface of the position detection sensor 221A of the tablet 22A by the electronic pen 21A while looking at the display screen of the display 23Adsp.
- the tablet 22A detects the instruction input by the electronic pen 21A, the pen pressure value, etc., generates pen data, and supplies the pen data to the PC 23A.
- the tablet 22A includes the information of the time (year / month / day / hour / minute / second) in which the pen data is generated in the pen data to generate the pen data.
- the PC 23A performs information processing specified by the user on the received pen data, and displays the processing result on the display screen of the display 23Adsp. Further, the PC23A generates the storage pen data including the function identification information (hereinafter referred to as the function ID) for identifying the information processing function applied to the received pen data, and the generated storage pen data is used as a communication network. It is transmitted to the pen data storage server device 1 through the NW. In this example, the PC 23A also includes the position information of the place where the information processing is performed in the storage pen data. The location information of the place where information processing is performed can be configured to be included in the tablet 22A.
- FIG. 2 is a block diagram for explaining the configuration of the pen input device 2A of this example, and a configuration example of the electronic pen 21A, the tablet 22A, and the PC 23A will be described with reference to FIG. 2.
- the electronic pen 21A of this example includes a signal transmitting unit 211A, a pen pressure detecting unit 212A, a side switch 213A, a pen identification information (hereinafter referred to as a pen ID) generating unit 214A, and a control unit 215A.
- a pen ID pen identification information
- the electronic pen 21A is an electromagnetic induction type electronic pen, and the signal transmitting unit 211A includes a resonance circuit.
- the pen pressure detection unit 212A detects the pen pressure applied to the pen tip when the electronic pen 21A is pressed against the input surface of the tablet 22A, and the pressure is used as, for example, a change in capacitance. It consists of well-known ones to detect. Then, the variable capacitance capacitor configured by the pen pressure detection unit 212A constitutes a part of the resonance circuit of the signal transmission unit 211A, and the pen pressure value is transmitted to the tablet 22A as a change in the resonance frequency of the resonance circuit. Resonance.
- the pen pressure detecting unit 212A can also be configured to detect a change in inductance or a change in resistance.
- the side switch 213A is a switch that is turned on and off by the user's operation.
- the operation state of the side switch 213A is changed to the tablet 22A by controlling the connection and non-connection of the capacitor to the resonance circuit of the signal transmission unit 211A by turning the switch on and off to change the resonance frequency of the resonance circuit. It is configured to transmit to.
- the operation of the side switch 213A is configured to be an operation instruction similar to, for example, a click operation with a mouse on the PC 23A.
- the pen ID generation unit 214A generates a pen ID, which is unique identification information for identifying each of the electronic pens 21A, and includes a memory for performing the pen ID.
- the control unit 215A uses the pen ID as a multi-bit digital signal, and the digital signal interrupts the operation of the resonance circuit of the signal transmission unit 211A, so that the digital signal of the pen ID is ASK (Amplitude Shift Keying). ) It is transmitted to the tablet 22A as a modulated signal or an OK (On / Off / Keying) modulated signal.
- the pen pressure value detected by the pen pressure detection unit 212A and the information on the operating state of the side switch 213A are not transmitted to the tablet 22A as a change in the resonance frequency of the resonance circuit, but are transmitted to the tablet 22A in the same manner as the pen ID. It can also be configured to be transmitted to the tablet 22A by an ASK modulation signal or an OK modulation signal as a digital signal.
- the tablet 22A includes an electromagnetic induction type position detection sensor 221A.
- the position detection sensor 221A has a plurality of loop coils arranged in the horizontal direction and the vertical direction (corresponding to the X-axis direction and the Y-axis direction of the coordinates) of the rectangular flexible substrate. It is composed of. Therefore, the position detection sensor 221A includes a rectangular position detection area.
- the position detection sensor 221A interacts with the electronic pen 21A by electromagnetic induction coupling with the resonance circuit of the electronic pen 21A.
- the signal detected (received) by the position detection sensor 221A is supplied to each of the position detection circuit 222A, the pen pressure detection circuit 223A, the tilt detection circuit 224A, the side switch state detection circuit 225A, and the pen ID detection circuit 226A.
- the position detection circuit 222A detects the coordinates of the position indicated and input by the electronic pen 21A by detecting the position of the loop coil that has received the signal, and the coordinates of the detected position (from the input surface of the position detection sensor 221A). (Including height information) is supplied to the pen data generation circuit 227A.
- the pen pressure detection circuit 223A detects the pen pressure applied to the pen tip of the electronic pen 21A by detecting the change in the frequency of the received signal, and uses the detected pen pressure value as the pen data generation unit. Supply to 227A.
- the tilt detection circuit 224A is the axial direction of the electronic pen 21A and the input of the position detection sensor 221A according to the pattern shape of the area where the signal from the electronic pen 21A is received in the detection area of the position detection sensor 221A. The angle formed by the surface is detected, and this is detected as the tilt angle of the electronic pen 21A. Then, the tilt detection circuit 224A supplies the detected tilt angle information to the pen data generation unit 227A.
- the side switch state detection circuit 225A detects the operation state of the side switch 213A of the electronic pen 21A by detecting the change in the frequency of the received signal, and the detected information on the operation state of the side switch 213A is penned. It is supplied to the data generation unit 227A.
- the pen ID detection circuit 226A detects the ASK modulation signal or the OK modulation signal of the pen ID from the signal received from the electronic pen 21A through the position detection sensor 221A, and demodulates the pen ID. Then, the pen ID detection circuit 226A supplies the demodulated pen ID to the pen data generation unit 227A.
- the pen data generation unit 227A has the coordinates of the position indicated and input by the electronic pen 21A from the position detection circuit 222A, the pen pressure value from the pen pressure detection unit 212A, the tilt angle information from the tilt detection circuit 224A, and the side switch state. Information on the operating state of the side switch 213A from the detection circuit 225A and pen ID from the pen ID detection circuit 226A are included in order, and pen data is generated by further including time information from the clock unit 228A. Then, the pen data generation circuit 227A sends the generated pen data to the PC 23A through the transmission unit 229A.
- an example of the main configuration of the PC 23A in the pen data storage device of this embodiment is a system bus 230A for a control unit 231A including a CPU (Central Processing Unit), a program memory, and a work area memory.
- a control unit 231A including a CPU (Central Processing Unit), a program memory, and a work area memory.
- a control unit 231A including a CPU (Central Processing Unit), a program memory, and a work area memory.
- the pen data acquisition unit 232A, the information processing unit 233A, the display control unit 234A, the memory 235A, the current position information generation unit 236A, the storage pen data generation unit 237A, and the network connection unit 238A are connected and configured. ing.
- the pen data acquisition unit 232A captures pen data from the tablet 22A and transfers it to the information processing unit 233A and the storage pen data generation unit 237A.
- the information processing unit 233A executes each of the desktop processing function (OS (Operating System) function) and the processing function of a plurality of application software (hereinafter, abbreviated as an application) in this example.
- OS Operating System
- the information processing unit 233A executes the processing function in response to an operation instruction using the electronic pen 21A by the user.
- the processing function of the app launched by the user is executed.
- the PC 23A is configured so that a plurality of applications can be started and operated in parallel.
- the display control unit 234A displays a display image based on the information of the processing result in the information processing unit 233A, for example, an image of a writing mark by the electronic pen 21A on the display screen of the display 23Adsp.
- Information on the processing result of the information processing unit 233A is stored in the memory 235A based on the user's storage instruction.
- the current position information generation unit 236A generates position information (information on the current position) of the place where the PC23A is installed.
- the current position information generation unit 236A may be provided with, for example, a GPS (Global Positioning System) receiver to detect the current position to generate information on the current position, or may be input by a user, for example. It may be a memory that stores the position information of the current position.
- GPS Global Positioning System
- the storage pen data generation unit 237A is a function of a processing function that processes pen data from the pen data acquisition unit 232A, current position information from the current position information generation unit 236A, and pen data from the information processing unit 233A. Generate pen data for storage including ID. Then, the storage pen data generation unit 237A transmits the generated storage pen data to the pen data storage server device 1 connected to the communication network NW through the network connection unit 238A.
- the network connection unit 238A is configured to be connected to a communication network by being connected to an optical line or the like by wire.
- the network connection unit 238A may be configured to be connected to the communication network NW (Internet) through a wireless network such as Wi-Fi (registered trademark).
- the information processing unit 233A determines the processing function for processing the pen data based on the position coordinates included in the pen data, the pen pressure value, the state information of the side switch 213A, and the like. If there is an operation input unit other than the tablet 22A, the processing function for processing the pen data may be activated and determined in advance based on the operation information from the operation input unit. Then, the PC 23A processes the pen data by the determined processing function, includes the function ID of the processing function that processed the pen data in the pen data, generates pen data for storage, and generates the pen data for storage, and the pen data storage server device 1 ( Hereinafter, it is transmitted to the server device 1).
- FIG. 3 is a diagram showing a display example of the display screen 23AP of the display 23Adsp of the PC 23A.
- FIG. 3 a procedure for determining a processing function for processing pen data, generation of storage pen data, and transmission to the server device 1 will be described.
- the designated position by the pen tip portion of the electronic pen 21A is shown as the pen tip position (hereinafter referred to as pen designated position) of the schematic figure of the electronic pen 21A.
- the user performs an instruction input operation using the electronic pen 21A on the input surface of the position detection sensor 221A of the tablet 22A.
- the detection area of the input surface of the position detection sensor 221A of the tablet 22A corresponds to the display area of the display screen 23AP. Therefore, on the display screen 23AP of the display 23Adsp of the PC 23A, the pen tip position of the electronic pen 21A is displayed at the display position corresponding to the indicated position on the input surface of the position detection sensor 221A by the pen tip portion of the electronic pen 21A. ..
- FIG. 3A shows an example of a desktop screen in PC23A, and in the example of the figure, shortcut icons SI of a plurality of applications and a processing window W1 of one application started by a user are displayed. There is.
- PC23A's information processing unit 233A processes the pen data of the instruction input by the processing function of the desktop, assuming that the instruction input is for the desktop.
- the operation input of the simple position instruction by the electronic pen 21A at the pen instruction position MP1 or MP2 is displayed in the information processing unit 233A to indicate where the instruction position is (cursor display), but the processing function of the desktop. Does not execute a specific process by.
- the information processing unit 233A in addition to the position instruction operation at the pen instruction position MP1 or MP2, in this example, it is determined whether or not a significant operation corresponding to the click operation is performed by the side switch 213A of the electronic pen 21A. Then, when it is determined that the significant operation has been performed, the processing according to the instructed position is performed.
- the display screen is displayed.
- a process of displaying a plurality of function items and setting items as a pull-down menu on the 23AP and waiting for selection input from the menu is executed.
- the information processing unit 233A of the PC 23A determines from the pen data that the instruction input is in the display area of the shortcut icon indicated by the pen instruction position MP2 and is accompanied by a significant operation, the information processing unit 233A gives an instruction by the instruction input.
- the application corresponding to the shortcut icon is started, and the processing window for the application is opened on the display screen 23AP.
- the information processing unit 233A has a window management function, and when the application is started and the processing window is opened, the display area of the processing window of the application and the corresponding position detection sensor 221A are detected. Manage the area.
- the information processing unit 233A uses the window management function to identify whether the position where the instruction is input by the electronic pen 21A is within the area of the open processing window or the area of the desktop screen.
- the storage pen data generation unit 237A of the PC 23A includes the position information of the current position from the current position information generation unit 236A as the location information for the pen data at the pen instruction position MP1 or MP2, and also has a desktop processing function.
- the function ID of the above is included in the storage pen data to be generated and transmitted to the server device 1.
- the storage pen data generation unit 237A of the PC 23A for the pen data at the pen instruction position MP3, the position information of the current position from the current position information generation unit 236A is included as the position information of the place, and the processing window W1 is set.
- Pen data for storage including the function ID of the corresponding application is generated and transmitted to the server device 1.
- the pen data for storage is stored in the server device 1.
- the storage pen data also includes time information, when the storage pen data is read out and reprocessed along with the passage of time, the user's electronic pen 21A is used.
- the processing locus on the PC 23A based on the input operation on the input surface of the tablet 22A used should be reproduced in its entirety, including the fact that there was a time zone during which the user was thinking without performing an effective instruction operation. become.
- the pen data for storage may not be generated and may not be transmitted to the server device 1 to be excluded from the storage target.
- FIG. 3B a plurality of applications, or two applications in the example of the figure, are running due to the processing of the information processing unit 233A, and the respective processing windows W11 and W12 do not overlap each other's window areas. Shows the state that is opened and displayed in the state. Further, in FIG. 3C, similarly, two applications are running and the respective processing windows W21 and W22 are opened, but the two processing windows W21 and W22 are displayed. It shows the state where the window areas of each other are partially overlapped.
- the information processing unit 233A has a window management function, and by this window management function, the display area of the processing window of the running application and the detection area of the corresponding position detection sensor 221A can be obtained. It manages not only one case but also a plurality of cases.
- the window management function of the information processing unit 233A manages the processing windows hierarchically even if a plurality of processing windows overlap each other, so that the instruction input by the electronic pen 21A can be performed. It is possible to judge whether it is an instruction input in the processing window. That is, in the information processing unit 233A, when a plurality of processing windows are opened with overlapping areas of each other, the processing window to which the instruction input by the electronic pen 21A is finally received is the uppermost layer. As a result, it is managed so that the processing is prioritized.
- the pen data at the pen instruction position MP10 and the pen instruction position MP20 are the same as the pen data at the pen instruction position MP1 in FIG. 3 (A).
- the processing is performed by the processing function of the desktop, and in the pen data generation unit 237A for storage, the position information of the current position from the current position information generation unit 236A is included as location information in the pen data, and the processing function of the desktop is used.
- the storage pen data including the function ID is generated and transmitted to the server device 1.
- the pen data of the pen instruction position MP11 or the pen instruction position MP12 is the pen data of the information processing unit 233A depending on the application supported by the processing window W11 or the processing window W12 of the application. Is processed.
- the pen data of the pen instruction position MP11 is for processing the function ID of the application supported by the processing window W11
- the pen data of the pen instruction position MP12 is for processing.
- the function IDs of the applications supported by the window W12 are included, and the position information of the current position from the current position information generation unit 236A is included as the location information to generate the pen data for storage, and the server is generated. It is transmitted to the device 1.
- the instruction input of the pen instruction position MP21 in FIG. 3C is determined by the information processing unit 233A as an instruction input in the processing window W21, and the pen is determined by the application supported by the processing window W21.
- the data is processed.
- the storage pen data generation unit 237A the storage pen data is generated by including the function ID of the application supported by the processing window W21 and the location information in the pen data, and the server device. It is sent to 1.
- the instruction input of the pen instruction position MP22 in the overlapping area between the processing window W21 and the processing window W22 is the window management function in the information processing unit 233A in the example of FIG. 3C. Is determined as an instruction input in the processing window W22 on the uppermost layer, and the pen data is processed by the application supported by the processing window W22. Then, in the storage pen data generation unit 237A, the storage pen data is generated by including the function ID of the application supported by the processing window W22 and the location information in the pen data, and the server device. It is sent to 1.
- the instruction input of the pen instruction position MP23 in the non-overlapping area of the processing window W22 is determined by the information processing unit 233A as the instruction input in the processing window W22, and the processing window thereof.
- the pen data is processed by the application supported by W22, and the storage pen data generation unit 237A uses the pen data with the function ID of the application supported by the processing window W22 and the location information. Is included, storage pen data is generated, and is transmitted to the server device 1.
- control unit 231A determines whether or not the pen data from the tablet 22A has been accepted (step S101), and if it determines that the pen data has not been accepted, executes other processing (step S102), and after that processing, a step.
- the process of S101 is returned.
- step S101 When it is determined in step S101 that the pen data from the tablet 22A has been received, the control unit 231A detects the coordinates of the position of the instruction input in the received pen data (step S103).
- control unit 231A determines whether or not the application is running on the desktop (step S104), and when it is determined that the application is not running, the instruction input for the coordinates of the detected position is the desktop.
- the state information of the side switch 213A of the pen data is referred to, and it is determined whether or not a significant instruction operation such as a click instruction is involved (step S105).
- step S105 When it is determined in step S105 that a significant instruction operation is involved, the control unit 231A executes pen data processing by the processing function of the desktop (step S106). Further, when it is determined in step S105 that no significant instruction operation is involved, the control unit 231A considers that the pen data of the instruction input is an invalid instruction and does not process it by the processing function of the desktop (step S107).
- step S106 or step S107 the control unit 231A proceeds to the process in step S108, and the received pen data includes the position information of the current position from the current position information generation unit 236A as the location information and the desktop.
- the storage pen data including the function ID of the processing function is generated and transmitted to the server device 1 (step S108).
- control unit 231A determines whether or not the end instruction has been accepted, and if it determines that the end instruction has not been accepted, returns the process to step S101, repeats the processes after this step S101, and issues the end instruction. When it is determined that it has been accepted, this processing routine is terminated.
- step S104 when it is determined in step S104 that the application is running, the control unit 231A determines whether or not the coordinates of the pen instruction position are within the area of the processing window corresponding to the running application (). Step S111 in FIG. 5).
- step S111 When it is determined in step S111 that the coordinates of the pen instruction position are not within the area of the processing window corresponding to the running application, the control unit 231A recognizes that the pen instruction position is within the area of the desktop. Then, the process proceeds to step S105 in FIG. 4, and the processes after step S105 described above are executed.
- step S111 when it is determined in step S111 that the coordinates of the pen instruction position are within the area of the processing window corresponding to the running application, the control unit 231A determines whether or not there are a plurality of running applications.
- the window management function also refers to the hierarchical information to specify the processing window for which the instruction has been input, and to specify the corresponding application (step S113). .. Then, the received pen data is processed by the application specified in step S113 (step S114).
- step S112 When it is determined in step S112 that the number of running applications is one instead of a plurality, the control unit 231A proceeds to step S114 without going through step S113, and the pen accepted by the one application. Perform data processing.
- control unit 231A generates storage pen data including the function ID of the application executed in step S114 and the location information of the location in the received pen data, and the server device 1 (Step S115).
- control unit 231A advances the processing to step S109 of FIG. 4, and repeats the processing after this step S109.
- the entire area of the display screen of the display 23Adsp of the PC 23A is used as the pen data storage target area.
- a pen data non-accumulation area may be provided in the display area of the display screen of the display 23Adsp of the PC 23A, and thus in the position detection area of the position detection sensor 221A of the tablet 22A. ..
- the rear indicated by the diagonal line is this non-accumulation area NR.
- the PC 23A accepts an input instruction by the electronic pen 21A in this non-accumulation area (see the pen instruction position MP30 in FIG. 3D), and even if the processing is executed by the processing function of the pen data desktop or the application, the processing is performed. Do not send or store pen data to the server device 1.
- the pen data corresponding to the input instruction by the electronic pen 21A in this non-accumulation area may be configured so that the processing is not necessarily executed in the PC 23A.
- the display is provided by the PC 23A, but the tablet 22A may be configured to include the display.
- the position detection sensor 221A and the display are provided so as to overlap each other so that the detection area of the position detection sensor 221A and the display area of the display overlap.
- the tablet 22A may be configured to leave the writing marks of the electronic pen 21A on paper or electronic paper without providing a display.
- the paper or electronic paper is provided so as to be stacked on the input surface of the position detection sensor.
- the electronic pen 21A is provided with the function of a writing tool such as a ballpoint pen that forms the writing marks on the paper, and when the electronic paper is used, the electronic pen 21A is provided. Is provided with a function to leave a writing mark on the electronic paper.
- the tablet 22A and the PC 23A are connected by wire, but may be connected wirelessly.
- the transmission unit 229A of the tablet 22A and the pen data acquisition unit 232A of the PC 23A are configured to include, for example, a wireless communication unit such as a short-range wireless communication means of the Bluetooth (registered trademark) standard.
- additional information such as pen pressure, state information of the side switch 213A, and pen ID information is also located.
- Information is transmitted from the electronic pen 21A to the tablet 22A through the detection sensor.
- additional information such as pen pressure, side switch 213A status information, and pen ID information from the electronic pen 21A is sent to the tablet 22A separately from the position detection signal for detecting the indicated position by the electronic pen 21A. It may be communicated.
- the electronic pen 21A and the tablet 22A may be connected by a connection cable, or the electronic pen 21A and the tablet 22A may be connected to, for example, a short-range wireless communication means of a Bluetooth (registered trademark) standard.
- a wireless communication unit may be provided to perform wireless communication.
- a part of the additional information may be configured to be transmitted together with the position detection signal via the position detection sensor.
- the pen input device 2B includes an electronic pen 21B and, for example, a pad-type terminal 22B as an example of an information processing device having a function of a position detection device unit.
- the electronic pen 21B of the pen input device 2B has the same configuration as the electronic pen 21A in the pen input device 2A shown in FIG. 2, and performs the same processing operation.
- the configuration of the pad type terminal 22B is equivalent to the configuration of the tablet 22A in the pen input device 2A shown in FIG. 2 and the configuration of the PC 23A integrated.
- the processing operation of the pad type terminal 22B executes the same processing operation as the processing operation of the tablet 22A and the PC 23A in the pen input device 2A shown in FIG. Therefore, here, the description of the configuration example and the processing operation example of the pen input device 2B will be omitted.
- the function ID of the processing function included in the pen data is the function ID of the processing function determined by the information processing unit 233A for determining the processing function for processing the pen data. did. However, by doing the following, regardless of the determination of the processing function in the information processing unit 233A, the function ID of the processing function to be included in the pen data from only the acquired pen data in the storage pen data generation unit 237A. Can also be determined.
- the processing window is not opened by defining an area, but the processing window corresponding to the application is opened in advance. Make sure to set the area fixedly. For example, as shown in FIG. 6, a predetermined number of applications are prepared in advance for the detection area of the display screen 23AP of the display 23Adsp and the position detection sensor 221A, and four applications are prepared in the example of FIG.
- the areas of the processing windows W41, W42, W43, and W44 of each application are divided and allocated by eliminating duplication of each other's areas.
- the storage pen data generation unit 237A can determine which processing window W41, W42, W43, or W44 is the region by referring to the position coordinates of the acquired pen data. You can specify the function ID of the application. When the application is not running, it is detected as an instruction input to the desktop and used as the function ID of the processing function of the desktop. Therefore, the storage pen data generation unit 237A acquires information indicating whether or not the application is running from the information processing unit 233A.
- the electronic pen 21B may be configured to transmit all or part of the additional information without going through the position detection sensor of the pad type terminal 22B. good.
- the pad-type terminal 22B may be configured to leave a writing mark by the electronic pen 21B on paper or electronic paper without providing a display.
- the electronic pen 21A and the electronic pen 21B, and the position detection device unit are configured by an electromagnetic induction method, but the present invention is not limited to this.
- it can be configured such as an active capacitance coupling type electronic pen and a position detection device unit.
- This pen input device 2C is an example configured to be able to detect the coordinate information of the writing input of the electronic pen without using the position detection sensor such as the pen input device 2A and the pen input device 2B described above. , The electronic pen 21C and the information processing terminal 22C.
- the electronic pen 21C has a built-in 2-axis or 3-axis acceleration sensor, a gyro sensor, or the like, and the user can perform a writing input operation or a drawing input operation by using the electronic pen 21C on a flat surface such as a desk.
- the electronic pen 21C detects the behavior operation with an acceleration sensor or a gyro sensor.
- the electronic pen 21C transmits the detection information of the acceleration sensor and the gyro sensor to the information processing terminal 22C together with additional information as described later.
- the additional information includes information such as a pen pressure value applied to the pen tip portion of the electronic pen 21C, a pen ID of the electronic pen 21C, and a state of the side switch Ss, similarly to the pen input devices 2A and 2B described above.
- the electronic pen 21C and the information processing terminal 22C are connected through a wireless communication unit such as a short-range wireless communication means of the Bluetooth (registered trademark) standard.
- the electronic pen 21C and the information processing terminal 22C may be connected by a connection cable.
- the information processing terminal 22C is composed of a high-performance mobile phone terminal (hereinafter referred to as a smartphone), and an information processing function from the electronic pen 21C as described later is installed as an application in advance. There is.
- the information processing terminal 22C has a function of continuously detecting the position coordinates of the pen tip of the electronic pen 21C based on the detection information of the acceleration sensor and the gyro sensor received from the electronic pen 21C, and the tilt of the electronic pen 21C. Detect the corner.
- a method for detecting the position coordinates of the pen tip of the electronic pen 21C in the pen input device 2C of this example in the information processing terminal 22C and its configuration are disclosed in, for example, Patent Document: Japanese Patent No. 4292927. Here, the detailed description thereof will be omitted.
- the information processing terminal 22C generates pen data from the detected position coordinates and the tilt angle, as well as the additional information received from the electronic pen 21C.
- the electronic pen 21C has a function of instructing the information processing terminal 22C to execute the processing of the information from its own electronic pen 21C.
- the processing function a writing input processing function for processing the information from the electronic pen 21C as a writing input, a drawing input processing function for processing as a drawing input, a signature input processing function for processing as a signature input, and the like are selectively used. It is possible.
- the electronic pen 21C includes the function ID of the processing function to be executed by the information processing terminal 22C in the additional information and transmits the function ID to the information processing terminal 22C.
- the information processing terminal 22C includes an information processing unit that executes processing of generated pen data by a processing function of a function ID received from the electronic pen 21C.
- the information processing terminal 22C also has a function of adding the received function ID to the generated pen data to generate storage pen data, and transmitting the generated storage pen data to the server device 1 through the communication network NW. ..
- FIG. 7 shows an example of a component of a main function related to the present invention of the electronic pen 21C and the information processing terminal 22C constituting the pen input device 2C of this example.
- the electronic pen 21C of the pen input device 2C has, in this example, a power supply unit 211C, a communication unit 212C, an acceleration sensor 213C, a gyro sensor 214C, and a function selection unit in the housing.
- the 215C, the pen ID generation unit 216C, the pen pressure detection unit 217C, and the control unit 210C are housed and provided.
- the housing of the electronic pen 21C is provided with a power switch Ps, a side switch Ss, and a function selection operator Fs so that the user can operate the pen 21C.
- the power supply unit 211C includes a fixed battery or a rechargeable battery, and can be switched between a power-on state and a power-off state by operating the power switch Ps to control the supply of power supply voltage to each part in the housing. Will be done.
- the pen pressure detection unit 217C detects the pen pressure applied to the pen tip portion of the electronic pen 21C, and can have the same configuration as the pen pressure detection circuit 223A of the electronic pen 21A described above. Further, the pen ID generation unit 216C has the same configuration as the pen ID generation unit 2114A of the electronic pen 21A described above, and generates a pen ID which is identification information of the electronic pen 21C.
- the acceleration sensor 213C and the gyro sensor 214C generate a sensor output according to the movement of the pen tip of the electronic pen 21C and a sensor output according to the tilt of the electronic pen 21C.
- a 3-axis sensor is used as the acceleration sensor 213C.
- the function selection unit 215C receives a selection operation for selecting one processing function from a plurality of types of processing functions as described above by the function selection operator Fs, and generates a function ID of the selected processing function. ..
- the function selection operator Fs is composed of a non-lock type push button switch, a slide switch, a ring-shaped rotary operator, and the like.
- the function selection operator Fs is a non-lock type push button switch
- the selected processing function is changed each time the push button switch is pressed.
- the function selection operator Fs is composed of a slide switch or a rotation operator, the processing function is selected according to the slide operation position or the rotation operation position.
- the electronic pen 21C is provided with a display unit and a print sign that indicate to the user what the selected processing function is.
- control unit 210C has the function of a clock unit. Then, the control unit 210C adds the time information at the time when the sensor output is obtained to the sensor outputs from the acceleration sensor 213C and the gyro sensor 214C, and further, the electronic pen 21C detected by the pen pressure detection unit 217C. Generates transmission information including the pen pressure value applied to the pen tip, information on the state of the side switch Ss, the pen ID from the pen ID generation unit 216C, and the function ID from the function selection unit 215C. .. Then, the control unit 210C transmits the generated transmission information to the information processing terminal 22C through the communication unit 212C.
- the communication unit 212C is composed of a wireless communication unit such as a short-range wireless communication means of the Bluetooth (registered trademark) standard.
- the electronic pen 21C and the information processing terminal 22C may be connected by wire using a USB (Universal Serial Bus) cable or the like.
- the information processing terminal 22C displays the communication unit 222C, the pen data generation unit 223C, the information processing unit 224C, and the control unit 221C including the CPU, the program memory, and the work memory through the system bus 220C.
- the unit 225C, the memory 226C, the current position detection unit 227C, and the network connection unit 228C are connected to each other.
- the communication unit 222C is for wireless communication with the communication unit 212C of the electronic pen 21C, and in this example, it is composed of a wireless communication unit such as a short-range wireless communication means of the Bluetooth (registered trademark) standard. In this example, the communication unit 222C supplies the information received from the electronic pen 21C to the pen data generation unit 223C.
- the pen data generation unit 223C detects the coordinates of the pen tip of the electronic pen 21C based on the sensor outputs of the acceleration sensor 213C and the gyro sensor 214C acquired from the communication unit 222C, and uses the continuous coordinates of the writing mark as the movement trajectory thereof. To detect. Further, the pen data generation unit 223C detects the tilt angle of the electronic pen 21C based on the sensor outputs of the acceleration sensor 213C and the gyro sensor 214C.
- the pen data generation unit 223C has the time information received from the electronic pen 21C through the communication unit 222C, the pen pressure value information, the state information of the side switch Ss, and the detected tilt angle information at the detected coordinates. Pen data including and is generated and transferred to the information processing unit 224C. At this time, the pen data generation unit 223C also supplies the function ID received from the electronic pen 21C through the communication unit 222C to the information processing unit 224C.
- the information processing unit 224C executes processing on the received pen data by the processing function corresponding to the received function ID. Then, the executed processing result is displayed on the display screen of the display unit 225C, and is appropriately stored in the memory 226C.
- the pen data generation unit 223C also adds the pen ID and the function ID received from the electronic pen 21C through the communication unit 222C to the generated pen data, and is detected by the current position detection unit 227C.
- the pen data for storage is generated by adding the position information of the current position. Then, the pen data generation unit 223C transmits the generated storage pen data to the server device 1 through the network connection unit 228C.
- the current position detection unit 227C is equipped with a GPS receiver, detects the latitude, longitude, and altitude of the current position, and outputs the detected latitude, longitude, and altitude as the position information of the current position.
- the network connection unit 228C is configured to be connected to the communication network NW (Internet) through a mobile phone network or a wireless network such as Wi-Fi (registered trademark).
- NW Internet
- Wi-Fi registered trademark
- FIG. 8 is a diagram showing a flowchart for explaining a processing operation example of the electronic pen 21C.
- the control unit 210C of the electronic pen 21C executes the functions of each unit of FIG. 7 by a software program will be described.
- the control unit 210C recognizes the processing function selected by the function selection operator Fs by the function of the function selection unit 215C (step S121). Then, the control unit 210C adds the pen ID, the pen pressure value information, the time information, and the function ID of the processing function recognized in step S121 to the sensor outputs of the acceleration sensor 213C and the gyro sensor 214C to provide information. It is transmitted to the processing terminal 22C (step S122).
- control unit 210C determines whether or not there is an end instruction by turning off the power by the power switch Ps (step S123), and when it is determined that there is no end instruction, returns the process to step S121. When it is determined that the end instruction has been given by repeating this step S121 and subsequent steps, this processing routine is terminated.
- FIG. 9 is a diagram showing a flowchart for explaining a processing operation example of the information processing terminal 22C.
- the control unit 221C of the information processing terminal 22C executes the functions of each unit of FIG. 7 by a software program will be described.
- the control unit 221C monitors and receives the transmission information from the electronic pen 21C (step S131). Then, the control unit 221C uses the function of the information processing unit 224C to determine the position coordinates of the pen tip of the electronic pen 21C and the tilt of the electronic pen 21C from the sensor outputs of the acceleration sensor 213C and the gyro sensor 214C in the received transmission information. Along with detecting the corner, pen data is generated including the pen pressure value, side switch information, and the like (step S132).
- control unit 221C executes processing of the generated pen data by the processing function of the received function ID (step S133). Then, the control unit 221C adds the received function ID and pen ID to the pen data generated in step S132, adds the position information of the current position, and generates the pen data for storage (step S134). ). Then, the storage pen data generated in step S134 is transmitted to the server device 1 (step S135).
- control unit 221C determines whether or not there is an end instruction (step S136), and when it is determined that there is no end instruction, the process returns to step S131, repeats this step S131 and subsequent steps, and the end instruction is given. When it is determined, this processing routine is terminated.
- the information processing terminal 22C executes the processing of the transmission information from the electronic pen 21C, but accumulates the transmission information from the transmission information without processing the information processing. It may be configured to generate only the pen data and send it to the server device 1.
- the user of the electronic pen 21C later accesses the server device 1 and acquires the storage pen data including the pen ID of the electronic pen 21C, the time and place where the instruction is input, and the like.
- the storage pen data is acquired from the server device 1. Then, by performing the same information processing on the acquired pen data for storage as in the information processing unit 224C described above, the same processing result as in the above example can be reproduced.
- the electronic pen 21C may be provided with a functional unit of the information processing terminal 22C to generate the above-mentioned storage pen data and transmit it to the server device 1.
- the electronic pen 2C is used to perform an instruction input operation at an arbitrary time and at an arbitrary place to transmit the storage pen data to the server device 1, and later, the storage pen data. Is acquired, and the processing function corresponding to the function ID included in the storage pen data can be used to process the storage pen data (pen data) and reproduce the processing.
- the acceleration sensor 213C and the gyro sensor 214C are used as means for detecting the coordinates of the pen tip portion of the electronic pen 21C.
- an image pickup element (camera) may be provided near the pen tip portion so that the captured image can also be used.
- the motion detection sensor as a means for detecting the coordinates of the pen tip of the electronic pen 21C is not limited to the acceleration sensor 213C and the gyro sensor 214C.
- server device 1 In the server device 1 in this embodiment, it is possible not only to store the storage pen data from the pen input devices 2A, 2B, 2C, etc., but also to provide various services using the stored storage pen data. It is configured to be possible. In the examples described below, an electronic signature authentication service and a character recognition service will be described as examples of the services to be provided.
- the electronic signature authentication service determines whether or not the signature writing trace can be authenticated as the person's writing trace based on the storage pen data received by the server device 1, and provides the determination result. It is a service to do.
- the character recognition service is a service that recognizes handwritten characters based on the storage pen data received by the server device 1 and provides the corresponding character text data. In this example, when the electronic signature application is executed or the handwritten character recognition application is executed, the user uses an electronic pen determined for each user.
- the server device 1 processes the received storage pen data by detecting the function ID included in the storage pen data, or is the processing function for processing the electronic signature application? , Also, it is possible to determine whether the application is a character recognition application. Therefore, in this embodiment, when the server device 1 determines that the function ID included in the received storage pen data is the function ID of the electronic signature application or the function ID of the character recognition application, the server device 1 stores the data. Accumulate pen data and execute electronic signature service or character recognition service.
- the server device 1 also accepts an information acquisition request using the pen ID, function ID, time information, location position information, etc. included in the storage pen data as keywords, and the information acquisition request. It is also configured to provide information services according to the needs of the customer.
- the information acquisition request of this example requests the acquisition of the storage pen data including the keyword included in the information acquisition request.
- the keywords included in the information provision request constitute the pen data for storage in this example (coordinates, pen pressure value, side switch state, tilt angle, time, place (position information), pen ID, function ID). Any one of them, or two or more of them can be extracted and combined.
- FIG. 10 is a functional block diagram of a configuration example of the server device 1 in this embodiment. That is, as shown in FIG. 10, the server device 1 stores the network connection unit 102, the reception information analysis unit 103, and the control unit 101 including the CPU, the program memory, and the work memory via the system bus 100. Pen data storage unit 104, information provision request handling processing unit 105, electronic signature authentication unit 106, character recognition unit 107, service request response generation unit 108, electronic signature authentication reference information generation / storage unit 109, character recognition database update / Each of the storage units 110 is connected and configured.
- the network connection unit 102 is connected to the communication network NW, receives pen data for storage from the pen input devices 2A, 2B, 2C, etc., and receives an information acquisition request from an information processing device such as a PC, and is described above. The process of transmitting the transmission information corresponding to the provided service to the remote device requesting the service is performed through the communication network NW. Then, the network connection unit 102 transfers the received received information to the reception information analysis unit 103.
- the reception information analysis unit 103 analyzes the information received from the network connection unit 102, and when the received information is storage pen data, transfers the received storage pen data to the storage pen data storage unit 104. Then, when the received information is the storage pen data, the reception information analysis unit 103 further determines the function ID included in the reception information, and when it is determined that the function ID is the function ID of the electronic signature application, the electronic signature authentication is performed.
- the unit 106 and the digital signature authentication reference information generation / storage unit 109 are activated, and the pen data for storage is also transferred to the digital signature authentication unit 106 and the digital signature authentication reference information generation / storage unit 109.
- control unit 101 When the control unit 101 determines that the function ID is the function ID of the character recognition application, the control unit 101 activates the character recognition unit 107 and the character recognition database update / storage unit 110 to recognize the storage pen data for these characters. Transfer to unit 107 and character recognition database update / storage unit 110.
- the received information analysis unit 103 determines that the received information is an information provision request as a result of the analysis of the information received by the network connection unit 102
- the received information provision request is sent to the information provision request response processing unit 105. Transfer to.
- the storage pen data storage unit 104 stores the received storage pen data in the memory.
- the storage pen data storage unit 104 divides and stores each pen ID included in the storage pen data.
- the information provision request handling processing unit 105 determines the keyword included in the received information provision request, reads the storage pen data including the determined keyword from the storage pen data storage unit 104, and reads the storage pen data storage unit 104 to the service request response generation unit 108. Transfer to.
- the keyword included in the information provision request constitutes the storage pen data of this example (coordinates, pen pressure value, side switch state, tilt angle, time, place (position information), pen ID, function ID). Any one of them, or two or more of them are extracted and combined.
- the storage pen data including the pen ID is read from the storage pen data storage unit 104 and transferred to the service request response generation unit 108.
- the storage pen data including the pen ID and the information of the time within the specified period is stored. It is read from the pen data storage unit 104 and transferred to the service request response generation unit 108.
- the service request response generation unit 108 generates the storage pen data for which the information provision request is made, which is sent by the processing of the information provision request response processing unit 105, as answer information, and sends the information provision request to the other party. It is transmitted through the communication network NW.
- the electronic signature authentication unit 106 uses the storage pen data received from the reception information analysis unit 103 and the authentication reference information stored in the electronic signature authentication reference information generation / storage unit 109 to sign the signature with the storage pen data. It is attempted to authenticate whether or not the signature is signed by the owner of the electronic pen identified by the pen ID. In this case, in the authentication of the electronic signature, the writing trace of the electronic signature character based on the change of the coordinates, the pen pressure value, and the tilt angle, which are the information related to the writing trace in the pen data for storage, with the passage of time. Authenticate.
- the electronic signature authentication unit 106 supplies the information of the authentication result of the electronic signature to the service request response generation unit 108.
- the service request response generation unit 108 receives the information of the electronic signature authentication result from the electronic signature authentication unit 106, the service request response generation unit 108 transmits the storage pen data including the function ID of the electronic signature application to the other party.
- the electronic signature authentication reference information generation / storage unit 109 generates and stores the user's electronic signature authentication reference information for each pen ID from the storage pen data acquired during the past electronic signature authentication process. ..
- the digital signature authentication reference information generation / storage unit 109 updates and regenerates the digital signature authentication reference information by using the storage pen data acquired at that time each time the digital signature authentication process is executed. Therefore, the electronic signature authentication reference information stored in the electronic signature authentication reference information generation / storage unit 109 reflects the user's long-standing habits and changes in the writing trace, and is expected to improve the accuracy of the electronic signature authentication. can.
- the character recognition unit 107 is handwritten with the storage pen data received from the storage pen data received from the reception information analysis unit 103 and the character authentication table data stored in the character recognition database update / storage unit 110. Recognize text character electronic data corresponding to the input character. The character recognition unit 107 also recognizes characters in the writing marks of handwritten input characters based on changes in the coordinates, pressure values, and tilt angles that are information related to the writing marks in the pen data for storage. conduct.
- the character recognition database update / storage unit 110 combines the characteristic data of the user's handwritten input characters for each pen ID and the text character electronic data from the storage pen data acquired during the past character recognition processing.
- Character recognition table data which is a corresponding table, is generated and stored.
- the character recognition database update / storage unit 110 updates the feature data of the user's handwritten input character for each pen ID by using the storage pen data acquired at that time each time the character recognition process is executed. Then, the character recognition table data is updated. Therefore, the character recognition table data stored in the character recognition database update / storage unit 110 reflects the user's long-standing habits and changes in the writing trace, and always performs character recognition more accurately. be able to.
- the character recognition unit 107 supplies the character recognition result information to the service request response generation unit 108.
- the service request response generation unit 108 receives the character recognition result information from the character recognition unit 107, the service request response generation unit 108 transmits the storage pen data including the function ID of the character recognition application to the other party.
- the electronic pen used for electronic signature and character recognition is different for each user and is determined for each user.
- the electronic signature and character recognition application when the pen input device transmits the storage pen data including the function ID, the personal ID that identifies the individual to be authenticated should be included in the pen ID. Therefore, even if the user uses an electronic pen having a different pen ID, the user's electronic signature can be authenticated.
- the electronic signature authentication reference information for each personal ID is generated and stored in the electronic signature authentication reference information generation / storage unit 109, and the individual is stored in the character recognition database update / storage unit 110.
- Character recognition table data for each ID is generated and stored. Then, the electronic signature authentication unit executes the electronic signature authentication for each user identified by the personal ID, and the character recognition unit 107 executes the character recognition for each user identified by the personal ID.
- FIGS. 11 to 14 are diagrams showing a flowchart for explaining a processing operation example of the server device 1.
- the control unit 101 of the server device 1 is the reception information analysis unit 103, the information provision request handling processing unit 105, the electronic signature authentication unit 106, the character recognition unit 107, and the service request of FIG.
- the case where the function of each part of the answer generation unit 108 is executed by the software program will be described.
- the control unit 101 of the server device 1 determines whether or not the storage pen data has been received through the network connection unit 102 (step S201), and when it is determined that the storage pen data has not been received, requests information provision. It is determined whether or not the data has been received (step S207). When it is determined in step S207 that the information provision request has not been received, the control unit 101 returns the process to step S201.
- step S201 When it is determined in step S201 that the storage pen data has been received through the network connection unit 102, the control unit 101 detects the function ID included in the storage pen data (step S202), and the function ID is electronic. It is determined whether or not it is the function ID of the signature application (step S203). When it is determined in step S203 that the detected function ID is not the function ID of the electronic signature application, the control unit 101 determines whether or not the detected function ID is the function ID of the character recognition application (step S204). ..
- step S204 When it is determined in step S204 that the detected function ID is not the function ID of the character recognition application, the control unit 101 detects the pen ID included in the received storage pen data (step S205). Then, the control unit 101 stores the received storage pen data in the pen ID corresponding area detected in step S205 of the storage pen data storage unit 104 (step S206). After step S206, the control unit 101 returns the process to step S201, and repeats the process after this step S201.
- step S203 When it is determined in step S203 that the function ID detected in step S202 is the function ID of the electronic signature application, the control unit 101 detects the pen ID included in the received storage pen data (FIG. 12). Step S211), the digital signature authentication reference information corresponding to the detected pen ID is acquired from the digital signature authentication reference information generation / storage unit 109 (step S212).
- control unit 101 executes an electronic signature authentication process for the received storage pen data using the acquired electronic signature authentication reference information (step S213), and includes the authentication result in the electronic authentication function ID.
- the storage pen data is transmitted to the other party to which the data has been transmitted (step S214).
- control unit 101 stores all of the received pen data for storage including the function ID of the electronic authentication application in the storage area of the storage pen data storage unit 104 corresponding to the pen ID detected in step S211 (step). S215).
- control unit 101 uses the storage pen data including the function ID of the received electronic authentication application to perform digital signature authentication corresponding to the pen ID detected in step S211 of the electronic signature authentication reference information generation / storage unit 109.
- the reference information is updated (step S216).
- the control unit 101 returns the process to step S201, and repeats the process after this step S201.
- step S204 When it is determined in step S204 that the detected function ID is the function ID of the character recognition application, the control unit 101 detects the pen ID included in the received storage pen data (step S221 in FIG. 13). , The character recognition table data corresponding to the detected pen ID is acquired from the character recognition database update / storage unit 110 (step S222).
- control unit 101 executes character recognition processing for the received storage pen data using the acquired character recognition table data (step S223), and includes the character recognition result as the function ID of the character recognition application.
- the storage pen data is transmitted to the other party (step S224).
- control unit 101 stores all of the storage pen data including the received character recognition application function ID in the storage area of the storage pen data storage unit 104 corresponding to the pen ID detected in step S221 (step). S225).
- control unit 101 uses the storage pen data including the function ID of the received character recognition application, and uses the character recognition table corresponding to the pen ID detected in step S221 of the character recognition database update / storage unit 110. Update the data (step S226). After step S226, the control unit 101 returns the process to step S201, and repeats the process after this step S201.
- step S207 of FIG. 11 the control unit 101 determines whether or not the keyword included in the received information provision request is only the pen ID (step S231 of FIG. 14). ). When it is determined in step S231 that the keyword is only the pen ID, the control unit 101 collects all the storage pen data associated with the pen ID and stored from the storage pen data storage unit 104. It is acquired and transmitted to the other party who has requested information provision (step S232). After this step S232, the control unit 101 returns the process to step S201 and repeats the processes after this step S201.
- step S233 when it is determined in step S231 that the keyword included in the received information provision request is not only the pen ID, it is determined whether or not the keyword is the pen ID and the function ID (step S233).
- the control unit 101 is associated with the pen ID and is stored as containing the function ID. All of the above is acquired from the storage pen data storage unit 104 and transmitted to the other party who requested the information provision (step S234). After this step S234, the control unit 101 returns the process to step S201, and repeats the process after this step S201.
- step S235 when it is determined in step S233 that the keyword included in the received information provision request is not the pen ID and the function ID, it is determined whether or not the keyword is the pen ID and the designated period (step S235).
- the designated period may be specified as a period from a certain time point (the time point can be specified by year, month, day, hour, minute, second) to another time point, or may be specified as a specific time point.
- the control unit 101 is associated with the pen ID and is stored including the corresponding time information within the designated period. All of the stored pen data is acquired from the storage pen data storage unit 104 and transmitted to the other party who has requested information provision (step S236). After this step S236, the control unit 101 returns the process to step S201, and repeats the process after this step S201.
- step S235 when it is determined in step S235 that the keyword included in the received information provision request is not the pen ID and the designated period, it is determined whether or not the keyword is the pen ID and the designated place (step S237).
- the designated place may be the designation of a specific place (specific position information) or the designation of a predetermined position range. In this case, for example, when the position range is specified as a circular range, the center position and the radius from the center position are specified, and when the rectangular range is specified, the two diagonal positions of the rectangular range are specified. It is designated. Further, by designating a plurality of corner positions, it is also possible to specify a range connecting the plurality of corner positions with a straight line.
- step S237 When it is determined in step S237 that the keyword is a pen ID and a designated place, the control unit 101 is associated with the pen ID and includes the position information corresponding to the designated place or the designated range. All of the stored pen data for storage is acquired from the pen data storage unit 104 for storage and transmitted to the other party who has requested information provision (step S238). After this step S238, the control unit 101 returns the process to step S201, and repeats the process after this step S201.
- step S237 when it is determined in step S237 that the keyword included in the received information provision request is not the pen ID and the designated place, the control unit 101 determines whether the keyword is the pen ID, the designated period, and the designated place. (Step S239).
- the designated period and designated place are as described above.
- step S239 When it is determined in step S239 that the keyword is a pen ID, a designated period, and a designated place, the control unit 101 is associated with the pen ID and includes the corresponding time information within the designated period. All of the accumulated pen data including the position information corresponding to the specified location or within the specified range is acquired from the storage pen data storage unit 104 and transmitted to the other party who requested the information provision. (Step S240). After this step S238, the control unit 101 returns the process to step S201, and repeats the process after this step S201.
- step S239 when it is determined in step S239 that the keywords included in the received information provision request are not the pen ID, the designated period, and the designated place, the control unit 101 determines that the other keywords are included.
- the process corresponding to the information acquisition request for the keyword of is executed (step S241). After this step S241, the control unit 101 returns the process to step S201, and repeats the process after this step S201.
- each of the storage pen data acquired from the server device 1 includes a function ID. Therefore, in an information processing device such as a PC that has acquired the storage pen data, a processing function for processing the storage pen data can be specified and activated based on the function ID, and the activated processing can be performed. It is possible to easily restore the processing result of the storage pen data by processing the storage pen data using the function.
- the processing function identified by the function ID includes not only the processing application but also the desktop processing function (OS function), so that the user on the desktop display screen. You can also reproduce the history of inputting instructions from the electronic pen.
- the processing function of the desktop is used to store the pen data when no processing is executed for the instruction input of the electronic pen as the storage pen data. It is possible to reproduce the situation where the user is operating the electronic pen on the desktop while thinking or hesitating.
- the storage pen data includes time information (time stamp) when the storage pen data is acquired. Therefore, the information processing device such as a personal computer that has acquired the storage pen data uses the processing function (OS and application) corresponding to the function ID to order the storage pen based on the time information included in the storage pen data. By executing the data processing, it is possible to restore the flow in which the storage pen data was processed.
- time stamp time stamp
- OS and application processing function
- a continuous pen data group including the same function ID can be grasped as a group of pen data to be processed by the function ID.
- the processing result of the pen data of the group can be restored.
- the information providing requester when the information providing requester includes the pen ID as the keyword of the information acquisition request, the information providing requester is identified by the pen ID. It is possible to acquire all of the pen data instructed and input in the past by the specific electronic pen (see step S232). Therefore, by reproducing the information processing by the acquired pen data for storage, it is possible to reproduce when, where, and what kind of information processing was performed by the user of the electronic pen with the pen ID using the pen data. It is convenient to know.
- the information providing requester who has acquired the storage pen data provided from the server device 1 in step S234 reproduces the storage pen data including the keywords of the pen ID and the function ID, and thereby the electronic pen of the pen ID. It is convenient for the user of the above to be able to recognize when, where, and how the processing function identified by the function ID is executed.
- the information providing requester who received the storage pen data provided from the server device 1 in step S236 is the user of the electronic pen of the pen ID, where and what processing function within the designated period. It is convenient to know if you started and processed.
- the information providing requester who acquired the storage pen data provided from the server device 1 in step S236 is the user of the electronic pen of the pen ID within the designated period and at the designated place. , It is convenient to know what kind of processing function was activated and processed.
- auxiliary processing is configured to be executed by the server device, and the storage pen data including the function ID is sent to the server device so that the server device is automatically executed. be able to.
- the server device has a function of causing the server device to generate auxiliary information for executing a part of the processing of the processing function using a large amount of accumulated pen data for storage, and to execute the auxiliary processing using the auxiliary information.
- the server device by sending the storage pen data including the function ID to the server device, it is possible to perform processing in cooperation with the server device.
- an area in which the instruction input of the electronic pen is not transmitted to the server device 1 as storage pen data is provided. If it is provided, the user can also input input information with an electronic pen that he / she does not want to accumulate.
- the storage pen data is transmitted to the server device 1 without processing the pen data based on the instruction input by the electronic pen 21C. Later, the storage pen data can be acquired, information processing can be executed using the function ID included in the storage pen data, and the processing result can be obtained.
- the handwriting written at the test site when taking the test and the handwriting when signing the contract are often different from the normal handwriting even for the same person.
- the way to hold and hold the brush is different from the way to write, and the way to hold and the strength of the pen changes depending on the pencil drawing, oil painting, drawing, etc. Come on.
- the function ID for identifying the processing application is included in each of the pen data, what kind of environment is used by a person who inputs writing or drawing by referring to the function ID. It becomes easy to know the input method depending on the situation, the way the pen is held, and the degree of concentration.
- the server device 1 is configured to have not only a function of accumulating storage pen data, but also a function of executing an electronic authentication service and a character recognition service, and a function of executing an information providing service.
- the server device 1 may have only the function of accumulating the storage pen data, and other service functions may be executed by a separate server device using the storage pen data of the server device 1.
- the server device 1 has a function of accumulating storage pen data and a function of executing an information providing service, and the functions of the electronic authentication service and the character recognition service are provided by a separate server device for storing the server device 1. It may be executed using pen data.
- the functions for executing the electronic authentication service and the character recognition service may of course be configured to be executed by separate server devices using the storage pen data of the server device 1.
- the storage pen data that is the same as the storage pen data included in the request of is a server device directly from the pen input device or via a separate server device that executes the functions of the electronic authentication service and the character recognition service. It is sent to 1 and stored in the storage pen data storage unit 104.
- the communication network NW is not limited to the Internet as in the example of FIG. 1, but may be an intranet such as WAN (Wide Aria Network) or LAN (Local Aria Network). Further, it is not necessary to provide a plurality of pen input devices for the pen data storage server device, and the number of pen input devices may be one. Further, the communication network may be wired or wireless.
- the pen data storage device does not have a system configuration consisting of a server device and a pen input device connected through a communication network as in the above-described embodiment, but a pen input device and a server.
- a pen input device and a server.
- the processing function corresponding to the function ID included in the storage pen data is not limited to the case of the above example.
- the pen input device consists of a pad-type terminal and an electronic pen for executing test applications such as entrance examinations, qualification tests, and learning effect tests
- the pad-type terminal is a server for question information.
- Receive from the device detect the input of the answer by the electronic pen to the question, generate the storage pen data including the function ID of the test application, and send the generated answer storage pen data to the server device.
- the electronic pen is dedicated to each of the subjects, and the pen ID is associated with each of the subjects.
- the pen ID and the storage pen data including the function ID of the test application can be collected to create a test database for each subject, and the learning effect of the subject can be easily confirmed.
- Pen data storage server device 2A, 2B, 2C ... Pen input device, 21A, 21B, 21C ... Electronic pen, 22A ... Tablet, 22B ... Pad type terminal, 22C ... Information processing terminal, 23A ... PC, 23AP ... Display Screen, 221A ... Position detection sensor, NW ... Communication network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
ペンデータが、どのような用途で入力されたデータであるかを確認するために、ペンデータの処理結果を復元できるようにペンデータを蓄積できる。 電子ペンにより指示入力された位置の座標データを少なくとも含むペンデータを、当該ペンデータの単位で蓄積するペンデータ蓄積装置である。蓄積されるペンデータのそれぞれは、当該ペンデータの処理機能を識別するための機能識別情報を含む。
Description
この発明は、電子ペンにより指示入力された位置の座標データを含むペンデータを蓄積するペンデータ蓄積装置に関する。
近年、電子機器の入力手段として電子ペンと位置検出装置との組み合わせからなるものが用いられることが多くなっている。位置検出装置は、電子ペンにより指示入力された位置の座標を検出する機能を備える。そして、位置検出装置は、電子ペンによる指示位置の座標のほか、電子ペンのペン先に印加される筆圧値、電子ペンの傾き角、ペン先の高さ(入力面からの高さ)なども検出することができるものも多い。
位置検出装置で検出された位置の座標、筆圧値、傾き角、高さ、指示入力の時間などを含む上記のようなペンデータは、位置検出装置と一体の、あるいは別体の情報処理装置において処理され、その時間順の処理結果データとして、例えば筆記跡データや絵画の描画データが生成される。そして、情報処理装置では、生成された筆記跡データにより文字画像が、生成された描画データにより描画像が、表示画面に表示されるなどの処理がなされる。この場合に、筆圧値や傾き角などは、文字画像や描画像の線の太さや、色の濃淡などに反映される。
情報処理装置により処理されて生成された筆記跡データや描画データなどの電子データは、一般的には、当該情報処理装置内のメモリにファイル単位で記憶される。この場合に、情報処理装置では、筆記跡データや描画データのファイルは、処理アプリケーションを示す拡張子がファイル名に付加されて記憶及び管理される(特許文献1(特開2015-109052号公報)参照)。
また、特許文献2(特開2019-136513号公報参照)には、ファイル単位ではなく、上記のようなペンデータに、電子ペンの使用者の血圧や脈拍、体温などの生体情報を関連付けたデータを、大量に収集することに基づいて、使用者の電子ペンによる指示入力時の感情状態を推定するシステムが提案されている。
すなわち、この特許文献1の感情推定システムでは、ペンデータと生体情報とが関連付けられた大量のデータ(ビックデータ)を蓄積して、生体情報から導かれる感情と、その感情の時のペンデータの特徴などを対応付けた感情データベースを作成しておく。そして、感情推定装置は、感情状態の取得要求を含むペンデータが送られてきたときには、感情データベースを参照して、取得要求に含まれるペンデータの特徴に対応する感情状態を検出して、感情状態の取得要求側に回答するようにする。
近年、ペンデータなどの電子化データを、大容量の記憶容量を備えるサーバ装置に蓄積し、適宜なタイミングで、過去に生成されたデータを取り出して利用することができるようになっている。この場合に、インターネット上のサーバ装置に蓄積するクラウドサービスも利用されるようになってきている。
上述のように、ペンデータは、一般的には、情報処理装置における処理アプリケーションの拡張子をファイル名に付加してファイル単位で記憶され、管理される。サーバ装置での電子データの蓄積方法として、このファイル単位でのペンデータの蓄積を行った場合、ファイル内の個々のペンデータを用いた処理を再現したいときには、ファイルを開いてペンデータを取り出す必要があり、面倒である。
この点、特許文献2のようにペンデータのそれぞれを、蓄積するようにすれば、ファイルを開く処理は不要となり、ペンデータのそれぞれに迅速にアクセスすることができる。しかしながら、この場合のペンデータは、ファイルの場合のような処理アプリケーションの拡張子などが対応付けられて蓄積されていないので、当該ペンデータがどのような処理アプリケーションで処理されるべきであるかは不明である。そのため、それらのペンデータを適切な処理アプリケーションで処理することが困難であり、それらのペンデータが、どのような用途で入力されたデータであるかを再現して確認することができない問題がある。
また、ペンデータのそれぞれがどのような処理アプリケーションで処理されるべきであるかが不明であることから、同じ処理アプリケーションで処理すべきペンデータがどれであるかも不明であり、その点でも、ペンデータを適切に再現することができないという問題がある。
この発明は、以上の問題点を解決することができるようにしたペンデータ蓄積装置を提供することを目的とする。
上記の課題を解決するために、
電子ペンにより指示入力された位置の座標データを少なくとも含むペンデータを、前記ペンデータの単位で蓄積するペンデータ蓄積装置であって、
蓄積される前記ペンデータのそれぞれは、前記ペンデータの処理機能を識別するための機能識別情報を含む
ことを特徴とするペンデータ蓄積装置を提供する。
電子ペンにより指示入力された位置の座標データを少なくとも含むペンデータを、前記ペンデータの単位で蓄積するペンデータ蓄積装置であって、
蓄積される前記ペンデータのそれぞれは、前記ペンデータの処理機能を識別するための機能識別情報を含む
ことを特徴とするペンデータ蓄積装置を提供する。
上述の構成のペンデータ蓄積装置によれば、ペンデータは、当該ペンデータの単位で蓄積されるので、ファイル単位で蓄積される場合のように、取り出して利用する際に、ファイルを開く処理を不要とすることができる。また、ペンデータには、そのペンデータの処理機能を識別するための機能識別情報が含まれているので、ペンデータのそれぞれを取得したときに、機能識別情報で特定される処理機能を用いて、当該ペンデータを処理することで、ペンデータの処理結果を再現することができる。
以下、この発明によるペンデータ蓄積装置の実施形態を、図を参照しながら説明する。図1は、この発明によるペンデータ蓄積装置の実施形態の概要を説明する図である。この実施形態のペンデータ蓄積装置は、ネットワークシステムの構成を備え、この例では、ペンデータ蓄積サーバ装置1に対して、インターネットで構成される通信ネットワークNWを通じて、複数のペン入力装置2A,2B,2C,・・・が接続されて構成されている。
ペン入力装置2A,2B,2C,・・・のそれぞれは、種々のタイプのもので構成することができる。図1に示したペン入力装置2A,2B,2Cは、互いに異なるタイプの構成を備えるペン入力装置の例である。
[ペン入力装置2Aの構成例]
ペン入力装置2Aは、電子ペン21Aと、位置検出装置部の例を構成するタブレット22Aと、情報処理装置部の例を構成するパーソナルコンピュータ(以下PCと略称する)23Aとからなる。このペン入力装置2Aにおいては、PC23Aが備えるディスプレイ23Adspの表示画面の表示領域と、タブレット22Aが備える位置検出センサ221Aの位置検出領域とは対応付けられている。使用者は、ディスプレイ23Adspの表示画面を見ながら、電子ペン21Aによりタブレット22Aの位置検出センサ221Aの入力面において、指示入力を行うことができる。
ペン入力装置2Aは、電子ペン21Aと、位置検出装置部の例を構成するタブレット22Aと、情報処理装置部の例を構成するパーソナルコンピュータ(以下PCと略称する)23Aとからなる。このペン入力装置2Aにおいては、PC23Aが備えるディスプレイ23Adspの表示画面の表示領域と、タブレット22Aが備える位置検出センサ221Aの位置検出領域とは対応付けられている。使用者は、ディスプレイ23Adspの表示画面を見ながら、電子ペン21Aによりタブレット22Aの位置検出センサ221Aの入力面において、指示入力を行うことができる。
タブレット22Aは、電子ペン21Aによる指示入力及び筆圧値などを検出してペンデータを生成してPC23Aに供給する。この例では、タブレット22Aは、ペンデータを生成した時間(年月日時分秒)の情報を、ペンデータに含めて生成する。
PC23Aは、受け取ったペンデータに対して使用者により指定された情報処理を施して、その処理結果をディスプレイ23Adspの表示画面に表示する。また、PC23Aは、受け取ったペンデータに施した情報処理機能を識別する機能識別情報(以下、機能IDという)を含めて、蓄積用ペンデータを生成し、生成した蓄積用ペンデータを、通信ネットワークNWを通じてペンデータ蓄積サーバ装置1に送信する。この例では、PC23Aは、蓄積用ペンデータに、情報処理を行った場所の位置情報をも含めるようにする。なお、情報処理を行う場所の位置情報は、タブレット22Aで含めるように構成することもできる。
図2は、この例のペン入力装置2Aの構成を説明するためのブロック図であり、この図2を参照しながら、電子ペン21A、タブレット22A及びPC23Aの構成例を説明する。
<電子ペン21Aの構成例>
この例の電子ペン21Aは、信号発信部211Aと、筆圧検出部212Aと、サイドスイッチ213Aと、ペン識別情報(以下ペンIDという)発生部214Aと、制御部215Aとを備える。
この例の電子ペン21Aは、信号発信部211Aと、筆圧検出部212Aと、サイドスイッチ213Aと、ペン識別情報(以下ペンIDという)発生部214Aと、制御部215Aとを備える。
この例では、電子ペン21Aは、電磁誘導方式の電子ペンとされており、信号発信部211Aは、共振回路を備える。
筆圧検出部212Aは、電子ペン21Aをタブレット22Aの入力面にペン先部を押し当てるときに当該ペン先部に印加される筆圧を検出するもので、圧力を例えば静電容量の変化として検出する周知のもので構成されている。そして、筆圧検出部212Aで構成される可変容量コンデンサが信号発信部211Aの共振回路の一部を構成するようにされ、筆圧値は、共振回路の共振周波数の変化としてタブレット22Aに伝達される。なお、筆圧検出部212Aは、インダクタンスの変化や抵抗の変化などで検出するように構成することもできる。
サイドスイッチ213Aは、使用者の操作によりオン・オフされるスイッチである。この例では、スイッチのオン・オフにより、信号発信部211Aの共振回路に対するコンデンサの接続、非接続を制御して、共振回路の共振周波数を変化させることで、サイドスイッチ213Aの操作状態をタブレット22Aに伝達するように構成されている。このサイドスイッチ213Aの操作は、例えばPC23Aに対するマウスによるクリック操作と同様の操作指示となるように構成されている。
ペンID発生部214Aは、電子ペン21Aのそれぞれを識別するための固有の識別情報であるペンIDを発生するもので、ペンIDをするメモリを備えている。この例では、制御部215Aは、ペンIDを複数ビットのデジタル信号として、このデジタル信号により、信号発信部211Aの共振回路の動作を断続することで、ペンIDのデジタル信号をASK(Amplitude Shift Keying)変調信号あるいはOOK(On・Off・Keying)変調信号としてタブレット22Aに伝達するようにする。
なお、筆圧検出部212Aで検出された筆圧値、サイドスイッチ213Aの操作状態の情報も、共振回路の共振周波数の変化としてタブレット22Aに伝達するのではなく、ペンIDと同様にして、それぞれデジタル信号としてASK変調信号やOOK変調信号によりタブレット22Aに伝達するように構成することもできる。
<タブレット22Aの構成例>
タブレット22Aは、この例では、電磁誘導方式の位置検出センサ221Aを備える。この例では、位置検出センサ221Aは、図示は省略するが、矩形形状のフレキシブル基板の横方向及び縦方向(座標のX軸方向及びY軸方向に対応)にそれぞれ複数個のループコイルが配列されて構成されている。したがって、位置検出センサ221Aは、矩形の位置検出領域を備える。
タブレット22Aは、この例では、電磁誘導方式の位置検出センサ221Aを備える。この例では、位置検出センサ221Aは、図示は省略するが、矩形形状のフレキシブル基板の横方向及び縦方向(座標のX軸方向及びY軸方向に対応)にそれぞれ複数個のループコイルが配列されて構成されている。したがって、位置検出センサ221Aは、矩形の位置検出領域を備える。
そして、位置検出センサ221Aは、電子ペン21Aの共振回路と電磁誘導結合することで、電子ペン21Aとの間で信号をインタラクションする。そして、位置検出センサ221Aで検出(受信)した信号は、位置検出回路222A、筆圧検出回路223A、傾き検出回路224A、サイドスイッチ状態検出回路225A及びペンID検出回路226Aのそれぞれに供給される。
位置検出回路222Aは、信号を受信したループコイルの位置を検知することで、電子ペン21Aにより指示入力された位置の座標を検出し、検出した位置の座標(位置検出センサ221Aの入力面からの高さの情報を含む)をペンデータ生成回路227Aに供給する。
筆圧検出回路223Aは、この例では、受信信号の周波数の変化を検出することで、電子ペン21Aのペン先に印加されている筆圧を検出し、検出した筆圧値をペンデータ生成部227Aに供給する。
傾き検出回路224Aは、この例では、位置検出センサ221Aの検出領域内における電子ペン21Aからの信号を受信したエリアのパターン形状に応じて、電子ペン21Aの軸心方向と位置検出センサ221Aの入力面とのなす角を検出し、それを電子ペン21Aの傾き角として検出する。そして、傾き検出回路224Aは、検出した傾き角の情報をペンデータ生成部227Aに供給する。
サイドスイッチ状態検出回路225Aは、この例では、受信信号の周波数の変化を検出することで、電子ペン21Aのサイドスイッチ213Aの操作状態を検出し、検出したサイドスイッチ213Aの操作状態の情報をペンデータ生成部227Aに供給する。
ペンID検出回路226Aは、位置検出センサ221Aを通じて電子ペン21Aから受信した信号からペンIDのASK変調信号又はOOK変調信号を検出して、ペンIDを復調する。そして、ペンID検出回路226Aは、復調したペンIDをペンデータ生成部227Aに供給する。
ペンデータ生成部227Aは、位置検出回路222Aからの電子ペン21Aにより指示入力された位置の座標、筆圧検出部212Aからの筆圧値、傾き検出回路224Aからの傾き角の情報、サイドスイッチ状態検出回路225Aからのサイドスイッチ213Aの操作状態の情報及びペンID検出回路226AからのペンIDを順に並べて含むと共に、これに、時計部228Aからの時間情報をさらに含めてペンデータを生成する。そして、ペンデータ生成回路227Aは、生成したペンデータを、送出部229Aを通じてPC23Aに送る。
<PC23Aの構成例>
この実施形態のペンデータ蓄積装置におけるPC23Aの主たる構成の例は、図2に示すように、CPU(Central Processing Unit)とプログラムメモリ及びワークエリアメモリとを含む制御部231Aに対して、システムバス230Aを通じて、ペンデータ取込部232A、情報処理部233A、表示制御部234A、メモリ235A、現在位置情報発生部236A、蓄積用ペンデータ生成部237A、ネットワーク接続部238A、のそれぞれが接続されて構成されている。
この実施形態のペンデータ蓄積装置におけるPC23Aの主たる構成の例は、図2に示すように、CPU(Central Processing Unit)とプログラムメモリ及びワークエリアメモリとを含む制御部231Aに対して、システムバス230Aを通じて、ペンデータ取込部232A、情報処理部233A、表示制御部234A、メモリ235A、現在位置情報発生部236A、蓄積用ペンデータ生成部237A、ネットワーク接続部238A、のそれぞれが接続されて構成されている。
ペンデータ取込部232Aは、タブレット22Aからのペンデータを取り込み、情報処理部233A及び蓄積用ペンデータ生成部237Aに転送する。
情報処理部233Aは、デスクトップの処理機能(OS(Operating System)の機能)と、この例では複数個のアプリケーションソフトウェア(以下、アプリと略称する)の処理機能のそれぞれを実行する。この場合に、情報処理部233Aは、この例では、使用者による電子ペン21Aを用いた操作指示に応じて処理機能を実行する。複数個のアプリのうち、使用者により起動されたアプリの処理機能が実行される。PC23Aは、この例では、複数個のアプリを起動させて、並行して動作させることができるように構成されている。
表示制御部234Aは、情報処理部233Aでの処理結果の情報に基づいた表示画像、例えば電子ペン21Aによる筆記跡の画像をディスプレイ23Adspの表示画面に表示する。メモリ235Aには、情報処理部233Aでの処理結果の情報が、使用者の保存指示に基づいて記憶される。
現在位置情報発生部236Aは、PC23Aが設置されている場所の位置情報(現在位置の情報)を発生する。この現在位置情報発生部236Aは、例えばGPS(Global Positioning System)受信機を備えて、現在位置を検出することで現在位置の情報を発生するようにしてもよいし、例えば使用者により入力された現在位置の位置情報を記憶するメモリであってもよい。
蓄積用ペンデータ生成部237Aは、ペンデータ取込部232Aからのペンデータに、現在位置情報発生部236Aからの現在位置の情報と、情報処理部233Aからのペンデータを処理する処理機能の機能IDとを含めて、蓄積用ペンデータを生成する。そして、蓄積用ペンデータ生成部237Aは、生成した蓄積用ペンデータを、ネットワーク接続部238Aを通じて、通信ネットワークNWに接続されているペンデータ蓄積サーバ装置1に送信する。
ネットワーク接続部238Aは、この例では、光回線などに有線で接続されて、通信ネットワークに接続される構成とされる。なお、ネットワーク接続部238Aは、Wi-Fi(登録商標)などの無線ネットワークを通じて、通信ネットワークNW(インターネット)に接続される構成とすることもできる。
<PC23Aの主要な処理動作の説明>
情報処理部233Aは、この例では、ペンデータを処理する処理機能を、ペンデータに含まれる位置座標、筆圧値、サイドスイッチ213Aの状態情報などに基づいて決定する。タブレット22A以外の操作入力部が存在する場合には、その操作入力部からの操作情報によって、予め、ペンデータを処理する処理機能を起動させて、決定しておく場合もある。そして、PC23Aは、その決定した処理機能によりペンデータを処理し、そのペンデータを処理した処理機能の機能IDをペンデータに含めて、蓄積用ペンデータを生成し、ペンデータ蓄積サーバ装置1(以下、サーバ装置1という)に送信する。
情報処理部233Aは、この例では、ペンデータを処理する処理機能を、ペンデータに含まれる位置座標、筆圧値、サイドスイッチ213Aの状態情報などに基づいて決定する。タブレット22A以外の操作入力部が存在する場合には、その操作入力部からの操作情報によって、予め、ペンデータを処理する処理機能を起動させて、決定しておく場合もある。そして、PC23Aは、その決定した処理機能によりペンデータを処理し、そのペンデータを処理した処理機能の機能IDをペンデータに含めて、蓄積用ペンデータを生成し、ペンデータ蓄積サーバ装置1(以下、サーバ装置1という)に送信する。
図3は、PC23Aのディスプレイ23Adspの表示画面23APの表示例を示す図である。以下、この図3を参照しながら、ペンデータを処理する処理機能の決定手順及び蓄積用ペンデータの生成、サーバ装置1への送信について説明する。
なお、図3においては、電子ペン21Aのペン先部による指示位置が、電子ペン21Aの模式図形のペン先位置(以下、ペン指示位置という)として示されている。使用者は、タブレット22Aの位置検出センサ221Aの入力面において、電子ペン21Aを用いて指示入力操作をする。前述したように、タブレット22Aの位置検出センサ221Aの入力面の検出領域は、表示画面23APの表示領域に対応している。したがって、PC23Aのディスプレイ23Adspの表示画面23APにおいては、電子ペン21Aのペン先部による位置検出センサ221Aの入力面上における指示位置に対応する表示位置に、電子ペン21Aのペン先位置が表示される。
図3(A)は、PC23Aにおけるデスクトップ画面の一例を示し、図の例では、複数個のアプリのショートカットアイコンSIと、使用者により起動された一つのアプリの処理用ウインドウW1とが表示されている。
この図3(A)の例のデスクトップ画面において、ペン指示位置MP1及びMP2で示すように、使用者が、電子ペン21Aにより、アプリの処理用ウインドウW1の領域以外の領域で指示入力をしたときには、PC23Aの情報処理部233Aは、その指示入力はデスクトップに対するものとして、デスクトップの処理機能によりその指示入力のペンデータを処理する。
この場合に、ペン指示位置MP1又はMP2における電子ペン21Aによる単なる位置指示の操作入力は、情報処理部233Aでは、指示位置がどこであるかを示す表示(カーソル表示)はするが、デスクトップの処理機能による特定の処理は実行させることはない。そして、情報処理部233Aでは、そのペン指示位置MP1又はMP2における位置指示操作に加えて、この例では、電子ペン21Aのサイドスイッチ213Aによりクリック操作に対応する有意な操作がなされたか否かを判断して、当該有意な操作がなされたと判断した場合には、指示位置に応じた処理を行う。
すなわち、PC23Aの情報処理部233Aは、ペンデータから、ペン指示位置MP1で示されるショートカットアイコンの表示領域以外の領域における指示入力であって、有意な操作を伴っていると判断したときには、表示画面23APに、プルダウンメニューとして複数の機能項目や設定項目を表示して、そのメニューからの選択入力を待つようにする処理を実行する。
また、PC23Aの情報処理部233Aは、ペンデータから、ペン指示位置MP2で示されるショートカットアイコンの表示領域における指示入力であって、有意な操作を伴っていると判断したときには、その指示入力で指示されたショートカットアイコンに対応するアプリを起動して、そのアプリの処理用のウインドウを、表示画面23APに開く処理を行う。
情報処理部233Aは、ウインドウ管理機能を備えており、アプリを起動して、その処理用ウインドウを開いたときには、そのアプリの処理用ウインドウの表示領域、延いては対応する位置検出センサ221Aの検出領域を管理する。情報処理部233Aは、ウインドウ管理機能により、電子ペン21Aにより指示入力がなされた位置が、開かれている処理用ウインドウの領域内であるか、デスクトップ画面の領域内であるかを、識別する。
図3(A)の例のデスクトップ画面において、ペン指示位置MP3で示すように、使用者が、電子ペン21Aにより、アプリの処理用ウインドウW1の領域内で指示入力したときには、情報処理部233Aは、当該処理用ウインドウW1が対応しているアプリにより、ペンデータの処理を実行する。
そして、PC23Aの蓄積用ペンデータ生成部237Aでは、ペン指示位置MP1又はMP2におけるペンデータについては、現在位置情報発生部236Aからの現在位置の位置情報を場所の情報として含めると共に、デスクトップの処理機能の機能IDを、この例では、当該デスクトップの処理機能により上述のような特定の処理が実行されたか否かに関係なく、含めて蓄積用ペンデータを生成して、サーバ装置1に送信する。
また、PC23Aの蓄積用ペンデータ生成部237Aでは、ペン指示位置MP3におけるペンデータについては、現在位置情報発生部236Aからの現在位置の位置情報を場所の位置情報として含めると共に、処理用ウインドウW1が対応しているアプリの機能IDを含めて蓄積用ペンデータを生成して、サーバ装置1に送信する。
以上のように、デスクトップの処理機能でペンデータが処理されない場合においても、蓄積用ペンデータがサーバ装置1に蓄積される。その結果、蓄積用ペンデータには時間の情報も含まれているので、蓄積用ペンデータが、その時間の経過に沿って読み出されて再処理されたときに、使用者の電子ペン21Aを用いたタブレット22Aの入力面における入力操作に基づくPC23Aでの処理軌跡が、使用者が有効な指示操作をせずに考え中であった時間帯があったことなどを含め、全て再現されることになる。
なお、デスクトップの処理機能でペンデータが処理されない場合には、ペンデータについては蓄積用ペンデータを生成せず、サーバ装置1にも送信しないようにして、蓄積対象から外すようにしてもよい。
図3(B)は、情報処理部233Aの処理により、複数個、図の例では2個のアプリが起動中であって、それぞれの処理用ウインドウW11,W12が、互いのウインドウ領域が重ならない状態で開かれて表示されている状態を示している。また、図3(C)は、同様に、2個のアプリが起動中であって、それぞれの処理用ウインドウW21,W22が開かれているが、その2個の処理用ウインドウW21、W22が、互いのウインドウ領域が一部、重なっている状態で表示されている状態を示している。
前述したように、情報処理部233Aは、ウインドウ管理機能を備えており、このウインドウ管理機能により、起動中のアプリの処理用ウインドウの表示領域、延いては対応する位置検出センサ221Aの検出領域を、1個の場合のみならず、複数個の場合にも管理する。
そして、情報処理部233Aのウインドウ管理機能は、複数個の処理用ウインドウが、互いの重なり領域を生じていても、処理用ウインドウを階層管理することで、電子ペン21Aによる指示入力が、いずれの処理用ウインドウにおける指示入力であるかを判断できるようにしている。すなわち、情報処理部233Aは、複数個の処理用ウインドウが、互いの重なり領域を持って開かれている場合には、最後に電子ペン21Aによる指示入力があった処理用ウインドウを最上層のものとして、優先して処理を行うように管理する。
したがって、図3(B)及び図3(C)において、ペン指示位置MP10及びペン指示位置MP20におけるペンデータについては、図3(A)におけるペン指示位置MP1におけるペンデータと同様に、情報処理部233Aではデスクトップの処理機能によりその処理がなされ、蓄積用ペンデータ生成部237Aではペンデータに、現在位置情報発生部236Aからの現在位置の位置情報が場所情報として含められると共に、デスクトップの処理機能の機能IDが含められて蓄積用ペンデータが生成されて、サーバ装置1に送信される。
また、図3(B)において、ペン指示位置MP11あるいはペン指示位置MP12のペンデータは、情報処理部233Aではアプリの処理用ウインドウW11あるいは処理用ウインドウW12が対応しているアプリにより、そのペンデータの処理がなされる。また、蓄積用ペンデータ生成部237Aでは、ペン指示位置MP11のペンデータについては、処理用ウインドウW11が対応しているアプリの機能IDが、また、ペン指示位置MP12のペンデータについては、処理用ウインドウW12が対応しているアプリの機能IDが、それぞれ含められると共に、さらに、現在位置情報発生部236Aからの現在位置の位置情報が場所情報として含められて蓄積用ペンデータが生成されて、サーバ装置1に送信される。
また、図3(C)におけるペン指示位置MP21の指示入力は、情報処理部233Aでは、処理用ウインドウW21内における指示入力として判断されて、処理用ウインドウW21が対応しているアプリにより、そのペンデータの処理がなされる。そして、蓄積用ペンデータ生成部237Aでは、そのペンデータに、処理用ウインドウW21が対応しているアプリの機能IDと、場所の情報とが含められて、蓄積用ペンデータが生成され、サーバ装置1に送信される。
また、図3(C)において、処理用ウインドウW21と処理用ウインドウW22との重複領域におけるペン指示位置MP22の指示入力は、図3(C)の例では、情報処理部233Aで、ウインドウ管理機能により最上層の処理用ウインドウW22内における指示入力として判断され、その処理用ウインドウW22が対応しているアプリにより、そのペンデータの処理がなされる。そして、蓄積用ペンデータ生成部237Aでは、そのペンデータに、処理用ウインドウW22が対応しているアプリの機能IDと、場所の情報とが含められて、蓄積用ペンデータが生成され、サーバ装置1に送信される。
なお、図3(C)において、処理用ウインドウW22の重複領域ではない領域におけるペン指示位置MP23の指示入力は、情報処理部233Aで処理用ウインドウW22内における指示入力として判断され、その処理用ウインドウW22が対応しているアプリにより、そのペンデータの処理がなされ、蓄積用ペンデータ生成部237Aで、そのペンデータに、処理用ウインドウW22が対応しているアプリの機能IDと、場所の情報とが含められて、蓄積用ペンデータが生成され、サーバ装置1に送信される。
<PC23Aにおけるペンデータの処理動作の流れの例>
以上説明したPC23Aにおけるペンデータの処理動作の流れの例を、図4及び図5のフローチャートを参照して説明する。以下のフローチャートの説明においては、各ステップの動作を、制御部231Aが、図2に示したPC23Aの各部の機能をソフトウェアプログラムにより実行することにより遂行する場合として説明する。
以上説明したPC23Aにおけるペンデータの処理動作の流れの例を、図4及び図5のフローチャートを参照して説明する。以下のフローチャートの説明においては、各ステップの動作を、制御部231Aが、図2に示したPC23Aの各部の機能をソフトウェアプログラムにより実行することにより遂行する場合として説明する。
先ず、制御部231Aは、タブレット22Aからのペンデータを受け付けたか否かを判別し(ステップS101)、受け付けていないと判別したときには、その他の処理を実行し(ステップS102)、その処理後に、ステップS101の処理を戻す。
ステップS101で、タブレット22Aからのペンデータを受け付けたと判別したときには、制御部231Aは、受け付けたペンデータ中の指示入力の位置の座標を検知する(ステップS103)。
次に、制御部231Aは、デスクトップ上でアプリが起動中であるか否かを判別し(ステップS104)、アプリが起動中ではないと判別したときには、検知した位置の座標に対する指示入力は、デスクトップにおける指示入力と認識して、ペンデータのサイドスイッチ213Aの状態情報を参照して、クリック指示などの有意な指示操作を伴っているか否かを判別する(ステップS105)。
ステップS105で、有意な指示操作を伴っていると判別したときには、制御部231Aは、デスクトップの処理機能によりペンデータの処理を実行する(ステップS106)。また、ステップS105で、有意な指示操作を伴っていないと判別したときには、制御部231Aは、指示入力のペンデータは無効な指示であるとして、デスクトップの処理機能による処理をしない(ステップS107)。
制御部231Aは、ステップS106又はステップS107の次には、ステップS108に処理を進め、受け付けたペンデータに、現在位置情報発生部236Aからの現在位置の位置情報が場所情報として含めると共に、デスクトップの処理機能の機能IDを含めて蓄積用ペンデータを生成し、サーバ装置1に送信する(ステップS108)。
次に、制御部231Aは、終了指示を受け付けたか否か判別し、終了指示を受け付けてはいないと判別したときには、処理をステップS101に戻して、このステップS101以降の処理を繰り返し、終了指示を受け付けたと判別したときには、この処理ルーチンを終了する。
そして、ステップS104で、アプリが起動中であると判別したときには、制御部231Aは、ペン指示位置の座標が、起動中のアプリに対応する処理用ウインドウの領域内であるか否か判別する(図5のステップS111)。
ステップS111で、ペン指示位置の座標が、起動中のアプリに対応する処理用ウインドウの領域内ではないと判別したときには、制御部231Aは、ペン指示位置は、デスクトップの領域内であると認識して、処理を図4のステップS105に進め、前述したステップS105以降の処理を実行する。
また、ステップS111で、ペン指示位置の座標が、起動中のアプリに対応する処理用ウインドウの領域内であると判別したときには、制御部231Aは、起動中のアプリは複数個であるか否か判別し(ステップS112)、複数個であると判別したときには、ウインドウ管理機能により、階層情報をも参照して、指示入力された処理用ウインドウを特定し、対応するアプリを特定する(ステップS113)。そして、ステップS113で特定したアプリにより、受け付けたペンデータの処理を実行する(ステップS114)。
ステップS112で、起動中のアプリは複数個ではなく1個であると判別したときには、制御部231Aは、ステップS113を経由せずにステップS114に進んで、その1個のアプリにより、受け付けたペンデータの処理を実行する。
ステップS114の次には、制御部231Aは、受け付けたペンデータに、ステップS114で処理を実行したアプリの機能IDと、場所の位置情報とを含めて蓄積用ペンデータを生成し、サーバ装置1に送信する(ステップS115)。
次に、制御部231Aは、処理を図4のステップS109に進め、このステップS109以降の処理を繰り返す。
なお、以上説明した例では、PC23Aのディスプレイ23Adspの表示画面の全領域を、ペンデータの蓄積対象エリアとして使用するようにした。しかし、他人に知られたくない、あるいは、残しておきたくないペンデータを入力する場合もある。そのような要求を満足するために、PC23Aのディスプレイ23Adspの表示画面の表示領域、延いてはタブレット22Aの位置検出センサ221Aの位置検出領域に、ペンデータの非蓄積エリアを設けるようにしてもよい。
すなわち、図3(D)において、斜線を付して示すリアは、この非蓄積エリアNRである。PC23Aは、この非蓄積エリアにおける電子ペン21Aによる入力指示(図3(D)のペン指示位置MP30参照)を受け付けて、ペンデータのデスクトップやアプリの処理機能により処理は実行をしても、そのペンデータのサーバ装置1への送信及び蓄積はしないようにする。なお、この非蓄積エリアにおける電子ペン21Aによる入力指示に対応するペンデータは、PC23Aにおいて、その処理を必ずしも実行しないように構成してもよい。
なお、以上説明したペン入力装置2Aにおいては、ディスプレイは、PC23Aが備えるようにしたが、タブレット22Aが、ディスプレイを備えるように構成してもよい。その場合には、タブレット22Aでは、位置検出センサ221Aの検出領域と、ディスプレイの表示領域とが重畳するように、位置検出センサ221Aとディスプレイとが重ねられて設けられる。
また、ディスプレイを設けずに、タブレット22Aを、電子ペン21Aによる筆記跡を、用紙や電子ペーパーに残すようにする構成としてもよい。その場合には、用紙や電子ペーパーは、位置検出センサの入力面の上に重ねられる状態で設けられる。そして、筆記跡を用紙に残す構成の場合には、電子ペン21Aには、用紙に筆記跡を形成するボールペンなどの筆記具の機能が設けられ、また、電子ペーパーを用いる場合には、電子ペン21Aは、電子ペーパーに筆記跡を残すようにする機能が設けられる。
なお、図2の例のペン入力装置2Aでは、タブレット22AとPC23Aとは有線で接続するようにしたが、無線接続するようにしてもよい。その場合には、タブレット22Aの送出部229A及びPC23Aのペンデータ取込部232Aは、例えばブルートゥース(登録商標)規格の近距離無線通信手段などの無線通信部を備える構成とされる。
また、上述の例のペン入力装置2Aにおいては、電子ペン21Aによる指示位置の検出のための信号のほかの、筆圧、サイドスイッチ213Aの状態情報、ペンIDの情報などの付加情報も、位置検出センサを通じて、電子ペン21Aからタブレット22Aに伝達するようにした。しかし、電子ペン21Aからの、筆圧、サイドスイッチ213Aの状態情報、ペンIDの情報などの付加情報は、電子ペン21Aによる指示位置の検出のための位置検出用信号とは別個にタブレット22Aに伝達するようにしてもよい。その伝達方法としては、電子ペン21Aとタブレット22Aとを接続ケーブルにより接続する構成であってもよいし、電子ペン21Aとタブレット22Aとに、例えばブルートゥース(登録商標)規格の近距離無線通信手段などの無線通信部を設けて、無線通信するようにしてもよい。なお、付加情報の全てを、位置検出用信号と別個に伝達するのではなく、付加情報の一部は、位置検出用信号とともに位置検出センサを介して伝達するように構成しても勿論良い。
[ペン入力装置2Bの構成例]
ペン入力装置2Bは、電子ペン21Bと、位置検出装置部の機能を備える情報処理装置の例として、例えばパッド型端末22Bとで構成される。このペン入力装置2Bの電子ペン21Bは、図2に示したペン入力装置2Aにおける電子ペン21Aと同様の構成とされ、同様の処理動作を行う。また、パッド型端末22Bの構成は、図2に示したペン入力装置2Aにおけるタブレット22Aの構成と、PC23Aの構成とを一体化したものと等価である。そして、パッド型端末22Bの処理動作は、図2に示したペン入力装置2Aにおけるタブレット22AとPC23Aの処理動作と同様の処理動作を実行するものである。そこで、ここでは、ペン入力装置2Bの構成例及び処理動作例の説明は省略する。
ペン入力装置2Bは、電子ペン21Bと、位置検出装置部の機能を備える情報処理装置の例として、例えばパッド型端末22Bとで構成される。このペン入力装置2Bの電子ペン21Bは、図2に示したペン入力装置2Aにおける電子ペン21Aと同様の構成とされ、同様の処理動作を行う。また、パッド型端末22Bの構成は、図2に示したペン入力装置2Aにおけるタブレット22Aの構成と、PC23Aの構成とを一体化したものと等価である。そして、パッド型端末22Bの処理動作は、図2に示したペン入力装置2Aにおけるタブレット22AとPC23Aの処理動作と同様の処理動作を実行するものである。そこで、ここでは、ペン入力装置2Bの構成例及び処理動作例の説明は省略する。
なお、上述のペン入力装置2A及び2Bにおいては、ペンデータに含める処理機能の機能IDは、情報処理部233Aが、ペンデータを処理する処理機能を決定し、その決定した処理機能の機能IDとした。しかし、次のようにすることで、情報処理部233Aでの処理機能の決定とは関係なく、蓄積用ペンデータ生成部237Aで、取得したペンデータのみから、ペンデータに含める処理機能の機能IDを決定することもできる。
すなわち、上述の実施形態のように、情報処理部233Aがアプリを起動するときに、その処理用ウインドウを、領域を定めて開くようにするのではなく、予め、アプリに対応する処理用ウインドウの領域を固定的に設定しておくようにする。例えば、図6に示すように、ディスプレイ23Adspの表示画面23AP、延いては位置検出センサ221Aの検出領域について、予め、定められた数のアプリ、図6の例では、4個のアプリを用意しておき、それぞれのアプリの処理用ウインドウW41、W42、W43、W44の領域を、互いの領域の重複を排除して、分割して割り当てるようにする。
このようにすれば、蓄積用ペンデータ生成部237Aでは、取得したペンデータの位置座標を参照することで、いずれの処理用ウインドウW41、W42、W43、W44の領域であるかを判別することができ、アプリの機能IDを特定することができる。なお、アプリが起動中でないときには、デスクトップへの指示入力として検出して、当該デスクトップの処理機能の機能IDとする。そのため、蓄積用ペンデータ生成部237Aでは、情報処理部233Aから、アプリが起動中であるか否かを示す情報を取得する。
なお、この例のペン入力装置2Bの場合においても、電子ペン21Bからは、付加情報の全部または一部を、パッド型端末22Bの位置検出センサを介さずに伝達するように構成しても勿論良い。また、ディスプレイを設けずに、パッド型端末22Bを、電子ペン21Bによる筆記跡を、用紙や電子ペーパーに残すようにする構成としてもよい。
なお、上述のペン入力装置2A及び2Bにおいては、電子ペン21A及び電子ペン21B、また、位置検出装置部は、電磁誘導方式の構成としたが、これに限られるものではない。例えば、アクティブ静電容量結合方式の電子ペンと位置検出装置部との構成などとすることができるものである。
[ペン入力装置2Cの構成例]
このペン入力装置2Cは、上述したペン入力装置2Aやペン入力装置2Bのような位置検出センサを用いずに、電子ペンの筆記入力の座標情報を検出することができるように構成した例であり、電子ペン21Cと、情報処理端末22Cとからなる。
このペン入力装置2Cは、上述したペン入力装置2Aやペン入力装置2Bのような位置検出センサを用いずに、電子ペンの筆記入力の座標情報を検出することができるように構成した例であり、電子ペン21Cと、情報処理端末22Cとからなる。
電子ペン21Cは、この例では、2軸あるいは3軸加速度センサやジャイロセンサなどを内蔵しており、使用者が、机の上などの平面において、電子ペン21Cにより筆記入力操作や描画入力操作の振る舞いをすると、電子ペン21Cでは、その振る舞い操作を、加速度センサやジャイロセンサで検出する。そして、電子ペン21Cは、それら加速度センサやジャイロセンサの検出情報を、後述するような付加情報と共に、情報処理端末22Cに伝達する。付加情報としては、上述したペン入力装置2A,2Bと同様に、電子ペン21Cのペン先部に印加される筆圧値、電子ペン21CのペンID、サイドスイッチSsの状態などの情報を含む。
この例では、電子ペン21Cと情報処理端末22Cとは、例えばブルートゥース(登録商標)規格の近距離無線通信手段などの無線通信部を通じてなされる。なお、電子ペン21Cと情報処理端末22Cとを、接続ケーブルで接続するようにしてもよい。
情報処理端末22Cは、この例では、高機能携帯電話端末(以下、スマートフォンという)で構成されており、後述するような、電子ペン21Cからの情報の処理機能が、予め、アプリとしてインストールされている。
情報処理端末22Cは、電子ペン21Cから受信した加速度センサやジャイロセンサの検出情報に基づいて、電子ペン21Cのペン先部の位置座標を連続的に検出する機能を備えると共に、電子ペン21Cの傾き角を検出する。この例のペン入力装置2Cにおける電子ペン21Cのペン先部の位置座標の、情報処理端末22Cにおける検出方法及びその構成については、例えば特許文献:特許第4292927号公報等に開示されているので、ここでは、その詳細な説明は省略する。
そして、情報処理端末22Cは、検出した位置座標と傾き角に加えて、電子ペン21Cから受信した付加情報とからペンデータを生成する。
そして、この例のペン入力装置2Cでは、電子ペン21Cは、自身の電子ペン21Cからの情報について、情報処理端末22Cにおいて、どのような処理機能により処理を実行させるかを指示する機能を備えている。この場合に、処理機能としては、電子ペン21Cからの情報を筆記入力として処理させる筆記入力処理機能、描画入力として処理させる描画入力処理機能、署名入力として処理させる署名入力処理機能、などが選択利用可能である。電子ペン21Cは、この情報処理端末22Cで実行させる処理機能の機能IDを、付加情報に含めて情報処理端末22Cに送信する。
情報処理端末22Cは、電子ペン21Cから受け取った機能IDの処理機能により、生成したペンデータの処理を実行する情報処理部を備える。そして、情報処理端末22Cは、生成したペンデータに、受信した機能IDを加えて蓄積用ペンデータを生成し、生成した蓄積用ペンデータを、通信ネットワークNWを通じてサーバ装置1に送信する機能も備える。
この例のペン入力装置2Cを構成する電子ペン21C及び情報処理端末22Cの、この発明に関連する主要な機能の構成部の例を図7に示す。
<電子ペン21Cの構成例>
すなわち、ペン入力装置2Cの電子ペン21Cは、図7に示すように、筐体内に、この例では、電源部211Cと、通信部212Cと、加速度センサ213Cと、ジャイロセンサ214Cと、機能選択部215Cと、ペンID発生部216Cと、筆圧検出部217Cと、制御部210Cとを収納して備えている。また、電子ペン21Cの筐体には、使用者が操作可能なように、電源スイッチPs、サイドスイッチSs及び機能選択操作子Fsが設けられている。
すなわち、ペン入力装置2Cの電子ペン21Cは、図7に示すように、筐体内に、この例では、電源部211Cと、通信部212Cと、加速度センサ213Cと、ジャイロセンサ214Cと、機能選択部215Cと、ペンID発生部216Cと、筆圧検出部217Cと、制御部210Cとを収納して備えている。また、電子ペン21Cの筐体には、使用者が操作可能なように、電源スイッチPs、サイドスイッチSs及び機能選択操作子Fsが設けられている。
電源部211Cは、図示は省略するが、固定電池あるいは充電式電池を備え、電源スイッチPsの操作により電源オン状態と電源オフ状態とに切り替えられ、筐体内の各部への電源電圧の供給が制御される。
筆圧検出部217Cは、電子ペン21Cのペン先部に印可される筆圧を検出するもので、上述した電子ペン21Aの筆圧検出回路223Aと同様の構成とすることができる。また、ペンID発生部216Cは、上述した電子ペン21AのペンID発生部2114Aと同様の構成とされ、当該電子ペン21Cの識別情報であるペンIDを発生する。
加速度センサ213C及びジャイロセンサ214Cは、電子ペン21Cのペン先部の動きに応じたセンサ出力や、電子ペン21Cの傾きに応じたセンサ出力を発生する。この例では、加速度センサ213Cとしては、例えば3軸センサが用いられる。
機能選択部215Cは、機能選択操作子Fsによる、上述したような複数種の処理機能の中から一つの処理機能を選択する選択操作を受け付けて、その選択された処理機能の機能IDを発生する。機能選択操作子Fsは、ノンロック式押しボタンスイッチや、スライドスイッチ、あるいは、リング状の回転操作子などで構成される。機能選択操作子Fsがノンロック式の押しボタンスイッチである場合には、押しボタンスイッチを押下する毎に、選択される処理機能が変更される。機能選択操作子Fsがスライドスイッチや回転操作子で構成される場合には、そのスライド操作位置あるいは回転操作位置に応じて、処理機能が選択される。なお、図示は省略するが、電子ペン21Cには、その選択した処理機能が何であるかを使用者に呈示する表示部や、印刷標示が設けられている。
制御部210Cは、図示は省略するが、時計部の機能を備えている。そして、制御部210Cは、加速度センサ213C及びジャイロセンサ214Cからのセンサ出力に、当該センサ出力を得た時点の時間情報を付加すると共に、さらに、筆圧検出部217Cで検出された電子ペン21Cのペン先部に印可されている筆圧値と、サイドスイッチSsの状態の情報と、ペンID発生部216CからのペンIDと、機能選択部215Cからの機能IDとを加えた送信情報を生成する。そして、制御部210Cは、生成した送信情報を、通信部212Cを通じて情報処理端末22Cに送信する。
通信部212Cは、この例では、例えばブルートゥース(登録商標)規格の近距離無線通信手段などの無線通信部で構成されている。なお、電子ペン21Cと情報処理端末22Cとは、USB(Universal Serial Bus)ケーブルなどにより有線接続としてもよい。
<情報処理端末22Cの構成例>
情報処理端末22Cは、図7に示すように、CPU及びプログラムメモリ及びワークメモリを備える制御部221Cに対して、システムバス220Cを通じて、通信部222C、ペンデータ生成部223C、情報処理部224C、表示部225C、メモリ226C、現在位置検出部227C、ネットワーク接続部228C、のそれぞれが接続されて構成されている。
情報処理端末22Cは、図7に示すように、CPU及びプログラムメモリ及びワークメモリを備える制御部221Cに対して、システムバス220Cを通じて、通信部222C、ペンデータ生成部223C、情報処理部224C、表示部225C、メモリ226C、現在位置検出部227C、ネットワーク接続部228C、のそれぞれが接続されて構成されている。
通信部222Cは、電子ペン21Cの通信部212Cと無線通信するためのもので、この例では、ブルートゥース(登録商標)規格の近距離無線通信手段などの無線通信部で構成されている。通信部222Cは、この例では、電子ペン21Cから受信した情報を、ペンデータ生成部223Cに供給する。
ペンデータ生成部223Cは、通信部222Cから取得した加速度センサ213C及びジャイロセンサ214Cのセンサ出力に基づいて、電子ペン21Cのペン先部の座標を検出し、その移動軌跡として筆記跡の連続座標を検出する。また、ペンデータ生成部223Cは、加速度センサ213C及びジャイロセンサ214Cのセンサ出力に基づいて、電子ペン21Cの傾き角を検出する。
そして、ペンデータ生成部223Cは、検出した座標に、通信部222Cを通じて電子ペン21Cから受信した時間情報と、筆圧値の情報と、サイドスイッチSsの状態の情報と、検出した傾き角の情報とを含めたペンデータを生成し、情報処理部224Cに転送する。このとき、ペンデータ生成部223Cは、電子ペン21Cから通信部222Cを通じて受け取った機能IDをも、情報処理部224Cに供給する。
情報処理部224Cは、受け取った機能IDに対応する処理機能により、受け取ったペンデータについての処理を実行する。そして、実行した処理結果を表示部225Cの表示画面に表示すると共に、メモリ226Cに適宜、格納するようにする。
この実施形態では、ペンデータ生成部223Cは、また、生成したペンデータに、さらに、通信部222Cを通じて電子ペン21Cから受信したペンID及び機能IDとを加えると共に、現在位置検出部227Cで検出された現在位置の場所の位置情報とを加えて、蓄積用ペンデータを生成する。そして、ペンデータ生成部223Cは、生成した蓄積用ペンデータをネットワーク接続部228Cを通じて、サーバ装置1に送信する。
現在位置検出部227Cは、この例では、GPS受信機を備えて、現在位置の緯度、経度、高度を検出し、現在位置の位置情報として、検出した緯度、経度、高度を出力する。
ネットワーク接続部228Cは、この例では、携帯電話網や、Wi-Fi(登録商標)などの無線ネットワークを通じて、通信ネットワークNW(インターネット)に接続される構成とされている。
次に、ペン入力装置2Cを構成する電子ペン21C及び情報処理端末22Cの処理動作例について説明する。
<電子ペン21Cの主要な処理動作の例>
図8は、電子ペン21Cの処理動作例を説明するためのフローチャートを示す図である。この図8の説明においては、電子ペン21Cの制御部210Cが、図7の各部の機能をソフトウェアプログラムにより実行することにより遂行する場合として説明する。
図8は、電子ペン21Cの処理動作例を説明するためのフローチャートを示す図である。この図8の説明においては、電子ペン21Cの制御部210Cが、図7の各部の機能をソフトウェアプログラムにより実行することにより遂行する場合として説明する。
制御部210Cは、機能選択部215Cの機能により、機能選択操作子Fsにより選択された処理機能を認識する(ステップS121)。そして、制御部210Cは、加速度センサ213C及びジャイロセンサ214Cのセンサ出力に、ペンIDと、筆圧値の情報と、時間情報と、ステップS121で認識した処理機能の機能IDとを加えて、情報処理端末22Cに送信する(ステップS122)。
そして、制御部210Cは、電源スイッチPsにより電源オフにされるなどして、終了指示があったか否か判別し(ステップS123)、終了指示がないと判別したときには、処理をステップS121に戻して、このステップS121以降を繰り返し、終了指示があったと判別したときには、この処理ルーチンを終了する。
<情報処理端末22Cの処理動作の流れの例>
図9は、情報処理端末22Cの処理動作例を説明するためのフローチャートを示す図である。この図9の説明においては、情報処理端末22Cの制御部221Cが、図7の各部の機能をソフトウェアプログラムにより実行することにより遂行する場合として、説明する。
図9は、情報処理端末22Cの処理動作例を説明するためのフローチャートを示す図である。この図9の説明においては、情報処理端末22Cの制御部221Cが、図7の各部の機能をソフトウェアプログラムにより実行することにより遂行する場合として、説明する。
制御部221Cは、電子ペン21Cからの送信情報を監視して受信する(ステップS131)。そして、制御部221Cは、受信した送信情報のうちの加速度センサ213C及びジャイロセンサ214Cのセンサ出力から、情報処理部224Cの機能により、電子ペン21Cのペン先部の位置座標及び電子ペン21Cの傾き角を検出すると共に、筆圧値、サイドスイッチの情報などを含めてペンデータを生成する(ステップS132)。
次に、制御部221Cは、生成したペンデータを、受信した機能IDの処理機能による処理を実行する(ステップS133)。そして、制御部221Cは、ステップS132で生成したペンデータに、受信した機能ID、ペンIDを追加すると共に、現在位置の場所の位置情報を付加して、蓄積用ペンデータを生成する(ステップS134)。そして、ステップS134で生成した蓄積用ペンデータを、サーバ装置1に送信する(ステップS135)。
次に、制御部221Cは、終了指示があったか否か判別し(ステップS136)、終了指示がないと判別したときには、処理をステップS131に戻して、このステップS131以降を繰り返し、終了指示があったと判別したときには、この処理ルーチンを終了する。
なお、上述のペン入力装置2Cの例では、情報処理端末22Cにおいては、電子ペン21Cからの送信情報の処理を実行するようにしたが、送信情報の情報処理をすることなく、送信情報から蓄積用ペンデータを生成して、サーバ装置1に送信するようにする処理のみをするように構成してもよい。
その場合には、電子ペン21Cの使用者は、後で、サーバ装置1にアクセスして、当該電子ペン21CのペンID、指示入力を行った時間、場所などを含めた蓄積用ペンデータの取得要求をすることで、サーバ装置1から、その蓄積用ペンデータを取得する。そして、その取得した蓄積用ペンデータについて、上述した情報処理部224Cにおけるものと同様の情報処理をすることで、上述の例と同様の処理結果を再現することができる。
なお、そのような構成とした場合には、情報処理端末22Cには、情報処理部224Cやメモリ225Cは設ける必要はない。また、電子ペン21Cに、情報処理端末22Cの、上述した蓄積用ペンデータを生成してサーバ装置1に送信する機能部を設けるようにしてもよい。そのようにすれば、電子ペン2Cを用いて、任意の時間、任意の場所で指示入力操作をして、蓄積用ペンデータをサーバ装置1に送信しておき、後で、その蓄積用ペンデータを取得して、当該蓄積用ペンデータに含まれる機能IDに対応する処理機能を用いて、蓄積用ペンデータ(ペンデータ)を処理して、処理を再現することができる。
なお、上述のペン入力装置2Cの電子ペン21Cにおいては、当該電子ペン21Cのペン先部の座標を検出する手段として、加速度センサ213Cとジャイロセンサ214Cとを用いる構成としたが、加速度センサ213C及びジャイロセンサ214Cに代えて、あるいは、加速度センサ213C及びジャイロセンサ214Cに加えて、ペン先部近傍に撮像素子(カメラ)を設けて、その撮像画像をも用いるように構成してもよい。
なお、電子ペン21Cのペン先部の座標を検出する手段としての動き検出センサ(モーションセンサ)は、加速度センサ213Cやジャイロセンサ214Cに限られるものではない。
[サーバ装置1の構成例]
この実施形態におけるサーバ装置1においては、ペン入力装置2A,2B,2Cなどからの蓄積用ペンデータを蓄積するだけでなく、蓄積した蓄積用ペンデータを用いた種々のサービスの提供をすることが可能に構成されている。以下に説明する例においては、特に、提供するサービスの例として、電子署名認証サービスと、文字認識サービスとについて説明する。
この実施形態におけるサーバ装置1においては、ペン入力装置2A,2B,2Cなどからの蓄積用ペンデータを蓄積するだけでなく、蓄積した蓄積用ペンデータを用いた種々のサービスの提供をすることが可能に構成されている。以下に説明する例においては、特に、提供するサービスの例として、電子署名認証サービスと、文字認識サービスとについて説明する。
電子署名認証サービスは、サーバ装置1が受け取った蓄積用ペンデータに基づいて、署名の筆記跡が、当人の筆記跡として認証することができるか否かを判別して、その判別結果を提供するサービスである。また、文字認識サービスは、サーバ装置1が受け取った蓄積用ペンデータに基づいて、手書き文字を文字認識して対応する文字テキストデータを提供するサービスである。なお、この例では、電子署名アプリ実行時や、手書き文字認識アプリ実行時には、使用者は、当該使用者毎に定まった電子ペンを使用するものとしている。
この実施形態では、サーバ装置1では、蓄積用ペンデータに含まれている機能IDを検出することで、受信した蓄積用ペンデータを処理した、あるいは処理する処理機能が電子署名のアプリであるか、また、文字認識のアプリであるかを判別することができる。そこで、この実施形態では、サーバ装置1は、受信した蓄積用ペンデータに含まれている機能IDが、電子署名のアプリの機能IDあるいは文字認識のアプリの機能IDであると判別したときには、蓄積用ペンデータを蓄積すると共に、電子署名サービスあるいは文字認識サービスを実行するようにする。
また、この実施形態では、サーバ装置1は、蓄積用ペンデータに含まれるペンID、機能ID、時間情報、場所の位置情報などを、キーワードとする情報取得要求をも受け付けて、その情報取得要求に応じた情報提供サービスも行えるように構成されている。ここで、この例の情報取得要求は、当該情報取得要求に含まれるキーワードを含む蓄積用ペンデータの取得を要求するものである。
ここで、情報提供要求に含めるキーワードは、この例の蓄積用ペンデータを構成する(座標、筆圧値、サイドスイッチの状態、傾き角、時間、場所(位置情報)、ペンID、機能ID)のうちのいずれか一つ、あるいは、それらから2個以上を抽出して組み合わせたものとすることができる。
図10は、この実施形態におけるサーバ装置1の構成例の機能ブロック図である。すなわち、この図10に示すように、サーバ装置1は、CPU及びプログラムメモリ及びワークメモリを備える制御部101に対して、システムバス100を介して、ネットワーク接続部102、受信情報解析部103、蓄積用ペンデータ蓄積部104、情報提供要求対応処理部105、電子署名認証部106、文字認識部107、サービス要求回答生成部108、電子署名認証参照情報生成・記憶部109、文字認識用データベース更新・記憶部110、のそれぞれが接続されて構成されている。
ネットワーク接続部102は、通信ネットワークNWに接続されており、ペン入力装置2A,2B,2Cなどからの蓄積用ペンデータや、PCなどの情報処理装置からの情報取得要求を受信すると共に、上述した提供サービスに応じた送信情報を、通信ネットワークNWを通じて、サービス要求してきた相手装置に送信する処理を行う。そして、ネットワーク接続部102は、受信した受信情報を受信情報解析部103に転送する。
受信情報解析部103は、ネットワーク接続部102から受け取った情報を解析し、受信情報が蓄積用ペンデータであるときには、当該受信した蓄積用ペンデータを、蓄積用ペンデータ蓄積部104に転送する。そして、受信情報解析部103は、受信情報が蓄積用ペンデータであるときには、さらに、それに含まれる機能IDを判別し、機能IDが電子署名アプリの機能IDであると判別したときには、電子署名認証部106及び電子署名認証参照情報生成・記憶部109をアクティブにして、蓄積用ペンデータをこれら電子署名認証部106及び電子署名認証参照情報生成・記憶部109にも転送する。また、制御部101は、機能IDが文字認識アプリの機能IDであると判別したときには、文字認識部107及び文字認識用データベース更新・記憶部110をアクティブにして、蓄積用ペンデータをこれら文字認識部107及び文字認識用データベース更新・記憶部110に転送する。
また、受信情報解析部103は、ネットワーク接続部102により受信した情報の解析の結果、受信情報が情報提供要求であると判別したときには、当該受信した情報提供要求を、情報提供要求対応処理部105に転送する。
蓄積用ペンデータ蓄積部104は、受け取った蓄積用ペンデータをメモリに蓄積する。この場合に、この例では、蓄積用ペンデータ蓄積部104では、蓄積用ペンデータに含まれるペンID毎に区分けて蓄積する。
情報提供要求対応処理部105は、受け取った情報提供要求に含まれるキーワードを判別し、その判別したキーワードを含む蓄積用ペンデータを、蓄積用ペンデータ蓄積部104から読み出してサービス要求回答生成部108に転送する。
情報提供要求に含まれるキーワードは、この例の蓄積用ペンデータを構成する(座標、筆圧値、サイドスイッチの状態、傾き角、時間、場所(位置情報)、ペンID、機能ID)のうちのいずれか一つ、あるいは、それらから2個以上を抽出して組み合わせたものである。
例えば、キーワードとしてペンIDのみを含む情報提供要求の場合には、そのペンIDを含む蓄積用ペンデータの全てを蓄積用ペンデータ蓄積部104から読み出してサービス要求回答生成部108に転送する。また、ペンIDと、時間について所定の期間の指定をキーワードとして含む情報提供要求の場合には、そのペンIDを含むと共に、指定された期間内の時間の情報を含む蓄積用ペンデータを蓄積用ペンデータ蓄積部104から読み出してサービス要求回答生成部108に転送する。
サービス要求回答生成部108は、情報提供要求対応処理部105の処理により送られてきた、情報提供要求された蓄積用ペンデータを回答情報として生成して、情報提供要求をしてきた相手側に、通信ネットワークNWを通じて、送信する。
電子署名認証部106は、受信情報解析部103から受け取った蓄積用ペンデータと、電子署名認証参照情報生成・記憶部109に記憶されている認証参照情報とから、蓄積用ペンデータによる署名が、当該ペンIDで識別される電子ペンの所有者による署名であるか否かを認証するようにする。この場合に、電子署名の認証においては、蓄積用ペンデータの内の筆記跡に関与する情報である座標、筆圧値、傾き角の時間経過に応じた変化に基づく電子署名文字の筆記跡について認証を行う。
電子署名認証部106は、電子署名の認証結果の情報を、サービス要求回答生成部108に供給する。サービス要求回答生成部108は、電子署名認証部106から電子署名認証結果の情報を受け取ると、電子署名アプリの機能IDを含む蓄積用ペンデータを送ってきた相手方に送信する。
電子署名認証参照情報生成・記憶部109は、過去の電子署名の認証処理の際に取得した蓄積用ペンデータから、ペンID毎の使用者の電子署名認証参照情報を生成して記憶している。電子署名認証参照情報生成・記憶部109は、電子署名認証処理が実行される毎に、その際に取得する蓄積用ペンデータを用いて、電子署名認証参照情報を更新して生成し直す。したがって、電子署名認証参照情報生成・記憶部109に記憶されている電子署名認証参照情報は、使用者の長年の癖や筆記跡の変化を反映したものとなり、電子署名認証の精度の向上を期待できる。
文字認識部107は、受信情報解析部103から受け取った蓄積用ペンデータと、文字認識用データベース更新・記憶部110に記憶されている文字認証用テーブルデータとから、受け取った蓄積用ペンデータによる手書き入力文字に対応するテキスト文字電子データを認識する。この文字認識部107においても、蓄積用ペンデータの内の筆記跡に関与する情報である座標、筆圧値、傾き角の時間経過に応じた変化に基づく手書き入力文字の筆記跡について文字認識を行う。
文字認識用データベース更新・記憶部110は、過去の文字認識の処理の際に取得した蓄積用ペンデータから、ペンID毎の使用者の手書き入力文字の特徴データと、そのテキスト文字電子データとの対応テーブルである文字認識用テーブルデータを生成して記憶している。文字認識用データベース更新・記憶部110は、文字認識の処理が実行される毎に、その際に取得する蓄積用ペンデータを用いて、ペンID毎の使用者の手書き入力文字の特徴データを更新して、文字認識用テーブルデータを更新する。したがって、文字認識用データベース更新・記憶部110に記憶されている文字認識用テーブルデータは、使用者の長年の癖や筆記跡の変化を反映じたものとなり、常に、より正確に文字認識をすることができる。
文字認識部107は、文字認識結果の情報を、サービス要求回答生成部108に供給する。サービス要求回答生成部108は、文字認識部107から文字認識結果の情報を受け取ると、文字認識アプリの機能IDを含む蓄積用ペンデータを送ってきた相手方に送信する。
なお、この例では、電子署名及び文字認識の際に使用される電子ペンは、使用者毎に異なり、かつ、当該使用者毎に定まったものを使用することを前提とした。しかし、電子署名及び文字認識のアプリにおいては、その機能IDを含む蓄積用ペンデータをペン入力装置が送信する際に、認証する個人を特定する個人IDをペンIDに加えて含めるようにすることで、使用者がペンIDの異なる電子ペンを使用しても、その使用者の電子署名の認証をすることができる。
すなわち、その場合には、電子署名認証参照情報生成・記憶部109には、個人ID毎の電子署名認証参照情報が生成されると共に記憶され、文字認識用データベース更新・記憶部110には、個人ID毎の文字認識用テーブルデータが生成され記憶される。そして、電子署名認証部では、個人IDで識別される使用者毎の電子署名認証が実行され、また、文字認識部107では、個人IDで識別される使用者毎の文字認識が実行される。
<サーバ装置1の処理動作例>
次に、サーバ装置1の処理動作例について説明する。図11~図14は、サーバ装置1の処理動作例を説明するためのフローチャートを示す図である。この図11~図14の説明においては、サーバ装置1の制御部101が、図10の受信情報解析部103、情報提供要求対応処理部105、電子署名認証部106、文字認識部107、サービス要求回答生成部108の各部の機能をソフトウェアプログラムにより実行することにより遂行する場合として、説明する。
次に、サーバ装置1の処理動作例について説明する。図11~図14は、サーバ装置1の処理動作例を説明するためのフローチャートを示す図である。この図11~図14の説明においては、サーバ装置1の制御部101が、図10の受信情報解析部103、情報提供要求対応処理部105、電子署名認証部106、文字認識部107、サービス要求回答生成部108の各部の機能をソフトウェアプログラムにより実行することにより遂行する場合として、説明する。
サーバ装置1の制御部101は、ネットワーク接続部102を通じて蓄積用ペンデータを受信したか否か判別し(ステップS201)、蓄積用ペンデータを受信してはいないと判別したときには、情報提供要求を受信したか否か判別する(ステップS207)。このステップS207で、情報提供要求を受信してはいないと判別したときには、制御部101は、処理をステップS201に戻す。
ステップS201で、ネットワーク接続部102を通じて蓄積用ペンデータを受信したと判別したときには、制御部101は、蓄積用ペンデータに含まれている機能IDを検知し(ステップS202)、当該機能IDが電子署名アプリの機能IDであるか否か判別する(ステップS203)。このステップS203で、検知した機能IDが電子署名アプリの機能IDではないと判別したときには、制御部101は、検知した機能IDは文字認識アプリの機能IDであるか否か判別する(ステップS204)。
ステップS204で、検知した機能IDは文字認識アプリの機能IDではないと判別したときには、制御部101は、受信した蓄積用ペンデータに含まれているペンIDを検知する(ステップS205)。そして、制御部101は、受信した蓄積用ペンデータを、蓄積用ペンデータ蓄積部104の、ステップS205で検知したペンID対応エリアに蓄積する(ステップS206)。制御部101は、ステップS206の次には、処理をステップS201に戻し、このステップS201以降の処理を繰り返す。
ステップS203で、ステップS202で検知した機能IDが電子署名アプリの機能IDであると判別したときには、制御部101は、受信した蓄積用ペンデータに含まれているペンIDを検知し(図12のステップS211)、検知したペンIDに対応する電子署名認証参照情報を、電子署名認証参照情報生成・記憶部109から取得する(ステップS212)。
次いで、制御部101は、受信した蓄積用ペンデータについての電子署名の認証処理を、取得した電子署名認証参照情報を用いて実行し(ステップS213)、その認証結果を電子認証の機能IDを含む蓄積用ペンデータを送信してきた相手方に送信する(ステップS214)。
そして、制御部101は、受信した電子認証アプリの機能IDを含む蓄積用ペンデータの全てを蓄積用ペンデータ蓄積部104の、ステップS211で検知したペンIDに対応する記憶エリアに蓄積する(ステップS215)。次いで、制御部101は、受信した電子認証アプリの機能IDを含む蓄積用ペンデータを用いて、電子署名認証参照情報生成・記憶部109の、ステップS211で検知したペンIDに対応する電子署名認証参照情報を更新する(ステップS216)。ステップS216の次には、制御部101は、処理をステップS201に戻し、このステップS201以降の処理を繰り返す。
ステップS204で、検知した機能IDは文字認識アプリの機能IDであると判別したときには、制御部101は、受信した蓄積用ペンデータに含まれているペンIDを検知し(図13のステップS221)、検知したペンIDに対応する文字認識用テーブルデータを、文字認識用データベース更新・記憶部110から取得する(ステップS222)。
次いで、制御部101は、受信した蓄積用ペンデータについての文字認識処理を、取得した文字認識用テーブルデータを用いて実行し(ステップS223)、その文字認識結果を文字認識アプリの機能IDを含む蓄積用ペンデータを送信してきた相手方に送信する(ステップS224)。
そして、制御部101は、受信した文字認識アプリの機能IDを含む蓄積用ペンデータの全てを蓄積用ペンデータ蓄積部104の、ステップS221で検知したペンIDに対応する記憶エリアに蓄積する(ステップS225)。次いで、制御部101は、受信した文字認識アプリの機能IDを含む蓄積用ペンデータを用いて、文字認識用データベース更新・記憶部110の、ステップS221で検知したペンIDに対応する文字認識用テーブルデータを更新する(ステップS226)。ステップS226の次には、制御部101は、処理をステップS201に戻し、このステップS201以降の処理を繰り返す。
図11のステップS207で、情報提供要求を受信したと判別したときには、制御部101は、受信した情報提供要求に含まれるキーワードは、ペンIDのみであるか否か判別する(図14のステップS231)。このステップS231で、キーワードはペンIDのみであると判別したときには、制御部101は、そのペンIDに対応付けられて蓄積されている蓄積用ペンデータの全てを、蓄積用ペンデータ蓄積部104から取得して、情報提供要求してきた相手方に送信する(ステップS232)。このステップS232の次には、制御部101は、処理をステップS201に戻し、このステップS201以降の処理を繰り返す。
次に、ステップS231で、受信した情報提供要求に含まれるキーワードは、ペンIDのみではないと判別したときには、キーワードは、ペンID及び機能IDであるか否か判別する(ステップS233)。このステップS233で、キーワードはペンID及び機能IDであると判別したときには、制御部101は、そのペンIDに対応付けられていると共に、その機能IDを含むものとして蓄積されている蓄積用ペンデータの全てを、蓄積用ペンデータ蓄積部104から取得して、情報提供要求してきた相手方に送信する(ステップS234)。このステップS234の次には、制御部101は、処理をステップS201に戻し、このステップS201以降の処理を繰り返す。
次に、ステップS233で、受信した情報提供要求に含まれるキーワードは、ペンID及び機能IDではないと判別したときには、キーワードは、ペンID及び指定期間であるか否か判別する(ステップS235)。指定期間は、ある時点(時点は年月日時分秒で指定可能)から別の時点までの期間の指定のほか、ある特定の時点の指定であってもよい。このステップS235で、キーワードはペンID及び指定期間であると判別したときには、制御部101は、そのペンIDに対応付けられていると共に、その指定期間内に該当する時間情報を含んで蓄積されている蓄積用ペンデータの全てを、蓄積用ペンデータ蓄積部104から取得して、情報提供要求してきた相手方に送信する(ステップS236)。このステップS236の次には、制御部101は、処理をステップS201に戻し、このステップS201以降の処理を繰り返す。
次に、ステップS235で、受信した情報提供要求に含まれるキーワードは、ペンID及び指定期間ではないと判別したときには、キーワードは、ペンID及び指定場所であるか否か判別する(ステップS237)。指定場所は、ある特定の場所(特定の位置情報)の指定のほか、所定の位置範囲の指定であってもよい。この場合の位置範囲の指定は、例えば円形範囲であるときには、その中心位置と、その中心位置からの半径の指定とされ、矩形範囲の指定であるときには、その矩形範囲の対角の2位置の指定とされる。また、複数個の角位置を指定することで、それら複数個の角位置を直線で結ぶ範囲の指定の指定をすることもできる。
このステップS237で、キーワードはペンID及び指定場所であると判別したときには、制御部101は、そのペンIDに対応付けられていると共に、その指定場所あるいは指定範囲内に該当する位置情報を含んで蓄積されている蓄積用ペンデータの全てを、蓄積用ペンデータ蓄積部104から取得して、情報提供要求してきた相手方に送信する(ステップS238)。このステップS238の次には、制御部101は、処理をステップS201に戻し、このステップS201以降の処理を繰り返す。
次に、ステップS237で、受信した情報提供要求に含まれるキーワードは、ペンID及び指定場所ではないと判別したときには、制御部101は、キーワードは、ペンID、指定期間及び指定場所であるか否か判別する(ステップS239)。指定期間及び指定場所は、前述した通りである。
このステップS239で、キーワードはペンID、指定期間及び指定場所であると判別したときには、制御部101は、そのペンIDに対応付けられていると共に、その指定期間内に該当する時間情報を含んでおり、かつ、指定場所あるいは指定範囲内に該当する位置情報を含んで蓄積されている蓄積用ペンデータの全てを、蓄積用ペンデータ蓄積部104から取得して、情報提供要求してきた相手方に送信する(ステップS240)。このステップS238の次には、制御部101は、処理をステップS201に戻し、このステップS201以降の処理を繰り返す。
次に、ステップS239で、受信した情報提供要求に含まれるキーワードは、ペンID、指定期間及び指定場所ではないと判別したときには、制御部101は、その他のキーワードが含まれているとして、当該その他のキーワードについての情報取得要求に対応した処理を実行する(ステップS241)。このステップS241の次には、制御部101は、処理をステップS201に戻し、このステップS201以降の処理を繰り返す。
[実施形態の効果]
以上のようにして、サーバ装置1から取得された蓄積用ペンデータのそれぞれには、機能IDが含まれている。したがって、この蓄積用ペンデータを取得したPCなどの情報処理装置においては、機能IDに基づいて、当該蓄積用ペンデータを処理する処理機能を特定して起動させることができ、その起動された処理機能を用いて蓄積用ペンデータを処理して、蓄積用ペンデータの処理結果を復元することが容易にできる。
以上のようにして、サーバ装置1から取得された蓄積用ペンデータのそれぞれには、機能IDが含まれている。したがって、この蓄積用ペンデータを取得したPCなどの情報処理装置においては、機能IDに基づいて、当該蓄積用ペンデータを処理する処理機能を特定して起動させることができ、その起動された処理機能を用いて蓄積用ペンデータを処理して、蓄積用ペンデータの処理結果を復元することが容易にできる。
そして、この実施形態では、上述したように、機能IDで識別される処理機能には、処理アプリのみではなく、デスクトップの処理機能(OSの機能)を含むので、デスクトップの表示画面上における使用者による電子ペンの指示入力の履歴も再現できる。その場合に、この実施形態では、デスクトップの処理機能により、電子ペンの指示入力に対して何等の処理を実行しないときのペンデータも、蓄積用ペンデータとして蓄積するようにしているので、使用者が考え中や迷いながらデスクトップ状での電子ペンの操作をしている状況をも再現することができる。
また、上述の実施形態においては、蓄積用ペンデータには、当該蓄積用ペンデータが取得されたときの時間情報(タイムスタンプ)が含まれている。そこで、当該蓄積用ペンデータを取得したパソコンなどの情報処理装置が、機能IDに対応する処理機能(OS及びアプリ)により、蓄積用ペンデータに含まれる時間情報に基づく時間順に、当該蓄積用ペンデータの処理を実行することで、当該蓄積用ペンデータが、どのような流れで処理されたのかを復元することができる。
そして、時間順に順次に蓄積される蓄積用ペンデータにおいて、同じ機能IDが含まれて連続しているペンデータ群は、当該機能IDで処理されるべき1群のペンデータとして把握することができ、その1群のペンデータを適切な処理アプリケーションで処理することで、その1群のペンデータによる処理結果を復元することができる。
そして、上述のサーバ装置1における処理動作の流れの例で説明したように、情報提供要求者が情報取得要求のキーワードとして、ペンIDを含めたときには、情報提供要求者は、そのペンIDにより識別される特定の電子ペンにより過去に指示入力されたペンデータの全てを取得することができる(ステップS232参照)。したがって、取得した蓄積用ペンデータによる情報処理を再現することで、そのペンIDの電子ペンの使用者が、いつ、どこで、ペンデータを用いてどのような情報処理をさせていたかを再現させて知ることができて便利である。
また、ステップS234においてサーバ装置1から提供された蓄積用ペンデータを取得した情報提供要求者は、ペンID及び機能IDのキーワードを含む蓄積用ペンデータを再現することで、そのペンIDの電子ペンの使用者が、機能IDで識別される処理機能を、いつ、どこで、どのようにして実行したかを認識することできて便利である。
また、ステップS236においてサーバ装置1から提供された蓄積用ペンデータを受け取った情報提供要求者は、そのペンIDの電子ペンの使用者が、指定された期間内に、どこで、どのような処理機能を起動させて処理させていたかを知ることができて便利である。
さらに、ステップS236においてサーバ装置1から提供された蓄積用ペンデータを取得した情報提供要求者は、そのペンIDの電子ペンの使用者が、指定された期間内に、かつ、指定された場所において、どのような処理機能を起動させて処理させていたかを知ることができて便利である。
また、電子署名認証や、文字認識などの処理機能の場合には、大量に蓄積された蓄積用ペンデータを用いて、それらの処理に必要な情報、例えば電子署名認証参照情報や文字認識用テーブルデータなどを生成し、それらを用いた認証処理や認識処理などの特別の補助処理が必要になる。上述の実施形態においては、その補助処理をサーバ装置に実行させるように構成しておき、機能IDを含めた蓄積用ペンデータを、そのサーバ装置に送ることで、サーバ装置に自動的に実行させることができる。
すなわち、サーバ装置に、大量に蓄積された蓄積用ペンデータを用いて処理機能の一部の処理を実行するための補助情報を生成させ、その補助情報を用いた補助処理を実行させる機能を備えると共に、機能IDを含めた蓄積用ペンデータを当該サーバ装置に送ることで、サーバ装置と連携した処理を行うことが可能となる。
また、上述の実施形態において、図3(D)に示したように、ペン入力装置の入力面の入力領域中に、電子ペンの指示入力を蓄積用ペンデータとしてサーバ装置1に送信しないエリアを設けるようにした場合には、使用者は、敢えて蓄積したくない電子ペンによる入力情報の入力も可能である。
また、ペン入力装置2Cの例を用いたシステム構成とした場合には、電子ペン21Cによる指示入力に基づくペンデータを情報処理することなく、サーバ装置1に蓄積用ペンデータを送信しておき、後で、その蓄積用ペンデータを取得して、それに含まれる機能IDを用いて情報処理を実行して、その処理結果を得ることができる。
同一人の蓄積用ペンデータであっても、ペンデータを処理する処理アプリケーションの違いにより、環境や状況が異なり、ペンの持ち方や集中の度合いなどが異なることから、筆記入力あるいは描画入力の結果としての蓄積用ペンデータの筆記跡や描画跡が変化することが多い。
例えば、速記式にメモを取る場合には、正確で美しい文字を書くことよりも、記録性が重視され、多少乱雑であっても、判読可能に文字等が入力されていればよい。そのため、同一人であって、メモ用の処理アプリケーションでのペンデータによる筆記跡は、通常の筆記入力を処理する他の処理アプリケーションでのペンデータによる筆記跡とは異なる。
また、試験を受ける場合で試験会場で書く筆跡や、契約書にサインをする場合の筆跡も、同一人であっても通常の筆跡とは異なる場合が多い。
また、例えば、絵を描く場合においては、筆(電子ペン)の持ち方や握り方は、筆記する場合とは異なり、さらに、鉛筆絵、油絵、デッサンなどでペンの持ち方、強さが変わってくる。
上述の実施形態においては、ペンデータのそれぞれに処理アプリケーションを識別する機能IDが含まれているので、その機能IDを参照することで、筆記入力あるいは描画入力等をした者が、どのような環境や状況で、また、どのようなペンの持ち方や集中の度合いで、その入力を行ったかを知ることが容易になる。
[上述の実施形態の変形例]
上述の実施形態においては、サーバ装置1は、蓄積用ペンデータを蓄積する機能のみならず、電子認証サービスや文字認識サービスを実行する機能、また、情報提供サービスを実行する機能を有する構成としたが、サーバ装置1は、蓄積用ペンデータを蓄積する機能のみを備え、その他のサービス機能は、別個のサーバ装置がサーバ装置1の蓄積用ペンデータを用いて実行するようにしてもよい。また、サーバ装置1は、蓄積用ペンデータを蓄積する機能と情報提供サービスを実行する機能とを備え、電子認証サービスや文字認識サービスの機能は、別個のサーバ装置が、サーバ装置1の蓄積用ペンデータを用いて実行するようにしてもよい。さらに、電子認証サービスと文字認識サービスを実行する機能は、それぞれ別個のサーバ装置が、サーバ装置1の蓄積用ペンデータを用いて実行するように構成しても勿論よい。
上述の実施形態においては、サーバ装置1は、蓄積用ペンデータを蓄積する機能のみならず、電子認証サービスや文字認識サービスを実行する機能、また、情報提供サービスを実行する機能を有する構成としたが、サーバ装置1は、蓄積用ペンデータを蓄積する機能のみを備え、その他のサービス機能は、別個のサーバ装置がサーバ装置1の蓄積用ペンデータを用いて実行するようにしてもよい。また、サーバ装置1は、蓄積用ペンデータを蓄積する機能と情報提供サービスを実行する機能とを備え、電子認証サービスや文字認識サービスの機能は、別個のサーバ装置が、サーバ装置1の蓄積用ペンデータを用いて実行するようにしてもよい。さらに、電子認証サービスと文字認識サービスを実行する機能は、それぞれ別個のサーバ装置が、サーバ装置1の蓄積用ペンデータを用いて実行するように構成しても勿論よい。
電子認証サービスや文字認識サービスの機能をサーバ装置1とは別個のサーバ装置において、サーバ装置1の蓄積用ペンデータを用いて実行するように構成する場合においても、当該電子認証サービスや文字認識サービスの要求に含まれる蓄積用ペンデータと同一の蓄積用ペンデータは、ペン入力装置から直接に、あるいは、電子認証サービスや文字認識サービスの機能を実行する別個のサーバ装置を経由して、サーバ装置1に送られて、蓄積用ペンデータ蓄積部104に蓄積されるものである。
通信ネットワークNWは、図1の例のようなインターネットに限られるものではなく、WAN(Wide Aria Network)やLAN(Local Aria Network)などのイントラネットであってもよい。また、ペン入力装置は、ペンデータ蓄積サーバ装置に対して複数設ける必要はなく、1個であってもよい。また、通信ネットワークは、有線であっても、無線であってもよい。
また、この発明によるペンデータ蓄積装置は、上述の実施形態のように、通信ネットワークを通じて接続されるサーバ装置と、ペン入力装置とからなるシステムの構成とするのではなく、ペン入力装置と、サーバ装置が一体となった装置の構成とするようにしても、もちろん良い。
蓄積用ペンデータに含められる機能IDに対応する処理機能は、上述した例の場合に限られるものではないことは言うまでもない。例えば、ペン入力装置が、入試試験や資格試験、さらには学習効果試験などの試験アプリを実行するためのパッド型端末と電子ペンからなるものであって、パッド型端末が、設問の情報をサーバ装置から受け取り、その設問に対する電子ペンによる回答の入力を検出して、試験アプリの機能IDを含む蓄積用ペンデータを生成し、生成した回答の蓄積用ペンデータをサーバ装置に送信するようにするものにも適用することができる。この場合に、電子ペンを被験者のそれぞれに専用のものとされ、ペンIDが被験者のそれぞれに対応付けられる。
この場合には、ペンIDと、試験アプリの機能IDを含む蓄積用ペンデータを集めて、被験者毎の試験用データベースを作ることができ、被験者の学習効果を確認することが容易にできる。
1…ペンデータ蓄積サーバ装置、2A,2B,2C…ペン入力装置、21A,21B,21C…電子ペン、22A…タブレット、22B…パッド型端末、22C…情報処理端末、23A…PC、23AP…表示画面、221A…位置検出センサ、NW…通信ネットワーク
Claims (23)
- 電子ペンにより指示入力された位置の座標データを少なくとも含むペンデータを、前記ペンデータの単位で蓄積するペンデータ蓄積装置であって、
蓄積される前記ペンデータのそれぞれは、前記ペンデータの処理機能を識別するための機能識別情報を含む
ことを特徴とするペンデータ蓄積装置。 - 前記ペンデータのそれぞれは、前記電子ペンにより前記指示入力された時間の情報を含む
ことを特徴とする請求項1に記載のペンデータ蓄積装置。 - 前記ペンデータのそれぞれは、前記電子ペンにより前記指示入力された場所の位置情報を含む
ことを特徴とする請求項1に記載のペンデータ蓄積装置。 - 前記ペンデータのそれぞれは、前記電子ペンにより前記指示入力された時間の情報、前記電子ペンにより前記指示入力された場所の位置情報、前記指示入力の入力面からの前記電子ペンの高さ位置の情報、前記電子ペンで検出される筆圧の情報、前記電子ペンに設けられているスイッチの状態情報、前記指示入力の前記入力面に対する前記電子ペンの傾きの情報、の少なくとも一つを含む
ことを特徴とする請求項1に記載のペンデータ蓄積装置。 - 前記ペンデータのそれぞれは、前記電子ペンの識別情報を含む
ことを特徴とする請求項1に記載のペンデータ蓄積装置。 - 前記電子ペンと、前記電子ペンにより前記指示入力された位置の座標を検出するセンサを備える位置検出装置部と、前記ペンデータを蓄積するデータ蓄積装置部とを備え、
前記位置検出装置の前記センサの検出領域は、前記処理機能に対応付けられて設定される領域を含み、
前記蓄積される前記ペンデータのそれぞれは、前記指示入力された位置の座標が検出された領域に対応付けられて設定されている前記処理機能の前記機能識別情報を含む
ことを特徴とする請求項1に記載のペンデータ蓄積装置。 - 前記ペンデータの処理機能を備える情報処理装置部を備え、
前記情報処理装置部は、前記ペンデータの処理機能として複数の処理機能を備え、
前記位置検出装置の前記センサの検出領域は、前記複数の処理機能のそれぞれ毎に異なる領域に分けられて設定されている
ことを特徴とする請求項6に記載のペンデータ蓄積装置。 - 前記位置検出装置の前記センサの検出領域における前記複数の処理機能のそれぞれ毎の領域は、前記情報処理装置部により、互いの重複が許され、かつ、異なる階層の領域として管理されており、
前記情報処理装置部は、前記指示入力された位置の座標が検出された領域が複数の処理機能の領域が重複する領域であるときには、前記階層の情報を参照して、前記指示入力された位置の座標が検出された領域に対応付けられて設定されている前記処理機能の前記機能識別情報を特定する
ことを特徴とする請求項7に記載のペンデータ蓄積装置。 - 前記位置検出装置の前記センサの検出領域は、前記ペンデータを前記データ蓄積装置部に蓄積しない領域を含む
ことを特徴とする請求項6に記載のペンデータ蓄積装置。 - 前記位置検出装置の前記センサの検出領域は、前記電子ペンの指示入力により前記情報処理装置部の前記機能を動作させないが、前記ペンデータを蓄積する領域を含む
ことを特徴とする請求項6に記載のペンデータ蓄積装置。 - 前記データ蓄積装置部は、通信ネットワークを通じて前記ペンデータを取得して蓄積するサーバ装置の構成とされている
ことを特徴とする請求項6に記載のペンデータ蓄積装置。 - 前記位置検出装置部と前記情報処理装置部とは一体の装置である
ことを特徴とする請求項7に記載のペンデータ蓄積装置。 - 前記電子ペンと、前記電子ペンにより前記指示入力された位置の座標を検出する位置検出装置部と、前記ペンデータの処理機能を備える情報処理装置部と、前記ペンデータを蓄積するデータ蓄積装置部とを備え、
前記ペンデータのそれぞれは、前記情報処理装置部が前記ペンデータに対して実行した処理機能に対応した前記機能識別情報を含む
ことを特徴とする請求項1に記載のペンデータ蓄積装置。 - 前記電子ペンからは、前記ペンデータの処理機能を指定する情報が前記情報処理装置部に伝達され、
前記情報処理装置部は、前記電子ペンから受け取った前記処理機能を指定する情報により指定された処理機能により前記ペンデータの処理を実行する
ことを特徴とする請求項13に記載のペンデータ蓄積装置。 - 前記データ蓄積装置部は、通信ネットワークを通じて前記ペンデータを取得して蓄積するサーバ装置の構成とされている
ことを特徴とする請求項13に記載のペンデータ蓄積装置。 - 前記位置検出装置部と前記情報処理装置部とは一体の装置である
ことを特徴とする請求項13に記載のペンデータ蓄積装置。 - 前記電子ペンと、前記電子ペンにより前記指示入力された位置の座標を検出する位置検出装置部と、前記ペンデータを蓄積するデータ蓄積装置部とを備え、
前記電子ペンからは、前記ペンデータの処理機能を指定する情報が前記位置検出装置部に伝達され、
前記ペンデータのそれぞれは、前記情報処理装置部が前記ペンデータに対して実行した処理機能に対応した前記機能識別情報を含む
ことを特徴とする請求項1に記載のペンデータ蓄積装置。 - 前記データ蓄積装置部は、通信ネットワークを通じて前記ペンデータを取得して蓄積するサーバ装置の構成とされている
ことを特徴とする請求項17に記載のペンデータ蓄積装置。 - 前記データ蓄積装置部は、前記機能識別情報を含むペンデータ取得要求を受けたときには、前記ペンデータ取得要求に含まれる前記機能識別情報が紐付けられている前記ペンデータを、前記ペンデータ取得要求をしてきた側に返信する
ことを特徴とする請求項1に記載のペンデータ蓄積装置。 - 前記データ蓄積装置部は、前記電子ペンにより前記指示入力された期間の情報を含むペンデータ取得要求を受けたときには、前記ペンデータ取得要求に含まれる前記期間内の前記時間の情報を含む前記ペンデータを、前記ペンデータ取得要求をしてきた側に返信する
ことを特徴とする請求項2に記載のペンデータ蓄積装置。 - 前記データ蓄積装置部は、前記電子ペンにより前記指示入力された場所の情報を含むペンデータ取得要求を受けたときには、前記ペンデータ取得要求に含まれる前記指示入力された場所を含む前記ペンデータを、前記ペンデータ取得要求をしてきた側に返信する
ことを特徴とする請求項3に記載のペンデータ蓄積装置。 - 前記データ蓄積装置部は、前記電子ペンの識別情報を含むペンデータ取得要求を受けたときには、前記ペンデータ取得要求に含まれる前記電子ペンの識別情報を含む前記ペンデータを、前記ペンデータ取得要求をしてきた側に返信する
ことを特徴とする請求項1に記載のペンデータ蓄積装置。 - 前記機能は、前記情報処理装置部の基本ソフトウェアと、アプリケーションソフトウェアとを含む
ことを特徴とする請求項1に記載のペンデータ蓄積装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022573977A JPWO2022149443A1 (ja) | 2021-01-05 | 2021-12-20 | |
| US18/346,083 US12093474B2 (en) | 2021-01-05 | 2023-06-30 | Pen data storage apparatus |
| US18/810,374 US12547259B2 (en) | 2021-01-05 | 2024-08-20 | Pen data storage apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021-000500 | 2021-01-05 | ||
| JP2021000500 | 2021-01-05 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US18/346,083 Continuation US12093474B2 (en) | 2021-01-05 | 2023-06-30 | Pen data storage apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022149443A1 true WO2022149443A1 (ja) | 2022-07-14 |
Family
ID=82357287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2021/046903 Ceased WO2022149443A1 (ja) | 2021-01-05 | 2021-12-20 | ペンデータ蓄積装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US12093474B2 (ja) |
| JP (1) | JPWO2022149443A1 (ja) |
| WO (1) | WO2022149443A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024036128A (ja) * | 2022-09-05 | 2024-03-15 | 京セラ株式会社 | 表示装置、ペン入力システム、方法、及びプログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2022149443A1 (ja) * | 2021-01-05 | 2022-07-14 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003330605A (ja) * | 2002-05-14 | 2003-11-21 | Microsoft Corp | インクとのインターフェース |
| JP2014052873A (ja) * | 2012-09-07 | 2014-03-20 | Toshiba Corp | 電子機器および手書き文書処理方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07262318A (ja) * | 1994-03-17 | 1995-10-13 | Hitachi Ltd | 手書き文字入力装置 |
| JP4292927B2 (ja) | 2003-09-16 | 2009-07-08 | カシオ計算機株式会社 | ペン型データ入力装置及び該プログラム |
| JP6315271B2 (ja) * | 2013-11-13 | 2018-04-25 | ブラザー工業株式会社 | 電子筆記装置及び電子筆記処理プログラム並びにデータ処理方法 |
| JP2015109052A (ja) | 2013-12-05 | 2015-06-11 | ブラザー工業株式会社 | 筆記データ処理装置 |
| TWI764906B (zh) | 2016-09-01 | 2022-05-21 | 日商和冠股份有限公司 | 座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置 |
| JPWO2022149443A1 (ja) * | 2021-01-05 | 2022-07-14 |
-
2021
- 2021-12-20 JP JP2022573977A patent/JPWO2022149443A1/ja active Pending
- 2021-12-20 WO PCT/JP2021/046903 patent/WO2022149443A1/ja not_active Ceased
-
2023
- 2023-06-30 US US18/346,083 patent/US12093474B2/en active Active
-
2024
- 2024-08-20 US US18/810,374 patent/US12547259B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003330605A (ja) * | 2002-05-14 | 2003-11-21 | Microsoft Corp | インクとのインターフェース |
| JP2014052873A (ja) * | 2012-09-07 | 2014-03-20 | Toshiba Corp | 電子機器および手書き文書処理方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024036128A (ja) * | 2022-09-05 | 2024-03-15 | 京セラ株式会社 | 表示装置、ペン入力システム、方法、及びプログラム |
| JP7791064B2 (ja) | 2022-09-05 | 2025-12-23 | 京セラ株式会社 | 表示装置、ペン入力システム、方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US12093474B2 (en) | 2024-09-17 |
| US20240411392A1 (en) | 2024-12-12 |
| US20230350508A1 (en) | 2023-11-02 |
| US12547259B2 (en) | 2026-02-10 |
| JPWO2022149443A1 (ja) | 2022-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7850686B2 (ja) | インテリジェントな出発時刻リマインダを生成し、提供するためのシステム及び方法 | |
| CN102224477B (zh) | 控制装置、控制系统、控制方法以及计算机程序 | |
| JP5212448B2 (ja) | 画像処理システム、画像処理装置の制御方法、携帯端末、および制御プログラム | |
| CN105283840B (zh) | 用于同步两个或更多个显示器的设备、方法和图形用户界面 | |
| US12547259B2 (en) | Pen data storage apparatus | |
| CN109298904B (zh) | 信息处理方法、装置、存储介质及计算设备 | |
| TW201812537A (zh) | 座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置 | |
| WO2015129588A1 (ja) | ジェスチャ入力システム | |
| CN113469360B (zh) | 推理方法及装置 | |
| US20150161664A1 (en) | Method and system for collecting data on businesses via mobile and geolocation communications | |
| US20170285904A1 (en) | Direct data transfer electronic device and method | |
| KR20140081642A (ko) | 외부 기기 제어 방법 및 시스템 | |
| JP2004046424A (ja) | 地理的情報提供システム、地理的情報提供方法、地理的情報提供プログラム、及び電子ペン用帳票 | |
| EP2704038A1 (en) | Method for providing a title of contents based on context information and device therefor | |
| CN121079571A (zh) | 用于动态导航路线的用户界面 | |
| CN114153963B (zh) | 文档推荐方法、装置、计算机设备及介质 | |
| JP5032245B2 (ja) | 計算機システム及び書類へのアクセス制御方法 | |
| CA2818388A1 (en) | Mobile communication device user interface for manipulation of data items in a physical space | |
| JP2013054510A (ja) | 画像処理システム、携帯端末、情報処理装置および表示方法 | |
| WO2015166630A1 (ja) | 情報提示システム、装置、方法、およびコンピュータプログラム | |
| US20210286495A1 (en) | Electronic device for supporting user input and control method of electronic device | |
| KR101388327B1 (ko) | 전자책 상의 컨텐츠에 대해 토론하기 위한 방법 및 시스템 | |
| JP7457694B2 (ja) | 情報処理装置 | |
| KR102958145B1 (ko) | 폴더 운용을 위한 전자 장치 및 그 동작 방법 | |
| JP2008097404A (ja) | 電子ペンを利用したスケジュール管理システム、方法、サーバ及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21917663 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2022573977 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21917663 Country of ref document: EP Kind code of ref document: A1 |