WO2022034890A1 - 手書き装置 - Google Patents

手書き装置 Download PDF

Info

Publication number
WO2022034890A1
WO2022034890A1 PCT/JP2021/029582 JP2021029582W WO2022034890A1 WO 2022034890 A1 WO2022034890 A1 WO 2022034890A1 JP 2021029582 W JP2021029582 W JP 2021029582W WO 2022034890 A1 WO2022034890 A1 WO 2022034890A1
Authority
WO
WIPO (PCT)
Prior art keywords
dot code
display
area
coordinate
region
Prior art date
Application number
PCT/JP2021/029582
Other languages
English (en)
French (fr)
Inventor
健治 吉田
Original Assignee
株式会社Ｉ・Ｐソリューションズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｉ・Ｐソリューションズ filed Critical 株式会社Ｉ・Ｐソリューションズ
Priority to JP2022542859A priority Critical patent/JPWO2022034890A1/ja
Publication of WO2022034890A1 publication Critical patent/WO2022034890A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Definitions

  • the present invention relates to a handwriting device and a handwriting system for inputting handwriting information such as characters and figures into a computer system.
  • a handwriting system for inputting handwritten information into a computer has been used.
  • handwriting when handwriting is performed with a dedicated electronic pen on paper on which a dot code with defined position information is printed, the locus is input to the computer and the handwritten content is displayed on the display.
  • a handwriting system (for example, Patent Document 1) is widely used from the viewpoint of convenience.
  • video conference systems and many general-purpose data creation applications have a hand-drawn drawing function using a mouse or digitizer based on the HID (Human Interface Device) standard (class).
  • HID Human Interface Device
  • the present invention has been made in view of such a problem, and an object of the present invention is to provide a simple handwriting device and a handwriting system capable of appropriately displaying handwritten contents on a display.
  • the handwriting device is a handwriting device connected to an information processing device wirelessly or by wire, and images a dot code formed on a medium to acquire information defined in the dot code.
  • the first region includes a first dot code in which a coordinate value (X, Y) or a coordinate value (X, Y) and a code value of a dot code coordinate system are defined, and is a part of the first region.
  • the first dot code is acquired by the reading means, and the coordinate values (X, Y) are displayed on the display based on at least the width Xd and the height Yh of the first region.
  • Coordinate conversion means for converting to coordinate values (X', Y') of a predetermined coordinate system based on the position corresponding to the origin of the coordinate system of, and at least the coordinate values (X', Y') are processed.
  • a transmission means for transmitting to the device is provided.
  • the medium is provided with an origin (0,0) of the dot code coordinate system outside or at a corner of the first region, and a coordinate value (X0, Y0) of the dot code coordinate system is provided.
  • the first dot code is formed in the first region so that is the origin of the coordinate system of the first region.
  • the transmission means transmits the ⁇ and ⁇ to the information processing apparatus when a predetermined event occurs.
  • the information processing apparatus transfers the transmitted coordinate values (X', Y') to (Equation 2).
  • the dot code when the second area which is at least a part of the first area and whose lower left corner is (X1, Y1) in the dot code coordinate system is displayed in full screen on the display, the dot code. Based on the width Xc and height Yc of the second area in the coordinate system, the upper and lower boundaries of the second area are displayed so as to coincide with the upper and lower ends of the display, and non-display areas having the same width are displayed on the left and right.
  • the ⁇ is 32768 and the ⁇ is 18432.
  • the first acquisition means at least one of a code value formed in the information region of the medium and a coordinate value (X, Y) of the dot code coordinate system is defined by the reading means. From the second dot code, information corresponding to the width Xd and height Yh of the first region or the width Xd and height Yh of the first region is acquired.
  • the second dot code is formed by superimposing the image showing the corresponding screen ratio.
  • the first dot code includes an ID for specifying the first region or information corresponding to the ID
  • the second dot code or information on the medium is provided by the reading means.
  • the coordinate conversion means associates one or more IDs acquired by the second acquisition means with the width Xd, the height Yh, and the coordinate values (X0, Y0) of the first region.
  • a table is generated, the reading means obtains an ID from the first dot code, and the width Xd, height Yh, and coordinate values (X0, Y0) of the first region are referred to from the table.
  • the calculation formula described in (3) is carried out.
  • a write area writable by the read means can be arbitrarily set in the first area, and a third acquisition means for acquiring information specifying the write area is further provided.
  • Gridpaper which is an example of a medium. It is a figure explaining the generation of a write area. It is a figure explaining the technique which makes the whole medium into the writing area when the aspect ratio of a display is 16: 9. It is a figure explaining the technique which makes the whole medium into the writing area when the aspect ratio of a display is 16:10. It is a figure explaining the technique which makes the whole medium into a writing area when the aspect ratio of a display is 4: 3. It is a figure explaining the technique which makes the whole medium into the writing area when the aspect ratio of a display is 3: 2.
  • FIG. 1 is an explanatory diagram showing a configuration of a handwriting system according to the present invention.
  • the handwriting system shown in FIG. 1 includes a handwriting pen (handwriting device) used by the user, a medium on which a dot pattern is partially or completely printed, an information processing device that receives writing information from the handwriting pen, and writing information. Based on this, it has a display that reproduces and displays the contents written on the medium.
  • the information processing device and the display may be integrated, or the handwriting pen and the information processing device may be wirelessly connected or integrated.
  • FIG. 2 is an explanatory diagram showing the appearance of a handwriting pen, which is a component of a handwriting system.
  • the handwriting pen is provided with a housing, and the pen tip portion protrudes from the lower part of the housing.
  • a cable is connected to the upper part of the housing, and a USB terminal (not shown) for connecting to the USB port of the information processing device is provided at the tip of the cable.
  • the housing is provided with a seesaw button ( ⁇ button, ⁇ button) and a single button ( ⁇ button).
  • the ⁇ button has a right-click function of the mouse
  • the ⁇ button has a Delete key function
  • the ⁇ button has a function of switching between mouse mode and digitizer mode. Also, when the pen tip is pressed, it becomes a left-click function of the mouse.
  • each button is not limited to this, and other functions such as a left-click function of the mouse for the ⁇ button, a right-click function of the mouse for the ⁇ button, and an Enter key function for the ⁇ button may be assigned. Based on this button assignment, mouse buttons and keyboard keys are sent to the information processing device. That is, any other function may be assigned to the ⁇ button, the ⁇ button, and the ⁇ button, and the number of buttons can be arbitrarily provided. It does not have to be a button as long as it is a mechanism to which a function can be assigned.
  • FIG. 3 is an explanatory diagram showing the internal structure of the handwriting pen.
  • the handwriting pen has an ink cartridge such as a ballpoint pen, an LED, an optical module such as a CMOS camera / CCD camera, a pressure detection switch, a processor composed of a CPU, and a ROM inside the housing. It is equipped with a memory such as a RAM and a transmission device.
  • the tip of the ink cartridge is a pen tip, and the user puts the pen tip of the handwriting pen in contact with the medium to write characters, figures, and the like.
  • pen down when the pen tip portion of the handwriting pen comes into contact with the medium or the like and is pushed in, it is called “pen down", and when the pen tip portion is separated from the pushed state is called "pen up”.
  • the pressure detection switch detects the pressure applied through the ink cartridge from the pen tip when the user writes or taps a character or mark on a medium or the like with a handwriting pen, that is, the pen pressure, and transmits it to the processor.
  • a signal may be transmitted for a case where a predetermined writing pressure (pen-down threshold value) is exceeded and then a predetermined writing pressure is lowered (pen-up threshold value).
  • the processor switches on / off the switch of the left mouse button based on the pen pressure data given from the pressure detection switch. That is, when the user writes characters on the medium with a handwriting pen, pressure is applied to the pen tip, and when the pressure is detected by the pressure detection switch, the processor determines that the user has started handwriting. , Sends that the left button of the mouse is pressed to the information processing device. Then, the coordinate information is transmitted to the information processing apparatus with the pen-down information detected by the pressure detection switch as the writing state via the cable. In addition, when the user finishes entering one coordinate information and releases the handwriting pen from the medium or the like, the pressure detection switch detects the pen-up because the pen pressure is no longer detected, and the operation of the left mouse button is released. To.
  • the dot code formed on the medium is touched or traced in close contact to convert the captured dot code into coordinate information and transmitted to the information processing device to display the cursor. It is desirable to show the movement on the display. By doing so, the position of the cursor can always be confirmed, and the position of writing can be visually recognized for positioning.
  • the handwriting pen is set to the mouse mode, when the mouse is moved, the position of the cursor moves relatively according to the amount of movement. If the pen is separated from the medium surface and the pressure detection switch is turned off and the pen is separated from the medium surface to the extent that the dot code cannot be read, the cursor stays at that position.
  • drawing can be performed from any position on the medium surface by applying pressure to the pen tip again and moving the pen.
  • This is exactly the same as mouse operation.
  • digitizer mode the handwriting pen always sends absolute coordinate values to the information processing device as a digitizer, so the cursor position accurately reflects the position of the display corresponding to the position on the medium, and the pen tip is brushed. You can draw beautiful characters and figures by writing on the medium surface while applying pressure.
  • the LED and the optical module are attached near the pen tip of the handwriting pen, and an opening is formed in the portion of the housing facing the LED and the optical module.
  • the LED irradiates infrared rays toward the vicinity of the pen tip on the medium.
  • the region is slightly offset from the position where the pen tip comes into contact with the medium or the like (offset). It is desirable that this offset is corrected to the position of the pen tip in contact with the medium and converted into coordinate information while recognizing the tilt of the pen from the deformation state of the captured dot pattern.
  • the optical module is provided with an infrared transmission filter that transmits infrared rays and blocks non-infrared rays.
  • the optical module captures a dot code in the area illuminated by the LED with a sensor and captures the image data of the dot code.
  • Supply to the processor since carbon absorbs infrared rays, the infrared rays emitted by the LED are absorbed by the carbon contained in the ink of the printed dots.
  • the dot portion has a small amount of infrared reflection, and the non-dot portion has a large amount of infrared reflection. .. Due to this difference in the amount of reflection, even if characters, figures, etc. are printed superimposed on the dot pattern on the medium, only the dot pattern can be recognized. It is desirable that the infrared reflection is diffusely reflected on the medium surface so that the pen can be returned to the opening and photographed even when the pen is tilted.
  • the irradiation light is not limited to infrared rays. If only the dot code can be recognized by some method, it may be irradiated with ultraviolet rays, visible light, or light of a specific wavelength. Further, the dots may be printed with an ink that reflects or absorbs a specific wavelength so that the dots can be distinguished from areas other than the dots. That is, it goes without saying that any method may be used as long as it can distinguish between dots and non-dots.
  • the processor While the user writes, the processor continuously inputs the coordinate values (X, Y) in the dot code coordinate system of the locus to be written by the user from the dot code of the image data supplied by the optical module several tens of times or more per second.
  • the coordinates are calculated. That is, the processor analyzes the image data of the dot code supplied by the optical module and acquires the XY coordinate values defined in the dot code.
  • the connection to the information processing device does not have to be a cable.
  • a wireless device may be provided in the transmission device inside the handwriting pen and connected by wireless communication such as Bluetooth (registered trademark) or Wi-Fi.
  • the driver software that receives the coordinate information transmitted in the specified data format from the handwriting pen and converts it to the HID standard can be incorporated into the information processing device. ..
  • the coordinate information received by the USB dongle attached to the information processing device may be converted into the HID standard and input to the information processing device.
  • a battery for supplying electric power to each component in the handwriting pen may be provided, and for example, a switch may be provided in the housing to turn on / off the power of the handwriting pen itself. ..
  • writing instruments such as markers can be used as ink cartridges for handwriting pens.
  • it may be a stylus core made of resin or metal. In this case, no ink is output.
  • the user may be able to change the ink cartridge and stylus depending on the medium used.
  • a pen pressure sensor may be provided instead of the pressure detection switch.
  • a real-time clock may be provided to transmit time information indicating the current time (time stamp) and supply it to the processor.
  • FIG. 4 is a functional block diagram of the information processing device.
  • the information processing device includes input means such as a mouse, a digitizer, and a keyboard, communication means, storage means, processing means, and display means.
  • the communication means receives the writing information from the handwriting pen via the USB interface (USB I / F), and transmits the received information to the processing means.
  • the display means is composed of a display or the like, and displays the contents instructed by the processing means.
  • the display means may be configured integrally with the information processing device, or may be configured as a separate body and may be connected to the information processing device by wire or wirelessly.
  • the processing means is composed of a processor such as a CPU, and controls the entire information processing device.
  • the processing means stores the writing information generated and transmitted by the handwriting pen in the storage means and displays it in the display means.
  • the storage means is composed of a memory such as a ROM in which a program is stored and a RAM in which data is recorded / processed.
  • the storage means stores the writing information received from the handwriting pen by the processing command of the processing means.
  • the information processing device may be a personal computer, a smartphone, a tablet PC, or the like.
  • FIG. 5 shows a top view of an example of the medium according to the present invention.
  • the medium has a writing area for performing handwriting input with a handwriting pen and an information area that operates as a button for making various settings at the time of handwriting input.
  • the information area is configured as an icon in which an image and a dot code are superimposed and printed.
  • the icons described as “16: 9", “16:10", “3: 2", and “4: 3" and the icon with a check mark (ID setting button) are shown.
  • An icon with a mouse and an icon with a digitizer are provided.
  • the aspect ratio setting button and the setting button are used when setting the aspect ratio of the display.
  • the aspect ratio setting button and the ID setting button may be integrated into one icon. At least one of the code value and the coordinate value is defined in the dot code printed in the information area.
  • a predetermined process corresponding to the icon is performed.
  • a grid ruled line is printed on the entire surface of the writing area, and it serves as a guide for handwriting input, similar to the ruled line in a general notebook. Thick lines are inserted in the grid rule every few lines vertically and horizontally, and these thick lines can be used as a guide when the handwriting area is divided into a plurality of sections and used.
  • Mr. ⁇ is B-1 and 2
  • Mr. ⁇ is C-1 and 2 if you decide who writes in which section, there are multiple. Even if a person writes it, it will not be displayed in duplicate. It may or may not have any design such as grid ruled lines.
  • the writing area is provided for the user to write characters, figures, etc. with a handwriting pen.
  • a coordinate value or a dot code in which the coordinate value and the code value are defined is printed in the writing area.
  • Dot code Such a dot code will be described with reference to FIGS. 6 to 14.
  • the "dot code” means an information code encoded by a plurality of dot arrangement algorithms.
  • a well-known algorithm such as GridOnput (registered trademark) of Gridmark, Anoto pattern of Anoto, OID of Sonix, etc. can be used.
  • GridMark's GridOnput (registered trademark) has many patents such as Patent No. 3706385, No. 3858051, No. 4142683, and No. 5331989. Details of these patents are described in each patent gazette, but the outline will be described below.
  • the dot code coding algorithm is provided as a computer-executable dot code generation program. It doesn't matter how the program is provided as long as it can be executed on a computer. For example, it may be stored in a recording medium such as a CD-ROM, or may be downloaded to a computer via a network. In addition, it may be available on the browser. Further, the dot code coding algorithm is not particularly limited because it is common to the case of reading by visible light and the case of reading by infrared light. That is, the dot code may be recognized by any method as long as it can distinguish between dots and non-dots.
  • any dot code can be used as long as it cannot be visually recognized, or even if it can be visually recognized, it can be recognized as a mere pattern.
  • the dot code can encode a different information code depending on the reading position by defining the coordinate value.
  • the dot code has a reference direction for encoding and decoding the information code, and by reading the direction, the rotation angle of the reading device with respect to the dot code can be obtained.
  • the reading device is tilted with respect to the dot code forming medium, it is possible to acquire the direction and how much the reading device is tilted due to the change in the brightness of the captured image.
  • the method of arranging the information dots is as shown in FIGS. 6A to 6E.
  • the method of arranging the information dots is not limited to the examples of FIGS. 6A to 6E.
  • FIG. 6A shows information dots arranged at positions deviated from the virtual point, that is, at positions having a predetermined distance from the virtual point and an angle with respect to a predetermined direction. Specifically, the information dots are arranged vertically, horizontally, and diagonally to the virtual points.
  • dots are arranged in eight directions with a constant distance from the virtual point, but in the dot code of the present invention, any direction may be used as long as it can be identified, and the dots may be in the same direction. If we can recognize the distance from the virtual point, we can define more numerical information. That is, the dots may be arranged in eight directions by changing the distance between the dots. Thereby, 16 kinds of numerical information can be represented.
  • a plurality of information dots may be arranged based on one virtual point. Further, as shown on the right side and the second from the right in the figure (a), it is also possible to define the information depending on whether or not the information dots are arranged at the virtual points. In this case, information may be defined depending on whether or not the information dots are arranged at the virtual points, in addition to the method of arranging the dots at the positions deviated from the virtual points. This makes it possible to increase the amount of information. Further, instead of arranging the information dots at positions deviated from the virtual points, it is possible to define the information depending on whether or not the information dots are arranged at the virtual points. Further, when the area where the dot pattern is arranged and the area where the dot pattern is not arranged are conspicuous, dummy dots can be arranged at the virtual points to make the boundary between them inconspicuous.
  • FIG. 6B shows information dots arranged in a total of four rectangular virtual areas of 2 rows ⁇ 2 columns, but if information dots are arranged near the boundary, erroneous recognition may occur. Therefore, FIG. 6C is an example in which adjacent rectangular virtual areas are arranged at regular intervals.
  • FIG. 7 is a diagram showing an example of assignment of information dot codes in the present invention.
  • the dot code can define at least one of "X coordinate value” and "Y coordinate value” which means position information and "code value” which means information other than position information.
  • the dot code system is defined by 32 bits from C31 to C0.
  • the first two bits C31 to C30 are defined as parity check bits for data error detection.
  • the dot code system of the present invention is roughly classified into three types: a general code group, a special code group, and a data format.
  • FIG. 8 shows a bit string definition of a general code group.
  • the general code group is a dot code in which C29 to C27 below the parity check bit are defined by "000".
  • A is a bit string of a general code, which is used for arbitrary application operation and content control / viewing such as video and audio playback.
  • B is defined as a preliminary code of the general code.
  • each bit of C29 to C27 is a dot code defined by "001", which provides a control and setting function of a writing area in an operation using a handwriting pen.
  • FIG. 9 shows the bit string definition of the area setting button.
  • the area setting button is used when it is desired to use only a part of the writing area of the medium as an effective writing area.
  • (a) and (b) are dot codes for defining the writable range by the shift origin coordinates of the X coordinate and Y coordinate when the starting point is the upper left of the display, and the area width in the X direction and the area height in the Y direction. Is shown.
  • (a) is a dot code for setting a writable range in the current write area. For example, it is used when a graphic or a description is displayed on a part of the display and it is desired to avoid overlapping the contents handwritten by the user in the area.
  • (b) is a dot code for changing the existing writing area and automatically fitting it in the center of the display.
  • (c) to (h) are bit strings for setting a quadrangle whose diagonals are two points specified by the handwriting pen in the writing area in the writing area.
  • (c) is a dot code that sets the writing area at the position of the display corresponding to the coordinates of the two points on the touched medium.
  • (d) is a dot code that fits the writing area defined by touching two points to the center of the display.
  • (e) is a dot code that fits the writing area defined by touching two points to the upper left of the display.
  • (f) is a dot code that fits the writing area defined by touching two points to the upper right of the display.
  • (g) is a dot code that fits the writing area defined by touching two points to the lower right of the display.
  • (h) is a dot code that fits the writing area defined by touching two points to the lower left of the display.
  • (i) is defined as a preliminary code for the special code.
  • FIG. 10 shows the bit string definition of the display write candidate area setting button.
  • the display write candidate area setting button is set to match the aspect ratio of the display of the information processing apparatus to be used with the write candidate area of the medium.
  • the write candidate area referred to here is an area indicating the first area of FIGS. 14 and 15.
  • the aspect ratios of currently popular displays are almost aggregated into four types of 16: 9, 16:10, 3: 2, 4: 3, so these four types can be set. There is. If there are displays with different aspect ratios other than these four types, the number of settings may be further increased. Of course, if only displays with the same aspect are used, only one type may be used. When using media with different writing areas, a writing candidate area setting button is required for each.
  • the origin shift X coordinate, origin shift Y coordinate, and write area height Yh are defined in the dot code of the display write candidate area setting button. Since the range of possible values of the origin shift coordinates and the writing area differs depending on the data format described later, the above four types of aspect ratios are defined for each data format.
  • the write area width X d is obtained by calculation from the aspect ratio and the write area height Y h . If the dot code can define a lot of information, the writing area width X d may be included.
  • the data format is defined by C25 to C24 of the bit string, and the above four types of aspect ratios are defined for each. Although four types of data formats are set here, only one type may be required, and in that case, the bit string for identification may not be present.
  • the dot codes of each aspect ratio corresponding to the data format "01" are shown in (a) to (d), the data format “10” is shown in (e) to (h), and the data format “10” is shown in (i) to (l).
  • the dot code of the aspect ratio corresponding to 11 ” is shown.
  • FIG. 11 shows the bit string definition of the setting button.
  • the number of IDs and the start ID, which will be described later, are defined in the dot code of the setting button.
  • FIG. 12 shows a bit string definition that defines the data format of the dot code coordinate system in the writing area.
  • (A) indicates a dot code in which 16 bits are assigned to the ID, 6 bits are assigned to the X coordinate of the writing area, and 6 bits are assigned to the Y coordinate.
  • (B) is a dot code in which 12 bits are assigned to the ID, 8 bits are assigned to the X coordinate of the writing area, and 8 bits are assigned to the Y coordinate.
  • (C) is a dot code in which 8 bits are assigned to the ID, 10 bits are assigned to the X coordinate of the writing area, and 10 bits are assigned to the Y coordinate.
  • bits other than the above may be assigned to the ID, X coordinate, and Y coordinate. Further, it may be a data format in which different numbers of bits are assigned to the X coordinate and the Y coordinate.
  • GRID0 The feature of "GRID0" is that at least one of the range and direction of the dot code can be recognized by using the reference dots arranged at the shifted positions.
  • Information dots are for defining numerical information.
  • the method of arranging the information dots is as shown in FIGS. 6 (a) to 6 (c), and the code assignment of the information dots is as shown in FIGS. 7 (a) to 7 (c). ..
  • Reference dot is arranged at a plurality of preset positions, and is for specifying the position of a virtual point described later.
  • At least one of the reference dots is arranged at a position deviated from the position of the other reference dots (reference dots arranged at the deviated positions).
  • the reference dots arranged at the shifted positions may be added to the reference dots arranged at the original positions.
  • the reference dots arranged at the shifted positions specify the reference direction of the reference dots and the information dots for the virtual points, or the reference dots and the information dots arranged in the virtual area. By determining the reference direction, information can be given and read in the direction of the information dot with respect to the virtual point. Further, it is possible to specify the range of the dot code that defines one data by a plurality of information dots. As a result, even if the dot codes are arranged vertically and horizontally, the read data in the range of the dot codes can be decoded.
  • Virtual points are specified by the arrangement of reference dots. Not limited to virtual points, rectangular virtual areas shown in FIGS. 6A and 6C may be specified.
  • the reference dots are arranged in the horizontal direction (first direction) and the vertical direction (second direction). Then, the center point of the grid region surrounded by the four reference dots is set as a virtual point, and the information dots are arranged at at least one of the distance and the direction from the virtual point.
  • the reference dots arranged at the four corners of one dot code are arranged at offset positions to indicate the direction and range of the dot code.
  • the reference dots, including the displaced reference dots, are arranged at equal intervals in the horizontal direction.
  • FIG. 14 shows an example of connecting dot patterns, and is an example of connecting a plurality of dot codes in which reference dots are arranged in a substantially square shape so that some of the reference dots are adjacent to each other so as to be common.
  • the condition for connection is that the positions of the dots at the top, bottom, and / or left and right ends of one dot code must be the same. It should be noted that only the top and bottom or the left and right may be connected.
  • the user When performing handwriting input, the user inserts the USB terminal at the end of the handwriting pen cable into the USB port. Then, it becomes possible to perform handwriting input without installing the application.
  • FIG. 15 is a flowchart showing a processing procedure executed by the handwriting pen in the digitizer mode.
  • the optical module captures the dot code in the information area (step S01).
  • the user touches the aspect ratio setting button (display writing candidate area setting button) indicating the screen ratio of the display used by the user among the plurality of icons (information areas).
  • the camera captures the dot code printed on the aspect ratio setting button touched by the user.
  • the processor analyzes the image data of the captured dot pattern and acquires the information defined in the dot code.
  • FIG. 17 is the format of the dot code printed on the aspect ratio setting button.
  • FIG. 17 shows the dot code format of the aspect ratio setting button of the information processing apparatus, in which (a) is 16: 9, (b) is 16:10, (c) is 3: 2, and (d) is 4: 3. This is the case.
  • the origin shift X0 coordinates, the origin shift Y0 coordinates, and the writing area height Yh in the dot code coordinate system are defined.
  • the numerical values assigned to C23 and C22 differ depending on each aspect ratio.
  • the dot code is 32 bits. However, the dot code is not limited to 32 bits. Of course, the number of bits of each element defined in the dot code may be appropriately changed according to the number of bits of the dot code, the size of the medium, and the like.
  • the dot code may be configured only with XY coordinate values.
  • a table corresponding to the range of coordinate values to which the aspect ratio setting button belongs and the aspect ratio is created for each aspect ratio setting button.
  • the processor equipped with the program acquires the width Xd and the height Yh of the write area candidate area (first area) in the dot code coordinate system corresponding to the screen ratio of the display as the first acquisition means.
  • Step S02 When the processor touches the 16:10 aspect ratio setting button in FIG. 17 (b), the origin shift X0 coordinates and the origin shift of the writing area in the case of the aspect ratio of 16:10 are displayed from the superimposed printed dot code. The Y0 coordinate and the writing area height Yh are acquired. Then, from these information, the width Xd of the writing area is acquired by calculation. The width Xd and the height Yh are the range of the area displayed on the display. Of course, if the amount of information in the dot code is sufficient, the width Xd of the first region may also be defined in the dot code.
  • the information processing apparatus may acquire it by any method.
  • the calculation of the coordinate values (X', Y') of the display coordinate system may be performed by the information processing apparatus. If the coordinate values (X', Y'') of the coordinate system that defines the pixel coordinates with a dedicated integer such as a frame buffer are required to be displayed on the display, the coordinate values (X', Y') are appropriate. ⁇ ) may be converted by a predetermined method.
  • the optical module captures and acquires the dot code in the writing area (step S03).
  • the optical module sequentially acquires the dot code of the writing location.
  • the data format of the dot code in the writing area is as shown in FIG. That is, only the X coordinate value and the Y coordinate value are defined as shown in the figure (a), or the X coordinate value, the Y coordinate value, and the code value are defined as shown in the figure (b). It is defined.
  • the processor analyzes the image data of the captured dot code and acquires the coordinate values (X, Y) of the portion where the writing is performed (step S04).
  • the coordinate values (X, Y) in the dot pattern coordinate system are set to the coordinate values (X', Y') in the display coordinate system. Need to be converted to. Therefore, the processor as the coordinate conversion means converts the coordinate values (X, Y) in the dot pattern coordinate system into the coordinate values (X', Y') in the display coordinate system based on the width Xd and the height Yh acquired in step S02. ) (Step S05). The specific processing required for converting the coordinate values will be described later.
  • the coordinate values (X', Y') of the display coordinate system are transmitted to the information processing means (step S06).
  • the handwriting pen is connected to the information processing device via a cable that is a transmission means.
  • the cable sequentially transmits the coordinate values (X', Y') of the display coordinate system to the information processing apparatus.
  • FIG. 16 is a flowchart showing a processing procedure executed by the handwriting pen in the mouse mode. The processing and technology common to the digitizer mode will not be described.
  • the optical module captures the dot code in the information area (step S11).
  • the processor analyzes the image data of the captured dot code and acquires the information defined in the dot code.
  • the processor as the first acquisition means acquires the width Xd and the height Yh of the write area candidate area (first area) in the dot code coordinate system corresponding to the screen ratio of the display (step S12).
  • the optical module captures the dot code in the writing area (step S13) and acquires the coordinate values (Xi, Yi) (step S14).
  • the processor as the coordinate conversion means converts the coordinate values (Xi, Yi) in the dot pattern coordinate system into the coordinate values (Xi', Yi) in the display coordinate system based on the width Xd and the height Yh acquired in step S12. ⁇ ) (step S15).
  • the coordinate values (Xi', Yi') are calculated every time the coordinate values (Xi, Yi) are acquired.
  • ⁇ Yi' Yi'-Yi-1' (Step S16).
  • this difference value may be obtained by the following formula. ⁇ and ⁇ will be described later.
  • ⁇ Xi' (Xi'-Xi-1' 0 ) ⁇ ⁇ / Xd
  • ⁇ Yi' ( Yi' ⁇ Yi-1'0) ⁇ ⁇ / Yh
  • the processor transmits the difference value acquired in step S16 to the information processing means (step S17). Characters, figures, and the like handwritten by the user based on this difference value are displayed on the display.
  • FIG. 19 is a diagram showing the relationship between the dot code coordinate system and the display coordinate system when the first area and the writing area match.
  • the left side of the figure shows the relationship between the dot code coordinate system and the first area.
  • the first region may be provided in a part of the dot code coordinate system. In that case, the origin of the dot code coordinate system and the origin of the first region do not match.
  • the dot code may be printed on the entire surface of the medium, or the dot code may be printed on a part of the area.
  • the origin of the dot code coordinate system is (0, 0), and the origin of the first region is (X0, Y0).
  • the coordinate values (X, Y) in the dot code coordinate system acquired in the process of FIG. 15 are (X—X0, Y—Y0) in the first coordinate system.
  • the coordinate values in the first coordinate system are (X—X0, Y—Y0)
  • the coordinate values (X ′, Y ′) in the display coordinate system can be obtained by the following formula.
  • X' (X-X 0 ) x ⁇ / Xd
  • Y' (Y-Y 0 ) x ⁇ / Yh ⁇
  • ⁇ are predetermined coefficients. This coefficient may be uniquely determined by the HID standard.
  • ⁇ 32768, which is 15 bits
  • ⁇ 18432, which is 9/16 thereof, are used.
  • the values of ⁇ and ⁇ are not limited to this, and can be set to appropriate values depending on the situation.
  • the calculation method is shown with the origin at the lower left of the dot code coordinate system and the origin at the lower left of the display coordinate system.
  • the origin of the display coordinate system is at the upper left
  • the following equation is used.
  • X' (X-X 0 ) x ⁇ / Xd
  • Y' Yh- (Y-Y 0 ) x ⁇ / Yh
  • the coordinate values (X', Y') may be obtained by appropriate calculation formulas.
  • FIG. 20 is a diagram showing the relationship between the dot code coordinate system and the display coordinate system when the first area and the writing area do not match.
  • the figure (a) shows a case where the medium matches only a part of the first region.
  • the display has a horizontally long configuration. Therefore, the first area is also horizontally long according to the aspect ratio of the display.
  • the writing area may be vertically long, such as a notebook or report paper with a dot code printed on it.
  • both ends of the display are black, and the written contents are displayed only in the central portion.
  • prohibition processing may be performed so that handwriting is not possible except in the writing area.
  • FIG. 3B shows a case where the area of the medium and the first area coincide with each other, but the entire medium is not the writing area.
  • FIG. 3D is an example of a screen displayed on the display in this case. As shown in the figure, the content written in the writing area is displayed on the left half of the display. On the right side, it has a video display area and operation icons. The user can operate the operation icon to play, fast forward, pause, or the like the video.
  • the dot code is also printed in the area outside the first area. This is because there is a discrepancy between the dot code read by the camera and the dot code at the place where the writing was performed.
  • the pen tip is in contact with the writing area, but the optical module also has dots around the writing area so that the coordinate values (X', Y') of the pen tip can be calculated correctly even if the dot code outside the writing area is read. It is desirable that the code be printed.
  • FIG. 21 is a diagram showing the relationship between the optical module and the pen tip. As shown in the figure, the coordinate value of the image pickup center C of the camera is (xc, yc), and the coordinate value of the pen tip on the medium surface is Q (xq, yq).
  • the dot code in the first region can include an ID.
  • the first area is specified by this ID.
  • FIG. 21 is a diagram illustrating a setting button used for acquiring an ID.
  • the figure (a) shows the dot code format of the setting button.
  • the number of IDs and the start ID are defined in the dot code format of the setting button.
  • the number of IDs is the number of IDs uniquely assigned to each page in a bundle of media such as notebooks and notepads, and the start ID is the ID used first in the bundle of media.
  • the number of IDs is 49 and the start ID is 152. In the case of only one medium, the number of IDs used is 1.
  • the processor as the coordinate conversion means generates a table as shown in FIG. 22B and stores it in the memory.
  • the table is associated with a start ID, an end ID, a width Xd of the first region, a height Yh, and an origin (X0, Y0) of the first region.
  • the ID defined in the dot code of the writing area is acquired.
  • the processor determines whether or not the ID acquired from the dot code of the writing area and the ID acquired from the setting button match. If they do not match, error processing is performed by a predetermined method. If they match, refer to the table, and from the acquired ID, the width Xd, height Yh, and the origin (X0, Y0) of the first region acquired from the aspect ratio setting button, [Calculate the coordinate values.
  • the coordinate values (X', Y') of the display coordinate system are obtained by using the calculation formula described in [About]. For example, when the acquired ID is 160, the part of "start ID 152, end ID 200" is referred to.
  • the number of IDs and the start ID may be defined in the dot code of the aspect ratio setting button without providing the setting button.
  • Gridwork is the name of a system using the handwriting system according to the present invention, and is a paper on which a USB connection type pen-type mouse, a digitizer, Gridpen (handwriting pen), and coordinate values (dot code) read by Gridpen are printed. It is equipped with a gridboard (medium) which is a mouse pad made of mouse, and a gridpaper (medium) which is a paper memo paper on which a dot code is printed.
  • Gridwork has the following features. -No power supply is required, and it can be used immediately just by connecting via USB. -No need to install a dedicated application. -You can clearly write marks and letters on the materials displayed on the shared screen to convey the points. ⁇ Lectures can be given while writing directly on the whiteboard or shared teaching materials on the TV conference system. ⁇ Students can write answers online to the questions presented by the teacher, and the teacher can interactively write and correct and teach.
  • FIG. 23 is an example of examining drawings and specifications at an online conference.
  • FIG. 24 is an example of a case where participants share a whiteboard function and perform brainstorming.
  • the gridpen reflects what was drawn on the spot, it is possible to explain while drawing an illustration after starting a meeting or lecture with the same ease as a conventional whiteboard. Further, since the Gridpaper can attach a ballpoint pen to the Gridpen and write and display it neatly while looking at the trajectory, it is possible to create and display a simple illustration or memo in advance and additionally write.
  • FIG. 25 is an example of an online class.
  • the teacher prepared the lecture materials in advance and proceeded with the lecture contents by adding explanations to the blackboard and whiteboard according to the materials.
  • Gridpen can maximize the advantage of online lectures that teachers and students can write in real time with each other.
  • the present invention can provide a comfortable online environment easily and inexpensively, and can solve problems related to remote work and online lessons.
  • FIGS. 26 to 22 are diagrams illustrating a specific example of a medium for performing handwriting input.
  • FIG. 26 is a top view showing a Gridboard which is an example of an arrangement.
  • the Gridboard uses a cardboard type medium. On the surface of the cardboard type medium, the tip of the handwriting pen is changed to a resin stylus for handwriting input. Both sides are varnished, and the back side can be used as a plain whiteboard.
  • FIG. 27 is a diagram showing a grid paper which is another example of the arrangement, (a) shows a cover page, and (b) shows a paper sheet.
  • Gridpaper is a report paper type medium, and dozens of handwritten papers are bound in one volume.
  • the icon printed on the medium is printed with a dot code superimposed on it, and by reading this dot code with a handwriting device, various settings can be made for the handwriting device.
  • the handwriting pen When the icon with the mouse illustration or character notation (the leftmost icon in FIGS. 26 and 27 (b)) is touched with the handwriting pen in the above icon, the handwriting pen enters the mouse mode and the coordinate value read from the writing area. Is transmitted to the information processing device as a relative coordinate value. This function may be set with the button of the handwriting pen.
  • the handwriting pen When the pen illustration or the icon with the character notation (the second icon from the left in FIGS. 26 and 27 (b)) is touched with the handwriting pen in the above icon, the handwriting pen enters the digitizer mode and the coordinates read from the writing area. The value is sent to the information processing device as an absolute coordinate value.
  • the display of an information processing device that performs handwritten input has various aspect ratios, and if the display area of the display and the writing area of the medium are not properly associated, for example, a square should be drawn on the display. It may be displayed distorted into a rectangle.
  • the user can use the aspect ratio icons (FIGS. 26 and 27) described as “16: 9", “16:10”, “3: 2", and “4: 3" in the information area of the medium prior to the handwritten input.
  • the second to fifth icons from the right select the one that matches the aspect ratio of the display to be used, touch it with a handwriting pen, and then determine that the check mark in the information area is written. Touch the icon (the rightmost icon in FIGS. 26 and 27 (b)) with the handwriting pen.
  • the aspect ratio icon is printed with a dot code of coordinate value data indicating the position and size of which part of the handwritten area the display of each aspect ratio corresponds to.
  • a dot code indicating in which part of the memory table inside the handwriting pen the setting information of each aspect ratio icon selected above is stored is superimposed and printed on the decision icon.
  • the settings according to the aspect ratio of the display to be used are saved in the handwriting pen, and as long as the display with the same aspect ratio is used thereafter, special operations are performed. It can be used in a state where the display and the handwriting area are matched.
  • the handwriting system of the present invention by reading the dot code printed on the medium with the handwriting pen, it is possible to reflect the format information of the handwriting area on the handwriting pen, and the specifications of the medium are changed. Even when providing a new product, it does not require troublesome operations such as downloading and installing software, and can be used only by a simple operation of touching the dot code on the medium.
  • the video conference services currently released by each company include a screen sharing function for conference participants to present and explain files open on their PCs to other participants, and conference participants have their own ideas and comments. Many of them provide a whiteboard function that allows you to write freely.
  • the video conference system whiteboard feature displays a virtual whiteboard in the video conference system's application window, allowing conference participants to write to the whiteboard using the pen tool provided by the application. ing.
  • the handwriting system of the present invention since it is a pen-type device, it is possible to work in a natural flow from determination of the writing position to writing even when inputting characters.
  • arrows and circles can be entered with intuitive movements while holding the handwriting pen, which does not impair the flow of thinking and conversation.
  • Zoom (some video conference systems) provided by Zoom Video Communications has an annotation function that allows you to write comments etc. on the screen sharing function itself in addition to the whiteboard function, and provides shared materials.
  • An annotation function that allows you to write comments etc. on the screen sharing function itself in addition to the whiteboard function, and provides shared materials.
  • Zoom and the handwriting system of the present invention it is possible to realize two-way communication in which conference participants handwrite comments at the same time within the Zoom screen even if the sharing application itself does not have a handwriting input function. ..
  • the video conference system equipped with the whiteboard function includes Teams from Microsoft and Meet-in from meet in.
  • the medium used for handwriting may be plain or printed with questions and answer frames in advance.
  • the handwriting system of the present invention the content of the lesson can be written down with a ballpoint pen, a marker, etc. on a report paper type or notebook type medium on which a dot code is printed in advance, or on a small white board, and used as a lecture note.
  • a ballpoint pen By changing the tip of the handwriting pen to a stylus type and tracing the letters in the lecture notebook, you can proceed with the lesson while writing on the board.
  • the trajectory drawn while reading the dot code may be recorded in a file in advance and reproduced in a slide show or animation.
  • Video conference systems such as Zoom are equipped with a recording function, which allows you to record the state of the conference. If you record the state of the lesson, you can easily create a lecture video without preparing or editing video equipment.
  • the first area is displayed on the display.
  • the origin of the dot code coordinate system is (0, 0)
  • the origin of the first region is (X0, Y0).
  • the user specifies an area in the first area for which a write area is to be set.
  • the processing means of the information processing apparatus recognizes the range of the coordinate values of the designated area and stores the coordinate range in the storage means. Then, prohibition processing is performed for other areas.
  • the medium as shown in FIG. 28 is printed.
  • a dot code is printed on the entire surface of the medium.
  • the writing information acquired from the dot code at the writing position is transmitted to the information processing device, and the written content is displayed on the display, but other than the writing area. Even if writing is performed in the area of, the dot code is not transmitted to the information processing device, and the written content is not displayed on the display.
  • Such authoring tools can only be used in specific areas, such as allowing students to write answers only in the answer section of an answer sheet when a student answers a question given by a teacher in an online lesson. This is especially effective when you want to write.
  • the written locus may be subjected to OCR, recorded as text data, and aggregated / processed. The locus may be saved at the same time.
  • writing can be performed only in the area corresponding to the aspect ratio setting button in the writing area. Even if writing is performed in an area other than the area corresponding to the aspect ratio setting button in the writing area, it is not displayed on the display, so that the user needs to be aware of the writable range when writing.
  • the content may be printed on paper on which the dot code is pre-printed (or the dot code and content may be printed on ordinary paper at the same time), and the content may be printed on the printed paper. be. In such a case, if some contents are not displayed or there is an area that is not displayed even after writing, accurate information transmission may be hindered.
  • the invention according to the following embodiment was made in view of such a problem, and is characterized in that it is accurately displayed on the display no matter where it is written on the medium.
  • the size of the medium is A4 horizontal size (width 297 mm, height 210 mm).
  • FIG. 29 is a diagram illustrating a method of using the entire medium as a writing area when the aspect ratio of the display is 16: 9.
  • the medium is a part of the first region, and the medium is hereinafter referred to as a "second region".
  • the aspect ratio of the display is larger than the aspect ratio of the medium (297: 210 ⁇ 1.41: 1). Therefore, the left and right sides of the display become black, and the content written on the medium is displayed in the area other than the black area.
  • the lower left corner of the boundary between the black area and the white area of the display should be the origin of the second area.
  • the width of the first region is Xd
  • the height is Yh
  • the coordinate value of the origin in the dot code coordinate system is (X0, Y0).
  • the origin (X0, Y0) of the first region coincides with the origin (0', 0') of the display coordinate system X'Y'.
  • the width of the second region is Xc
  • the height is Yc
  • the coordinate value of the origin in the dot code coordinate system is (X1, Y1).
  • Xc and Yc are values obtained from the coordinate values in the dot code coordinate system so as to be equal to the actual size of the medium.
  • the second area is arranged so that a non-display area (black area of the display) of the same size is formed on the left and right ends of the first area.
  • the width of the hidden area is the right and left edges, respectively. Is.
  • the aspect ratio is 16: 9, so Because it becomes Is.
  • the value of (X0, Y0) obtained here corresponds to the difference value ( ⁇ X, ⁇ Y) between the origin (0, 0) of the dot code coordinate system and the origin (0', 0') of the display coordinate system.
  • the coordinate value of the dot code coordinate system of the writing location where the user has written is (X, Y)
  • the coordinate value (X', Y') of the display coordinate system of the writing location can be obtained as follows.
  • FIG. 30 is a diagram illustrating a method of using the entire medium as a writing area when the aspect ratio of the display is 16:10. The same contents as those in FIG. 29 may be omitted.
  • the aspect ratio of the display is larger than the aspect ratio of the medium (297: 210 ⁇ 1.41: 1). Therefore, the left and right sides of the display become black, and the content written on the medium is displayed in the area other than the black area.
  • the lower left corner of the boundary between the black area and the white area of the display should be the origin of the second area.
  • the width of the first region is Xd
  • the height is Yh
  • the coordinate value of the origin in the dot code coordinate system is (X0, Y0).
  • the origin (X0, Y0) of the first region coincides with the origin (0', 0') of the display coordinate system.
  • the width of the second region is Xc
  • the height is Yc
  • the coordinate value of the origin in the dot code coordinate system is (X1, Y1).
  • the second region is arranged so that non-display regions of the same size are formed on the left and right ends of the first region.
  • the width of the hidden area is the right and left edges, respectively. Is.
  • the aspect ratio is 16:10, so Because it becomes Is.
  • the value of (X0, Y0) obtained here corresponds to the difference value ( ⁇ X, ⁇ Y) between the origin (0, 0) of the dot code coordinate system and the origin (0', 0') of the display coordinate system.
  • the coordinate value of the dot code coordinate system of the writing location where the user has written is (X, Y)
  • the coordinate value (X', Y') of the display coordinate system of the writing location can be obtained as follows.
  • FIG. 31 is a diagram illustrating a method of using the entire medium as a writing area when the aspect ratio of the display is 4: 3. The same contents as those in FIGS. 29 and 30 may be omitted.
  • the aspect ratio of the display is larger than the aspect ratio of the medium (297: 210 ⁇ 1.41: 1). Therefore, the top and bottom of the display become black, and the content written on the medium is displayed in the area other than the black area.
  • the lower left corner of the boundary between the black area and the white area of the display should be the origin of the second area.
  • the width of the first region is Xd
  • the height is Yh
  • the coordinate value of the origin in the dot code coordinate system is (X0, Y0).
  • the origin (X0, Y0) of the first region coincides with the origin (0', 0') of the display coordinate system.
  • the width of the second region is Xc
  • the height is Yc
  • the coordinate value of the origin in the dot code coordinate system is (X1, Y1).
  • the second region is arranged so that non-display regions of the same size are formed at the upper and lower ends of the first region.
  • the height of the hidden area is the top and bottom respectively. Is.
  • the aspect ratio is 4: 3, so Because it becomes Is.
  • the value of (X0, Y0) obtained here corresponds to the difference value ( ⁇ X, ⁇ Y) between the origin (0, 0) of the dot code coordinate system and the origin (0', 0') of the display coordinate system.
  • the coordinate value of the dot code coordinate system of the writing location where the user has written is (X, Y)
  • the coordinate value (X', Y') of the display coordinate system of the writing location can be obtained as follows.
  • FIG. 32 is a diagram illustrating a method of using the entire medium as a writing area when the aspect ratio of the display is 3: 2. The same contents as those in FIGS. 29 to 31 may be omitted.
  • the aspect ratio of the display is larger than the aspect ratio of the medium (297: 210 ⁇ 1.41: 1). Therefore, the left and right sides of the display become black, and the content written on the medium is displayed in the area other than the black area.
  • the lower left corner of the boundary between the black area and the white area of the display should be the origin of the second area.
  • the width of the first region is Xd
  • the height is Yh
  • the coordinate value of the origin in the dot code coordinate system is (X0, Y0).
  • the origin (X0, Y0) of the first region coincides with the origin (0', 0') of the display coordinate system.
  • the width of the second region is Xc
  • the height is Yc
  • the coordinate value of the origin in the dot code coordinate system is (X1, Y1).
  • the second region is arranged so that non-display regions of the same size are formed on the left and right ends of the first region.
  • the width of the hidden area is the right and left edges, respectively. Is.
  • the aspect ratio is 3: 2, so Because it becomes Is.
  • the value of (X0, Y0) obtained here corresponds to the difference value ( ⁇ X, ⁇ Y) between the origin (0, 0) of the dot code coordinate system and the origin (0', 0') of the display coordinate system.
  • the coordinate value of the dot code coordinate system of the writing location where the user has written is (X, Y)
  • the coordinate value (X', Y') of the display coordinate system of the writing location can be obtained as follows.
  • the handwriting pen processor transmits (X', Y') to the information processing device.
  • the present invention is not limited to this, and any aspect ratio may be used. ..
  • the size of the medium is set to A4 horizontal size, it is a matter of course that the present invention can be carried out regardless of the size.
  • the resolution of the display is horizontal Rx pixels and vertical Ry pixels, and the converted coordinate values are (Xf, Yf), Will be.
  • the information processing device displays the content handwritten by the user on the display based on the converted coordinate values (Xf, Yf). This makes it possible to record and display the handwritten content in a state similar to the handwriting actually handwritten on the medium.
  • the present invention can be used for handwriting in online conferences and online classes, writing in various materials offline, and converting the data into data.
  • the information written in the form or notepad can be converted to OCR and processed as data.
  • it can be used in all kinds of situations such as taking notes and drawing pictures.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

手書きした内容を適切にディスプレイに表示することが可能な簡便な手書き装置、手書きシステムを提供する。情報処理装置と無線または有線で接続される手書き装置であって、媒体に形成されたドットコードを撮像し、ドットコードに定義された情報を取得する読取り手段と、情報処理装置に搭載または接続されたディスプレイの画面比率に対応するドットコード座標系における第1の領域の幅Xd、高さYhを取得する第1の取得手段と、第1の領域は、ドットコード座標系の座標値(X,Y)または座標値(X,Y)およびコード値が定義された第１のドットコードを含み、第1の領域の一部または全部が前記媒体に形成され、第１のドットコードを読取り手段で取得し、少なくとも第1の領域の幅Xd、高さYhに基づいて座標値(X,Y)を所定の座標系の座標値(X',Y')に変換する座標変換手段と、少なくとも座標値(X',Y')を情報処理装置に送信する送信手段と、を備える手書き装置とした。

Description

手書き装置
　本発明は、文字、図形等の手書き情報をコンピュータシステムに入力するための手書き装置、手書きシステムに関する。
　従来、手書き情報をコンピュータに入力するための手書きシステムが利用されている。その中でも、位置情報が定義されたドットコードが印刷された用紙に専用の電子ペンで手書きを行うと、その軌跡をコンピュータに入力してディスプレイに手書きした内容が表示される、ドットコードを用いた手書きシステム（例えば特許文献１）が、利便性の面から多く利用されている。一方、TV会議システムや多くの汎用のデータ作成アプリでは、HID (Human Interface Device)規格（クラス）に基づいたマウスやデジタイザ使用による手書きの描画機能を有している。
特表２００３－５２８３８７号公報
　しかしながら、特許文献１のドットコードを使用した手書きシステムでは専用のアプリをインストールしなければならず、専用のアプリに限定した利用となる。一方、HID規格に基づいた描画機能を有するTV会議システムや多くの汎用のデータ作成アプリで、マウスを使用する場合、マウスを移動した相対座標値でカーソルを移動させるため文字や図が奇麗に描けない。奇麗に文字や図を描くには高価なデジタイザやタブレットを使用し絶対座標値をコンピュータに入力して描画しなければならない。その場合も、コンピュータのディスプレイと手書き領域を対応させるためのキャリブレーションを実施するためにアプリをインストールする必要がある。
　現在は、特に新型コロナウイルスの影響によりＴＶ会議システムを使用したオンライン会議やオンライン授業が増加しており、既存の様々なアプリで簡便に手書きした内容を即座に画面上に表示することへの要請が高まっている。
　本発明はこのような問題に鑑みてなされたものであり、手書きした内容を適切にディスプレイに表示することが可能な簡便な手書き装置、手書きシステムを提供することを目的とする。
　（１）本発明にかかる手書き装置は、情報処理装置と無線または有線で接続される手書き装置であって、媒体に形成されたドットコードを撮像し、該ドットコードに定義された情報を取得する読取り手段と、前記情報処理装置に搭載または接続されたディスプレイの画面全体の画面比率に対応するドットコード座標系における第1の領域の幅Xd、高さYhを取得する第1の取得手段と、前記第1の領域は、ドットコード座標系の座標値（Ｘ、Ｙ）または座標値（Ｘ、Ｙ）およびコード値が定義された第１のドットコードを含み、該第1の領域の一部または全部が前記媒体に形成され、該第１のドットコードを前記読取り手段で取得し、少なくとも前記第1の領域の幅Xd、高さYhに基づいて該座標値（Ｘ、Ｙ）を前記ディスプレイの座標系の原点に対応する位置を基準とする所定の座標系の座標値（Ｘ´、Ｙ´）に変換する座標変換手段と、少なくとも前記座標値（Ｘ´、Ｙ´）を前記情報処理装置に送信する送信手段と、を備える。
　（２）さらに、前記媒体には、前記第1の領域の外部または角部に前記ドットコード座標系の原点(0,0)が設けられ、該ドットコード座標系の座標値(X0,Y0)が該第1の領域の座標系の原点となるように前記第１のドットコードが前記第1の領域に形成されている。
　（３）さらに、前記第1の領域が前記ディスプレイの画面比率に対応するために、前記座標値（Ｘ´、Ｙ´）は、係数α、βによって、
（式１）
Ｘ´=(X-X0)×α/Xd
Ｙ´=(Y-Y0)×β/Yh
の計算式で変換される。
　（４）さらに、前記送信手段は、所定の事象が発生したときに前記α、βを前記情報処理装置に送信する。
　（５）さらに、ディスプレイの解像度がＲｘ、Ｒｙである場合に、前記情報処理装置は、送信された前記座標値（Ｘ´、Ｙ´）を
（式２）
Ｘｆ＝（Ｒｘ/α）×Ｘ’
Ｙｆ＝（Ｒｙ/β）×Ｙ´
の計算式で変換する。
　（６）さらに、前記第１の領域の少なくとも一部であり、左下隅をドットコード座標系における（Ｘ１，Ｙ１）とする第２の領域が前記ディスプレイに全画面表示された場合、前記ドットコード座標系における第２の領域の幅Ｘｃ、高さＹｃを基に、前記第２の領域の上下の境界が前記ディスプレイの上端下端に一致して表示され、左右に同一の幅の非表示領域が形成される（Ｙｃ/ＸｃがYh/Xd以下）場合には、
（式３）
　Ｘ０＝Ｘ１-（Ｘｄ-Ｘｃ）/２
　Ｙ０＝Ｙ１
の計算式で変換され、前記第２の領域の左右の境界が前記ディスプレイの左端右端に一致して表示され、上下に同一の幅の非表示領域が形成される（Ｙｃ/ＸｃがYh/Xd以上）場合には、
（式４）
　Ｘ０＝Ｘ１
　Ｙ０＝Ｙ１-（Ｙｈ－Ｙｃ）/２
の計算式で変換される。
　（７）さらに、前記αは３２７６８、前記βは１８４３２である。
　（８）さらに、前記画面比率は、Xd：Yh＝16：9、16：10、4：3および3：2の少なくとも一つである。
　（９）さらに、前記第1の取得手段は、前記読取り手段によって、前記媒体の情報領域に形成されたコード値およびドットコード座標系の座標値（Ｘ、Ｙ）の少なくともいずれかが定義された第２のドットコードから、前記第1の領域の幅Xd、高さYhまたは該第1の領域の幅Xd、高さYhに対応する情報を取得する。
　（１０）さらに、前記第２のドットコードは、対応する前記画面比率を示す画像と重畳して形成される
　（１１）さらに、前記第１のドットコードには前記第1の領域をそれぞれ特定するIDまたは該IDに対応する情報が含まれ、前記読取り手段によって、前記第２のドットコードまたは前記媒体の情報領域に形成されたコード値およびドットコード座標系の座標値（Ｘ、Ｙ）の少なくともいずれかが定義された第３のドットコードから前記IDまたは該IDに対応する情報を取得する第2の取得手段をさらに備える。
　（１２）さらに、前記座標変換手段は、前記第2の取得手段が取得した１以上のIDと前記第1の領域の幅Xd、高さYhおよび前記座標値(X0,Y0)を紐づけしたテーブルを生成し、前記読取り手段が前記第１のドットコードからIDを取得して、該テーブルから該第1の領域の幅Xd、高さYhおよび該座標値(X0,Y0)を参照し、（３）に記載の計算式を実施する。
　（１３）さらに、前記読取り手段で書き込み可能な書込み領域は前記第1の領域内に任意に設定でき、前記書込み領域を特定する情報を取得する第３の取得手段をさらに備える。
　本発明によれば、手書きした内容を適切にディスプレイに表示することが可能となる。
手書きシステムの構成を示す説明図である。 手書きペンの外観を示す説明図である。 手書きペンの内部構造を示す機能ブロック図である。 情報処理装置の機能ブロック図である。 媒体の一例の上面図である。 情報ドットの配置の仕方について説明する図である。 情報ドットのコードの割り当ての一例を示す図である。 情報ドットのコードの割り当ての一例を示す図である。 情報ドットのコードの割り当ての一例を示す図である。 情報ドットのコードの割り当ての一例を示す図である。 情報ドットのコードの割り当ての一例を示す図である。 情報ドットのコードの割り当ての一例を示す図である。 基準ドットを水平方向（第１の方向）および垂直方向（第２の方向）に配置したドットパターンの例を示す図である。 ドットコードの連結例を示す図である。 デジタイザモードの場合に手書きペンが実行する処理手順を示すフローチャートである。 マウスモードの場合に手書きペンが実行する処理手順を示すフローチャートである。 アスペクト比設定ボタンに印刷されたドットコードのフォーマットである。 書込み領域に印刷されたドットコードのフォーマットである。 第１の領域と書込み領域が一致した場合における、ドットコード座標系とディスプレイ座標系との関係を示す図である。 第１の領域と書込み領域が一致しない場合における、ドットコード座標系とディスプレイ座標系との関係を示す図である。 光学モジュールとペン先との関係を示す図である。 第１の領域を特定するためのＩＤを用いる場合について説明する図であり、（ａ）は設定ボタンに印刷されたドットコードのフォーマット、（ｂ）はプロセッサにより生成されるテーブルについて説明する図である。 オンライン会議で図面や仕様書を検討する際に本発明を用いた場合の例である。 参加者がホワイトボード機能を共有してブレーンストーミングを行う際に本発明を用いた場合の例である。 オンライン授業で本発明を用いた場合の例である。 媒体の一例であるＧｒｉｄｂｏａｒｄについて説明する図である。 媒体の一例であるＧｒｉｄｐａｐｅｒについて説明する図である。 書込み領域の生成について説明する図である。 ディスプレイのアスペクト比が１６：９の場合に媒体の全部を書き込み領域とする技術について説明する図である。 ディスプレイのアスペクト比が１６：１０の場合に媒体の全部を書き込み領域とする技術について説明する図である。 ディスプレイのアスペクト比が４：３の場合に媒体の全部を書き込み領域とする技術について説明する図である。 ディスプレイのアスペクト比が３：２の場合に媒体の全部を書き込み領域とする技術について説明する図である。
　以下、図面を参照しながら、本発明の実施形態について説明する。
　図１は、本発明にかかる手書きシステムの構成を示す説明図である。図１に示す手書きシステムは、ユーザが使用する手書きペン（手書き装置）と、一部または全部にドットパターンが印刷された媒体と、手書きペンから書き込み情報を受信する情報処理装置と、書き込み情報に基づき媒体への書き込み内容を再現表示するディスプレイと、を有する。なお、情報処理装置とディスプレイは一体であってもよいし、手書きペンと情報処理装置とが無線接続や一体であってもよい。
（手書きペン）
　図２は、手書きシステムの構成要素である手書きペンの外観を示す説明図である。図２に示すように、手書きペンは筐体を備え、筐体の下部からペン先部が突き出している。筐体の上部にはケーブルが接続されており、ケーブルの先端には、情報処理装置のＵＳＢポートに接続するためのＵＳＢ端子（図示せず）が設けられている。また、筐体には、シーソーボタン（△ボタン、□ボタン）、シングルボタン（○ボタン）が設けられている。△ボタンはマウスの右クリック機能、□ボタンはＤｅｌｅｔｅキー機能、○ボタンはマウスモードとデジタイザモードの切り替え機能を有する。また、ペン先部を押圧すると、マウスの左クリック機能となる。
　なお、各ボタンの機能はこれに限らず、例えば、△ボタンはマウスの左クリック機能、□ボタンはマウスの右クリック機能、○ボタンはＥｎｔｅｒキー機能等、他の機能を割り当ててもよい。このボタンの割り付けに基づいて、マウスボタンやキーボードのキーを情報処理装置に送信する。つまり、△ボタン、□ボタン、○ボタンには、どのような他の機能が割り当てられてもよいし、ボタンの数は任意に設けることができる。なお、機能を割り当てられる機構であればボタンでなくてもよい。
　図３は、手書きペンの内部構造を示す説明図である。図３に示すように、手書きペンは、その筐体の内部に、ボールペン等のインクカートリッジ、ＬＥＤ、ＣＭＯＳカメラ・ＣＣＤカメラ等の光学モジュール、圧力検知スイッチ、ＣＰＵ等により構成されるプロセッサ、ＲＯＭやＲＡＭといったメモリおよび送信装置を備える。インクカートリッジの先端は、ペン先部となっており、ユーザは、手書きペンのペン先部を媒体に当接させて、文字や図形等を記入する。ここで、手書きペンのペン先部が媒体等に接触し押し込まれることを「ペンダウン」と呼び、押し込まれている状態からペン先部が離れることを「ペンアップ」と呼ぶ。
　圧力検知スイッチは、ユーザが手書きペンにより媒体等に文字やマークを書いたりタップしたりする際にペン先部からインクカートリッジを通じて与えられる圧力、すなわち筆圧を検知し、プロセッサへ伝送する。なお、筆圧そのものではなく、所定の筆圧（ペンダウン閾値）を超えた場合、その後に所定の筆圧を下回った場合（ペンアップ閾値）に対する信号を伝送してもよい。ペンアップ閾値をペンダウン閾値より大きくすることによって、筆記している最中に筆圧が下がっても軌跡を継続的に伝送できる。
　プロセッサは、圧力検知スイッチから与えられる筆圧データに基づいて、マウスの左ボタンのスイッチのオン／オフを切り替える。すなわち、ユーザが手書きペンで媒体に文字などを書くと、ペン先部に筆圧がかかり、圧力検知スイッチによって筆圧が検知されたときに、プロセッサは、ユーザが手書きを開始したと判定して、マウスの左ボタンが押されたことを情報処理装置に送信する。そして、ケーブルを介して、圧力検知スイッチにより検出されたペンダウン情報を書き込み状態として座標情報を情報処理装置へ送信する。また、ユーザが１つの座標情報を記入し終えて手書きペンを媒体等から離すと、圧力検知スイッチは、筆圧が検出されなくなることでペンアップを検出し、マウスの左ボタンの操作が解除される。なお、圧力検知スイッチがＯＮにならなくても、媒体に形成されたドットコードを接触または近接触してなぞって、撮像したドットコードを座標情報に変換し、情報処理装置に送信してカーソルの移動をディスプレイに表示するのが望ましい。このようにすれば、カーソルの位置が常に確認でき、書き込みの位置を視認して位置決めができる。手書きペンをマウスモードに設定している場合は、マウスを移動させるとその移動量に応じてカーソルの位置が相対的に移動する。なお、ペンを媒体面から離して圧力検知スイッチがＯＦＦになり、ドットコードも読めない程度媒体面から離した場合は、カーソルはその位置にとどまる。そして、媒体面のどの位置からでも、再度ペン先に筆圧を加えて移動させると描画できる。これは正しくマウス操作と同じである。しかし、デジタイザモードでは、手書きペンはデジタイザとして常に情報処理装置へ絶対座標値を送信することから、カーソルの位置は媒体上での位置に対応するディスプレイの位置を正確に反映され、ペン先に筆圧を加えながら媒体面に書き込むと綺麗な字や図が描ける。
　ＬＥＤと光学モジュールは、手書きペンのペン先部付近に取り付けられており、筐体におけるＬＥＤおよび光学モジュールと対向する部分には、開口部が形成されている。ＬＥＤは、媒体上のペン先部近傍に向けて赤外線を照射する。その領域は、ペン先部が媒体等に接触する位置とはわずかにずれている（オフセット）。このオフセットは、撮影されたドットパターンの変形状況からペンの傾きを認識しつつ、媒体に接触するペン先の位置に補正して座標情報に変換されるのが望ましい。光学モジュールには、赤外線を透過し赤外線以外を遮断する赤外線透過フィルタが設けられており、光学モジュールは、ＬＥＤによって照射された領域内におけるドットコードをセンサで撮影し、そのドットコードの画像データをプロセッサに供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤによって照射された赤外線は、印刷されたドットのインクに含まれるカーボンによって吸収される。ここで、重畳して印刷される文字や図形にカーボンや赤外線吸収材が殆ど含まれていなければ、ドットの部分は赤外線の反射量が僅かであり、ドット以外の部分は赤外線の反射量が多い。この反射量の違いにより、媒体に文字や図形等がドットパターンと重畳印刷されていても、ドットパターンのみを認識することが可能となる。なお、赤外線の反射は、ペンを傾けた際も開口部に戻って撮影できるように媒体面で拡散反射されることが望ましい。
　なお、照射光は赤外線に限られない。何らかの方法でドットコードのみを認識できるのであれば、紫外線や可視光線または特定の波長の光を照射してもよい。さらに、ドットを特定の波長を反射または吸収するインクで印刷し、ドット以外の領域と識別できるようにしてもよい。すなわち、ドットとドット以外を識別できればどのような方法でもよいことは言うまでもない。
　プロセッサは、ユーザの書き込みが行われる間、光学モジュールによって供給される画像データのドットコードから、ユーザが書き込む軌跡のドットコード座標系における座標値（Ｘ、Ｙ）を１秒間に数十回以上連続的に演算していく。すなわち、プロセッサは、光学モジュールによって供給されるドットコードの画像データを解析して、ドットコードに定義されたＸＹ座標値を取得する。
　その他、プロセッサによって実行される処理については、適宜説明する。
　光学モジュールで取得した座標値（Ｘ、Ｙ）に補正・変換を施した座標値（Ｘ´、Ｙ´）や、その他、手書きペンがドットコードから取得した情報やボタン等の操作から取得した情報を、ＵＳＢインターフェース（ＵＳＢ　Ｉ／Ｆ）を介して情報処理装置に送信する。少なくとも上記座標値（Ｘ´、Ｙ´）を含むこれらの情報を総称して書き込み情報という。なお、情報処理装置への接続は、ケーブルによらなくてもよい。手書きペン内部の送信装置に無線装置を設け、Bluetooth（登録商標）、Wi-Fi等の無線通信によって接続してもよい。ただし、無線装置にHID規格のデジタイザモードがサポートされていない場合は、手書きペンから所定のデータフォーマットで送信された座標情報を受信し、HID規格に変換するドライバーソフトを情報処理装置に組み込めばよい。もしくは、情報処理装置に装着するUSBドングルで受信した座標情報をHID規格に変換し情報処理装置に入力してもよい。ケーブルを設けない場合は、手書きペン内の各部品に電力を供給するためのバッテリーを設け、例えば筐体にスイッチを設けることにより手書きペン自体の電源のオン／オフを行うよう構成させてもよい。
　なお、手書きペンのインクカートリッジは、ボールペンの他、マーカー等の筆記具を使用することができる。さらに、樹脂製や金属製のスタイラス芯としてもよい。この場合、インクが出力されない。また、ユーザ自身が、使用する媒体によってインクカートリッジとスタイラスを変更可能なようにしてもよい。
　また、圧力検知スイッチに代えて筆圧センサを設けてもよい。さらにリアルタイムクロックを設け、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサに供給するようにしてもよい。
（情報処理装置）
　次に、情報処理装置について説明する。
　図４は、情報処理装置の機能ブロック図である。情報処理装置は、マウスやデジタイザ、キーボードといった入力手段、通信手段、記憶手段、処理手段、表示手段を備える。通信手段は、ＵＳＢインターフェース（ＵＳＢ　Ｉ／Ｆ）を介して手書きペンから書き込み情報を受信し、受信した情報を処理手段に伝送する。表示手段はディスプレイ等により構成され、処理手段によって指示された内容を表示する。表示手段は、情報処理装置と一体として構成されていてもよいし、別体として構成され、情報処理装置と有線または無線で接続されるようにしてもよい。
　処理手段は、ＣＰＵ等のプロセッサによって構成され、情報処理装置の全体の制御を行う。処理手段は、手書きペンにより生成され送信されてきた書き込み情報を記憶手段に記憶させ、表示手段に表示させる。
　記憶手段は、プログラムが格納されるＲＯＭやデータが記録・処理されるＲＡＭといったメモリによって構成される。記憶手段は、処理手段の処理命令により、手書きペンから受信した書き込み情報を記憶する。
　なお、情報処理装置は、パーソナルコンピュータ、スマートフォン、タブレットＰＣ等であってもよい。
（媒体）
　次に、媒体について説明する。
　図５は、本発明にかかる媒体の一例の上面図を示す。図５に示すように、媒体は、手書きペンで手書き入力を行うための書込み領域と、手書き入力時に様々な設定を行うためのボタンとして動作する情報領域とを有する。
　情報領域は、画像とドットコードが重畳印刷したアイコンとして構成されている。同図においては、「１６：９」「１６：１０」「３：２」「４：３」と記載されたアイコン（アスペクト比設定ボタン）とチェック印が描かれたアイコン（ＩＤ設定ボタン）、マウスが描かれたアイコン、デジタイザが描かれたアイコンが設けられている。詳細は後述するが、アスペクト比設定ボタンと設定ボタンは、ディスプレイのアスペクト比を設定する際に用いられる。アスペクト比設定ボタンにＩＤ設定ボタンを一体にして１つのアイコンにしてもよい。情報領域に印刷されたドットコードには、コード値および座標値の少なくとも一方が定義されている。その他、ユーザが手書きペンで情報領域に設定されたアイコンをタッチすることにより、アイコンに対応した所定の処理が行われる。
　書込み領域内は全面に方眼罫が印刷され、一般のノートにおける罫線と同様に手書き入力時のガイドの役割を果たす。方眼罫には縦横数本おきに太線が挿入され、これらの太線は手書き領域を複数の区画に分割して使用する際のガイドとして利用できる。ＴＶ会議システムを用いた企画会議やグループ学習の際に、例えば○○さんはＢ－１と２、△△さんはＣ－１と２のように、誰がどの区画に書き込むかを決めれば複数の人が書き込んでも重複して表示されることはない。なお、方眼罫等のどのようなデザインであってもよいし、デザインがなくてもよい。
　また書込み領域は、ユーザが手書きペンにより文字や図形等を書き込むために設けられている。書込み領域には、座標値、または、座標値およびコード値が定義されたドットコードが印刷されている。
（ドットコード）
　このようなドットコードについて、図６～図１４を用いて説明する。
　ここで、「ドットコード」とは、複数のドットの配置アルゴリズムにより情報コードを符号化したものをいう。
　ドットコードによる情報コードの符号化アルゴリズムについては、グリッドマーク社のGrid Onput（登録商標）、Anoto社のアノトパターン、Ｓｏｎｉｘ社のＯＩＤ等の、周知のアルゴリズムを用いることができる。
　なお、ドットコードのうちグリッドマーク社のGrid Onput（登録商標）としては、特許第3706385号、第3858051号、第4142683号、第5331989号等、多数の特許がある。これらの特許の詳細は各特許公報に記載されているが、以下に概要を説明する。
　ドットコードの符号化アルゴリズムは、コンピュータで実行可能なドットコード生成プログラムとして提供される。コンピュータで実行可能であればプログラムの提供方法は問わない。例えばＣＤ－ＲＯＭ等の記録媒体に格納されていてもよいし、ネットワークを通じてコンピュータにダウンロードしてもよい。さらに、ブラウザー上で利用できてもよい。また、ドットコードの符号化アルゴリズムは、可視光により読み取る場合と、赤外線により読み取る場合と、で共通するため、特に限定されない。つまり、ドットとドット以外を識別できれば、どのような方法でもドットコードを認識もよい。
　ドットコードはこの他にも、視認できないか、視認できたとしても単なる模様として認識される程度のものであれば足り、どのようなドットコードであっても採用可能である。
　また、ドットコードは、座標値を定義することにより、その読み取り位置により異なる情報コードを符号化することができる。さらに、ドットコードには、情報コードを符号化および復号化するための基準となる向きを有し、その向きを読み取ることにより、ドットコードに対する読み取り装置の回転角を取得することができる。一方、読み取り装置をドットコード形成媒体に対して傾けると、撮像画像の明るさの変化によって、どの方向に、どの程度読み取り装置を傾けたかも取得できる。
＜図６の情報ドットの配置の仕方＞
　情報ドットの配置の仕方は、図６（ａ）～（ｅ）に示す通りである。
　なお、情報ドットの配置の仕方は、図６（ａ）～（ｅ）の例に限定されない。
　図６（ａ）は、仮想点からずれた位置、すなわち、仮想点からの所定距離および所定方向に対する角度を有する位置に情報ドットを配置したものである。具体的には、情報ドットを仮想点の上下左右、斜めに配置する。
　なお、同図（ａ）では、仮想点からの距離を一定にして８方向にドットを配置しているが、本発明のドットコードにおいては、識別できればどのような方向でも構わないし、同じ方向でも仮想点からの距離を認識できれば、さらに多くの数値情報を定義することができる。つまり、ドットの距離を変化させて８方向にドットを配置してもよい。これにより、１６通りの数値情報を表すことができる。
　また、一つの仮想点を基準に複数の情報ドットを配置してもよい。さらに、同図（ａ）の右側および右から２番目のように、仮想点に情報ドットを配置するか、配置しないかによって情報を定義することも可能である。この場合、仮想点からずれた位置に情報ドットを配置するドットの配置の仕方に追加して、仮想点に情報ドットを配置するか、配置しないかによって情報を定義してもよい。これにより、情報量を増やすことが可能である。また、仮想点からずれた位置に配置することに代えて、仮想点に情報ドットを配置するか、配置しないかによって情報を定義することも可能である。また、ドットパターンが配置されている領域と配置されていない領域が目立つ場合、仮想点にダミードットを配置して、それらの境界を目立たなくすることもできる。
　図６（ｂ）は、２行×２列の計４個の矩形の仮想領域内に情報ドットを配置したものであるが、境界付近に情報ドットを配置すると誤認識が発生する可能性があるので、図６（ｃ）は、一定の間隔をおいて隣り合う矩形の仮想領域を配置した実施例である。
＜図７の情報ドットのコードの割り当て＞
　本発明における情報ドットのコードの割り当ては、図７に示す通りである。
　図７は、本発明における情報ドットのコードの割り当ての一例を示す図である。
　ドットコードは、位置情報を意味する「Ｘ座標値」「Ｙ座標値」と、位置情報以外の情報を意味する「コード値」の少なくともいずれかを定義することができる。
　本発明においては、ドットコードの体系をC31～C0までの３２ビットで定義している。
全てのコードに共通する要素として、先頭のC31～C30の２ビットをパリティチェックビットとしてデータの誤り検出用に定義している。
本発明のドットコード体系では大別して、一般コードグループ、特殊コードグループ、およびデータフォーマットの３種に分けられる。
（一般コードグループ）
　図８に、一般コードグループのビット列定義を示す。一般コードグループは、パリティチェックビット以下のC29～C27が“000”で定義されるドットコードである。
（a）は一般コードのビット列であり、任意のアプリ操作および動画や音声の再生といったコンテンツの制御・閲覧用に使用する。
（b）は一般コードの予備コードとして定義している。
（特殊コードグループ）
　図９～図１１に、特殊コードグループのビット列定義を示す。特殊コードグループでは、手書きペンを用いた操作において、書込み領域の制御や設定機能を提供する、C29～C27の各ビットが“001”で定義されるドットコードである。
（領域設定ボタン）
　図９に、領域設定ボタンのビット列定義を示す。領域設定ボタンは、媒体の書込み領域の一部のみを有効な書込み領域として利用したい場合に使用する。
　(a)と(b)は、ディスプレイ左上を起点とした時のX座標ならびにY座標のシフト原点座標と、X方向の領域幅とY方向の領域高によって書込み可能範囲を定義するためのドットコードを示す。
　(a)は、現在の書込み領域の中で書込み可能範囲を設定するためのドットコードである。例えば、ディスプレイの一部にグラフィックや説明文などを表示し、その領域にユーザが手書きした内容が重なることを避けたいような場合に使用する。
　(b)は、既存の書込み領域を変更し、ディスプレイの中央に自動的にフィッティングさせるためのドットコードである。
　(c)～(h)は、書込み領域内において手書きペンで指定した2点を対角とする四角形を書込み領域に設定するためのビット列である。
　(c)は、タッチした媒体上の2点の座標に対応したディスプレイの位置に書込み領域を設定するドットコードである。
　(d)は、2点をタッチして定義される書込み領域をディスプレイの中央にフィッティングさせるドットコードである。
　(e)は、2点をタッチして定義される書込み領域をディスプレイの左上にフィッティングさせるドットコードである。
　(f)は、2点をタッチして定義される書込み領域をディスプレイの右上にフィッティングさせるドットコードである。
　(g)は、2点をタッチして定義される書込み領域をディスプレイの右下にフィッティングさせるドットコードである。
　(h)は、2点をタッチして定義される書込み領域をディスプレイの左下にフィッティングさせるドットコードである。
　(i)は、特殊コードの予備コードとして定義している。
（ディスプレイ書込み候補領域設定ボタン）
　図１０に、ディスプレイ書込み候補領域設定ボタンのビット列定義を示す。ディスプレイ書込み候補領域設定ボタンは、使用する情報処理装置のディスプレイのアスペクト比と媒体の書込み候補領域を適合させるために設定する。
　なお、ここで言う書込み候補領域は、図１４および図１５の第1の領域を示す領域である。
　設定可能なアスペクト比として、現在普及しているディスプレイのアスペクト比が１６：９、１６：１０、３：２、４：３の4種類にほぼ集約されるため、これら4種類を設定可能にしている。なお、この４種以外のアスペクト比の異なるディスプレイがあれば、さらに設定数を増やしてもよい。もちろん、アスペクトが同じディスプレイしか使用しなければ１種でもよい。書込み領域の異なる媒体を使用する場合は、それぞれ書込み候補領域設定ボタンが必要となる。
　ディスプレイ書込み候補領域設定ボタンのドットコードには、原点シフトX座標、原点シフトY座標、書込み領域高Yｈが定義されている。後述するデータフォーマットによってこれら原点シフト座標や書込み領域の取り得る値の範囲が異なるため、データフォーマットごとに前記4種類のアスペクト比を定義する。
　なお、書込み領域幅Xｄについては、アスペクト比と書込み領域高Yｈから計算によって取得する。なお、情報を多く定義できるドットコードであれば、書込み領域幅Xｄも含めてもよい。
　ビット列のC25～C24でデータフォーマットを定義し、それぞれに対して前記４種類のアスペクト比を定義する。なお、ここでは、４種のデータフォーマットを設定しているが必要な１種のみであってもよく、その場合、識別するビット列はなくてもよい。
　(a)～(d)にデータフォーマット“01”に対応した各アスペクト比のドットコードを示し、(e)～(h)にデータフォーマット“10”、（i）～(l)にデータフォーマット“11”にそれぞれ対応したアスペクト比のドットコードを示す。
（設定ボタン）
　図１１に、設定ボタンのビット列定義を示す。設定ボタンのドットコードには、後述するID数およびスタートIDが定義されている。
（データフォーマット）
　手書きを行う媒体には、小さな付箋紙やメモ帳などから、1メートルを超えるホワイトボードのようなものまで、様々な素材や大きさを設定することが可能である。しかしながら、ドットコードを構成するビット数には限りがあるため、媒体に設定するIDと、書込み領域を決定するドットコード座標の配分を考慮する必要がある。
　図１２に、書込み領域内におけるドットコード座標系のデータフォーマットを定義したビット列定義を示す。
　(a)は、IDに１６ビットを割り当て、書込み領域のX座標に６ビット、Y座標に６ビットを割り当てたドットコードを示す。
　(b)は、IDに１２ビット、書込み領域のX座標に８ビット、Y座標に８ビット割り当てたドットコードである。
　(c)は、IDに８ビット、書込み領域のX座標に１０ビット、Y座標に１０ビットを割り当てたドットコードである。
　もちろん、データフォーマットの組み合わせとして、IDやX座標・Y座標に上記以外のビットを割り当てても良い。
また、X座標とY座標とで異なるビット数を割り当てたデータフォーマットとしてもよい。
＜ドットパターンの具体例（ＧＲＩＤ０）＞
　図１３～図１４は、ドットコードの具体例について説明する図である。
　同図のドットコードは、本出願人は「ＧＲＩＤ０」との仮称で呼んでいる。
　「ＧＲＩＤ０」の特徴は、ずれた位置に配置された基準ドットを用いることで、ドットコードの範囲や方向の少なくとも一つを認識できるようにしたものである。
　「ＧＲＩＤ０」は、次の構成を備える。
　　　　（１）情報ドット
　情報ドットは、数値情報を定義するためのものである。
　なお、情報ドットの配置の仕方は、図６（ａ）～（ｃ）に示した通りであり、また、情報ドットのコードの割り当ては図７（ａ）～（ｃ）に示した通りである。
　　　　（２）基準ドット
　基準ドットは、予め設定された複数の位置に配置されたものであり、後述する仮想点の位置を特定するためのものである。
　また、基準ドットのうちの少なくとも一つは、他の基準ドットの位置からずれた位置に配置されている（ずれた位置に配置された基準ドット）。
　なお、図示しないが、ずれた位置に配置された基準ドットは、本来の位置に配置された基準ドットに追加して配置されてもよい。
　ずれた位置に配置された基準ドットは、基準ドットと仮想点に対する情報ドット、あるいは基準ドットと仮想領域中に配置する情報ドットの基準となる方向を特定するものである。この基準となる方向が定まることにより、仮想点に対する情報ドットの方向で情報を与え、読み取ることが可能となる。さらに１つのデータを複数の情報ドットで定義するドットコードの範囲を特定することもできる。これにより、ドットコードが上下左右に並べられていても、ドットコードの範囲の読み取りデータを復号化することができる。
　　　　（４）仮想点
　仮想点は、基準ドットの配置により特定されるものである。仮想点に限らず、図６(a）、(c)に示す矩形の仮想領域を特定してもよい。
　図１３では、基準ドットを水平方向（第１の方向）および垂直方向（第２の方向）に配置している。そして、４点の基準ドットで囲まれた格子領域の中心点を仮想点として、仮想点からの距離および方向の少なくとも一つに情報ドットを配置している。
　ここで、１個のドットコードの四隅に配置された基準ドットは、ずれた位置に配置されて、ドットコードの向きおよび範囲を示している。ずれた基準ドットも含め、基準ドットは、水平方向に等間隔で配置されている。
　図１４は、ドットパターンの連結例を示すものであり、基準ドットを略方形に配置したドットコードを、その基準ドットの一部が共通するように隣接させて複数配置した連結例である。連結ができる条件は、１つのドットコードの上下および／または左右の両端のドットの位置が必ず同一位置とならなければならない。なお、上下または左右のみ連結してもよい。
　なお、図１３および図１４のドットコードは、「ＧＲＩＤ１」との仮称でも呼ばれている。
［手書き処理］
　次に、本発明で行われる処理について説明する。
　手書き入力を行う際、ユーザは、手書きペンのケーブル先端のＵＳＢ端子をＵＳＢポートに挿入する。すると、アプリケーションをインストールすることなく、手書き入力を行うことが可能な状態となる。
　図１５は、デジタイザモードの場合に手書きペンが実行する処理手順を示すフローチャートである。
　まず、光学モジュール（読取り手段）が、情報領域のドットコードを撮影する（ステップＳ０１）。ユーザは、複数のアイコン（情報領域）のうち、ユーザが使用するディスプレイの画面比率を示すアスペクト比設定ボタン（ディスプレイ書込み候補領域設定ボタン）をタッチする。カメラは、ユーザがタッチしたアスペクト比設定ボタンに印刷されたドットコードを撮影する。
　プロセッサは、撮影されたドットパターンの画像データを解析して、ドットコードに定義された情報を取得する。
　ここで、ドットコードに定義された情報について、図１７を用いて説明する。
　図１７はアスペクト比設定ボタンに印刷されたドットコードのフォーマットである。
　図１７は、情報処理装置のアスペクト比設定ボタンのドットコードフォーマットであり、（ａ）が１６：９、（ｂ）が１６：１０、（ｃ）が３：２、（ｄ）が４：３の場合である。アスペクト比設定ボタンのドットコードフォーマットには、ドットコード座標系における原点シフトＸ０座標、原点シフトＹ０座標、書込み領域高Ｙｈが定義されている。各アスペクト比によって、Ｃ２３、Ｃ２２に割り当てられた数値が異なっている。
　なお同図では、ドットコードは３２ビットである。しかし、ドットコードは３２ビットに限られない。また、ドットコードのビット数、媒体の大きさ等に応じて、ドットコードに定義された各要素のビット数を適宜変更してよいことはもちろんである。
　また、ドットコードをＸＹ座標値のみで構成してもよい。この場合、アスペクト比設定ボタンが属する座標値の範囲とアスペクト比とを対応させたテーブルをアスペクト比設定ボタン毎に作成する。
　次にプログラムが搭載されたプロセッサが、第１の取得手段として、ディスプレイの画面比率に対応するドットコード座標系における、書込み領域候補領域（第１の領域）の幅Ｘｄ、高さＹｈを取得する（ステップＳ０２）。プロセッサは、図１７（ｂ）の１６：１０のアスペクト比設定ボタンをタッチした場合、重畳して印刷されたドットコードから、アスペクト比１６：１０の場合における書込み領域の原点シフトＸ０座標、原点シフトＹ０座標、書込み領域高Ｙｈを取得する。そして、これらの情報から、計算によって書込み領域の横幅Ｘｄを取得する。この幅Ｘｄ、高さＹｈが、ディスプレイに表示される領域の範囲となる。もちろん、ドットコードの情報量が十分あれば、第１の領域の幅Ｘｄもドットコードに定義してもよい。
　なお、本発明では、必ずしも情報領域のドットコードから取得しなくてもよい。幅Ｘｄ、高さＹｈを取得するために、他のどんな方法を用いてもよい。手書きペン側で取得する必要もなく、情報処理装置がいかなる方法で取得してもよい。その際は、ディスプレイ座標系の座標値（Ｘ´、Ｙ´）の計算は、情報処理装置で実施すればよい。なお、ディスプレイに表示させるために、フレームバッファ等の専用の整数で画素座標を定義する座標系の座標値（Ｘ´´、Ｙ´´）が必要な場合、適宜、座標値（Ｘ´、Ｙ´）から所定の方法で変換すればよい。
　次に、図１５において、光学モジュールが、書込み領域のドットコードを撮像して取得する（ステップＳ０３）。ユーザが書込み領域に文字や図形等を書き込むと、光学モジュールは、書込みが行われた個所のドットコードを逐次取得する。書込み領域のドットコードのデータフォーマットは、図１８に示す通りである。すなわち、同図（ａ）に示すように、Ｘ座標値とＹ座標値のみが定義されているか、または、同図（ｂ）に示すように、Ｘ座標値とＹ座標値とコード値とが定義されている。プロセッサは、撮影されたドットコードの画像データを解析して、書込みが行われた箇所の座標値（Ｘ、Ｙ）を取得する（ステップＳ０４）。
　ここで、書込み領域に書き込まれた文字や図形等を適切にディスプレイに表示させるためには、ドットパターン座標系における座標値（Ｘ、Ｙ）をディスプレイ座標系の座標値（Ｘ´、Ｙ´）に変換させる必要がある。そこで、座標変換手段としてのプロセッサは、ステップＳ０２で取得した幅Ｘｄ、高さＹｈに基づいて、ドットパターン座標系における座標値（Ｘ、Ｙ）をディスプレイ座標系の座標値（Ｘ´、Ｙ´）に変換する（ステップＳ０５）。座標値の変換に必要な具体的な処理については後述する。
　次に、ディスプレイ座標系の座標値（Ｘ´、Ｙ´）を情報処理手段に送信する（ステップＳ０６）。手書きペンは、送信手段であるケーブルを介して情報処理装置に接続されている。ケーブルは、ディスプレイ座標系の座標値（Ｘ´、Ｙ´）を逐次情報処理装置に送信する。
　なお、座標値（Ｘ´、Ｙ´）が情報処理装置に送信されると、ユーザが手書きした文字や図形等が、情報処理装置に搭載または接続されたディスプレイに表示される。
　なお、上述した処理の一部の実施も本発明の技術的範囲に含むものとする。
　図１６は、マウスモードの場合に手書きペンが実行する処理手順を示すフローチャートである。なお、デジタイザモードと共通する処理や技術については説明を省略する。
　まず、光学モジュールが、情報領域のドットコードを撮影する（ステップＳ１１）。プロセッサは、撮影されたドットコードの画像データを解析して、ドットコードに定義された情報を取得する。
　次に第１の取得手段としてのプロセッサが、ディスプレイの画面比率に対応するドットコード座標系における、書込み領域候補領域（第１の領域）の幅Ｘｄ、高さＹｈを取得する（ステップＳ１２）。
　次に、光学モジュールが、書込み領域のドットコードを撮像し（ステップＳ１３）、座標値（Ｘｉ、Ｙｉ）を取得する（ステップＳ１４）。
　次に、座標変換手段としてのプロセッサは、ステップＳ１２で取得した幅Ｘｄ、高さＹｈに基づいて、ドットパターン座標系における座標値（Ｘｉ、Ｙｉ）をディスプレイ座標系の座標値（Ｘｉ´、Ｙｉ´）に変換する（ステップＳ１５）。なお、マウスモードにおいては、座標値（Ｘｉ、Ｙｉ）を取得する毎に座標値（Ｘｉ´、Ｙｉ´）を計算する。
　次にプロセッサは、座標値（Ｘｉ´、Ｙｉ´）と、その１つ前の座標値（Ｘｉ-1´、Ｙｉ-1´）との差分値
ΔＸｉ´＝Ｘｉ´―Ｘｉ-1´
ΔＹｉ´＝Ｙｉ´―Ｙｉ-1´
を取得する（ステップＳ１６）。
　なお、この差分値は、下式により求めてもよい。α、βについては、後述する。
ΔＸｉ´=(Ｘｉ´―Ｘｉ-1´0)×α/Ｘｄ
ΔＹｉ´=(Ｙｉ´―Ｙｉ-1´0)×β/Ｙｈ
　次にプロセッサは、ステップＳ１６で取得した差分値を情報処理手段に送信する（ステップＳ１７）。ディスプレイには、この差分値に基づいてユーザが手書きした文字や図形等が表示される。
［座標値の求め方について］
　次に、座標値の求め方と座標値の変換について説明する。
　図１９は、第１の領域と書込み領域が一致した場合における、ドットコード座標系とディスプレイ座標系との関係を示す図である。
　同図左側は、ドットコード座標系と第１の領域との関係を示している。同図に示すように、第１の領域は、ドットコード座標系の一部に設けられる場合がある。その場合、ドットコード座標系の原点と第１の領域の原点が一致しない。媒体にドットコードを印刷する場合、媒体全面にドットコードを印刷してもよいし、一部の領域にドットコードを印刷してもよい。
　一方、書き込んだ文字や図形等をディスプレイに適切に表示するためには、第１の領域の原点（Ｘ０、Ｙ０）を基準にした座標値を求める必要がある。
　ドットコード座標系の原点を（０、０）、第１の領域の原点を（Ｘ０、Ｙ０）とする。図１５の処理で取得したドットコード座標系における座標値（Ｘ、Ｙ）は、第１の座標系では（Ｘ―Ｘ０、Ｙ―Ｙ０）となる。
　また、第１の座標系における座標値が（Ｘ―Ｘ０、Ｙ―Ｙ０）である場合に、ディスプレイ座標系の座標値（Ｘ´、Ｙ´）は、以下の計算式で求められる。
Ｘ´=(X‐X0)×α/Ｘｄ
Ｙ´=(Y‐Y0)×β/Ｙｈ
　α、βは所定の係数である。この係数は、ＨＩＤ規格によって一意的に定まっているものであってもよい。上記の計算式では、１５ビットであるα＝３２７６８と、その9/16であるβ＝１８４３２を使用している。もちろん、α、βの数値はこれに限られず、状況に応じて適切な値とすることができる。
　なお、α、βは、手書きペンや情報処理装置の電源が入ったとき、手書きペンと情報処理装置が接続されたとき等、所定の事象が発生したときに情報処理装置に送信されるようにしてもよい。また、α、βを送信しなくてもよい。送信しないことは、α＝１、β＝１として送信することと同義である。
　なお、ドットコード座標系の原点と第１の座標系が一致している場合は、Ｘ０＝０、Ｙ０＝０である。
　なお、本実施例では、ドットコード座標系左下が原点、ディスプレイ座標系も左下が原点として計算方法を示しているが、ディスプレイ座標系の原点が左上の場合は、下式となる。
Ｘ´=(X‐X0)×α/Ｘｄ
Ｙ´=Yh-(Y‐Y0)×β/Ｙｈ
　このように、ドットコード座標系とディスプレイ座標系の原点が異なる場合は、適宜対応する計算式で座標値（Ｘ´、Ｙ´）を求めればよい。
　図２０は、第１の領域と書込み領域が一致していない場合における、ドットコード座標系とディスプレイ座標系との関係を示す図である。
　同図（ａ）は、媒体が第一の領域の一部にのみ一致している場合である。
　一般に、ディスプレイは横長の構成となっている。そのため、第１の領域も、ディスプレイのアスペクト比に合わせて横長で構成されている。
　しかし、ドットコードを印刷したノートやレポート用紙等、書込み領域が縦長の場合がある。この場合は、同図（ｃ）に示すように、ディスプレイの両端が黒色となり、中央部にのみ書込み内容が表示される。なお、書込み領域以外は手書きできないように禁則処理をしてもよい。
　同図（ｂ）は、媒体の領域と第１の領域とは一致しているが、媒体の全部が書込み領域ではない場合である。
　同図（ｂ）では、媒体全面にドットコードが印刷されている。しかし、右半分の領域のドットコードには禁則処理が施されていて書込み処理ができず、左半分の書込み領域のみが書き込み可能である。同図（ｄ）は、この場合にディスプレイに表示される画面の一例である。同図に示すように、ディスプレイの左半分には、書込み領域に書き込まれた内容が表示される。右側には、映像表示領域と操作アイコンを有している。ユーザは、操作アイコンを操作して映像の再生や早送り、一時停止等を行うことが可能である。
　なお、図１９、１５で図示されているように、ドットコードは、第１の領域の外側の領域にも印刷される。これは、カメラが読み取るドットコードと、書込みが行われた箇所のドットコードとにずれがあるためである。ペン先部は書込み領域に接しているが、光学モジュールは書込み領域外のドットコードを読んでもペン先部の座標値（Ｘ´、Ｙ´）が正しく計算できるよう、書込み領域の周辺にもドットコードが印刷されるのが望ましい。
　図２１は、光学モジュールとペン先との関係を示す図である。同図に示すように、カメラの撮像中心Cの座標値を（xc、yc）、ペン先の媒体面における座標値をＱ（xq、yq）とする。
　手書きペン本体の媒体面の法線方向からの傾き（以下、「ペンの傾き」という。）をαとしたときの、撮像中心からペン先までの距離をs'とすると、
xq ＝xc －s'×sinθ
yq＝yc＋s'×cosθ
となる。
　また、
s'＝s／cosα
であるので、これを当該式に代入すると、
xq ＝xc －s'×sinθ/ cosα
yq＝yc＋s'×cosθ/ cosα
となる。
　このような補正計算を行うことにより、カメラが読み取った箇所の座標値から、書込みが行われた箇所の座標値を正確に求めることが可能となる。
［第１の領域を特定するＩＤを用いる場合］
　次に、第１の領域を特定するＩＤを用いる場合について説明する。
　図１８（ｂ）に示すように、第１の領域のドットコードには、ＩＤを含めることができる。このＩＤにより、第１の領域を特定する。
　図２１は、ＩＤを取得するために用いる設定ボタンについて説明する図である。
　同図（ａ）は、設定ボタンのドットコードフォーマットである。設定ボタンのドットコードフォーマットには、ＩＤ数およびスタートＩＤが定義されている。ＩＤ数とは、ノートやメモ帳等、媒体の束においてページ毎にユニークに割り当てられるＩＤ数であり、スタートＩＤとは、媒体の束の中で最初に使用されるＩＤである。例えば、４９枚綴りのメモ帳で、各メモ用紙にＩＤが付与されており、ＩＤが１５２～２００であったとする。この場合、ＩＤ数は４９、開始ＩＤは１５２である。なお、１枚の媒体のみの場合は、使用ＩＤ数は１である。
　ユーザは、図１５のステップＳ０１、ステップＳ１１の処理において、アスペクト比設定ボタンをタッチした後で、設定ボタンをタッチする。すると、座標変換手段としてのプロセッサは、図２２（ｂ）に示すようなテーブルを生成して、メモリに記憶する。テーブルは、開始ＩＤ、終了ＩＤ、第１の領域の幅Ｘｄ、高さＹｈ、第１の領域の原点（Ｘ０、Ｙ０）と、を対応付けたものである。
　ユーザが書込み領域で手書き入力を行うと、書込み領域のドットコードに定義されたＩＤが取得される。プロセッサは、書込み領域のドットコードから取得したＩＤと設定ボタンから取得したＩＤとが合致しているかどうかを判定する。合致していない場合は、所定の方法によりエラー処理を行う。合致している場合は、テーブルを参照し、取得したＩＤと、アスペクト比設定ボタンから取得した幅Ｘｄ、高さＹｈ、第１の領域の原点（Ｘ０、Ｙ０）とから、［座標値の求め方について］で記載した計算式を用いて、ディスプレイ座標系の座標値（Ｘ´、Ｙ´）を求める。例えば取得したＩＤが１６０の場合は、「開始ＩＤ１５２、終了ＩＤ２００」の箇所を参照する。
　なお、設定ボタンを設けずに、アスペクト比設定ボタンのドットコード中にＩＤ数およびスタートＩＤを定義してもよい。
［本発明の具体例について］
　以下に、本発明の具体的な用途について説明する。
　なお、以下の用途はあくまでも一例であり、本発明が、記載された用途に限定されないことはもちろんである。
（Ｇｒｉｄｗｏｒｋ）
　Ｇｒｉｄｗｏｒｋとは、本発明にかかる手書きシステムを用いたシステムの名称であり、ＵＳＢ接続式のペン型マウスおよびデジタイザであるＧｒｉｄｐｅｎ（手書きペン）、Ｇｒｉｄｐｅｎが読み取る座標値（ドットコード）が印刷された紙製マウスパッドであるＧｒｉｄｂｏａｒｄ（媒体）、ドットコードが印刷された紙製メモ用紙であるＧｒｉｄｐａｐｅｒ（媒体）とを備えている。
　Ｇｒｉｄｗｏｒｋには以下の特徴がある。
・電源不要で、ＵＳＢ接続するだけですぐに使用することが可能である。
・専用アプリケーションのインストールは一切必要ない。
・共有画面で表示した資料に、マークや文字をきれいに書き込んでポイントを伝えることができる。
・ＴＶ会議システムでのホワイトボードや共有した教材に、ダイレクトに書き込みながら講義ができる。
・教師が提示した設問に生徒がオンラインで回答を記述し、インタラクティブに教師が書き込みながら添削や指導ができる。
　図２３は、オンライン会議で図面や仕様書を検討する場合の例である。
　オンライン会議で参加者が顔を揃えたとしても、共有された図面等の資料で、どこにあるのかもよく見えないマウスのポインタを使用して「ここの厚みをもっと薄くしないと・・・」などといった非効率な状況が頻発する。
　Ｇｒｉｄｗｏｒｋを用いれば、マーカー表記も、下線や○囲みを手書きで正確な位置に描くことが簡単にできるため、参加者が正しい理解を共有することができる。
　図２４は、参加者がホワイトボード機能を共有してブレーンストーミングを行う場合の例である。
　Ｇｒｉｄｐｅｎは、Ｇｒｉｄｂｏａｒｄにその場で描画したものが反映されるため、会議や講義を始めてからイラストを描きながら説明することも、従来のホワイトボードと同様の気軽さで行える。また、Ｇｒｉｄｐａｐｅｒは、Ｇｒｉｄｐｅｎにボールペンを装着し、軌跡を見ながらきれいに書き込み表示することができることから、事前に簡単なイラストやメモを作成して表示し、追加で書き込んでいくことができる。
　図２５は、オンライン授業の場合の例である。
　教員は、事前に講義資料を用意し、その資料に沿って黒板やホワイトボードに解説を加えることで講義内容を進めてきた。
　日本では特に馴染みが薄い「オンライン授業」の実施を急遽に余儀なくされ、支援ツールもないまま苦心する教員の声が多くある。
　Ｇｒｉｄｂｏａｒｄにマーカーで下書きし、マーカーの軌跡を講義中にＧｒｉｄｐｅｎでトレースすれば、思い描いた進行予定から外れず、ホワイトボード機能できれいに描画することができる。
　またＧｒｉｄｐｅｎは、オンライン講義の良さである教員と生徒が相互にリアルタイムで筆記できる利点を最大限に引き出すことができる。
　２０２０年に入り、全世界で新型コロナウイルス感染症が蔓延している。新型コロナウイルス感染症に対抗するため、企業ではリモートワーク、大学を始めとする教育機関ではオンライン授業が急速に浸透し「新しい生活様式」の一部として定着しつつある。
　しかし、あまりに急な環境変化のため、そのためのインフラ整備やツールの不足が社会問題となっている。
　本発明は、快適なオンライン環境を簡易かつ安価に提供することができ、リモートワークやオンライン授業にまつわる問題を解消することができる。
［媒体］
　図２６～２２は、手書き入力を行う媒体の具体例を説明する図である。
　媒体としては、表面にドットコードが印刷されていること以外、材質や大きさ等を様々にアレンジすることが可能である。
　図２６はアレンジの一例であるＧｒｉｄｂｏａｒｄを示す上面図である。Ｇｒｉｄｂｏａｒｄは、厚紙タイプの媒体を用いている。厚紙タイプの媒体表面では、前記手書きペンのペン先を樹脂製のスタイラスに変更して手書き入力を行う。両面にニス加工が施されており、裏面は無地のホワイトボードとして利用できる。
　図２７はアレンジの他の一例であるＧｒｉｄｐａｐｅｒを示す図であり、（ａ）は表紙、（ｂ）は用紙を示すものである。Ｇｒｉｄｐａｐｅｒは、レポート用紙タイプの媒体であり、数十枚の手書き用紙が1冊に綴じられている。前記ペン型装置のペン先をボールペンに変更して手書き入力を行うことで、筆跡を確認しながら作業でき、ボールペンで書かれた原紙を手元に残すことができる。
　ここで、ＧｒｉｄｂｏａｒｄおよびＧｒｉｄｐａｐｅｒに使用されているアイコンについて説明する。
　上述した通り、媒体に印刷されたアイコンには、ドットコードが重畳して印刷されており、このドットコードを手書き装置で読み取ることで手書き装置に対して様々な設定を行うことができる。
　前記アイコンにおいて、マウスのイラストあるいは文字表記がされたアイコン（図２６および図２７（ｂ）の一番左側のアイコン）を手書きペンでタッチすると、手書きペンはマウスモードとなり、書込み領域から読み取る座標値を相対座標値として情報処理装置に送信する。この機能は、手書きペンのボタンで設定してもよい。
　前記アイコンにおいて、ペンのイラストあるいは文字表記がされたアイコン（図２６および図２７（ｂ）の左から２番目のアイコン）を手書きペンでタッチすると、手書きペンはデジタイザモードとなり、書込み領域から読み取る座標値を絶対座標値として情報処理装置に送信する。
　手書き入力を行う情報処理装置のディスプレイには様々なアスペクト比のものがあり、ディスプレイの表示領域と媒体の書込み領域とが適切に対応づけされていないと、例えば正方形を描いたはずがディスプレイ上では長方形に歪んで表示されるといったことが発生する。
　このため、ユーザは手書き入力に先立って、媒体の情報領域にある「１６：９」「１６：１０」「３：２」「４：３」と記載されたアスペクト比アイコン（図２６および図２７（ｂ）の右から２番目～５番目のアイコン）の中から、使用するディスプレイのアスペクト比に適合したものを選んで手書きペンでタッチした後、前記情報領域にあるチェックマークが記載された決定アイコン（図２６および図２７（ｂ）の一番右側のアイコン）を手書きペンでタッチする。
　アスペクト比アイコンには、各アスペクト比のディスプレイが手書き領域のどの部分に該当するかの位置と大きさを表す座標値データのドットコードが重畳印刷されている。一方、決定アイコンには、上記で選択した各アスペクト比アイコンの設定情報を手書きペン内部のメモリテーブルのどの部分に保存するかを記したドットコードが重畳印刷されている。
　アスペクト比アイコンと決定アイコンを続けてタッチすることで、使用するディスプレイのアスペクト比に応じた設定が手書きペンに保存され、以後同じアスペクト比のディスプレイを使用する限りにおいては、特別な操作をすることなくディスプレイと手書き領域が適合した状態で使用することができる。
　このように本発明の手書きシステムでは、媒体に印刷されるドットコードを手書きペンで読み取ることにより、手書き領域のフォーマット情報を手書きペンに反映させることが可能となっており、媒体の仕様が変更になった新製品を提供する場合でも、ソフトウェアのダウンロードやインストールといった面倒な操作は必要なく、媒体上のドットコードをタッチするという簡便な操作のみで使用することができる。
［ビジネスでの利用例］
　現在各社からリリースされているTV会議サービスでは、会議参加者が自身のPCで開いているファイルを他の参加者に提示して説明するための画面共有機能や、会議参加者がそれぞれアイディアやコメントを自由に書き込むことのできるホワイトボード機能を提供しているものが多い。
　TV会議システムのホワイトボード機能では、仮想的なホワイトボードがTV会議システムのアプリケーションウィンドウ内に表示され、会議参加者がアプリケーション側で用意されたペンツールを使ってホワイトボードに書き込むことができるようになっている。
　この時、マウスやタッチパッドを使って文字入力を行おうとすると、操作性の問題から入力自体に非常に時間がかかり、かつ文字等が大きく歪みがちになることから、おのずとキーボードからの文字入力が主流となる。
　しかしながら、文字入力はキーボードで行うにしても文字の入力枠の位置決めや、修正箇所や強調したい箇所を矢印や丸印等で図示したい場合には、その度にマウスやタッチパッドを使う必要があり、一貫した操作ができないことからスムーズなコミュニケーションが図れないことが多い。
　ここで本発明の手書きシステムを用いれば、ペン型デバイスのため、文字入力の際にも書込み位置の決定から筆記まで自然な流れで作業できる。また、矢印や丸印等も手書きペンを持ったまま直感的な動作で記入でき、思考や会話の流れを損なわない。
　さらに媒体の手書き領域にいくつかの区画に分ける線を入れておき、会議参加者がそれぞれ異なる区画に書込みを行うようにすることで、手書きされた内容が画面上で重なることなくあたかも対面でホワイトボードを使ったブレーンストーミングを行っているのと同等のコミュニケーションを図ることができる。
　Zoomビデオコミュニケーションズ社が提供しているZoom（一部のTV会議システム）では、ホワイトボード機能以外にも画面共有機能自体にコメント等を書き込むことのできる注釈機能を実装しており、共有資料の提供者だけでなく会議参加者の誰でもが前記注釈機能を使って共有資料に書き込むことができるようになっている。
　Zoomと本発明の手書きシステムを用いることで、共有アプリケーション自体が手書き入力機能を有していなくとも、Zoomの画面内であれば会議参加者同士が同時にコメントを手書きするという双方向コミュニケーションが実現できる。
　なお、ホワイトボード機能が実装されているTV会議システムはZoomの他、マイクロソフト社のTeamsやmeet in社のMeet-inなどがある。
［教育での利用例］
　TV会議システムにおける上述の機能は、ビジネス用途だけでなく教育用途にも適用が可能である。
　例えば、学校や学習塾などでZoomを始めとするTV会議システムを用いて遠隔授業を行う際、レポート用紙タイプやノートタイプの媒体と、ペン先部としてボールペンなどのインクが吐出されるカートリッジを装着した手書きペンを用いることで、紙に書くというこれまでの学習スタイルを踏襲しながら授業を展開することができる。
　TV会議システムのホワイトボード機能を用いると、教師が生徒にドリル問題を課すような場合、教師が手元の媒体に手書きペンを使って問題を書き込むと即座に生徒側のディスプレイにも反映される。一方、生徒がその問題を見て手元の媒体に手書きペンで解答すると、その様子は教師側のディスプレイにも即座に反映され、教師は生徒の解答を採点し、コメントを記入する。このように、オンライン参加者それぞれが入力できる機能を持ったアプリケーション（TV会議システム）であれば、リアルタイムで双方向のコミュニケーションを取りながら授業を進めることができる。
　なお、手書きに用いる媒体は無地の他、あらかじめ問題や解答枠などが印刷されたものであってもよい。
　これまでの教育現場では、教師が授業に先立っていわゆる講義ノートを作成しておき、授業内容を組み立てておくことがあった。本発明の手書きシステムを用いれば、あらかじめドットコードが印刷されたレポート用紙タイプやノートタイプの媒体、小型のホワイトボードにボールペンやマーカーなどで授業内容を書き留めておいて講義ノートとし、実際の授業では手書きペンのペン先をスタイラスタイプに変更して、講義ノートの文字をなぞることで板書しながら授業を進めることができる。このようにすることで、（オンライン授業に不慣れな教師であっても）予定していた授業進行から外れることなく、伝えるべき事柄を漏れなく授業に盛り込むことができる。また、事前にドットコードを読みながら描いた軌跡をファイルに記録しておき、スライドショーやアニメーションで再現してもよい。
　上記の他、Zoomなど一部のTV会議システムにはレコーディング機能が搭載されており、会議の様子を録画することができる。授業の様子を録画しておけば、ビデオ機材の準備や編集作業をすることなく手軽に講義ビデオを制作することができる。
［その他］
　この他、Microsoft WindowsのOfficeツールのWord、Excel、PowerPoint、MSペイント、Windows Ink ワークスペース、OneNote、Journalには、描画機能が搭載されており、文書内の単語をペンツールで塗りつぶすと削除できたり、ペンツールで単語を囲むと選択できたりと、ペンツールで簡単に編集ができる。これらの操作はマウスを使っても可能であるが、手書きペンを使用することで効率的に作業を進めることができる。
［書込み領域の生成］
　次に、書込み領域の生成について説明する。
　以下に説明する生成方法は、主に、ユーザが自ら書込み領域を設定するために提供されるオーサリングツールを用いて実行される。
　ユーザがオーサリングツールで所定の設定を行うと、ディスプレイに、第１の領域が表示される。上述した通り、ドットコード座標系の原点を（０、０）とすると、第１の領域の原点は（Ｘ０、Ｙ０）である。ユーザは、第１の領域の中で、書込み領域を設定したい領域を指定する。すると、情報処理装置の処理手段は、指定された領域の座標値の範囲を認識し、その座標範囲を記憶手段に記憶する。そして、それ以外の領域に対しては禁則処理を行う。ユーザが印刷を指示すると、図２８のような媒体が印刷される。
　図２８の媒体は、図示しないが、媒体全面にドットコードが印刷されている。しかし、ユーザが手書きペンで書込み領域に書き込みを行った場合は、書き込んだ位置のドットコードから取得した書き込み情報が情報処理装置に送信され、書き込んだ内容がディスプレイに表示されるが、書込み領域以外の領域に書き込みを行ってもドットコードは情報処理装置に送信されず、書き込んだ内容はディスプレイに表示されない。
　このようなオーサリングツールは、例えば、オンライン授業で教師が出題した問題に対して生徒が回答する場合に、回答用紙の解答欄のみに回答を書き込むことができるようにする等、特定の箇所のみに書き込みを行わせたい場合に特に有効である。さらに、書き込んだ軌跡をＯＣＲにかけてテキストデータとして記録し、集計・処理してもよい。同時に軌跡を保存してもよい。
［媒体の全てを書込み領域とする実施例］
　次に、媒体の全てを書込み領域とする技術について図２９～図３２を用いて説明する。
　上述した手書き処理の実施例では、ユーザが媒体のアスペクト比設定ボタンをタッチすると、書込み領域のうち、アスペクト比設定ボタンに対応した領域にしか書き込みを行うことができなかった。書込み領域のうち、アスペクト比設定ボタンに対応した領域以外の領域に書き込みを行ってもディスプレイには表示されず、そのためユーザは、書き込める範囲を意識して書き込みをする必要があった。
　しかし、ユーザに書き込める範囲を意識させることは、ユーザに対して負担を強いることとなる。また、手書き処理においては、ドットコードがあらかじめ印刷された用紙にコンテンツを印刷し（または、通常の用紙にドットコードとコンテンツを同時に印刷し）、コンテンツを印刷した用紙に対して書き込みを行うこともある。このような場合、一部のコンテンツが表示されなかったり、書き込みを行っても表示されない領域があったりすると、正確な情報伝達に支障が出る場合もある。
　以下の実施例に係る発明はこのような問題に鑑みてなされたものであり、媒体のどの箇所に書き込んでもディスプレイに正確に表示されることを特徴とする。
　なお、図２９～図３２では、媒体の大きさはA４横サイズ（横297mm、縦210mm）とする。
　図２９は、ディスプレイのアスペクト比が１６：９の場合に、媒体の全部を書込み領域とする方法について説明する図である。なお、媒体は第１の領域の一部であり、以下、媒体を「第２の領域」と呼ぶ。
　アスペクト比が１６：９（≒１．７８：１）の場合、媒体の縦横比（２９７：２１０≒１．４１：１）よりもディスプレイのアスペクト比の方が大きい。そのため、ディスプレイの左右が黒くなり、黒い領域を除く領域に、媒体に書き込んだ内容が表示される。
　第２の領域の全部を書き込み領域とするためには、ディスプレイの黒い領域と白い領域の境界の左下隅が、第２の領域の原点となればよい。
　図１９で説明した通り、第１の領域の幅はXd、高さはYh、ドットコード座標系における原点の座標値は（X0、Y0）である。第１の領域の原点（X0、Y0）は、ディスプレイ座標系Ｘ´Ｙ´の原点（０´、０´）と一致する。
　一方、第２の領域の幅は、Xc、高さはYc、ドットコード座標系における原点の座標値は（X１、Y１）である。なお、XcおよびYcは、媒体の実寸に等しくなるように、ドットコード座標系における座標値から求められた値である。第２の領域は、第１の領域の左右両端に同じ大きさの非表示領域（ディスプレイの黒い領域）が形成されるように配置される。非表示領域の幅は、右端および左端それぞれ
Figure JPOXMLDOC01-appb-M000001
 である。
　したがって、（X0、Y0）と（X１、Y１）の関係は
Figure JPOXMLDOC01-appb-M000002
 となる。
　X0については、アスペクト比が１６：９であるため、
Figure JPOXMLDOC01-appb-M000003
 となることから、
Figure JPOXMLDOC01-appb-M000004
 である。
　ここで求めた（X0、Y0）の値は、ドットコード座標系の原点（０、０）とディスプレイ座標系の原点（０´、０´）との差分値（ΔX、ΔY）に相当する。
　ユーザが書き込みを行った書き込み箇所のドットコード座標系の座標値を（X、Y）とすると、書き込み箇所のディスプレイ座標系の座標値（Ｘ´、Ｙ´）は以下の通り求まる。
Figure JPOXMLDOC01-appb-M000005
　図３０は、ディスプレイのアスペクト比が１６：１０の場合に、媒体の全部を書込み領域とする方法について説明する図である。なお、図２９と同一の内容については、説明を省略することがある。
　アスペクト比が１６：１０（＝１．６：１）の場合、媒体の縦横比（２９７：２１０≒１．４１：１）よりもディスプレイのアスペクト比の方が大きい。そのため、ディスプレイの左右が黒くなり、黒い領域を除く領域に、媒体に書き込んだ内容が表示される。
　第２の領域の全部を書き込み領域とするためには、ディスプレイの黒い領域と白い領域の境界の左下隅が、第２の領域の原点となればよい。
　図１９で説明した通り、第１の領域の幅はXd、高さはYh、ドットコード座標系における原点の座標値は（X0、Y0）である。第１の領域の原点（X0、Y0）は、ディスプレイ座標系の原点（０´、０´）と一致する。
　一方、第２の領域の幅はXc、高さはYc、ドットコード座標系における原点の座標値は（X１、Y１）である。第２の領域は、第１の領域の左右両端に同じ大きさの非表示領域が形成されるように配置される。非表示領域の幅は、右端および左端それぞれ
Figure JPOXMLDOC01-appb-M000006
 である。
　したがって、（X0、Y0）と（X１、Y１）の関係は
Figure JPOXMLDOC01-appb-M000007
 となる。
　X0については、アスペクト比が１６：１０であるため、
Figure JPOXMLDOC01-appb-M000008
 となることから、
Figure JPOXMLDOC01-appb-M000009
 である。
　ここで求めた（X0、Y0）の値は、ドットコード座標系の原点（０、０）とディスプレイ座標系の原点（０´、０´）との差分値（ΔX、ΔY）に相当する。
　ユーザが書き込みを行った書き込み箇所のドットコード座標系の座標値を（X、Y）とすると、書き込み箇所のディスプレイ座標系の座標値（X´、Y´）は以下の通り求まる。
Figure JPOXMLDOC01-appb-M000010
　図３１は、ディスプレイのアスペクト比が４：３の場合に、媒体の全部を書込み領域とする方法について説明する図である。なお、図２９、３０と同一の内容については、説明を省略することがある。
　アスペクト比が４：３（≒１．３３：１）の場合、媒体の縦横比（２９７：２１０≒１．４１：１）よりもディスプレイのアスペクト比の方が大きい。そのため、ディスプレイの上下が黒くなり、黒い領域を除く領域に、媒体に書き込んだ内容が表示される。
　第２の領域の全部を書き込み領域とするためには、ディスプレイの黒い領域と白い領域の境界の左下隅が、第２の領域の原点となればよい。
　図１９で説明した通り、第１の領域の幅はXd、高さはYh、ドットコード座標系における原点の座標値は（X0、Y0）である。第１の領域の原点（X0、Y0）は、ディスプレイ座標系の原点（０´，０´）と一致する。
　一方、第２の領域の幅はXc、高さはYc、ドットコード座標系における原点の座標値は（X１、Y１）である。第２の領域は、第１の領域の上下両端に同じ大きさの非表示領域が形成されるように配置される。非表示領域の高さは、上端および下端それぞれ
Figure JPOXMLDOC01-appb-M000011
 である。
　したがって、（X0、Y0）と（X１、Y１）の関係は
Figure JPOXMLDOC01-appb-M000012
 となる。
　Y0については、アスペクト比が４：３であるため、
Figure JPOXMLDOC01-appb-M000013
 となることから、
Figure JPOXMLDOC01-appb-M000014
 である。
　ここで求めた（X0、Y0）の値は、ドットコード座標系の原点（０、０）とディスプレイ座標系の原点（０´、０´）との差分値（ΔX、ΔY）に相当する。
　ユーザが書き込みを行った書き込み箇所のドットコード座標系の座標値を（X、Y）とすると、書き込み箇所のディスプレイ座標系の座標値（X´、Y´）は以下の通り求まる。
Figure JPOXMLDOC01-appb-I000015
　図３２は、ディスプレイのアスペクト比が３：２の場合に、媒体の全部を書込み領域とする方法について説明する図である。なお、図２９～３１と同一の内容については、説明を省略することがある。
　アスペクト比が３：２（＝１．５：１）の場合、媒体の縦横比（２９７：２１０≒１．４１：１）よりもディスプレイのアスペクト比の方が大きい。そのため、ディスプレイの左右が黒くなり、黒い領域を除く領域に、媒体に書き込んだ内容が表示される。
　第２の領域の全部を書き込み領域とするためには、ディスプレイの黒い領域と白い領域の境界の左下隅が、第２の領域の原点となればよい。
　図１９で説明した通り、第１の領域の幅はXd、高さはYh、ドットコード座標系における原点の座標値は（X0、Y0）である。第１の領域の原点（X0、Y0）は、ディスプレイ座標系の原点（０´、０´）と一致する。
　一方、第２の領域の幅はXc、高さはYc、ドットコード座標系における原点の座標値は（X１、Y１）である。第２の領域は、第１の領域の左右両端に同じ大きさの非表示領域が形成されるように配置される。非表示領域の幅は、右端および左端それぞれ
Figure JPOXMLDOC01-appb-M000016
 である。
　したがって、（X0、Y0）と（X１、Y１）の関係は
Figure JPOXMLDOC01-appb-M000017
 となる。
　X0については、アスペクト比が３：２であるため、
Figure JPOXMLDOC01-appb-M000018
 となることから、
Figure JPOXMLDOC01-appb-M000019
 である。
　ここで求めた（X0、Y0）の値は、ドットコード座標系の原点（０、０）とディスプレイ座標系の原点（０´、０´）との差分値（ΔX、ΔY）に相当する。
　ユーザが書き込みを行った書き込み箇所のドットコード座標系の座標値を（X、Y）とすると、書き込み箇所のディスプレイ座標系の座標値（X´、Y´）は以下の通り求まる。
Figure JPOXMLDOC01-appb-M000020
　このように、本発明においては、まずドットコード座標系の原点（０、０）とディスプレイ座標系の原点（０´、０´）との差分を求める。そして、ドットコード座標系における書き込み箇所の座標値（X、Y）から差分を引いた値がディスプレイ座標系における書き込み箇所の座標値（X´、Y´）となる。手書きペンのプロセッサは、（X´、Y´）を情報処理装置に送信する。
　これにより、ユーザが媒体のどこに書き込みを行っても、書き込み内容をディスプレイに表示することが可能となる。そして、ディスプレイに全画面表示するコンテンツを上記媒体上に印刷すれば、媒体に印刷されたコンテンツの任意の位置に書き込むと、ディスプレイに表示されたコンテンツの同じ位置に軌跡が表示される。様々な資料や問題、アンケート等を印刷し、書き込む位置に書き込めば、コンテンツにオーバーレイするように書き込んだ内容がそのまま情報処理装置に記録、表示されるのである。さらに、図示しないが、ディスプレイに全画面表示するコンテンツが印刷された媒体に、ドットコードを印刷した透明シートをかぶせて、その上から手書きすると、ディスプレイに表示されたコンテンツの同じ位置に軌跡を記録、表示することも可能である。
　なお、上記では、ディスプレイのアスペクト比が１６：９、１６：１０、４：３、３：２の場合について説明したが、本発明はこれに限らず、どのようなアスペクト比であってもよい。また、媒体の大きさをA４横サイズとしたが、どのようなサイズであっても本発明を実施できることはもちろんである。
［解像度とディスプレイにおける座標値との関係］
　図１５および図２９～３２において、ディスプレイ座標系における座標値（X´、Y´）の求め方について説明した。
　この座標値（X´、Y´）は、さらに、ディスプレイの解像度に応じて、より適切な座標値に変換することができる。
　ディスプレイの解像度を、横Rxピクセル、縦Ryピクセルとし、変換後の座標値を（Xf、Yf）とすると、
Figure JPOXMLDOC01-appb-M000021
 となる。
　情報処理装置は、変換後の座標値（Xf、Yf）に基づいて、ユーザが手書きした内容をディスプレイに表示させる。これにより、実際に媒体に手書きした筆跡に近い状態で、手書きした内容を記録、表示することが可能となる。
　以上、本発明について説明したが、本発明は、上述した実施形態に限られない。また、複数の実施形態について説明しているが、異なる実施例を組み合わせて実施してもよい。
　本発明は、オンライン会議やオンライン授業での手書きや、オフラインでの様々な資料への書き込みとそのデータ化に利用できる。その他、フォームやメモ帳に書き込んだ情報をOCR化して、データとして処理することもできる。その他、メモを取る、絵を描く等、ありとあらゆる場面で利用することができる。

Claims (13)

  1. 　情報処理装置と無線または有線で接続される手書き装置であって、
    媒体に形成されたドットコードを撮像し、該ドットコードに定義された情報を取得する読取り手段と、
    　前記情報処理装置に搭載または接続されたディスプレイの画面全体の画面比率に対応するドットコード座標系における第1の領域の幅Xd、高さYhを取得する第1の取得手段と、
    　前記第1の領域は、ドットコード座標系の座標値（Ｘ、Ｙ）または座標値（Ｘ、Ｙ）およびコード値が定義された第１のドットコードを含み、該第1の領域の一部または全部が前記媒体に形成され、該第１のドットコードを前記読取り手段で取得し、少なくとも前記第1の領域の幅Xd、高さYhに基づいて該座標値（Ｘ、Ｙ）を前記ディスプレイの座標系の原点に対応する位置を基準とする所定の座標系の座標値（Ｘ´、Ｙ´）に変換する座標変換手段と、
    　少なくとも前記座標値（Ｘ´、Ｙ´）を前記情報処理装置に送信する送信手段と、
    を備える手書き装置。
  2. 　前記媒体には、前記第1の領域の外部または角部に前記ドットコード座標系の原点(0、0)が設けられ、
    　該ドットコード座標系の座標値(X0、Y0)が該第1の領域の座標系の原点となるように前記第１のドットコードが前記第1の領域に形成されている、請求項１に記載の手書き装置。
  3. 　前記第1の領域が前記ディスプレイの画面比率に対応するために、前記座標値（Ｘ´、Ｙ´）は、係数α、βによって、
    （式１）
    Ｘ´=(X-X0)×α/Xd
    Ｙ´=(Y-Y0)×β/Yh
    の計算式で変換される、請求項２に記載の手書き装置。
  4. 　前記送信手段は、所定の事象が発生したときに前記α、βを前記情報処理装置に送信する、
    請求項３に記載の手書き装置。
  5. 　ディスプレイの解像度がＲｘ、Ｒｙである場合に、
    　前記情報処理装置は、送信された前記座標値（Ｘ´、Ｙ´）を
    （式２）
    Ｘｆ＝（Ｒｘ/α）×Ｘ’
    Ｙｆ＝（Ｒｙ/β）×Ｙ´
    の計算式で変換する、
    請求項３に記載の手書き装置。
  6. 　前記第１の領域の少なくとも一部であり、左下隅をドットコード座標系における（Ｘ１、Ｙ１）とする第２の領域が前記ディスプレイに全画面表示された場合、
    　前記ドットコード座標系における第２の領域の幅Ｘｃ、高さＹｃを基に、
    　前記第２の領域の上下の境界が前記ディスプレイの上端下端に一致して表示され、左右に同一の幅の非表示領域が形成される（Ｙｃ/ＸｃがYh/Xd以下）場合には、
    （式３）
    　Ｘ０＝Ｘ１-（Ｘｄ-Ｘｃ）/２
    　Ｙ０＝Ｙ１
    の計算式で変換され、
    　前記第２の領域の左右の境界が前記ディスプレイの左端右端に一致して表示され、上下に同一の幅の非表示領域が形成される（Ｙｃ/ＸｃがYh/Xd以上）場合には、
    （式４）
    　Ｘ０＝Ｘ１
    　Ｙ０＝Ｙ１-（Ｙｈ－Ｙｃ）/２
    の計算式で変換される、請求項２～５のいずれかに記載の手書き装置。
  7. 　前記αは３２７６８、前記βは１８４３２である、請求項３または４に記載の手書き装置。
  8. 　前記画面比率は、Xd：Yh＝16：9、16：10、4：3および3：2の少なくとも一つである、
    請求項１～７のいずれかに記載の手書き装置。
  9. 　前記第1の取得手段は、前記読取り手段によって、前記媒体の情報領域に形成されたコード値およびドットコード座標系の座標値（Ｘ、Ｙ）の少なくともいずれかが定義された第２のドットコードから、前記第1の領域の幅Xd、高さYhまたは該第1の領域の幅Xd、高さYhに対応する情報を取得する、請求項１～８のいずれかに記載の手書き装置。
  10. 　前記第２のドットコードは、対応する前記画面比率を示す画像と重畳して形成される、請求項９に記載の手書き装置。
  11. 　前記第１のドットコードには前記第1の領域をそれぞれ特定するIDまたは該IDに対応する情報が含まれ、
    　前記読取り手段によって、前記第２のドットコードまたは前記媒体の情報領域に形成されたコード値およびドットコード座標系の座標値（Ｘ、Ｙ）の少なくともいずれかが定義された第３のドットコードから前記IDまたは該IDに対応する情報を取得する第2の取得手段をさらに備える、請求項９または請求項１０に記載の手書き装置。
  12. 　前記座標変換手段は、前記第2の取得手段が取得した１以上のIDと前記第1の領域の幅Xd、高さYhおよび前記座標値(X0、Y0)を紐づけしたテーブルを生成し、前記読取り手段が前記第１のドットコードからIDを取得して、該テーブルから該第1の領域の幅Xd、高さYhおよび該座標値(X0、Y0)を参照し、請求項３に記載の計算式を実施する、請求項１１に記載の手書き装置。
  13. 　前記読取り手段で書き込み可能な書込み領域は前記第1の領域内に任意に設定でき、
    　前記書込み領域を特定する情報を取得する第３の取得手段をさらに備える、
    請求項１に記載の手書き装置。
PCT/JP2021/029582 2020-08-08 2021-08-10 手書き装置 WO2022034890A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022542859A JPWO2022034890A1 (ja) 2020-08-08 2021-08-10

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020135416 2020-08-08
JP2020-135416 2020-08-08

Publications (1)

Publication Number Publication Date
WO2022034890A1 true WO2022034890A1 (ja) 2022-02-17

Family

ID=80247954

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029582 WO2022034890A1 (ja) 2020-08-08 2021-08-10 手書き装置

Country Status (2)

Country Link
JP (1) JPWO2022034890A1 (ja)
WO (1) WO2022034890A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008165384A (ja) * 2006-12-27 2008-07-17 Dainippon Printing Co Ltd 座標入力用システム
JP4385169B1 (ja) * 2008-11-25 2009-12-16 健治 吉田 手書き入出力システム、手書き入力シート、情報入力システム、情報入力補助シート
JP2015187830A (ja) * 2014-03-12 2015-10-29 パナソニックＩｐマネジメント株式会社 表示制御システム
WO2017010469A1 (ja) * 2015-07-10 2017-01-19 株式会社Ｉ・Ｐソリューションズ 手書き装置および音声・手書き通信システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008165384A (ja) * 2006-12-27 2008-07-17 Dainippon Printing Co Ltd 座標入力用システム
JP4385169B1 (ja) * 2008-11-25 2009-12-16 健治 吉田 手書き入出力システム、手書き入力シート、情報入力システム、情報入力補助シート
JP2015187830A (ja) * 2014-03-12 2015-10-29 パナソニックＩｐマネジメント株式会社 表示制御システム
WO2017010469A1 (ja) * 2015-07-10 2017-01-19 株式会社Ｉ・Ｐソリューションズ 手書き装置および音声・手書き通信システム

Also Published As

Publication number Publication date
JPWO2022034890A1 (ja) 2022-02-17

Similar Documents

Publication Publication Date Title
JP5285092B2 (ja) 手書き情報の電子的記録のためのシステム及び装置
JP2008217782A (ja) 紙ベースの会議サービス管理ツール、及びシステム
JP3151886U (ja) 情報処理システム
JP6044198B2 (ja) コンピュータ装置、プログラム及び情報処理システム
KR20110122897A (ko) 광학인식펜을 이용한 인터랙티브 전자 칠판 시스템 및 운영 방법
JP2013072927A (ja) 情報処理システム、及びプログラム
WO2012008505A1 (ja) プログラム、情報処理装置、情報処理システム
JP2013065937A (ja) 端末装置、電子ペンシステム、及びプログラム
JP2010111118A (ja) 筆記記録システム、筆記データ読取用シート体、及びマーカ装置
WO2022034890A1 (ja) 手書き装置
JP5682453B2 (ja) 電子ペン入力システム及びプログラム
JP3174897U (ja) 教材コンテンツ表示システム、そのコンピュータ装置、およびそれに用いるシート
JP5915118B2 (ja) アーカイブシステム、第一の端末及びプログラム
JP5024019B2 (ja) 端末装置及びそのプログラム
JP6019716B2 (ja) コンピュータ装置、プログラム及び情報処理システム
JP5982847B2 (ja) コンピュータ装置、情報処理システム、及び、プログラム
JP5267950B2 (ja) 情報処理システム及びそのプログラム
JP5943293B2 (ja) 端末装置、コンテンツ再生システム、及びプログラム
JP2013016079A (ja) コンピュータ装置及びプログラム、並びにノート
JP2011232952A (ja) 情報処理システム及びそのプログラム
JP2013182122A (ja) 電子ペンシステム及びプログラム
JP5862395B2 (ja) 端末装置、コンテンツ再生システム、及びプログラム
JP2013084148A (ja) 電子ペンシステム及びプログラム
JP2013072926A (ja) コンピュータ装置及びプログラム
JP5776382B2 (ja) コンピュータ装置及びプログラム、並びにノート

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21855969

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022542859

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21855969

Country of ref document: EP

Kind code of ref document: A1