WO2010119603A1 - 手書き入力装置 - Google Patents

手書き入力装置 Download PDF

Info

Publication number
WO2010119603A1
WO2010119603A1 PCT/JP2010/001432 JP2010001432W WO2010119603A1 WO 2010119603 A1 WO2010119603 A1 WO 2010119603A1 JP 2010001432 W JP2010001432 W JP 2010001432W WO 2010119603 A1 WO2010119603 A1 WO 2010119603A1
Authority
WO
WIPO (PCT)
Prior art keywords
handwriting input
visible light
input device
coating
light
Prior art date
Application number
PCT/JP2010/001432
Other languages
English (en)
French (fr)
Inventor
関谷かや人
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2011509181A priority Critical patent/JP5569520B2/ja
Priority to US13/264,123 priority patent/US9213446B2/en
Publication of WO2010119603A1 publication Critical patent/WO2010119603A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments

Definitions

  • the present invention relates to a handwriting input device that mechanically reads information such as characters and figures drawn on a board surface.
  • an input device (hereinafter referred to as an electronic blackboard type handwriting input) having a function of electronically or optically reading characters and figures written with a writing instrument called a marker on a white sheet or whiteboard. Called a device) and is widely used mainly in meetings and presentations.
  • a white sheet is rotated by a roller and a motor, light is applied to a writing surface that is rotated and moved to the back side of the apparatus, and a plate surface moving type that converts it into an electrical signal by a CCD (Charge Coupled Device) line sensor or the like,
  • CCD Charge Coupled Device
  • a recording method of the read data there are a method of printing and recording on paper using a thermal method, an ink jet method, an electrophotographic method, and the like, and a method of storing in a recording medium such as a compact flash (registered trademark) memory.
  • a handwriting input device As another example of a handwriting input device, a handwriting input device (hereinafter referred to as display-type handwriting) that converts characters and figures drawn with a pen-type instrument (position indicator) on a display device such as a flat panel display into digital data. And is widely used as an input interface for graphics design drawing tools and conference digital whiteboards.
  • a reading method there are an electromagnetic induction method, an ultrasonic method, a pressure-sensitive method, and the like, and any method is a method in which position coordinates on a display device of a pen-type instrument are detected by various sensors (for example, Patent Document 1). reference).
  • the user can input characters and figures to the computer as if writing on paper with a pen or pencil. Subsequently, if a computer process such as an optical character reading process (OCR) is performed on the input characters and figures in real time, the input handwritten characters and figures will be printed from the side of the input. Can be displayed on the screen as a well-formed figure, which can be used to improve the expressive power of the user. Furthermore, it is also possible to use input handwritten characters and figures as input parameters for computer simulation.
  • OCR optical character reading process
  • an input figure is interpreted as a boundary (such as an airplane wing) in a fluid simulation, and an arrow indicating the fluid flow is displayed around it, the fluid flow generated around the drawn figure is taken into account. It becomes possible to perform various design work like a sketch. This is particularly useful in outline design, which is the early stage of design work.
  • Some display-type handwriting input devices can cause a computer to execute processing corresponding to an identifier by using a plurality of position indicators with different identifiers or a position indicator that can switch identifiers with a switch. . For example, it is possible to realize an operation of inputting a character or a figure with a certain position indicator and erasing an already entered character or figure with another position indicator.
  • FIG. 24 is a block diagram showing an example of a display-type handwriting input device described in Patent Document 1.
  • the loop coils C1 to C48 and C1 ′ to C48 ′ generate an electromagnetic field by flowing an alternating current, or convert a change in the electromagnetic field into a current.
  • the X direction (Y direction) selection circuit 221X (221Y) selects a loop coil to be used from among a plurality of loop coils.
  • the X direction (Y direction) connection switching circuit 222X (222Y) exclusively connects the loop coil in use with the transmission circuit 223 or the reception circuit 224.
  • the transmission circuit 223 and the reception circuit 224 generate or detect an alternating current signal having a predetermined frequency, respectively.
  • the processing device 225 controls the entire device and processes detected signals.
  • the position indicator 226 includes a tuning circuit 227 that oscillates in synchronization with an electromagnetic field having a specific frequency.
  • the display device 228 displays information according to the processing result of the detected signal.
  • the transmission circuit 223 generates an alternating current signal having a frequency f1.
  • This alternating current signal is sent to one of the loop coils, for example, the loop coil C1 (C1 ′) via the X direction (Y direction) connection switching circuit 222X (222Y) and the X direction (Y direction) selection circuit 221X (221Y).
  • the tuning circuit 227 oscillates when the position indicator 226 including the tuning circuit 227 that is tuned to the frequency f1 is in the vicinity of the loop coil C1 (C1 ′).
  • the loop coil C1 (C1 ′) is generated.
  • the oscillating tuning circuit 227 gradually discharges.
  • the position indicator 226 generates an electromagnetic field having a frequency f1.
  • the electromagnetic field generated by the position indicator 226 is converted into an alternating current signal having a frequency f1 by the loop coil C1 (C1 ′), and the X direction (Y direction) selection circuit 221X (221Y) and the X direction connection switching circuit 222X (222Y). ) Is detected by the receiving circuit 224.
  • the reception circuit 224 notifies the processing device 225 that the position indicator 226 has been detected at the position of the loop coil C1 (C1 ′).
  • the processing device 225 detects the X coordinate and the Y coordinate of the position indicator 226 by repeating such an operation while sequentially switching the loop coil to be used.
  • the display device 228 changes the pixel of the detected position coordinate to a color different from the background color, and feeds back to the user that the position indicator 226 has been detected at that position.
  • Patent Document 1 Although there is no direct description in Patent Document 1, an operation of inputting characters and figures with a certain position indicator and erasing already input characters and figures with another position indicator can be realized.
  • the transmission circuit 223 further sequentially generates an alternating current signal having a frequency f2 different from f1.
  • the position coordinates of another position indicator that incorporates a tuning circuit that oscillates in synchronization with the frequency f2 are detected.
  • the display device 228 changes the pixels around the position coordinates of the position indicator that synchronizes with the detected frequency f2 to the background color, thereby realizing an operation of erasing characters and figures already input by the user.
  • the position coordinates of a single position indicator and switch switching can be used instead of the position coordinates of a plurality of different position indicators. Since the state can be detected, the user can switch between the drawing mode and the erasing mode with a switch.
  • the biggest advantage of the handwriting input device is to draw characters and figures using a pen-shaped instrument like a marker on a work plane like a whiteboard, using an operation method that many users have already learned, Characters and figures can be converted into digital data. That is, if the handwriting input device is used, it is possible to easily use various processing capabilities of the computer without learning the operation method of the input device specialized for the computer such as a keyboard and a mouse.
  • the electronic blackboard type handwriting input device cannot recognize characters and figures drawn on a white sheet or white board in a dark place. For this reason, it is difficult to use an electronic blackboard type handwriting input device in a situation where, for example, a presentation is performed in a darkened room to show a slide.
  • the display-type handwriting input device displays the drawn characters and figures on the display screen, so there is no problem even in a dark atmosphere.
  • the input characters and figures are digital data in the computer. It is stored only as. For this reason, if the stored digital data is lost, the input information is completely lost.
  • An electronic blackboard-type handwriting input device can be used to erase all or part of the drawn characters and figures without using special instruments such as tissue paper or fingertips, whereas display-type handwriting.
  • the input device requires a special instrument (such as a dedicated position indicator).
  • the electronic blackboard type handwriting input device and the display type handwriting input device have their merits and demerits, respectively.
  • the object of the present invention is to use the above-mentioned problem, that is, it is difficult to use in a dark place, and there is a risk that input information may be completely lost if the digital data is lost. It is an object of the present invention to provide a handwriting input device that solves the problem that all or any part of drawn characters and figures cannot be erased.
  • a handwriting input device includes a transparent or semi-transparent object to be coated, a detection unit that detects a position where the coating material adheres on the body to be coated, and the detection unit that adheres the coating material.
  • Display means for causing a visual change in accordance with the detected position.
  • the present invention Since the present invention is configured as described above, it can be used even in a dark place, and even if digital data is lost, it can prevent the loss of input information, and a special instrument can be used. All or a part of the drawn characters and figures can be erased.
  • Block diagram of the first embodiment Detailed block diagram of the light source section of FIG. Detailed block diagram of the applicator of FIG. Detailed block diagram of the detector of FIG. The figure which shows the processing result by the image frame recorded by the detection part of FIG. 1, and a process part Flowchart of image processing executed by the processing unit in FIG.
  • Block diagram of the second embodiment Detailed block diagram of the light source section of FIG. The figure explaining a mode that the light generated from the light source part of FIG.
  • the figure which shows the image frame recorded by the detection part of FIG. The figure explaining a mode that the light guided in the to-be-coated body of FIG. 12 was spread
  • FIG. 1 A flowchart showing an example of processing additionally executed by the processing unit in FIG. 1 when executing optical character reading processing.
  • the figure which shows the information displayed on the display part of FIG. 1 when performing an optical character reading process Block diagram of the fifth embodiment Block diagram of the sixth embodiment
  • an input device 1 of the present invention is connected to a storage device 7, and includes a display unit 2 constituted by a projector 21 and a screen 22, an object 3 to be coated and removed, and a light source.
  • the unit 4 includes a detection unit 5, and a processing unit 6.
  • the projector 21 projects the video input from the processing unit 6 on the screen 22.
  • the projector 21 may be a general liquid crystal projector, and the screen 22 may be a resin film that diffuses light.
  • the coated body 3 is a transparent flat plate to which the coated material can be attached and wiped off, and may be a thin plastic plate, for example.
  • the screen 22 and the to-be-coated body 3 are drawn separately in the drawing, the configuration in which the screen 22 is attached to the back surface of the to-be-coated body 3 is actually desirable.
  • the substrate 3 may be the screen 22 itself.
  • the light source unit 4 irradiates light from outside the visible light region such as infrared light obliquely from above to the back surface of the coated body 3 through the screen 22.
  • the light source unit 4 may be, for example, one or more infrared light emitting diodes (LEDs) 43 driven by a power supply circuit 41 and a drive circuit 42 as shown in FIG.
  • the detection unit 5 is an optical device that detects the position where the coated material adheres to the coated body 3 using the light emitted from the light source unit 4, for example, a charge coupled device (CCD) image sensor or a complementary metal oxide semiconductor.
  • CCD charge coupled device
  • CMOS Complementary A camera equipped with a semiconductor image sensor such as a metal oxide semiconductor image sensor may be used.
  • the applicator 8 is a container having a structure in which the application 81 filled inside is applied to the object 3 and a felt pen container such as a whiteboard marker can be used.
  • An example of the structure of the applicator 8 is shown in FIG.
  • a felt material 83 is attached to a through-hole provided in a tip portion of a pen-shaped housing 82, and the applied material 81 filled in the housing 82 is felt by a capillary phenomenon. Soaked in constantly.
  • a cap 84 attached to the rear end of the housing 82 is detachable so that the application 81 can be replenished.
  • the coated material 81 is obtained by dissolving at least an optical material described later in a liquid such as a volatile solvent, and has a property that is substantially transparent (or translucent) to visible light (that is, all the coating materials 81 include The component has a property of being almost transparent (or translucent) to visible light.
  • a volatile solvent for example, an alcohol solvent can be used.
  • the optical material is substantially transparent (or translucent) to visible light, but absorbs light in the wavelength region of light emitted from the light source unit 4.
  • an infrared absorbing ink used for invisible barcode printing such as ytterbium oxide can be used.
  • the coated material 81 is not only an optical material but also a resin material that supports the optical material to adhere to the coated body 3, and a release material that makes it easy to wipe the optical material and the resin material from the coated body 3. Further, it may be included. As such a resin material and a release material, those contained in a general whiteboard marker can be used. It should be noted that the coating material 81 that is initially liquid is applied to the substrate 3 and after a while, the volatile solvent evaporates and adheres to the substrate 3 as a solid. In the present specification, both the liquid state substance before the volatile solvent is vaporized and the substance which the volatile solvent is vaporized and adheres to the object 3 as a solid substance are referred to as a coated substance.
  • the processing unit 6 receives the image of the object 3 to be coated and the coating material adhering to the image captured by the detection unit 5 in the wavelength region of the light emitted from the light source unit 4, and images such as brightness adjustment and distortion correction as necessary. Processing is performed and output to the display unit 2 and the storage device 7.
  • the processing unit 6 includes an external device connection interface and a display output video card, and a general personal computer (PC) on which a general-purpose operating system, driver software, and an image processing program are executed can be used.
  • PC personal computer
  • the storage device 7 is a device that stores an input result from the input device 1, and may be, for example, the above-described main storage device or secondary storage device of the PC.
  • FIG. 4 is a block diagram illustrating a configuration example of the detection unit 5.
  • the detection unit 5 includes a camera module 51 including a CCD 52 and an interface unit 53, a lens unit 54, and a visible light cut filter 55.
  • the CCD 52 is an element that photoelectrically converts the brightness of light incident through the lens unit 54 and the visible light cut filter 55 into the amount of charge, and has sensitivity in the wavelength region of light emitted from the light source unit 4.
  • the interface unit 53 is an element that converts an electric signal input from the CCD 52 from analog to digital and converts the signal into a predetermined transfer format. For example, a standard such as CameraLink or IEEE1394 can be used as the transfer format.
  • the camera module 51 formed by the CCD 52 and the interface unit 53 may be, for example, a generally available CameraLink camera or an IEEE1394 camera.
  • the lens unit 54 is an element that collects light incident from an object to be photographed and guides it to the CCD 52, and may be a generally available camera lens.
  • the visible light cut filter 55 is an element that removes most of the visible light from the light guided to the CCD 52 by the lens unit 54, and the detection unit 5 uses the light emitted from the light source unit 4 to apply the coating on the substrate 3. It makes it possible to detect the position of attachment.
  • a multilayer interference filter can be used as the visible light cut filter 55.
  • the detection unit 5 captures images of the object to be coated 3 and the coating material attached thereto on a regular basis, for example, at 60 frames per second outside the visible light region. If it is assumed that the application object has not adhered to the object 3 to be applied, one image (image frame) recorded by the detection unit 5 is, for example, as shown in FIG. .
  • the bright part is the object 3 to which the screen 22 is attached
  • the surrounding dark part is an image around the object 3 to be applied.
  • the reason why the coated body 3 appears bright is that light outside the visible light region emitted from the light source unit 4 is diffused by the screen 22 attached to the coated body 3 and reaches the detecting unit 5.
  • the image frame recorded by the detection unit 5 is, for example, as shown in FIG.
  • a portion of the shape of “A” that appears dark in the white rectangular region is a portion where the application object is adhered on the application target body 3.
  • the reason why the portion to which the coated material is attached looks dark is that the optical material that is a component of the coated material absorbs light outside the visible light region diffused by the screen 22. Accordingly, the absorption rate of the optical material with respect to light outside the visible light region needs to be high enough to enable the detection unit 5 to distinguish and record the portion where the coating is attached and the portion where the coating is not attached.
  • the application is almost transparent (or translucent), so the user can hardly confirm the application attached to the object 3 with the naked eye.
  • FIG. 6 is a flowchart illustrating an example of image processing executed by the processing unit 6.
  • the processing unit 6 monitors reception of an image frame from the detection unit 5 (step S61 in FIG. 6), and each time an image frame is received, first, lens distortion correction processing is executed (step S62).
  • the lens distortion is a phenomenon in which a straight side of an object or the like is distorted in a curved shape due to the optical characteristics of the lens unit 54, and is particularly noticeable when a wide-angle lens is used.
  • the lens distortion correction process is a process for removing this distortion. In order to perform the lens distortion correction process, first, a gray code pattern as shown in FIG. 7 is photographed in advance by the detection unit 5, and a correction function is derived. In the lens distortion correction processing, the lens distortion is removed by applying this correction function to each pixel of the image frame. Since the lens distortion correction method is detailed in Non-Patent Document 1, for example, detailed description of the algorithm is omitted here.
  • the image frame in FIG. 5B is removed from the lens distortion and becomes as shown in FIG. 5C.
  • the curved distortion has been removed by the lens distortion correction processing in step S62, the object 3 that is originally rectangular is still trapezoidal. This is a distortion that occurs because the detection unit 5 images the object 3 from above, and is called a trapezoidal distortion. Further, an unnecessary image (dark part) is also reflected around the object 3 to be coated.
  • the trapezoidal distortion correction process step S63
  • a process for removing the trapezoidal distortion and removing an unnecessary image around the object 3 is performed.
  • the size of the image frame is W pixels ⁇ H pixels
  • the projective transformation necessary for correcting the trapezoidal distortion is defined as a matrix for converting the points p1 to p4 to the points p1 ′ to p4 ′, respectively, and the values of the points p1 to p4 and p1 ′ to p4 ′ are calculated by inverse matrix calculation.
  • each pixel intensity of the image frame is adjusted using, for example, the correspondence shown in FIG.
  • the pixel intensity is represented by an integer value of 0 to Imax.
  • pixels with intensity Ith or higher are converted to intensity Imax, and pixels with intensity 0 to Ith are assigned to intensity 0 to Imax.
  • the contrast of the image frame in FIG. 5D is improved, as shown in FIG.
  • the image frame processed by the processing unit 6 is output to the storage device 7 and the display unit 2.
  • the processing unit 6 outputs 60 image frames per second.
  • the storage device 7 regularly records the image frame output from the processing unit 6 as a moving image or as a still image at the timing of a user instruction. At this time, in order to reduce the necessary storage capacity, an appropriate image compression process may be performed.
  • the display unit 2 displays the image frame output from the processing unit 6 each time.
  • each point on the object to be coated 3 and each point on the screen 22 of the display unit 2 are in an overlapping positional relationship.
  • the character “A” drawn by the user is displayed at the position.
  • the display resolution of the display unit 2 has been described on the assumption that it is the same as the resolution of the image frame captured by the detection unit 5. However, if the two resolutions are different, the processing unit 6 In this case, the image may be displayed on the display unit 2 after appropriate enlargement / reduction.
  • the application is almost transparent (or translucent) in the visible light region, the user can hardly confirm the application attached to the object 3 with the naked eye. Therefore, the photographed image of the coated material projected on the screen 22 can be seen through to the user. If the optical substance contained in the coating applied to the coated body 3 is photographed by the detection unit 5 and displayed on the display unit 2 with a sufficiently short delay, the user can immediately follow the application of the coating. A photographed image of the application can be confirmed at the same position on the screen 22. For this reason, with the handwriting input device of this embodiment, the user can input characters and figures with the same feeling as drawing with general ink that absorbs visible light.
  • the corresponding portion of the applied material on the object 3 is removed, and the portion absorbs light outside the visible light region. Do not do it.
  • the coated material is physically attached on the coated body 3, no special instrument is required, and the coated material can be directly wiped with a general object such as dust paper or a finger.
  • FIG. 20 is a flowchart illustrating a processing example additionally executed by the processing unit in this configuration.
  • the processing unit 6 calculates an image difference between the current image frame and the previous image frame (step S201 in FIG. 20).
  • the image difference can be calculated using an inter-frame difference technique generally known in the area of image processing. If the image difference is less than or equal to the threshold value, the timer T is incremented by 1 (step S202). Subsequently, the value of T is evaluated (step S203). If T is equal to or greater than the threshold value ⁇ T, the OCR process is turned on (step S204). On the other hand, when the image difference is larger than the threshold value (step S205), the processing unit 6 resets the timer T to 0 and turns off the OCR process (step S206).
  • FIG. 21 (c) it is assumed that the user has drawn a character string of “Hello” on the object 3 using the applicator 8. Since the detection unit 5 constantly records the image of the object 3 and the application object attached thereto, information displayed on the display unit 2 while the user is inputting a character string is shown in FIGS. As shown by (c), it changes in steps. On the other hand, when the user completes the input of the character string, the image frame does not change in the state of FIG. Then, when a certain time has elapsed, the OCR processing is turned on, and the typed characters are displayed in the vicinity of the attached coating as shown in FIG.
  • a proximity sensor is mounted on the input device 1 so that the user can apply the object 3 to be coated.
  • the computer processing is turned on when moving away from the computer and turned off when approaching again.
  • the position where the object is attached is detected by the detection unit 5.
  • These characters and figures are displayed at the same place on the screen 22 by the display unit 2 arranged on the back side.
  • the to-be-coated body 3 is transparent or translucent, and the coated object is transparent or translucent. Therefore, in a bright place or a dark place, the user can see the characters and figures displayed on the screen 22 through the coated body 3 and the coated material.
  • the light source unit 4 a causes light outside the visible light region to enter from the side surface of the coated body 3.
  • the light source unit 4a for example, one or more infrared light emitting diodes (LEDs) 44 arranged on a straight line driven by a power supply circuit 41 and a drive circuit 42 as shown in FIG. 11 can be used.
  • the light source unit 4a may be arranged on one side or a plurality of sides of the object to be coated.
  • FIG. 10 shows an example in which the light source part 4a is arranged at two places on the upper and lower sides of the substrate 3 to be coated.
  • the display unit 2a is a flat panel display such as a liquid crystal display, a plasma display, or a field emission display
  • the coated body 3 is a protective panel such as a plastic or glass plate disposed in front of the flat panel display.
  • the display part 2a and the to-be-coated body 3 are drawn apart in the figure, it is desirable to actually arrange
  • the optical substance contained in the coating is a substance that is substantially transparent (or translucent) to visible light, but reflects or diffuses light outside the visible light region emitted by the light source unit 4a.
  • a cholesteric liquid crystal polymer that reflects only infrared light can be used.
  • Other configurations are basically the same as those in the first embodiment.
  • the light source unit 4a makes light outside the visible light region incident from the side surface of the object 3 to be coated. If it is assumed that the coated object is not attached to the coated body 3, the incident light is totally reflected on the surface of the coated body 3, and is confined inside and guided as shown in FIG. .
  • the detection unit 5 regularly shoots the image of the object to be coated 3 and the coated material attached thereto outside the visible light region. For example, as shown in FIG. 13A, the image frame recorded by the detection unit 5 is almost completely dark. This is because the light emitted from the light source unit 4 a is confined inside the coated body 3 and does not reach the detection unit 5.
  • the light outside the visible light region emitted from the light source unit 4a is totally reflected on the surface of the object 3 to be coated.
  • the light slightly oozes out from the object 3 to the outside air side.
  • the light of the exuded part is called evanescent light.
  • the evanescent light is optically coupled with the optical substance contained in the object to be diffused to the outside of the object to be applied as indicated by reference numeral B in FIG. Since a part of the diffused light reaches the detection unit 5, for example, when the letter A (A) of the alphabet is drawn, the image frame recorded by the detection unit 5 is, for example, FIG. ) As shown.
  • the portion of the shape of “A” that appears white and dark is the portion where the applied material is adhered on the substrate 3.
  • the reflectance or diffusivity of the optical material with respect to light outside the visible light region needs to be high enough to enable the detection unit 5 to distinguish and record the portion where the coating is attached and the portion where the coating is not attached. There is.
  • the image frame recorded by the detection unit 5 is sent to the processing unit 6 as in the first embodiment, and lens distortion correction processing, trapezoidal distortion correction processing, and brightness adjustment processing are executed.
  • the correspondence as shown in FIG. 15 is used, and as a result, the image is reversed in black and white.
  • an image similar to that shown in FIG. 5E is obtained.
  • the basic configuration is as described above, but the configuration of the light source unit of the input device 1b and the configuration of the detection unit are different from those of the above embodiment. Will be described in detail with reference to FIG.
  • the display unit is a flat panel display using liquid crystal technology, and is integrated with the detection unit.
  • the light source unit 4b is a backlight of the flat panel display, and generates both visible light and light outside the visible light region.
  • the optical material included in the coating 81 is substantially transparent (or translucent) to visible light, but reflects light outside the visible light region emitted from the light source unit 4b. It is a substance.
  • FIG. 17 is a block diagram illustrating a configuration example of the light source unit 4b.
  • the light source unit 4b includes a fluorescent tube 45 that generates both visible light and light outside the visible light region, and a diffuser 46 that uniformly diffuses the light generated by the fluorescent tube 45.
  • the fluorescent tube 45 generates both visible light and light outside the visible light region, for example, infrared light.
  • a general fluorescent lamp to which a halogen gas is added can be used.
  • a device in which a visible light emitting diode (LED) and an infrared LED are arranged side by side may be used.
  • the diffuser 46 may be a general diffusion plate used in a backlight of a liquid crystal display.
  • an organic electroluminescent (EL) element etc. Can also be used.
  • FIG. 18 is a block diagram illustrating a configuration example of the integrated display unit and detection unit 9.
  • the integrated display unit and detection unit 9 includes two polarization filters 91 and 92, a photosensor built-in liquid crystal 93, and a control circuit 94.
  • the polarizing filter 91 extracts only the linearly polarized light component that vibrates in a specific direction from the non-polarized visible light emitted from the light source unit 4b.
  • the polarizing filter 92 extracts only linearly polarized light components orthogonal to the polarizing filter 91 from visible light that has passed through the polarizing filter 91 and the optical sensor built-in liquid crystal 93.
  • the photosensor built-in liquid crystal 93 adjusts the polarization state of visible light in units of pixels according to the voltage applied by the control circuit 94, and the visible light emitted from the light source unit 4 b passes through the polarization filter 92. Controls whether it passes and is displayed on the front of the panel. Note that light outside the visible light region passes through a substantially constant amount regardless of the voltage applied by the control circuit 94. For example, in the case of a polarizing film and a liquid crystal material used for a general liquid crystal display, since almost constant infrared light passes regardless of the voltage applied by the control circuit 94, these can be used.
  • the liquid crystal 93 with a built-in optical sensor includes a light receiving element that measures the intensity of light outside the visible light area in units of pixels, in addition to a liquid crystal element that adjusts the polarization state of visible light in units of pixels.
  • the optical sensor built-in liquid crystal 93 includes a plurality of liquid crystal elements R, a liquid crystal element G, a liquid crystal element B, and a plurality of light receiving elements that adjust the polarization state of visible light in units of pixels.
  • the liquid crystal element R, the liquid crystal element G, and the liquid crystal element B are provided with red, green, and blue color filters, respectively, so that light of each color can be controlled independently.
  • the light receiving element 931 is an element in which a current flows according to the intensity of incident light outside the visible light region, and may be, for example, a silicon photodiode. More specifically, the photosensor built-in liquid crystal 93 used in the present embodiment can be configured by overlapping a visible light cut filter on a light receiving element portion of a general photosensor built-in liquid crystal. In the third embodiment, a plurality of light receiving elements 931 distributed over the entire display surface function as a detection unit.
  • the light source unit 4b causes visible light and light outside the visible light region to enter from the back surface of the display unit and the detection unit 9.
  • the control circuit 94 of the display unit and detection unit 9 controls the voltage applied to each pixel according to the intensity of each pixel of the image frame output from the processing unit 6 to display the image frame. Regardless of the voltage applied by the control circuit 94, light outside the visible light region passes through the display unit and the detection unit 9 and is incident on the coated body 3 regardless of the applied voltage. If it is assumed that the application object has not adhered to the object 3, light outside the visible light region passes through the object 3 as it is.
  • the light receiving element 931 disposed in each pixel of the optical sensor built-in liquid crystal 93 measures light outside the visible light region incident on the pixel in units of pixels.
  • the coated object is not attached to the coated body 3, light outside the visible light region passes through the coated body 3 and is radiated to the outside, so that it hardly enters the light receiving element 931.
  • the image frame recorded by the detection unit becomes substantially dark as shown in FIG. 13A, for example, as in the second embodiment.
  • the coating material adheres to the object 3 to be coated when the coating material adheres to the object 3 to be coated, light outside the visible light region is reflected by the optical material contained in the coating material and reaches the detection unit.
  • the image frame recorded by the detection unit is, for example, as shown in FIG.
  • the portion of the shape of “A” that appears white and dark is the portion where the applied material is adhered on the substrate 3.
  • the reflectance of the optical material with respect to light outside the visible light region needs to be high enough to enable the detection unit to distinguish and record the portion where the coating is attached and the portion where the coating is not attached.
  • the image frame recorded by the detection unit is sent to the processing unit as in the second embodiment, and brightness adjustment processing is executed.
  • As a result of the processing of the processing unit an image similar to that shown in FIG. 5E is obtained.
  • By displaying the image on the display unit the same effect as in the first and second embodiments can be obtained.
  • the coating material is substantially transparent (or semi-transparent) to visible light, and includes a substance that absorbs, reflects, or diffuses light in the wavelength range of light emitted from the light source unit.
  • a substance that absorbs, reflects, or diffuses light in the wavelength range of light emitted from the light source unit it is also possible to include as a component a substance that is almost opaque immediately after application, but then changes to a substantially transparent (or translucent) state.
  • a reversible temperature ink containing a temperature-sensitive color-changing material that changes color with temperature can be used.
  • the temperature change of the temperature-sensitive color change substance will occur after a certain period of time from the opaque state as the coated material adheres to the object to be coated and the temperature changes. It changes to a transparent (or translucent) state.
  • a method for generating a temperature difference between the object to be coated and the outside air a method using waste heat generated from the display unit, or a thin film transparent electrode such as indium tin oxide (ITO) on the surface or back of the object to be coated It is conceivable to form a film and heat it by passing an electric current. Moreover, it is good also as a structure which comprises a to-be-coated body with a substance with a low specific heat, and utilizes the temperature change by the volatile solvent vaporization heat contained in a coating material.
  • ITO indium tin oxide
  • the optical substance contained in the application applied to the object is detected by the detection unit. Even if there is a slight delay before the image is displayed and displayed on the display unit, the user can quickly input a figure using the temperature-sensitive color-changing substance before color change as visual feedback. For this reason, with the handwriting input device of the present invention, even when there is a delay until display, the user inputs and erases characters and figures in the same manner as drawing with general ink that absorbs visible light. Will be able to. In dark places, the user cannot visually check the temperature-sensitive color-changing substance before color change. In this case, characters and figures are drawn relatively slowly at the expense of some input speed. Just do it.
  • the basic configuration is as described above, but a configuration in which the characteristics of the coated product are different from those of the above-described embodiment will be described.
  • a transparent (or translucent) substance in the visible light region is used as the application, but in this embodiment, an opaque application is always used regardless of the passage of time.
  • the coated material includes an optical material having a property of absorbing, reflecting, or diffusing light outside the visible light region, and may further include a volatile solvent, a resin material, and a release material.
  • the coating can be made opaque in the visible light region. it can. Also in this case, since the coated material absorbs, reflects, or diffuses light outside the visible light region, the method for detecting the coated material existing on the surface of the coated object is the same as in the first to third embodiments. This method can be used.
  • the application is opaque, so that the user can directly observe characters and figures drawn with the application.
  • the user when used in a dark place, the user cannot visually recognize the coating itself, but can observe characters and figures that are brightly bordered by the display behind the application. Thus, even if it is the structure using the opaque coating material in visible light region, the effect which can be used in both a bright place and a dark place is acquired.
  • FIG. 22 is a block diagram illustrating a configuration of the handwriting input device according to the present embodiment.
  • an outline of the above-described handwriting input device will be described.
  • the handwriting input device 100 includes a transparent or semi-transparent object to be applied 101, a detection unit 102 that detects a position where the application object adheres on the object to be applied 101, and a detection Display means 103 for causing a visual change in accordance with the position at which the adhesion of the coating material is detected by means 102.
  • the display means 103 causes a visual change in accordance with the position where adhesion of the coating material is detected. , You can recognize drawn characters and figures even in dark places.
  • the information of handwritten characters and figures is stored as the distribution of the coating material physically attached to the coated object 101, so that the digital data should be lost by any chance. Even so, the loss of input information can be prevented.
  • the handwriting input device of the present embodiment when there is no applied object physically attached to the object to be applied 101, the above-described visual change of the lost position does not occur. Disappears. For this reason, the handwritten character and figure can be erase
  • the application material has a configuration that is transparent or translucent to visible light.
  • the application material has an opaque property with respect to visible light.
  • the structure is taken.
  • the coating material has a property of changing from an opaque state to visible light to a transparent or translucent state with respect to visible light.
  • the coated material contains a volatile solvent, and changes from a state opaque to visible light to a state transparent or translucent to visible light as the volatile solvent evaporates.
  • the configuration is taken.
  • the coating material is configured to change from an opaque state to visible light to a transparent or translucent state to visible light due to a temperature change.
  • the application material adopts a configuration in which light outside the visible light region is absorbed, reflected, or diffused.
  • the handwriting input device further includes a light source unit that causes light outside the visible light region to enter the object to be coated 101.
  • the coated object 101 has a structure capable of guiding light outside the visible light region by confining the light outside the visible light region, and the light source unit is located outside the visible light region inside the coated object 101.
  • the coated object 101 is optically coupled with a part of the light outside the visible light region confined on the surface of the coated object 101 to be outside the coated object 101.
  • the display means 103 is a liquid crystal display, and the light source unit is a backlight of the liquid crystal display.
  • the light source unit is a fluorescent tube that generates both visible light and light outside the visible light region.
  • the handwriting input device adopts a configuration in which the coated object 101 is a protective panel arranged on the front surface of the display unit 103.
  • the display means 103 is composed of a projector and a screen, and the substrate 101 is the screen itself or the substrate to which the screen is attached.
  • the detection means 102 employs a configuration in which the position where the application object adheres on the object 101 is detected based on the spatial distribution of the incident intensity of light outside the visible light region.
  • the detection means 102 includes a semiconductor image sensor.
  • the detection unit 102 includes a plurality of sensors arranged in a distributed manner on the display unit 103.
  • the senor is a silicon photodiode.
  • the light outside the visible light region is infrared light.
  • the detection means 102 adheres the coating material on the transparent or translucent object 101.
  • the position is detected, and the display unit 103 adopts a configuration in which a visual change is generated in accordance with the position where the detection unit 102 detects the adhesion of the applied material.
  • the coating material has a configuration that is transparent or translucent to visible light.
  • the handwriting input method adopts a configuration in which the coated material has an opaque property with respect to visible light.
  • the coating material has a property of changing from an opaque state to visible light to a transparent or translucent state with respect to visible light.
  • FIG. 23 is a block diagram illustrating a configuration of the handwriting input device according to the present embodiment.
  • an outline of the above-described handwriting input device will be described.
  • the handwriting input device 200 includes a transparent or translucent object to be applied 101, a detection unit 102 that detects a position where the application object adheres on the object to be applied 101, and a display
  • the apparatus 201 includes a processing unit 202 that outputs a signal for causing a visual change in accordance with a position where the detection unit 102 detects the adhesion of the coating.
  • the processing unit 202 is positioned at the position where the coating is detected on the display device 201.
  • the drawn character or figure is displayed on the display device 201 and can be recognized even in a dark place.
  • the information of handwritten characters and figures is stored as the distribution of the applied material physically attached to the coated object 101, so that the digital data should be lost by any chance. Even so, the loss of input information can be prevented.
  • the handwriting input device of the present embodiment when there is no applied object physically attached to the object to be applied 101, the above-described visual change of the lost position does not occur. Disappears. For this reason, the handwritten character and figure can be erase
  • the application material has a configuration that is transparent or translucent to visible light.
  • the handwriting input device adopts a configuration in which the coated material has an opaque property with respect to visible light.
  • the coating material has a property of changing from an opaque state to visible light to a transparent or translucent state with respect to visible light.
  • the coated material contains a volatile solvent, and changes from a state opaque to visible light to a state transparent or translucent to visible light as the volatile solvent evaporates.
  • the configuration is taken.
  • the coating material is configured to change from an opaque state with respect to visible light to a transparent or translucent state with respect to visible light due to a temperature change.
  • the application material adopts a configuration in which light outside the visible light region is absorbed, reflected, or diffused.
  • the above handwriting input device adopts a configuration in which a light source unit that makes light outside the visible light region incident on the object 101 is further provided.
  • the object to be coated 101 has a structure capable of guiding light outside the visible light region by confining the light outside the visible light region, and the light source unit is outside the visible light region inside the object to be coated 101.
  • the light is incident so as to be guided, and the coated material is optically coupled with a part of the light outside the visible light region confined on the surface of the coated object 101 to be outside the coated object 101.
  • the detection means 102 employs a configuration in which the position where the application object adheres on the object 101 is detected based on the spatial distribution of the incident intensity of light outside the visible light region.
  • the detection means 102 includes a semiconductor image sensor.
  • the light outside the visible light region is infrared light.
  • the detection means 102 adheres the coating material on the transparent or translucent object 101.
  • a configuration is adopted in which the position is detected, and the processing unit 202 outputs a signal for causing a visual change to the display device 201 in accordance with the position where the detection unit 102 detects the adhesion of the coating.
  • the coating material has a configuration that is transparent or translucent to visible light.
  • the handwriting input method adopts a configuration in which the coated material has an opaque property with respect to visible light.
  • the coating material has a property of changing from an opaque state to visible light to a transparent or translucent state with respect to visible light.
  • Optical sensor built-in liquid crystal 931 ... Light receiving elements # 1 to # 4 ... LED R, G, B ... Liquid crystal elements C1 to C48, C1 'to C48' ... Loop coil 221X ... X direction selection circuit 221Y ... Y direction selection circuit 222X ... X direction connection switching circuit 222Y ... Y direction connection switching circuit 223 ... Transmission circuit 224 ... Reception circuit 225 ... Processing device 226 ... Position indicator 227 ... Tuning circuit 228 ... Display device

Abstract

　この手書き入力装置は、被塗布体１０１と、検出手段１０２と、表示手段１０３とを備える。被塗布体１０１は、透明または半透明になっている。被塗布体１０１上において、塗布物で文字や図形が描かれると、検出手段１０２は、被塗布体１０１上において塗布物の付着する位置を検出する。表示手段１０３は、検出手段１０２で塗布物の付着が検出された位置に合わせて視覚的変化を生じることにより、塗布物で描かれた文字や図形を表示する。

Description

手書き入力装置
　本発明は、板面に描かれた文字や図形などの情報を機械的に読み取る手書き入力装置に関する。
　この種の手書き入力装置の一例として、ホワイトシートやホワイトボードにマーカと呼ばれる筆記具で書かれた文字や図形を、電子的あるいは光学的に読み取る機能を持つ入力装置（以下、電子黒板型の手書き入力装置と呼ぶ）があり、主としてミーティングやプレゼンテーションの場において広く用いられている。読取方式としては、ホワイトシートをローラとモータとによって回転させ、装置の裏側に回転移動した書き込み面に光を当ててＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）ラインセンサ等で電気信号に変換する板面移動型、ホワイトボードの板面上を大型のイメージスキャナが密着移動して読み取る板面固定型がある。また、読み取ったデータの記録方式としては、感熱式、インクジェット式、電子写真式などを用いて用紙に印字記録する方式、コンパクトフラッシュ（登録商標）メモリなどの記録媒体に記憶する方式がある。
　また、手書き入力装置の他の例として、フラットパネルディスプレイなどの表示デバイス上にペン型器具（位置指示器）で描いた文字や図形をデジタルデータに変換する手書き入力装置（以下、ディスプレイ型の手書き入力装置と呼ぶ）があり、グラフィックスデザイン用ドローツールや会議用デジタルホワイトボードの入力インターフェースとして広く利用されている。読取方式としては、電磁誘導方式、超音波方式、感圧方式などがあり、いずれの方式もペン型器具の表示デバイス上における位置座標を各種センサにて検出する方式である（例えば、特許文献１参照）。ディスプレイ型の手書き入力装置では、検出した表示デバイス上の位置座標のピクセルの色を変化させることにより、利用者が紙にペンや鉛筆で書き込む感覚で文字や図形をコンピュータに入力することができる。続いて、入力された文字や図形に対し、リアルタイムで光学式文字読取処理（ＯＣＲ；ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）などのコンピュータ処理を実行すれば、入力された手書き文字や図形を入力される傍から活字や形の整った図形として画面上に表示することができ、利用者の表現力向上に役立てることができる。更には、入力された手書き文字や図形をコンピュータシミュレーションの入力パラメータとして使用することも可能である。例えば、入力された図形を流体シミュレーションにおける境界（飛行機の翼など）と解釈し、周辺に流体の流れを表す矢印を併せて表示すれば、描いた図形の周りに生じる流体の流れを考慮しながら、スケッチ感覚で各種設計業務を行うことが可能になる。これは設計業務の初期段階にあたる概要設計において特に有用である。
　なお、一部のディスプレイ型の手書き入力装置では、識別子の異なる複数の位置指示器や、識別子をスイッチで切り換えられる位置指示器を用いることにより、識別子に応じた処理をコンピュータに実行させることができる。例えば、ある位置指示器で文字や図形を入力し、別の位置指示器で入力済みの文字や図形を消去するといった動作が実現できる。
　図２４は特許文献１に記載されたディスプレイ型の手書き入力装置の一例を示すブロック図である。ループコイルＣ１～Ｃ４８、Ｃ１'～Ｃ４８'は交流電流を流すことにより電磁界を発生する、もしくは電磁界の変化を電流に変換する。Ｘ方向（Ｙ方向）選択回路２２１Ｘ（２２１Ｙ）は複数のループコイルの中から使用するループコイルを選択する。Ｘ方向（Ｙ方向）接続切替回路２２２Ｘ（２２２Ｙ）は使用中のループコイルを送信回路２２３もしくは受信回路２２４と排他的に接続する。送信回路２２３および受信回路２２４は定められた周波数の交流電流信号をそれぞれ発生もしくは検出する。処理装置２２５は装置全体の制御および検出された信号の処理を行う。位置指示器２２６は特定周波数の電磁界に同調して発振する同調回路２２７を内蔵する。そして表示デバイス２２８は検出された信号の処理結果に応じて情報を表示する。
　この装置の動作を説明する。まず、送信回路２２３が周波数ｆ１の交流電流信号を発生する。この交流電流信号はＸ方向（Ｙ方向）接続切替回路２２２Ｘ（２２２Ｙ）およびＸ方向（Ｙ方向）選択回路２２１Ｘ（２２１Ｙ）を介してループコイルの１つ、例えばループコイルＣ１（Ｃ１'）に送出され、ループコイルＣ１（Ｃ１'）により周波数ｆ１の電磁界に変換される。この際、周波数ｆ１に同調する同調回路２２７が内蔵された位置指示器２２６がこのループコイルＣ１（Ｃ１'）の近傍にあると、同調回路２２７は発振する。その後、Ｘ方向（Ｙ方向）接続切替回路２２２Ｘ（２２２Ｙ）により、ループコイルＣ１（Ｃ１'）の接続先が送信回路２２３から受信回路２２４に切り替えられると、ループコイルＣ１（Ｃ１'）から発生される電磁界は直ちに消滅するが、発振した同調回路２２７は徐々に放電を行う。この間、位置指示器２２６は周波数ｆ１の電磁界を発生する。位置指示器２２６より発生された電磁界はループコイルＣ１（Ｃ１'）により周波数ｆ１の交流電流信号に変換され、Ｘ方向（Ｙ方向）選択回路２２１Ｘ（２２１Ｙ）およびＸ方向接続切替回路２２２Ｘ（２２２Ｙ）を介して受信回路２２４で検出される。そして、受信回路２２４はループコイルＣ１（Ｃ１'）の位置に位置指示器２２６が検出されたことを処理装置２２５に伝える。処理装置２２５は、このような動作を、使用するループコイルを順番に切り替えながら繰り返すことにより、位置指示器２２６のＸ座標およびＹ座標を検出する。そして、表示デバイス２２８は検出された位置座標のピクセルを背景色とは異なる色に変化させ、その位置に位置指示器２２６が検出されたことを利用者にフィードバックする。
　特許文献１には直接的に記載はないが、ある位置指示器で文字や図形を入力し、別の位置指示器で入力済みの文字や図形を消去するといった動作が実現できる。例えば、送信回路２２３は更にｆ１とは異なる周波数ｆ２の交流電流信号を順番に発生する。この結果、周波数ｆ２に同調して発振する同調回路を内蔵する別の位置指示器の位置座標が検出される。表示デバイス２２８は検出された周波数ｆ２に同調する位置指示器の位置座標周辺のピクセルを背景色に変更し、利用者が入力済みの文字や図形を消去する動作が実現される。なお、複数の異なる周波数で発振する同調回路をスイッチで切り替え可能な位置指示器を使用すると、複数の異なる位置指示器の位置座標の代わりに、単一の位置指示器の位置座標およびスイッチの切り替え状態を検出することができるので、利用者はスイッチにより描画モードと消去モードを切り替えることができる。
特許第２１３９４４６号公報
ゼット・ザング（Ｚ．Ｚｈａｎｇ）著、「アフレキシブルニュー テクニック フォー カメラ キャリブレーション（Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ）」、アイトリプルイートランズアクションズ オン パターン アナリシス アンド マシーン インテリジェンス（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）」、Ｖｏｌ．２２、Ｉｓｓｕｅ １１、ｐｐ．１３３０－１３３４、２０００年 リチャード・ハートレー（ＲｉｃｈａｒｄＨａｒｔｌｅｙ）他著、「マルティプル ビュー ジオメトリー イン コンピュータ ビジョン（Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ）」、ケンブリッジ ユニバーシティ プレス（Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ）、ｐｐ．３２－３７、２０００年
　手書き入力装置の最大の利点はホワイトボードのような作業平面上にマーカのようなペン型器具を用いて文字や図形を描くという、多くの利用者が既に学習している操作方法を用いて、文字や図形をデジタルデータに変換することができる点にある。すなわち、手書き入力装置を利用すれば、キーボードやマウスといったコンピュータに特化した入力装置の操作方法を学習しなくとも、コンピュータの有する各種処理能力を簡単に活用することが可能になる。
　しかしながら、電子黒板型の手書き入力装置は、暗い場所ではホワイトシートやホワイトボードに描いた文字や図形を認識できない。このため、例えばスライドを上映するために部屋を暗くした状態でプレゼンテーションを行うといった状況では、電子黒板型の手書き入力装置を使用することは困難である。
　他方、ディスプレイ型の手書き入力装置は、描いた文字や図形がディスプレイの画面に表示されるため、暗い雰囲気でも問題がないばかりか、却って視認し易くなる。しかし、手書きされた文字や図形がホワイトシートやホワイトボード上に残されている電子黒板型の手書き入力装置と異なり、ディスプレイ型の手書き入力装置では、入力済みの文字や図形はコンピュータ内のデジタルデータとしてしか保存されていない。このため、保存されているデジタルデータが万が一にも消失した場合には、入力情報が完全に失われてしまうことになる。また、電子黒板型の手書き入力装置では、ティッシュペーパや指先など特別な器具を使用せずとも描いた文字や図形の全部または一部分を消す操作を行うことができるのに対して、ディスプレイ型の手書き入力装置では、特別な器具（専用の位置指示器など）が必要になる。
　このように電子黒板型の手書き入力装置とディスプレイ型の手書き入力装置とには、それぞれ一長一短がある。
　本発明の目的は、上述した課題、すなわち、暗い場所での使用が困難であり、デジタルデータが万が一消失した場合には入力情報が完全に消失してしまう危険性があり、特別な器具を使用しなければ描いた文字および図形の全部または任意の一部分を消去できない、という課題を解決する手書き入力装置を提供することにある。
　本発明の一形態にかかる手書き入力装置は、透明または半透明な被塗布体と、前記被塗布体上において塗布物の付着する位置を検出する検出手段と、前記検出手段で塗布物の付着が検出された位置に合わせて視覚的変化を生じる表示手段とを備える。
　本発明は上述したように構成されているため、暗い場所でも使用することができ、且つ、デジタルデータが万が一消失しても入力情報の消失を防ぐことができ、しかも、特別な器具を使用せずとも描いた文字および図形の全部または任意の一部分を消去することができる。
第１の実施の形態のブロック図 図１の光源部の詳細ブロック図 図１の塗布具の詳細ブロック図 図１の検出部の詳細ブロック図 図１の検出部で記録される画像フレームおよび処理部による処理結果を示す図 図１の処理部で実行される画像処理のフローチャート 図１の処理部で実行されるレンズ歪み補正処理で使用されるグレイコードパターンを示す図 図１の処理部で実行される台形補正処理で使用される発光素子（ＬＥＤ）、および検出部による撮影結果を示す図 図１の処理部で実行される明るさ調整処理で使用される入力強度と出力強度の対応関係を示す図 第２の実施の形態のブロック図 図１０の光源部の詳細ブロック図 図１０の光源部より発生された光が被塗布体内を導波される様子を説明した図 図１０の検出部で記録される画像フレームを示す図 図１２の被塗布体内を導波される光が塗布物により被塗布体外へ拡散される様子を説明した図 図１０の処理部で実行される明るさ調整処理で使用される入力強度と出力強度の対応関係を示す図 第３の実施の形態のブロック図 図１６の光源部の詳細ブロック図 図１６の表示部及検出部の詳細ブロック図 図１８の光センサ内蔵液晶の拡大図 光学式文字読取処理を実行する場合に、図１の処理部で追加実行される処理例を示すフローチャート 光学式文字読取処理を実行する場合に、図１の表示部で表示される情報を示す図 第５の実施の形態のブロック図 第６の実施の形態のブロック図 本発明に関連する手書き入力装置の一例を示すブロック図
［第１の実施の形態］
　次に、本発明の第１の実施の形態について図面を参照して詳細に説明する。
［構成の説明］
　図１を参照すると、本発明の入力装置１は、記憶装置７に接続されており、プロジェクタ２１およびスクリーン２２により構成される表示部２、塗布物が付着・除去される被塗布体３、光源部４、検出部５、および処理部６で構成される。
　プロジェクタ２１は、処理部６より入力される映像をスクリーン２２上に投影する。プロジェクタ２１には一般的な液晶プロジェクタが、スクリーン２２としては光を拡散する樹脂フィルムなどが使用できる。
　被塗布体３は、塗布物が付着・拭き取り可能な透明平面板で、例えば薄いプラスチック板で良い。なお、図中ではスクリーン２２と被塗布体３は離して描いてあるが、実際はスクリーン２２を被塗布体３裏面に貼り付けた構成が望ましい。また、このように被塗布体３をスクリーン２２の貼り付けられた基材とする以外に、被塗布体３をスクリーン２２そのものとしてもよい。
　光源部４は、スクリーン２２を介して被塗布体３の裏面に赤外光などの可視光領域外の光を、斜め上方から照射する。光源部４は、例えば、図２で示されるような電源回路４１と駆動回路４２により駆動される１つ以上の赤外発光ダイオード（ＬＥＤ）４３で良い。
　検出部５は、光源部４の発する光を用いて被塗布体３上に塗布物が付着する位置を検出する光学機器で、例えば、電荷結合素子（ＣＣＤ）イメージセンサや相補性金属酸化膜半導体（ＣＭＯＳ；Ｃｏｍｐｌｅｍｅｎｔａｒｙ
Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの半導体イメージセンサを搭載したカメラが使用できる。
　塗布具８は、内部に充填されている塗布物８１を被塗布体３に塗布する構造を有する容器で、ホワイトボードマーカなどのフェルトペンの容器が利用できる。塗布具８の構造の一例を図３に示す。この例の塗布具８は、ペン状のハウジング８２の先端部分に設けられた貫通孔にフェルト材８３が装着されており、ハウジング８２内に充填してある塗布物８１が毛細管現象によりフェルト材８３に常に染み込むようになっている。ハウジング８２の後端に取り付けられたキャップ８４は、塗布物８１を補充できるように着脱自在になっている。
　塗布物８１は、少なくとも後述の光学物質を揮発性溶剤などの液体に溶かしたもので、可視光に対してほぼ透明（または半透明）な性質を有する（すなわち、塗布物８１に含まれる全ての成分が可視光に対してほぼ透明（または半透明）な性質を有する）。揮発性溶剤としては例えばアルコール系溶剤が利用できる。光学物質は、可視光に対してはほぼ透明（または半透明）であるが、光源部４の発する光の波長領域で光を吸収する物質である。光学物質には、例えば、酸化イッテルビウムなど、不可視バーコード印刷に使用される赤外線吸収インクが利用できる。なお、塗布物８１は、光学物質の他に、光学物質を被塗布体３に付着させることを支援する樹脂材料、また光学物質と樹脂材料を被塗布体３から拭き取りやすくするための剥離材をさらに含んでも良い。このような樹脂材料、剥離材としては一般的なホワイトボードマーカに含まれるものが使用できる。なお、初めは液状である塗布物８１は被塗布体３に塗布されてしばらくすると、揮発性溶剤が気化し、固形物として被塗布体３に付着する。本明細書では、揮発性溶剤が気化する前の液状状態の物質、および揮発性溶剤が気化し固形物として被塗布体３に付着した物質の両方を塗布物と呼称する。
　処理部６は、検出部５が光源部４の発する光の波長領域で撮影した被塗布体３およびそれに付着した塗布物の像を受け取り、必要に応じて、明るさ調整、歪み補正などの画像処理を行って、表示部２および記憶装置７に出力する。処理部６は、例えば、外部機器接続用インターフェース、およびディスプレイ出力用ビデオカードが搭載され、汎用のオペレーティングシステム、ドライバソフトウェア、画像処理プログラムが実行される一般的なパーソナルコンピュータ（ＰＣ）が使用できる。
　記憶装置７は、入力装置１による入力結果を保存する機器で、例えば前述のＰＣの主記憶装置や２次記憶装置で良い。
　図４は、検出部５の構成例を示すブロック図である。図４を参照すると、検出部５は、ＣＣＤ５２とインターフェース部５３により構成されるカメラモジュール５１、レンズ部５４、および可視光カットフィルタ５５を含んで構成される。
　ＣＣＤ５２は、レンズ部５４と可視光カットフィルタ５５を介して入射する光の明暗を電荷の量に光電変換する素子で、光源部４の発する光の波長領域で感度を有するものである。インターフェース部５３は、ＣＣＤ５２から入力される電気信号をアナログデジタル変換し、所定の転送フォーマットに変換する素子で、転送フォーマットとしては例えば、ＣａｍｅｒａＬｉｎｋ、ＩＥＥＥ１３９４などの規格が利用できる。ＣＣＤ５２とインターフェース部５３が構成するカメラモジュール５１は、例えば一般的に入手可能なＣａｍｅｒａＬｉｎｋカメラやＩＥＥＥ１３９４カメラなどで良い。レンズ部５４は、撮影対象の物体から入射する光を集光してＣＣＤ５２に導く素子で、一般的に入手可能なカメラレンズで良い。可視光カットフィルタ５５は、レンズ部５４によりＣＣＤ５２に導かれる光の内、可視光の大半を取り除く素子で、検出部５が光源部４の発する光を用いて被塗布体３上における塗布物の付着する位置を検出することを可能にする。可視光カットフィルタ５５には例えば、多層膜の干渉フィルタを利用できる。
［動作の説明］
　次に、図１の手書き入力装置の動作について、図面を参照して詳細に説明する。
　検出部５は、被塗布体３およびそれに付着した塗布物の像を、可視光領域外で、定常的、例えば毎秒６０フレームで撮影する。仮に被塗布体３に塗布物が付着していなかったものとすると、検出部５で記録される像の１つ（画像フレーム）は、例えば、図５（ａ）で示されるようなものとなる。図内、明るい部分がスクリーン２２の貼り付けられた被塗布体３であり、周りの暗い部分は被塗布体３周辺の像である。被塗布体３が明るく写るのは、光源部４により発せられる可視光領域外の光が、被塗布体３に貼り付けられたスクリーン２２により拡散されて検出部５に到達するためである。なお、検出部５には通常、可視光も到達するが、これは可視光カットフィルタ５５により遮断されるため、撮影結果には現れない。なお、ここで本来矩形である被塗布体３が歪んで写っているのは、後述するレンズ歪みおよび台形歪みによるものである。
　続いて、被塗布体３に塗布物が付着している場合について説明するが、このような状態は例えば利用者の以下のような操作の結果生じる。利用者が図３の塗布具８のフェルト材８３を被塗布体３に接触したまま移動させると、毛細管現象によりフェルト材８３に染み込んだ塗布物８１が、被塗布体３に塗りつけられる。塗布後、一定の時間が経過すると塗布物８１に含まれる揮発性溶剤は空気中に気化して、塗布物８１に含まれる光学物質などの成分が固形物として被塗布体３上に残留する。なお、ここでは図３のような形状の塗布具を用いて被塗布体３に塗布物を付着させる方法を説明したが、これは被塗布体３に塗布物を付着させる方法を限定するものではない。例えば、塗布物８１の付着したゴムスタンプを被塗布体３に押し付けるなど、様々な方法が考えられる。
　ここでは説明のため、利用者が塗布具８を用いてアルファベットのＡ（エー）の文字を被塗布体３上に描いたものとする。この場合、検出部５で記録される画像フレームは、例えば、図５（ｂ）で示されるようなものとなる。白い矩形領域内において暗く浮かび上がる「Ａ」の形状の部分が、被塗布体３上にて塗布物の付着した部分である。このように塗布物の付着した部分が暗く見えるのは、塗布物の成分である光学物質が、スクリーン２２により拡散された可視光領域外の光を吸収するためである。従って、光学物質の可視光領域外の光に対する吸収率は、塗布物の付着した部分と、付着していない部分を検出部５で区別して記録できる程度に高い必要がある。なお、可視光領域では塗布物はほぼ透明（または半透明）であるため、利用者は被塗布体３に付着した塗布物を肉眼で確認することはほとんどできない。
　検出部５で記録された画像フレームは、続いて処理部６に送られる。処理部６においては、明るさ調整、歪み補正などの画像処理が実行される。図６は、処理部６で実行される画像処理例を示すフローチャートである。
　処理部６は、検出部５からの画像フレームの受信を監視し（図６のステップＳ６１）、画像フレームを受信するたびに、まずレンズ歪み補正処理を実行する（ステップＳ６２）。レンズ歪みとは、レンズ部５４の光学的特性により物体の直線の辺などが、曲線状に歪んで写る現象で、広角のレンズを使用すると特に顕著に生じる。レンズ歪み補正処理とはこの歪みを取り除く処理である。レンズ歪み補正処理を行うには、まず、事前に検出部５で図７のようなグレイコードパターンを撮影し、補正関数を導出しておく。そして、レンズ歪み補正処理においては、画像フレームの各ピクセルにこの補正関数を適用してレンズ歪みを取り除く。なお、レンズ歪みの補正方法に関しては、例えば非特許文献１に詳しいので、ここでは、詳しいアルゴリズムの説明は省略する。
　レンズ歪み補正処理を実行することにより、図５（ｂ）の画像フレームはレンズ歪みが取り除かれ、図５（ｃ）で示されるようなものとなる。ステップＳ６２のレンズ歪み補正処理により曲線状の歪みは取り除かれたが、依然として本来矩形である被塗布体３が台形状に写っている。これは検出部５が被塗布体３を上方より撮影しているために生じる歪みで、台形歪みと呼ばれる。また、被塗布体３の周辺にも不要な像（暗い部分）が写っている。台形歪み補正処理（ステップＳ６３）では、台形歪みを取り除くと共に、被塗布体３周辺の不要な像を取り除く処理を行う。
　台形歪みを取り除くためには、まず事前に、被塗布体３の四隅の画像フレーム内座標から、補正に必要な射影変換を導出しておく。そして、台形歪み補正処理においては、画像フレームの各ピクセルにこの射影変換を適用して台形歪みを取り除く。例えば、図８（ａ）に示すように、被塗布体３の四角に可視光領域外の光を発するＬＥＤ＃１～＃４を配置し、光源部４を発光させない状態で、検出部５により撮影を行う。これらＬＥＤ＃１～＃４は被塗布体３の四隅に常に配置されていても良いし、撮影時に一時的に配置するのでも良い。撮影結果からステップＳ６２の方法によりレンズ歪みを取り除くと、図８（ｂ）で示されるような画像フレームが得られる。ここで、ＬＥＤ＃１～＃４の画像フレーム内座標がそれぞれp１＝（ｘ１，ｙ１）、p２＝（ｘ２，ｙ２）、p３＝（ｘ３，ｙ３）、p４＝（ｘ４，ｙ４）であったとする。また、画像フレームのサイズがＷピクセル×Ｈピクセルであるものとすると、画像フレームの四隅の座標はそれぞれp１’＝（０，０）、p２’＝（Ｗ－１，０）、p３’＝（０，Ｈ－１）、p４’＝（Ｗ－１，Ｈ－１）で与えられる。この場合、台形歪み補正に必要な射影変換は点ｐ１～ｐ４を、それぞれ点ｐ１’～ｐ４’に変換する行列として定義され、点ｐ１～ｐ４およびｐ１’～ｐ４’の値から逆行列計算によって求めることができる。なお、台形歪みの補正方法に関しては例えば非特許文献２に詳しいので、ここでは、詳しいアルゴリズムの説明は省略する。台形補正処理を実行することにより、図５（ｃ）の画像フレームは台形歪みが取り除かれ、図５（ｄ）で示されるようなものとなる。
　続いて、処理部６は、明るさ調整処理を実行する（ステップＳ６４）。明るさ調整処理では、画像フレームの各ピクセル強度を、例えば図９で示される対応関係を使用して調整する。なお、ここで、ピクセル強度は０～Ｉｍａｘの整数値で表されるものとしている。図９によると強度Ｉｔｈ以上のピクセルは、強度Ｉｍａｘに変換され、強度０～Ｉｔｈのピクセルは、強度０～Ｉｍａｘに割り当てられる。この結果、図５（ｄ）の画像フレームはコントラストが改善され、図５（ｅ）で示されるようなものとなる。
　処理部６で処理された画像フレームは、記憶装置７、および表示部２に出力される。検出部５が被塗布体３およびそれに付着した塗布物の像を例えば毎秒６０フレームで撮影している場合、処理部６からは毎秒６０個の画像フレームが出力される。記憶装置７は処理部６より出力される画像フレームを定常的に動画として、もしくは利用者指示のタイミングで静止画として記録する。この際、必要な記憶容量を削減するために、適当な画像圧縮処理を行っても良い。
　表示部２では、処理部６より出力される画像フレームをその都度表示する。処理部６の歪み補正処理の結果、被塗布体３上の各点と表示部２のスクリーン２２上の各点は重なる位置関係にあるため、被塗布体３上で塗布物が付着している位置に利用者の描いた「Ａ」の文字が表示される。なお、ここで表示部２の表示解像度は、検出部５で撮影される画像フレームの解像度と同じであることを仮定して説明しているが、両者の解像度が異なる場合には、処理部６において、適当な拡大縮小を行った上で表示部２に表示すれば良い。
　既に述べたとおり、塗布物は可視光領域ではほぼ透明（または半透明）であるため、利用者は被塗布体３に付着した塗布物を肉眼で確認することはほとんどできない。したがって、利用者にはスクリーン２２に映し出される塗布物の撮影像が透けて見えることになる。被塗布体３に塗布された塗布物に含まれる光学物質が、検出部５により撮影され、表示部２に表示されるまでの遅延が充分短いものとすると、利用者は塗布物の塗布直後にスクリーン２２上の同位置に塗布物の撮影像を確認することができる。このため、本実施の形態の手書き入力装置により、利用者は、可視光を吸収する一般的なインクによる描画と同じ感覚で文字や図形を入力することができる。
　本実施の形態の手書き入力装置において、入力済みの文字や図形を消去する際には、被塗布体３上で該当する部分の塗布物を除去し、その部分が可視光領域外の光を吸収しないようにすれば良い。この際、塗布物は被塗布体３上に物理的に付着しているため、特殊な器具は必要なく、ちり紙や指といった一般的な物体で直接拭き取ることができる。
　なお、入力済みの文字や図形を消去する際、消去対象とする領域の大きさや形状を指定したい場合には、塗布物を拭き取るために使用する物体が被塗布体３に接触する面積を工夫すればよい。例えば、拭き取りに一般的なホワイトボードイレイザーを用いるものとすると、大きな領域を消去する場合はイレイザーの全体面を接触させ、小さな領域を消去する場合はイレイザーの角だけが被塗布体３に接触するようにして、塗布物を振り取るようにすれば良い。塗布物は被塗布体３上に物理的に付着しているため、利用者は、被塗布体３と拭き取り用の物体が接触する面積と形状を用いて、簡単に消去対象とする領域の大きさや形状を指定することができる。
　なお、上記では検出部５で記録された塗布物の位置と同位置に塗布物の撮影像を表示する構成を述べた。一方で、入力された文字や図形に対し、リアルタイムで光学式文字読取処理（ＯＣＲ）などのコンピュータ処理を実行し、入力された手書き文字や図形を活字や形の整った図形として画面上に表示するといった構成も可能である。図２０は、この構成において処理部で追加実行される処理例を示すフローチャートである。
　まず処理部６は、現在の画像フレームと１つ前の画像フレームの間の画像差分を計算する（図２０のステップＳ２０１）。画像差分は画像処理の領域で一般的に知られるフレーム間差分のテクニックを用いて計算できる。そして、画像差分が閾値以下の場合には、タイマＴを１増加する（ステップＳ２０２）。続いてＴの値を評価し（ステップＳ２０３）、Ｔが閾値ΔＴ以上の場合は、ＯＣＲ処理をオンにする（ステップＳ２０４）。一方で、画像差分が閾値より大きい場合は（ステップＳ２０５）、処理部６はタイマＴを０にリセットし、ＯＣＲ処理をオフにする（ステップＳ２０６）。すなわち、画像フレームに変化が発生しない状態が一定時間（ΔＴ）以上持続した場合には、ＯＣＲ処理が実行されることになる。ＯＣＲ処理が実行されると、画像フレーム内の手書き文字は活字に整形された上で表示部２に出力されるようになる。
　例えば、図２１（ｃ）で示されるように、利用者が塗布具８を用いて単語のＨｅｌｌｏ（ハロー）の文字列を被塗布体３上に描いたものとする。検出部５は、被塗布体３およびそれに付着した塗布物の像を定常的に記録するため、利用者が文字列を入力中の間は、表示部２で表示される情報は図２１（ａ）～（ｃ）で示されるように、段階的に変化する。一方で、利用者が文字列の入力を完了すると、画像フレームは図２１（ｃ）の状態で変化しなくなる。そして、一定時間が経過すると、ＯＣＲ処理がオンになり、図２１（ｄ）で示されるように、付着した塗布物の近辺に整形された活字が表示されるようになる。
　続いて、利用者がホワイトボードイレイザーを整形された活字近辺に接触させたものとすると、近辺に付着している塗布物の一部が除去され、画像フレームに変化が生じる。画像フレームに変化が生じると、ＯＣＲ処理はオフになるので、表示部２には再び手書き文字が表示される。したがって、利用者が既に入力済みで、かつＯＣＲ処理が施された文字を消去したい場合は、活字周辺にイレイザーを置き、手書き文字を再表示した上で拭き取りを行えば良い。
　なお、上記ではＯＣＲ処理などのコンピュータ処理のオン・オフを画像差分により行う例を示したが、この他にも例えば、入力装置１に近接センサを搭載しておき、利用者が被塗布体３から離れた場合に、コンピュータ処理をオンにし、再度近づいた場合にはオフにするといった構成も容易に考えられる。
　このように第１の実施の形態によれば、被塗布体３の表面に塗布物で文字や図形が描かれると、塗布物の付着する位置が検出部５で検出され、被塗布体３の背面に配置された表示部２によってスクリーン２２上の同じ場所にそれらの文字や図形が表示される。被塗布体３は透明または半透明になっており、塗布物は透明または半透明である。従って、明るい場所でも暗い場所でも、利用者にはスクリーン２２に表示された文字や図形が被塗布体３と塗布物を通して透けて見えることになる。
　また、手書きされた文字や図形の情報は、被塗布体３に物理的に付着している塗布物の分布として保存されている。このため、記憶装置７に記録したデジタルデータが万が一消失しても、塗布物で描かれた文字や図形を再度検出すれば良く、入力情報の完全消失を防止することができる。
　また、表示部２に表示された入力済みの文字や図形を消去する際には、特殊な器具を必要とせず、ちり紙や指といった一般的な物体で消去を行うことができる。その理由は、利用者により入力され、デジタルデータに既に変換された文字や図形が、触れられる物質として、被塗布体３の表面上に残留しているためである。したがって、利用者はこれをちり紙や指といった一般的な物体で拭き取ることにより、消去を行える。
　なお、表示部２に表示された入力済みの文字や図形を消去する際に、消去対象とする領域の大きさや形状を容易に指定することもできる。その理由は、利用者により入力され、デジタルデータに既に変換された文字や図形が、触れられる物質として、被塗布体の表明上に残留しているためである。したがって、利用者は消去に用いる器具が操作面に接する面積を調節することにより、消去対象とする領域の大きさや形状を指定することができる。そのため、通常の利用者が日常生活を通じて学習している、拭き取り時の接触面積に応じた消去という既知の感覚を活用して容易に消去を行える。
［第２の実施の形態］
　本発明の第２の実施の形態として、その基本的構成は前記の通りであるが、入力装置１ａの光源部の配置、表示部の構成、および塗布物の特性が第１の実施の形態とは異なる構成について、図面を参照して詳細に説明する。
　図１０を参照すると、光源部４ａは、被塗布体３の側面より可視光領域外の光を入射させる。光源部４ａは、例えば、図１１で示されるような電源回路４１と駆動回路４２により駆動される一直線上に配置された１つ以上の赤外発光ダイオード（ＬＥＤ）４４が使用できる。なお、光源部４ａは、被塗布体の１辺、もしくは複数の辺に配置されても良い。図１０では光源部４ａが被塗布体３上下の合わせて２カ所に配置された例が示されている。
　表示部２ａは、液晶ディスプレイ、プラズマディスプレイ、電界放出ディスプレイなどのフラットパネルディスプレイであり、被塗布体３は、このフラットパネルディスプレイ前面に配置されるプラスチックもしくはガラス板などの保護パネルである。なお、図中では表示部２ａと被塗布体３は離して描いてあるが、実際はこれらを密着して配置することが望ましい。塗布物に含まれる光学物質は、可視光に対してはほぼ透明（または半透明）であるが、光源部４ａの発する可視光領域外の光を反射、もしく拡散する物質である。このような物質としては、例えば、赤外光のみを反射するコレステリック液晶ポリマーが利用できる。これら以外の構成は基本的に第１の実施の形態の通りである。
　本発明の第２の実施の形態の手書き入力装置の動作について説明する。
　光源部４ａは、被塗布体３の側面より可視光領域外の光を入射させる。仮に被塗布体３に塗布物が付着していなかったものとすると、入射された光は、図１２で示されるとおり、被塗布体３の表面で全反射し、内部に閉じこめられて導波する。
　検出部５は、第１の実施の形態と同様、被塗布体３およびそれに付着した塗布物の像を、可視光領域外で、定常的に撮影する。検出部５で記録される画像フレームは、例えば、図１３（ａ）で示されるように、ほぼ真っ暗になる。これは光源部４ａより発せられる光が、被塗布体３内部に閉じこめられており、検出部５には到達しないためである。
　続いて、被塗布体３に塗布物が付着している場合について説明する。
　前述の通り、光源部４ａより発せられた可視光領域外の光は被塗布体３の表面で全反射する。この際、図１４の符号Ａで示されるように、光は被塗布体３から外部の空気側にわずかに染み出す。この染み出した部分の光はエバネッセント光と呼ばれる。被塗布体３に塗布物が付着している場合、エバネッセント光は塗布物に含まれる光学物質と光学的に結合し、同図の符号Ｂで示されるように被塗布体外に拡散される。拡散される光の一部は検出部５に到達するので、例えば、アルファベットのＡ（エー）の文字が描かれている場合、検出部５で記録される画像フレームは、例えば、図１３（ｂ）で示されるようなものとなる。白く暗く浮かび上がる「Ａ」の形状の部分が、被塗布体３上にて塗布物の付着した部分である。なお、ここで、光学物質の可視光領域外の光に対する反射率、もしく拡散率は、塗布物の付着した部分と、付着していない部分を検出部５で区別して記録できる程度に高い必要がある。
　検出部５で記録された画像フレームは、第１の実施の形態と同様、処理部６に送られ、レンズ歪み補正処理、台形歪み補正処理、および明るさ調整処理が実行される。ただし、第２の実施の形態における明るさ調整処理では、図１５で示されるような対応関係が使用され、その結果、画像は白黒反転される。処理部の処理の結果、図５（ｅ）と同様の画像となり、それを表示部２ａで表示することによって、第１の実施の形態と同様の効果が得られる。
［第３の実施の形態］
　本発明の第３の実施の形態として、その基本的構成は前記の通りであるが、入力装置１ｂの光源部の構成、および検出部の構成が前記の実施の形態とは異なる構成について、図面を参照して詳細に説明する。
　図１６を参照すると、表示部は、液晶技術を利用したフラットパネルディスプレイであり、検出部と一体化されている。光源部４ｂはこのフラットパネルディスプレイのバックライトであり、可視光および可視光領域外の光の両方を発生する。塗布物８１に含まれる光学物質は、第２の実施の形態と同様、可視光に対してはほぼ透明（または半透明）であるが、光源部４ｂの発する可視光領域外の光を反射する物質である。
　図１７は、光源部４ｂの構成例を示すブロック図である。図１７を参照すると、光源部４ｂは、可視光および可視光領域外の光の両方を発生する蛍光管４５、および蛍光管４５の発生する光を均一に拡散する拡散体４６を含んで構成される。蛍光管４５は、可視光の光、および可視光領域外の光、例えば赤外線の両方を発生する。蛍光管４５には、例えばハロゲンガスが添加された一般的な蛍光灯が利用できる。もしくは、可視光発光ダイオード（ＬＥＤ）および赤外ＬＥＤを並べて配置した機器を使用しても良い。拡散体４６としては、液晶ディスプレイのバックライトで用いられる一般的な拡散板で良い。なお、本実施の形態の光源部４ｂとしては、可視光および可視光領域外の光の両方が面的に発生されれば良いので、前記構成の他にも、有機エレクトロルミネッセンス（ＥＬ）素子なども利用できる。
　図１８は、一体化された表示部および検出部９の構成例を示すブロック図である。図１８を参照すると、一体化された表示部および検出部９は、２つの偏光フィルタ９１、９２、光センサ内蔵液晶９３、および制御回路９４を含んで構成される。偏光フィルタ９１は、光源部４ｂより発せられる無偏光の可視光から、特定の方向に振動する直線偏光成分のみを取り出す。偏光フィルタ９２は、偏光フィルタ９１および光センサ内蔵液晶９３を通過した可視光から、偏光フィルタ９１とは直交する直線偏光成分のみを取り出す。光センサ内蔵液晶９３は、一般的な液晶パネル同様、制御回路９４の印加する電圧に応じて画素単位で可視光の偏光状態を調節し、光源部４ｂより発せられる可視光が、偏光フィルタ９２を通過して、パネル前面に表示されるか否かを制御する。なお、可視光領域外の光は、制御回路９４の印加電圧によらず、ほぼ一定量が通過するように構成される。例えば、一般の液晶ディスプレイに用いられる偏光フィルムおよび液晶材料であれば、制御回路９４により印加される電圧によらず、ほぼ一定の赤外光が通過するので、これらを利用できる。
　更に、光センサ内蔵液晶９３は、画素単位で可視光の偏光状態を調節する液晶素子に加え、画素単位で可視光領域外の光の強度を測定する受光素子を備える。図１９に示される通り、光センサ内蔵液晶９３は、画素単位で可視光の偏光状態を調節する複数の液晶素子Ｒ、液晶素子Ｇ、液晶素子Ｂ、および複数の受光素子を複数含んで構成される。液晶素子Ｒ、液晶素子Ｇ、液晶素子Ｂにはそれぞれ赤色、緑色、青色のカラーフィルタが重ねて配置され、各色の光を独立して制御ができるようになっている。受光素子９３１は、入射する可視光領域外の光の強度に応じて電流が流れる素子であり、例えばシリコンフォトダイオードなどで良い。より具体的には、本実施の形態で使用する光センサ内蔵液晶９３は、一般的な光センサ内蔵液晶の受光素子部分に可視光カットフィルタを重ねて配置することで構成できる。第３の実施の形態においては、これらディスプレイ全面に分布する複数の受光素子９３１が、検出部として機能する。
　本発明の第３の実施の形態の入力装置の動作について説明する。
　光源部４ｂは、可視光、および可視光領域外の光を、表示部および検出部９の裏面より入射させる。表示部および検出部９の制御回路９４は、処理部６より出力される画像フレームの各ピクセルの強度に応じて各画素に印加する電圧を制御して、画像フレームを表示する。可視光領域外の光は、制御回路９４の印加電圧によらず、ほぼ一定量が表示部および検出部９を通過し、被塗布体３に入射する。仮に被塗布体３に塗布物が付着していなかったものとすると、可視光領域外の光は被塗布体３をそのまま通過する。
　光センサ内蔵液晶９３の各画素に配置される受光素子９３１は、これらに入射する可視光領域外の光を画素単位で測定する。被塗布体３に塗布物が付着していない場合は、可視光領域外の光は被塗布体３を通過して、外部に放射されるので、受光素子９３１にはほとんど入射しない。その結果、検出部（受光素子９３１）で記録される画像フレームは、第２の実施の形態と同様、例えば、図１３（ａ）で示されるように、ほぼ真っ暗になる。
　一方で、被塗布体３に塗布物が付着している場合は、塗布物に含まれる光学物質により、可視光領域外の光が反射されて検出部に到達するので、例えば、アルファベットのＡ（エー）の文字が描かれている場合、検出部で記録される画像フレームは、例えば、図１３（ｂ）で示されるようなものとなる。白く暗く浮かび上がる「Ａ」の形状の部分が、被塗布体３上にて塗布物の付着した部分である。なお、ここで、光学物質の可視光領域外の光に対する反射率は、塗布物の付着した部分と、付着していない部分を検出部で区別して記録できる程度に高い必要がある。
　検出部で記録された画像フレームは、第２の実施の形態と同様、処理部に送られ、明るさ調整処理が実行される。処理部の処理の結果、図５（ｅ）と同様の画像となり、それを表示部で表示することによって、第１および第２の実施の形態と同様の効果が得られる。
［第１乃至第３の実施の形態の変形例］
　なお、前記すべての説明にて、塗布物は、可視光に対してはほぼ透明（または半透明）で、また光源部の発する光の波長領域では光を吸収、反射もしくは拡散する物質を含む構成としたが、これ以外にも、塗布直後にはほぼ不透明な状態であるが、その後ほぼ透明（または半透明）な状態に変化する物質を成分として含むこともできる。このような物質としては、例えば、温度で変色する感温変色物質の含まれる可逆性示温度インクが使用できる。この場合、被塗布体に外気との間に温度差が存在すれば、塗布物が被塗布体に付着して温度が変化することに伴い、感温変色物質は不透明な状態から一定時間経過後に透明（または半透明）な状態へと変化する。
　被塗布体と外気との温度差の発生方法としては、表示部より発せられる廃熱を利用する方法や、被塗布体表面もしくは裏面に酸化インジウムスズ（ＩＴＯ；Ｉｎｄｉｕｍ Ｔｉｎ Ｏｘｉｄｅ）などの薄膜透明電極を形成し、電流を流して、温める方法が考えられる。また、被塗布体を比熱の低い物質で構成し、塗布物に含まれる揮発性溶剤気化熱による温度変化を利用する構成としても良い。
　塗布物として、被塗布体に塗布されて一定時間後にほぼ透明（または半透明）な状態に変化する物質を含有させると、被塗布体に塗布された塗布物に含まれる光学物質が、検出部により撮影され、表示部に表示されるまでに多少の遅延が存在する場合においても、利用者は変色前の感温変色物質を視覚的フィードバックとして迅速に図形の入力を行うことができる。このため、本発明の手書き入力装置により、利用者は、表示までに遅延が存在する場合においても、可視光を吸収する一般的なインクによる描画と同じ感覚で文字や図形を、入力・消去することができるようになる。なお、暗い場所においては、利用者は変色前の感温変色物質を視覚的に確認することはできないので、この場合は、多少の入力速度を犠牲にして、比較的ゆっくり文字や図形の描画を行えば良い。
［第４の実施の形態］
　本発明の第４の実施の形態として、その基本的構成は前記の通りであるが、塗布物の特性が前記の実施の形態とは異なる構成について説明する。前記の各実施の形態では、塗布物として、可視光領域で透明（または半透明）な物質を用いたが、本実施の形態では、時間の経過にかかわらず常に不透明な塗布物を用いる。前述の通り、塗布物は、可視光領域以外の光を吸収、反射、もしくは拡散する性質を有する光学物質を含み、さらに、揮発性溶剤、樹脂材料、剥離材を含んでいても良い。これらの構成要素の少なくとも１つに可視光領域で不透明な物質を使用するか、もしくは可視光領域で不透明な物質を別途成分として追加することで、塗布物を可視光領域で不透明にすることができる。この場合も、塗布物は可視光領域以外の光を吸収、反射、もしくは拡散するため、被塗布体の表面に存在する塗布物を検出する方法として、第１乃至第３の実施の形態と同様の方法を用いることができる。
　本実施の形態の手書き入力装置を明るい場所で使用すると、塗布物が不透明なため、利用者には、塗布物で描かれた文字や図形がそのまま観察されることになる。他方、暗い場所で使用すると、利用者は塗布物自身は視認することはできないが、その背後の表示によって明るく縁取られた文字や図形を観察することができる。このように、可視光領域において不透明な塗布物を用いた構成としても、明るい場所、暗い場所の両者で使用できる効果が得られる。
［第５の実施の形態］
　次に、本発明の第５の実施の形態を図２２を参照して説明する。図２２は、本実施の形態における手書き入力装置の構成を示すブロック図である。なお、本実施の形態は、上述した手書き入力装置の概略を説明する。
　図２２に示すように、本実施の形態における手書き入力装置１００は、透明または半透明な被塗布体１０１と、被塗布体１０１上において塗布物の付着する位置を検出する検出手段１０２と、検出手段１０２で塗布物の付着が検出された位置に合わせて視覚的変化を生じる表示手段１０３とを備える。
　本実施形態の手書き入力装置によれば、被塗布体１０１上に塗布物で文字や図形を手書きすれば、塗布物の付着が検出された位置に合わせて表示手段１０３が視覚的変化を生じるので、描いた文字や図形を暗い場所でも認識することができる。
　また本実施形態の手書き入力装置によれば、手書きされた文字や図形の情報は、被塗布体１０１に物理的に付着している塗布物の分布として保存されているため、デジタルデータが万が一消失しても入力情報の消失を防ぐことができる。
　また本実施形態の手書き入力装置によれば、被塗布体１０１に物理的に付着している塗布物がなくなると、なくなった位置の上記視覚的変化が生じなくなるために描いた文字や図形の表示が消える。このため、塗布物を拭き取ることにより、手書きした文字や図形を消去することができる。そして、塗布物は、切り紙や指といった一般的な物体で拭き取ることができるため、特殊は器具を使わずに手書きした文字や図形を消去することができる。
　そして、上記手書き入力装置では、上記塗布物は、可視光に対して透明または半透明な性質を有する、という構成を採る。
　また、上記手書き入力装置では、上記塗布物は、可視光に対して不透明な性質を有する、
という構成を採る。
　また、上記手書き入力装置では、上記塗布物は、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する性質を有する、という構成を採る。
　また、上記手書き入力装置では、上記塗布物は、揮発性溶剤を含み、上記揮発性溶剤の気化に伴い、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する、という構成を採る。
　また、上記手書き入力装置では、上記塗布物は、温度変化により、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する、という構成を採る。
　また、上記手書き入力装置では、上記塗布物は、可視光領域外の光を吸収、反射、もしくは拡散する、という構成を採る。
　また、上記手書き入力装置では、可視光領域外の光を被塗布体１０１に入射させる光源部を更に備える、という構成を採る。
　また、上記手書き入力装置では、被塗布体１０１は、可視光領域外の光を内部に閉じこめて導波可能な構造を有し、上記光源部は、被塗布体１０１の内部に可視光領域外の光を閉じこめて導波させるように入射させ、塗布物１０１は、被塗布体１０１の表面において閉じこめられた可視光領域外の光の一部と光学的に結合して被塗布体１０１の外に拡散させる、という構成を採る。
　また、上記手書き入力装置では、表示手段１０３は、液晶ディスプレイであり、上記光源部は、上記液晶ディスプレイのバックライトである、という構成を採る。
　また、上記手書き入力装置では、上記光源部は、可視光および可視光領域外の光の両方を発生する蛍光管である、という構成を採る。
　また、上記手書き入力装置では、被塗布体１０１は、表示手段１０３の前面に配置される保護パネルである、という構成を採る。
　また、上記手書き入力装置では、表示手段１０３は、プロジェクタとスクリーンとで構成され、被塗布体１０１は、上記スクリーンそのもの、もしくは上記スクリーンの貼り付けられた基材である、という構成を採る。
　また、上記手書き入力装置では、検出手段１０２は、可視光領域外の光の入射強度の空間分布により、被塗布体１０１上において塗布物の付着する位置を検出する、という構成を採る。
　また、上記手書き入力装置では、検出手段１０２は、半導体イメージセンサを備える、という構成を採る。
　また、上記手書き入力装置では、検出手段１０２は、表示手段１０３に分散して配置される複数のセンサを備える、という構成を採る。
　また、上記手書き入力装置では、上記センサは、シリコンフォトダイオードである、という構成を採る。
　また、上記手書き入力装置では、上記可視光領域外の光は、赤外光である、という構成を採る。
　また、上述した手書き入力装置が作動することにより実行される、本発明の他の形態である手書き入力方法は、検出手段１０２が、透明または半透明な被塗布体１０１上において塗布物の付着する位置を検出し、表示手段１０３が、検出手段１０２で塗布物の付着が検出された位置に合わせて視覚的変化を生じる、という構成を採る。
　また、上記手書き入力方法では、上記塗布物は、可視光に対して透明または半透明な性質を有する、という構成を採る。
　また、上記手書き入力方法では、上記塗布物は、可視光に対して不透明な性質を有する、という構成を採る。
　また、上記手書き入力方法では、上記塗布物は、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する性質を有する、という構成を採る。
［第６の実施の形態］
　次に、本発明の第６の実施の形態を図２３を参照して説明する。図２３は、本実施の形態における手書き入力装置の構成を示すブロック図である。なお、本実施の形態は、上述した手書き入力装置の概略を説明する。
　図２３に示すように、本実施の形態における手書き入力装置２００は、透明または半透明な被塗布体１０１と、被塗布体１０１上において塗布物の付着する位置を検出する検出手段１０２と、表示装置２０１に対して、検出手段１０２で塗布物の付着が検出された位置に合わせて視覚的変化を生じるための信号を出力する処理手段２０２とを備える。
　本実施形態の手書き入力装置によれば、被塗布体１０１上に塗布物で文字や図形を手書きすれば、処理手段２０２が、表示装置２０１に対して、塗布物の付着が検出された位置に合わせて視覚的変化を生じるための信号を出力するので、描いた文字や図形が表示装置２０１によって表示され、暗い場所でも認識することができる。
　また本実施形態の手書き入力装置によれば、手書きされた文字や図形の情報は、被塗布体１０１に物理的に付着している塗布物の分布として保存されているため、デジタルデータが万が一消失しても入力情報の消失を防ぐことができる。
　また本実施形態の手書き入力装置によれば、被塗布体１０１に物理的に付着している塗布物がなくなると、なくなった位置の上記視覚的変化が生じなくなるために描いた文字や図形の表示が消える。このため、塗布物を拭き取ることにより、手書きした文字や図形を消去することができる。そして、塗布物は、切り紙や指といった一般的な物体で拭き取ることができるため、特殊は器具を使わずに手書きした文字や図形を消去することができる。
　そして、上記手書き入力装置では、上記塗布物は、可視光に対して透明または半透明な性質を有する、という構成を採る。
　また、上記手書き入力装置では、上記塗布物は、可視光に対して不透明な性質を有する、という構成を採る。
　また、上記手書き入力装置では、上記塗布物は、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する性質を有する、という構成を採る。
　また、上記手書き入力装置では、上記塗布物は、揮発性溶剤を含み、上記揮発性溶剤の気化に伴い、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する、という構成を採る。
　また、上記手書き入力装置では、上記塗布物は、温度変化により、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する、という構成を採る。
　また、上記手書き入力装置では、上記塗布物は、可視光領域外の光を吸収、反射、もしくは拡散する、という構成を採る。
　また、上記手書き入力装置では、可視光領域外の光を被塗布体１０１に入射させる光源部を更に備える、という構成を採る。
　また、上記手書き入力装置では、被塗布体１０１は、可視光領域外の光を内部に閉じこめて導波可能な構造を有し、上記光源部は、被塗布体１０１の内部に可視光領域外の光を閉じこめて導波させるように入射させ、上記塗布物は、被塗布体１０１の表面において閉じこめられた可視光領域外の光の一部と光学的に結合して被塗布体１０１の外に拡散させる、という構成を採る。
　また、上記手書き入力装置では、検出手段１０２は、可視光領域外の光の入射強度の空間分布により、被塗布体１０１上において塗布物の付着する位置を検出する、という構成を採る。
　また、上記手書き入力装置では、検出手段１０２は、半導体イメージセンサを備える、という構成を採る。
　また、上記手書き入力装置では、上記可視光領域外の光は、赤外光である、という構成を採る。
　また、上述した手書き入力装置が作動することにより実行される、本発明の他の形態である手書き入力方法は、検出手段１０２が、透明または半透明な被塗布体１０１上において塗布物の付着する位置を検出し、処理手段２０２が、表示装置２０１に対して、検出手段１０２で塗布物の付着が検出された位置に合わせて視覚的変化を生じるための信号を出力する、という構成を採る。
　また、上記手書き入力方法では、上記塗布物は、可視光に対して透明または半透明な性質を有する、という構成を採る。
　また、上記手書き入力方法では、上記塗布物は、可視光に対して不透明な性質を有する、という構成を採る。
　また、上記手書き入力方法では、上記塗布物は、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する性質を有する、という構成を採る。
　以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
　なお、本発明は、日本国にて２００９年４月１６日に特許出願された特願２００９－９９５７４の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１、１ａ、１ｂ…入力装置
２、２ａ…表示部
２１…プロジェクタ
２２…スクリーン
３…被塗布材
４、４ａ、４ｂ…光源部
４１…電源回路
４２…駆動回路
４３、４４…赤外発光ダイオード（ＬＥＤ）
４５…蛍光管
４６…拡散体
５…検出部
５１…カメラモジュール
５２…ＣＣＤ
５３…インターフェース部
５４…レンズ部
５５…可視光カットフィルタ
６…処理部
７…記憶装置
８…塗布具
８１…塗布物
８２…ハウジング
８３…フェルト材
８４…キャップ
９…表示部および検出部９
９１、９２…偏光フィルタ
９３…光センサ内蔵液晶
９３１…受光素子
＃１～＃４…ＬＥＤ
Ｒ、Ｇ、Ｂ…液晶素子
Ｃ１～Ｃ４８、Ｃ１'～Ｃ４８'…ループコイル
２２１Ｘ…Ｘ方向選択回路
２２１Ｙ…Ｙ方向選択回路
２２２Ｘ…Ｘ方向接続切替回路
２２２Ｙ…Ｙ方向接続切替回路
２２３…送信回路
２２４…受信回路
２２５…処理装置
２２６…位置指示器
２２７…同調回路
２２８…表示デバイス

Claims (38)

  1. 　透明または半透明な被塗布体と、
    　前記被塗布体上において塗布物の付着する位置を検出する検出手段と、
    　前記検出手段で塗布物の付着が検出された位置に合わせて視覚的変化を生じる表示手段と、
    を備えることを特徴とする手書き入力装置。
  2. 　前記塗布物は、可視光に対して透明または半透明な性質を有する、
    ことを特徴とする請求項１に記載の手書き入力装置。
  3. 　前記塗布物は、可視光に対して不透明な性質を有する、
    ことを特徴とする請求項１に記載の手書き入力装置。
  4. 　前記塗布物は、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する性質を有する、
    ことを特徴とする請求項１に記載の手書き入力装置。
  5. 　前記塗布物は、揮発性溶剤を含み、前記揮発性溶剤の気化に伴い、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する、
    ことを特徴とする請求項４に記載の手書き入力装置。
  6. 　前記塗布物は、温度変化により、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する、
    ことを特徴とする請求項４に記載の手書き入力装置。
  7. 　前記塗布物は、可視光領域外の光を吸収、反射、もしくは拡散する、
    ことを特徴とする請求項１乃至６の何れか１項に記載の手書き入力装置。
  8. 　可視光領域外の光を前記被塗布体に入射させる光源部を更に備える、
    ことを特徴とする請求項７に記載の手書き入力装置。
  9. 　前記被塗布体は、可視光領域外の光を内部に閉じこめて導波可能な構造を有し、
    　前記光源部は、前記被塗布体の内部に可視光領域外の光を閉じこめて導波させるように入射させ、
    　前記塗布物は、前記被塗布体の表面において閉じこめられた可視光領域外の光の一部と光学的に結合して前記被塗布体の外に拡散させる、
    ことを特徴とする請求項８に記載の手書き入力装置。
  10. 　前記表示手段は、液晶ディスプレイであり、
    　前記光源部は、前記液晶ディスプレイのバックライトである、
    ことを特徴とする請求項８に記載の手書き入力装置。
  11. 　前記光源部は、可視光および可視光領域外の光の両方を発生する蛍光管である、
    ことを特徴とする請求項１０に記載の手書き入力装置。
  12. 　前記被塗布体は、前記表示手段の前面に配置される保護パネルである、
    ことを特徴とする請求項１乃至１１の何れか１項に記載の手書き入力装置。
  13. 　前記表示手段は、プロジェクタとスクリーンとで構成され、
    　前記被塗布体は、前記スクリーンそのもの、もしくは前記スクリーンの貼り付けられた基材である、
    ことを特徴とする請求項１乃至９の何れか１項に記載の手書き入力装置。
  14. 　前記検出手段は、可視光領域外の光の入射強度の空間分布により、前記被塗布体上において塗布物の付着する位置を検出する、
    ことを特徴とする請求項７乃至１３の何れか１項に記載の手書き入力装置。
  15. 　前記検出手段は、半導体イメージセンサを備える、
    ことを特徴とする請求項１４に記載の手書き入力装置。
  16. 　前記検出手段は、前記表示手段に分散して配置される複数のセンサを備える、
    ことを特徴とする請求項１４に記載の手書き入力装置。
  17. 　前記センサは、シリコンフォトダイオードである、
    ことを特徴とする請求項１６に記載の手書き入力装置。
  18. 　前記可視光領域外の光は、赤外光である、
    ことを特徴とする請求項７乃至１７の何れか１項に記載の手書き入力装置。
  19. 　透明または半透明な被塗布体と、
    　前記被塗布体上において塗布物の付着する位置を検出する検出手段と、
    　表示装置に対して、前記検出手段で塗布物の付着が検出された位置に合わせて視覚的変化を生じるための信号を出力する処理部と、
    を備えることを特徴とする手書き入力装置。
  20. 　前記塗布物は、可視光に対して透明または半透明な性質を有する、
    ことを特徴とする請求項１９に記載の手書き入力装置。
  21. 　前記塗布物は、可視光に対して不透明な性質を有する、
    ことを特徴とする請求項１９に記載の手書き入力装置。
  22. 　前記塗布物は、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する性質を有する、
    ことを特徴とする請求項１９に記載の手書き入力装置。
  23. 　前記塗布物は、揮発性溶剤を含み、前記揮発性溶剤の気化に伴い、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する、
    ことを特徴とする請求項２２に記載の手書き入力装置。
  24. 　前記塗布物は、温度変化により、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する、
    ことを特徴とする請求項２２に記載の手書き入力装置。
  25. 　前記塗布物は、可視光領域外の光を吸収、反射、もしくは拡散する、
    ことを特徴とする請求項１９乃至２４の何れか１項に記載の手書き入力装置。
  26. 　可視光領域外の光を前記被塗布体に入射させる光源部を更に備える、
    ことを特徴とする請求項２５に記載の手書き入力装置。
  27. 　前記被塗布体は、可視光領域外の光を内部に閉じこめて導波可能な構造を有し、
    　前記光源部は、前記被塗布体の内部に可視光領域外の光を閉じこめて導波させるように入射させ、
    　前記塗布物は、前記被塗布体の表面において閉じこめられた可視光領域外の光の一部と光学的に結合して前記被塗布体の外に拡散させる、
    ことを特徴とする請求項２６に記載の手書き入力装置。
  28. 　前記検出手段は、可視光領域外の光の入射強度の空間分布により、前記被塗布体上において塗布物の付着する位置を検出する、
    ことを特徴とする請求項２５乃至２７の何れか１項に記載の手書き入力装置。
  29. 　前記検出手段は、半導体イメージセンサを備える、
    ことを特徴とする請求項２８に記載の手書き入力装置。
  30. 　前記可視光領域外の光は、赤外光である、
    ことを特徴とする請求項２５乃至２９の何れか１項に記載の手書き入力装置。
  31. 　検出手段が、透明または半透明な被塗布体上において塗布物の付着する位置を検出し、
    　表示手段が、前記検出手段で塗布物の付着が検出された位置に合わせて視覚的変化を生じる
    ことを特徴とする手書き入力方法。
  32. 　前記塗布物は、可視光に対して透明または半透明な性質を有する、
    ことを特徴とする請求項３１に記載の手書き入力方法。
  33. 　前記塗布物は、可視光に対して不透明な性質を有する、
    ことを特徴とする請求項３１に記載の手書き入力方法。
  34. 　前記塗布物は、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する性質を有する、
    ことを特徴とする請求項３１に記載の手書き入力方法。
  35. 　検出手段が、透明または半透明な被塗布体上において塗布物の付着する位置を検出し、
    　処理手段が、表示装置に対して、前記検出手段で塗布物の付着が検出された位置に合わせて視覚的変化を生じるための信号を出力する
    ことを特徴とする手書き入力方法。
  36. 　前記塗布物は、可視光に対して透明または半透明な性質を有する、
    ことを特徴とする請求項３５に記載の手書き入力方法。
  37. 　前記塗布物は、可視光に対して不透明な性質を有する、
    ことを特徴とする請求項３５に記載の手書き入力方法。
  38. 　前記塗布物は、可視光に対して不透明な状態から可視光に対し透明または半透明な状態に変化する性質を有する、
    ことを特徴とする請求項３５に記載の手書き入力方法。
PCT/JP2010/001432 2009-04-16 2010-03-03 手書き入力装置 WO2010119603A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011509181A JP5569520B2 (ja) 2009-04-16 2010-03-03 手書き入力装置
US13/264,123 US9213446B2 (en) 2009-04-16 2010-03-03 Handwriting input device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009099574 2009-04-16
JP2009-099574 2009-04-16

Publications (1)

Publication Number Publication Date
WO2010119603A1 true WO2010119603A1 (ja) 2010-10-21

Family

ID=42982279

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/001432 WO2010119603A1 (ja) 2009-04-16 2010-03-03 手書き入力装置

Country Status (3)

Country Link
US (1) US9213446B2 (ja)
JP (1) JP5569520B2 (ja)
WO (1) WO2010119603A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104067203A (zh) * 2012-02-01 2014-09-24 日立麦克赛尔株式会社 电子笔
CN104067203B (zh) * 2012-02-01 2016-11-30 日立麦克赛尔株式会社 电子笔
CN107209633A (zh) * 2015-01-20 2017-09-26 株式会社理光 电子信息板设备和方法
JP2018041412A (ja) * 2016-09-09 2018-03-15 大日本印刷株式会社 情報収集装置
KR20220002658A (ko) * 2019-05-06 2022-01-06 애플 인크. 전자 디바이스 상의 수기 입력
US11656758B2 (en) 2020-05-11 2023-05-23 Apple Inc. Interacting with handwritten content on an electronic device

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120136628A (ko) * 2011-06-09 2012-12-20 엘지전자 주식회사 영상표시장치 및 그 동작방법
US9329726B2 (en) * 2012-10-26 2016-05-03 Qualcomm Incorporated System and method for capturing editable handwriting on a display
CN107710112A (zh) * 2014-12-24 2018-02-16 株式会社施乐库 坐标检测装置
US9615010B2 (en) * 2015-02-19 2017-04-04 Dell Products, Lp Display system having image capture device and adjustable visible light filter
US10417515B2 (en) 2017-01-09 2019-09-17 Microsoft Technology Licensing, Llc Capturing annotations on an electronic display
JP7269864B2 (ja) * 2019-10-21 2023-05-09 株式会社アマダ ワーク撮影画像処理装置及びワーク撮影画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000330726A (ja) * 1999-05-17 2000-11-30 Sony Corp 表示装置
JP2006273938A (ja) * 2005-03-28 2006-10-12 Nitto Denko Cs System Kk 封緘用粘着テープ、封緘体、封緘体の温度変化の確認方法
JP2007257058A (ja) * 2006-03-20 2007-10-04 Ricoh Co Ltd 情報合成表示システム、情報合成表示装置及び情報合成制御装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07111673B2 (ja) 1986-10-31 1995-11-29 株式会社ワコム 位置検出装置
US6979087B2 (en) * 2002-10-31 2005-12-27 Hewlett-Packard Development Company, L.P. Display system with interpretable pattern detection
US7385594B2 (en) * 2004-02-19 2008-06-10 Au Optronics Corporation Position encoded sensing device and a method thereof
GB2417816A (en) * 2004-09-01 2006-03-08 Drs Tactical Systems Inc Low intensity displays compatible with night vision imaging systems
US20080138543A1 (en) * 2004-12-24 2008-06-12 Nhk Spring Co., Ltd. Identification Medium, Article Equipped With Identification Medium, Identifying Method And Device
US8332949B2 (en) * 2006-04-28 2012-12-11 Hewlett-Packard Development Company, L.P. Methods for making an authenticating system for an object
JP2008021168A (ja) * 2006-07-13 2008-01-31 Fuji Xerox Co Ltd 筆跡検出シートおよび手書きシステム
US8441467B2 (en) * 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
JP2008276487A (ja) 2007-04-27 2008-11-13 Fuji Xerox Co Ltd 文書処理プログラム、文書処理装置及び文書処理システム
JP5175136B2 (ja) * 2008-05-22 2013-04-03 株式会社ジャパンディスプレイウェスト 電気光学装置及び電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000330726A (ja) * 1999-05-17 2000-11-30 Sony Corp 表示装置
JP2006273938A (ja) * 2005-03-28 2006-10-12 Nitto Denko Cs System Kk 封緘用粘着テープ、封緘体、封緘体の温度変化の確認方法
JP2007257058A (ja) * 2006-03-20 2007-10-04 Ricoh Co Ltd 情報合成表示システム、情報合成表示装置及び情報合成制御装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104067203A (zh) * 2012-02-01 2014-09-24 日立麦克赛尔株式会社 电子笔
CN104067203B (zh) * 2012-02-01 2016-11-30 日立麦克赛尔株式会社 电子笔
CN107209633A (zh) * 2015-01-20 2017-09-26 株式会社理光 电子信息板设备和方法
US10572779B2 (en) 2015-01-20 2020-02-25 Ricoh Company, Ltd. Electronic information board apparatus, information processing method, and computer program product
JP2018041412A (ja) * 2016-09-09 2018-03-15 大日本印刷株式会社 情報収集装置
KR20220002658A (ko) * 2019-05-06 2022-01-06 애플 인크. 전자 디바이스 상의 수기 입력
JP2022532326A (ja) * 2019-05-06 2022-07-14 アップル インコーポレイテッド 電子デバイス上の手書き入力
JP7153810B2 (ja) 2019-05-06 2022-10-14 アップル インコーポレイテッド 電子デバイス上の手書き入力
KR102610481B1 (ko) 2019-05-06 2023-12-07 애플 인크. 전자 디바이스 상의 수기 입력
US11656758B2 (en) 2020-05-11 2023-05-23 Apple Inc. Interacting with handwritten content on an electronic device

Also Published As

Publication number Publication date
JPWO2010119603A1 (ja) 2012-10-22
JP5569520B2 (ja) 2014-08-13
US20120032925A1 (en) 2012-02-09
US9213446B2 (en) 2015-12-15

Similar Documents

Publication Publication Date Title
JP5569520B2 (ja) 手書き入力装置
US20110102599A1 (en) Mobile terminal including projector and control method thereof
CN107850968B (zh) 影像显示系统
US8827461B2 (en) Image generation device, projector, and image generation method
US20120044140A1 (en) Information display system and program, and optical input system, projection-type images and display apparatus
JP4469650B2 (ja) 光入力機能付き表示装置、表示装置および光源装置
WO2010047256A1 (ja) 撮像装置、表示撮像装置および電子機器
JP5796091B2 (ja) 情報表示装置
CA2615228A1 (en) Automatic projection calibration
US9441822B2 (en) Color optical pen for electronic panel
JP2011022983A (ja) イメージにマーキングする方法および装置
CN102016713A (zh) 将图像投射至有形用户界面上
KR20080113832A (ko) 액정표시장치상의 특정 패턴을 촬영하는 카메라를 내장하여위치를 판독하는 전자펜과 이를 이용한 전자칠판
KR20080091022A (ko) 표시 장치
JP2012053584A (ja) 情報表示システムおよびプログラム
US20130113758A1 (en) Method and system for recognizing touch point, and display apparatus
KR101756948B1 (ko) 전자칠판 장치
US20120169674A1 (en) Input device and input system
WO2014038118A1 (ja) 表示装置および表示制御システム
US10795467B2 (en) Display device, electronic blackboard system, and user interface setting method
JP2014041602A (ja) 情報読取装置
JP2010197955A (ja) 表示装置
JP4434381B2 (ja) 座標入力装置
JP2012043176A (ja) 光学式入力システムおよびそれを搭載した投写型映像表示装置
KR101065771B1 (ko) 터치 디스플레이 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10764190

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011509181

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13264123

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10764190

Country of ref document: EP

Kind code of ref document: A1