WO2019220803A1 - 位置指示装置及び情報処理装置 - Google Patents

位置指示装置及び情報処理装置 Download PDF

Info

Publication number
WO2019220803A1
WO2019220803A1 PCT/JP2019/015042 JP2019015042W WO2019220803A1 WO 2019220803 A1 WO2019220803 A1 WO 2019220803A1 JP 2019015042 W JP2019015042 W JP 2019015042W WO 2019220803 A1 WO2019220803 A1 WO 2019220803A1
Authority
WO
WIPO (PCT)
Prior art keywords
pressure
sensor
grip force
communication unit
position indicating
Prior art date
Application number
PCT/JP2019/015042
Other languages
English (en)
French (fr)
Inventor
博史 宗像
義久 杉山
元昊 陳
Original Assignee
株式会社ワコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ワコム filed Critical 株式会社ワコム
Priority to JP2020519507A priority Critical patent/JP6887060B2/ja
Priority to EP19804098.2A priority patent/EP3796136A4/en
Priority to CN201980029211.9A priority patent/CN112074802A/zh
Publication of WO2019220803A1 publication Critical patent/WO2019220803A1/ja
Priority to US17/084,444 priority patent/US20210048897A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G06F3/03546—Pens or stylus using a rotatable ball at the tip as position detecting member
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G06F3/04146—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position using pressure sensitive conductive elements delivering a boolean signal and located between crossing sensing lines, e.g. located between X and Y sensing line layers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Definitions

  • the present invention relates to a position pointing device and an information processing device, and in particular, a pen-type position pointing device used for pointing both a position in a touch surface and a position in space, and a connection to such a position pointing device.
  • the present invention relates to an information processing apparatus.
  • a pen-type position pointing device (hereinafter referred to as “electronic pen”) used in combination with a tablet-type computer has attracted attention.
  • This type of electronic pen is usually provided with a writing pressure sensor that detects pressure (writing pressure) applied to the pen tip.
  • the computer receives a pen pressure value from the electronic pen when detecting the position of the electronic pen in the touch surface. And when drawing a line drawing according to the detected position, it is comprised so that the line
  • Patent Document 1 discloses a pen-type input device that does not require a touch surface.
  • This pen-type input device has a pressure sensor on the side surface, and is configured to detect a user's grip force.
  • a character or figure is drawn with a pen
  • characteristics corresponding to the character or figure to be drawn appear in the change in grip force.
  • the technique of Patent Document 1 recognizes this feature as a character or a graphic, and thereby attempts to input a character or a graphic without detecting the position of the pen tip on the touch surface.
  • the inventor of the present application writes characters or draws pictures on a virtual plane using the above-described electronic pen in a virtual reality (including VR: Virtual Reality, AR: Augmented Reality, MR: Mixed Reality) space.
  • a virtual reality including VR: Virtual Reality, AR: Augmented Reality, MR: Mixed Reality
  • the writing pressure value cannot be detected by the writing pressure sensor described above. Without a pen pressure value, it is impossible to control the line width and transparency according to the pen pressure value, and it becomes impossible to produce a writing taste similar to a conventional pen, so the line width and transparency can be controlled suitably. Other methods were needed.
  • one of the objects of the present invention is to provide a position pointing device and an information processing device that can suitably control line width and transparency even when an actual touch surface does not exist.
  • the position indicating device includes a housing, a position indicating unit for indicating a position, a first sensor for detecting a first pressure applied to the position indicating unit, and a second pressure applied to the housing.
  • a second sensor for detecting, a first communication unit for transmitting the first pressure detected by the first sensor, and a second for transmitting the second pressure detected by the second sensor.
  • And a communication unit a communication unit.
  • the position pointing device includes a cylindrical external housing that houses a position pointing unit for performing position pointing on the input surface of the planar position sensor, and a position of the position pointing device in space.
  • a spatial position detection unit that detects spatial position information by interaction with an external device, a pressure sensor that detects a force on the external housing, the spatial position information detected by the spatial position detection unit, and in the input plane
  • the position indicating device may include a planar position information for indicating the position of the position indicating unit and a processing unit configured to output pressure information related to the force detected by the pressure sensor.
  • An information processing apparatus is an information processing apparatus capable of communicating with a position pointing device having a housing, a position indicating unit that indicates a position, and a pressure sensor that detects a force applied to the housing, A communication unit that receives pressure detected by the sensor, and a controller that controls generation of a 3D object in the virtual reality space based on the position of the position pointing device in the space and the pressure received by the communication unit.
  • Information processing apparatus capable of communicating with a position pointing device having a housing, a position indicating unit that indicates a position, and a pressure sensor that detects a force applied to the housing, A communication unit that receives pressure detected by the sensor, and a controller that controls generation of a 3D object in the virtual reality space based on the position of the position pointing device in the space and the pressure received by the communication unit.
  • an information processing apparatus includes a cylindrical external housing that houses a position indicating unit that performs a position instruction on the input surface of a planar position sensor, and a pressure sensor that detects a force on the surface of the external housing.
  • a computer connected to the position pointing device having spatial position information for indicating a position of the position pointing device in the space from the position pointing device, and a position of the position pointing unit in the input plane; Plane position information and pressure information related to the force detected by the pressure sensor are configured to be received, and when the spatial position information and the pressure information are received, the space based on the received spatial position information
  • a spatial position indicating the position of the position indicating device is detected, and 3D drawing is performed based on the detected spatial position and the received pressure information.
  • a plane position indicating the position of the position indicating unit in the touch surface is detected based on the received plane position information, and the detected plane position and reception are detected.
  • the computer may perform 2D drawing based on the pressure information.
  • the position pointing device according to the present invention capable of transmitting the pressure detected by the pressure sensor and the information processing device according to the present invention capable of performing 3D drawing based on the pressure detected by the pressure sensor, the actual touch surface Even in the case where no exists, the line width and transparency can be suitably controlled.
  • FIG. 2A is a perspective view showing an external appearance of the electronic pen 5
  • FIG. 2B is a schematic block diagram showing functional blocks of the electronic pen 5.
  • FIG. 4 is a process flowchart showing details of the tablet input process shown in FIG. 3.
  • FIG. 4 is a process flowchart showing details of the virtual reality space input process shown in FIG. 3.
  • FIG. 7 is a process flowchart showing details of the correlation acquisition process (step S30) shown in FIG. 6.
  • FIG. 7 is a process flowchart showing details of the tablet drawing process shown in FIG. 6.
  • FIG. 7 is a process flowchart showing details of the virtual reality space drawing process shown in FIG. 6. It is a figure explaining the meaning of initial grip power. It is a figure which shows the structure of the grip force sensor 55 by a 1st example. It is a figure which shows the structure of the grip force sensor 55 by a 2nd example. It is a figure which shows the structure of the grip force sensor 55 by the 3rd example. It is a figure which shows the structure of the grip force sensor 55 by a 4th example.
  • FIG. 1 is a diagram showing a configuration of a spatial position indicating system 1 according to an embodiment of the present invention.
  • a spatial position indication system 1 includes a computer 2, a virtual reality display 3, a planar position sensor 4, an electronic pen 5, position detection devices 7a and 7b, a space And position sensors 8a to 8c.
  • the spatial position sensors 8a to 8c are provided in the planar position sensor 4, the virtual reality display 3, and the electronic pen 5, respectively.
  • FIG. 1 Each device shown in FIG. 1 is arranged in a room in principle. In the space position indicating system 1, almost the entire room can be used as a virtual reality space.
  • the computer 2 includes a control unit 2a and a memory 2b. Each process performed by the computer 2 described below is realized by the control unit 2a reading and executing a program stored in the memory 2b.
  • the computer 2 is connected to each of the virtual reality display 3, the position detecting devices 7a and 7b, and the planar position sensor 4 by wire or wirelessly.
  • wired it is preferable to use USB (Universal Serial Bus), for example.
  • wireless for example, it is preferable to use a wireless LAN such as Wi-Fi (registered trademark) or a short-range wireless communication such as Bluetooth (registered trademark).
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • the computer 2 is configured to have a function of displaying a virtual reality space on the virtual reality display 3.
  • This virtual reality space may be a VR (Virtual Reality) space, an AR (Augmented Reality) space, or an MR (Mixed Reality) space.
  • VR Virtual Reality
  • AR Augmented Reality
  • MR Magnetic Reality
  • the user wearing the virtual reality display 3 recognizes the virtual reality and is separated from the real world.
  • the AR space or the MR space the user wearing the virtual reality display 3 recognizes a space in which the virtual reality and the real world are mixed.
  • the computer 2 functions as a rendering device that renders various 3D objects (objects) in a virtual reality space set with reference to the positions of the position detection devices 7a and 7b. Configured to update the display. As a result, various 3D objects appear in the virtual reality space displayed on the virtual reality display 3. Rendering by the computer 2 is executed based on 3D object information stored in the memory 2b.
  • the 3D object information is information indicating the shape, position, and orientation of the 3D object in the virtual reality space indicating the virtual reality space set by the computer 2, and is stored in the memory 2b for each 3D object to be rendered.
  • the 3D object rendered by the computer 2 includes a 3D object that actually exists such as the planar position sensor 4 and the electronic pen 5 shown in FIG. 3D objects that do not exist in reality (hereinafter referred to as “second 3D objects”) such as tablets (not shown) are included.
  • the computer 2 first detects the position and orientation of the spatial position sensor 8b in the real space, and acquires viewpoint information indicating the user's viewpoint based on the detection result.
  • the computer 2 When rendering the first 3D object, the computer 2 further detects the position and orientation of the spatial position sensor (for example, the spatial position sensors 8a and 8c) attached to the corresponding object in the real space, and the detection result is obtained. Store in the memory 2b. Then, the first 3D object is rendered in the virtual reality space based on the stored position and orientation, the viewpoint information described above, and the shape stored for the first 3D object. Further, the computer 2 detects the operation performed by the user in the virtual reality space by detecting the position of the spatial position sensor 8c, particularly for the electronic pen 5, and newly creates a second 3D object based on the result. Create (that is, newly store 3D object information in the memory 2b), or move or update a second 3D object that is already held (that is, update 3D object information stored in the memory 2b) ) Process.
  • the spatial position sensor for example, the spatial position sensors 8a and 8c
  • the computer 2 when rendering the second 3D object, the computer 2 renders the second 3D object in the virtual reality space based on the 3D object information stored in the memory 2b and the viewpoint information described above. Composed.
  • the virtual reality display 3 is a VR display (head mounted display) used by being worn on a human head.
  • VR display head mounted display
  • various types of commercially available virtual reality displays such as “transmission type” or “non-transmission type”, “glasses type” or “hat type”, and any of them is used as the virtual reality display 3. Is also possible.
  • the virtual reality display 3 is connected to each of the spatial position sensor 8a and the electronic pen 5 (including the spatial position sensor 8c) by wire or wirelessly.
  • the spatial position sensors 8a and 8c are configured to notify the virtual reality display 3 of received light level information to be described later through this connection.
  • the virtual reality display 3 notifies the computer 2 of the light reception level information notified from each of the spatial position sensors 8a and 8c together with the light reception level information of the spatial position sensor 8b incorporated therein.
  • the computer 2 detects the positions and orientations of the spatial position sensors 8a to 8c in the real space based on the light reception level information thus notified.
  • the planar position sensor 4 is an apparatus having an input surface 4a and a plurality of electrodes (not shown) arranged so as to cover the entire input surface 4a.
  • the input surface 4a is preferably a flat surface, and can be made of a material suitable for sliding the pen tip of the electronic pen 5.
  • the plurality of electrodes serve to detect a pen signal (described later) transmitted by the electronic pen 5.
  • the pen signal detected by each electrode is supplied to the computer 2, and the computer 2 indicates the indication position of the electronic pen 5 within the input surface 4a and various data transmitted by the electronic pen 5 based on the supplied pen signal.
  • the planar position sensor 4 may be built in, for example, a tablet terminal having a display function and a processor. In this case, a part or all of the computer 2 can be configured by the processor of the tablet terminal.
  • the spatial position sensor 8 a is fixedly installed on the surface of the planar position sensor 4. Therefore, the position and orientation of the spatial position sensor 8a detected by the computer 2 indicate the position and orientation of the input surface 4a in the virtual reality space coordinate system.
  • the electronic pen 5 is a position indicating device having a pen shape, and functions as an input device to the planar position sensor 4 (hereinafter referred to as “tablet input function”) and a function as an input device to the computer 2. (Hereinafter referred to as “virtual reality space input function”).
  • the tablet input function includes a function of designating a position in the input surface 4a of the planar position sensor 4.
  • the virtual reality space input function includes a function for indicating a position in the virtual reality space. Details of each function will be described later.
  • the position detection devices 7a and 7b are base station devices that constitute a position detection system for detecting the positions of the spatial position sensors 8a to 8c, and can emit laser signals while changing directions according to control by the computer 2, respectively. Configured. Each of the spatial position sensors 8a to 8c is composed of a plurality of light receiving sensors. Each of the position detecting devices 7a and 7b receives a laser signal emitted by each of the light receiving sensors and receives light receiving level information including each light receiving level. Configured to get. The light reception level information acquired in this way is supplied to the computer 2 via the virtual reality display 3 as described above. In the present embodiment, the position detection devices 7a and 7b are configured to be able to emit laser signals, but are not limited to this configuration. For example, a configuration using other invisible light sensors, visible light sensors, or a combination thereof may be used.
  • FIG. 2A is a perspective view showing the external appearance of the electronic pen 5.
  • the electronic pen 5 includes a cylindrical external housing 5a that houses a pen tip 5b (position indicating unit) for performing a position instruction on the input surface 4a of the planar position sensor 4. Is done.
  • the various members which comprise the grip force sensor 55 mentioned later and various switches are attached to the surface of the actual electronic pen 5, drawing is abbreviate
  • the user When performing input using the tablet input function, the user holds the external casing 5a with one hand and causes the pen tip 5b to contact the input surface 4a of the planar position sensor 4. Then, an input operation using the electronic pen 5 is performed by moving the pen tip 5b on the input surface 4a while maintaining the contact state.
  • the user when performing input using the virtual reality space input function, the user performs an input operation with the electronic pen 5 by holding the external housing 5a with one hand and moving the electronic pen 5 in the air.
  • Input by the virtual reality space input function includes input to the virtual tablet described above.
  • FIG. 2B is a schematic block diagram showing functional blocks of the electronic pen 5.
  • the electronic pen 5 includes a processing unit 50, a planar communication unit 51, a spatial communication unit 52, a spatial position detection unit 53, a writing pressure sensor 54, a grip force sensor 55 (pressure sensor), and force generation.
  • the unit 56 is configured. Since the electronic pen 5 may have only one of the writing pressure sensor 54 and the grip force sensor 55, the following description will be made including such a case.
  • the processing unit 50 is connected to other units in the electronic pen 5 and is configured by a processor that controls these and performs various processes described below.
  • the processing unit 50 reads out and executes a program stored in an internal memory (not shown), thereby executing control of other units in the electronic pen 5 and various processes described later.
  • the planar communication unit 51 is a functional unit that transmits and receives signals to and from the computer 2 via the planar position sensor 4 under the control of the processing unit 50.
  • a plurality of electrodes arranged in the input surface 4a of the planar position sensor 4 and a pen tip electrode (not shown) provided in the vicinity of the pen tip 5b of the electronic pen 5 are used as an antenna.
  • this transmission / reception includes a case where a signal is unilaterally transmitted from the electronic pen 5 to the planar position sensor 4 and a case where a signal is bidirectionally transmitted / received between the electronic pen 5 and the planar position sensor 4.
  • a signal transmitted from the planar position sensor 4 toward the electronic pen 5 is a “beacon signal”, and transmitted from the electronic pen 5 toward the planar position sensor 4.
  • the signal will be referred to as a “pen signal”.
  • an electromagnetic induction method or an active electrostatic method can be used as a specific method of signal transmission and reception in this case.
  • the beacon signal is a signal transmitted by the computer 2 at a predetermined time interval, for example, and includes a command for controlling the electronic pen 5 from the computer 2.
  • the pen signal is obtained by modulating the carrier wave with a burst signal (planar position information for indicating the position of the pen tip 5b in the input surface 4a) which is an unmodulated carrier wave and data requested to be transmitted by a command. Data signals to be transmitted.
  • the space communication unit 52 has a function of transmitting and receiving signals to and from the computer 2 via the virtual reality display 3 under the control of the processing unit 50. As described above, transmission / reception of this signal is realized by wire or wireless.
  • the plane position sensor 4 does not intervene in signal transmission / reception between the space communication unit 52 and the computer 2.
  • the spatial position detection unit 53 is a functional unit configured by the spatial position sensor 8c shown in FIG. 1, and receives the light reception level described above by interaction with an external device (specifically, the position detection devices 7a and 7b). It plays a role of detecting information (space position information for indicating the position of the electronic pen 5 in the space). Specifically, the detection operation of the laser signals transmitted by the position detection devices 7a and 7b is periodically or continuously performed, and the received light level information corresponding to the detected laser signals is generated. The process which supplies to 50 is performed.
  • the writing pressure sensor 54 is a sensor configured to be able to detect a force (writing pressure) applied to the pen tip 5b, and is configured by, for example, a capacitance sensor (not shown) whose capacitance value changes with writing pressure.
  • the processing unit 50 has a function of acquiring the writing pressure detected by the writing pressure sensor 54 and generating writing pressure information related to the acquired writing pressure.
  • the writing pressure information is, for example, a digital value obtained by performing analog-digital conversion on writing pressure that is analog information.
  • the processing unit 50 has a function of acquiring the grip force detected by the grip force sensor 55 and generating pressure information related to the acquired grip force.
  • the pressure information is, for example, a digital value obtained by performing analog-digital conversion on the grip force that is analog information.
  • the force sense generator 56 has a function of generating a force sense according to a control signal supplied from the computer 2.
  • the force sense here is, for example, vibration of the external housing 5a.
  • the computer 2 Is supplied to the electronic pen 5 via the space communication unit 52, thereby causing the force generation unit 56 to generate a force sense.
  • the user can obtain a feeling that the pen tip 5b collides with the surface of the virtual tablet that does not actually exist.
  • the processing unit 50 When performing input using the tablet input function, the processing unit 50 first performs a detection operation of a beacon signal transmitted by the computer 2 via the planar communication unit 51. As a result, when a beacon signal is detected, the processing unit 50 sequentially outputs the above-described burst signal and data signal to the planar communication unit 51 as a response to the beacon signal.
  • the data signal output in this way can include the above-described writing pressure information or pressure information.
  • the planar communication unit 51 is configured to transmit the burst signal and the data signal thus input to the computer 2 via the planar position sensor 4.
  • the computer 2 determines the position of the pen tip 5b in the input surface 4a based on the received intensity of the burst signal at each of the plurality of electrodes arranged in the input surface 4a.
  • the plane position shown is detected.
  • the data transmitted by the electronic pen 5 is acquired by receiving the data signal using the electrode closest to the detected planar position among the plurality of electrodes arranged in the input surface 4a.
  • the computer 2 performs 2D drawing based on the detected plane position and the received data. Details of 2D drawing will be described later.
  • the tablet input function is thus realized.
  • the processing unit 50 is configured to sequentially output the light reception level information supplied from the space position detection unit 53 to the space communication unit 52.
  • the processing unit 50 is configured to output the writing pressure information or the pressure information generated as described above to the spatial communication unit 52 together with the output of the light reception level information.
  • the spatial communication unit 52 is configured to transmit each piece of information thus input to the computer 2.
  • the computer 2 When the computer 2 receives the above information from the spatial communication unit 52, the computer 2 detects a spatial position indicating the position of the electronic pen 5 in the space based on the received light reception level information.
  • information indicating the shape of the electronic pen 5 and the relative positional relationship between the spatial position detector 53 and the pen tip 5b is stored in the computer 2 in advance, and the computer 2 is directly obtained from the light reception level information.
  • the position may be converted to the position of the pen tip 5b based on this information, and the position obtained by the conversion may be detected as a spatial position.
  • the computer 2 performs 3D drawing based on the detected spatial position and the received writing pressure information or pressure information. Details of 3D drawing will also be described later.
  • the virtual reality space input function is thus realized.
  • FIG. 3 is a process flow diagram showing processing performed by the processing unit 50 of the electronic pen 5.
  • 4 is a process flow diagram showing details of the tablet input process (step S1) shown in FIG. 3
  • FIG. 5 shows details of the virtual reality space input process (step S2) shown in FIG. It is a processing flowchart.
  • the operation of the electronic pen 5 will be described in detail with reference to FIGS.
  • the processing unit 50 performs a tablet input process (step S1) and a virtual reality space input process (step S2) in a time-sharing manner.
  • the processing unit 50 that performs tablet input processing first performs a beacon signal detection operation by the planar communication unit 51 (steps S ⁇ b> 10 and S ⁇ b> 11).
  • the planar communication unit 51 attempts to detect a beacon signal by demodulating the signal arriving at the pen tip electrode.
  • the processing unit 50 outputs the burst signal to the planar communication unit 51, thereby causing the planar communication unit 51 to transmit the burst signal (step S12).
  • the subsequent processing differs depending on whether the electronic pen 5 has the writing pressure sensor 54 or not.
  • the processing unit 50 acquires the writing pressure from the output of the writing pressure sensor 54 (step S13), and transmits a data signal including writing pressure information related to the acquired writing pressure by the planar communication unit 51 (step S14).
  • the processing unit 50 acquires the grip force from the output of the grip force sensor 55 (step S15), and transmits a data signal including pressure information regarding the acquired grip force by the planar communication unit 51 (step S16).
  • the processing unit 50 ends the tablet input process and starts the next virtual reality space input process (step S2) as can be understood from FIG.
  • the processing unit 50 that performs the virtual reality space input process first performs a laser signal detection operation by the spatial position detection unit 53 (steps S20 and S21). As a result, when the laser signal is not detected, the virtual reality space input process is terminated. On the other hand, when the laser signal is detected, the processing unit 50 acquires light reception level information corresponding to the laser signal from the spatial position detection unit 53 and transmits the received light level information to the spatial communication unit 52 (step S22).
  • the subsequent processing differs depending on whether the electronic pen 5 has the writing pressure sensor 54 or not.
  • the processing unit 50 acquires the grip force from the output of the grip force sensor 55 (step S26), and transmits the pressure information regarding the acquired grip force by the space communication unit 52 (step S27).
  • the processing unit 50 acquires the writing pressure from the output of the writing pressure sensor 54 (step S23), and determines whether or not the acquired writing pressure exceeds a predetermined value (step S24). This determination is a determination of whether or not the pen tip 5b is in contact with the actual surface, and is performed so as not to use the pen pressure when not in contact.
  • the actual surface mentioned here corresponds to a surface such as a simple plate.
  • the pen pressure sensor 54 can be used also for the virtual tablet, for example, by arranging an actual board according to the display position of the virtual tablet.
  • step S24 When it determines with having exceeded in step S24, the process part 50 transmits the pen pressure information regarding the acquired pen pressure by the space communication part 52 (step S25). On the other hand, when it determines with not having exceeded in step S24, the process part 50 transfers a process to step S26 and performs transmission of pressure information (step S26, S27). After the transmission in step S25 or step S27, the processing unit 50 ends the virtual reality space input process and starts the next tablet input process (step S1) as can be understood from FIG.
  • FIG. 6 is a processing flowchart showing processing performed by the control unit 2a of the computer 2.
  • 7 is a process flow diagram showing details of the correlation acquisition process (step S30) shown in FIG. 6, and
  • FIG. 10 is a process showing details of the tablet drawing process (step S35) shown in FIG.
  • FIG. 11 is a flowchart showing the details of the virtual reality space drawing process (step S41) shown in FIG.
  • the operation of the computer 2 will be described in detail with reference to these drawings.
  • control unit 2a first executes a correlation acquisition process (step S30).
  • the correlation acquisition process is a process of acquiring the correlation f between the writing pressure detected by the writing pressure sensor 54 and the grip force detected by the grip force sensor 55.
  • the control unit 2 a first applies a pen pressure detection operation by the pen pressure sensor 54 and a grip force detection operation by the grip force sensor 55 to the electronic pen 5 for a predetermined number of times.
  • writing pressure information and pressure information are received from the electronic pen 5 (steps S50 to S52).
  • the control unit 2a After repeating the predetermined number of times, acquires the correlation f between the writing pressure and the gripping force based on the plurality of combinations of the obtained writing pressure and the gripping force (Step S53), and ends the correlation acquisition process.
  • writing pressure f (grip force) in one example.
  • FIGS. 8A and 8B are diagrams for explaining the correlation f between the writing pressure and the grip force.
  • P is the writing pressure
  • G is the gripping force
  • F is the frictional force between the user's hand and the surface of the electronic pen 5.
  • the control unit 2a subsequently sets a drawing area in the virtual reality space (step S31).
  • the drawing area is an area where 3D drawing with the electronic pen 5 is executed.
  • FIGS. 9A and 9B are diagrams showing specific examples of drawing areas.
  • FIG. 9A shows an example in which an area within a predetermined distance from the display surface of the virtual tablet B is set as the drawing area A.
  • the drawing area A according to this example is an area that enables input to the virtual tablet B.
  • the control unit 2a displays the detected spatial position on the display surface of the virtual tablet B in the virtual reality space drawing process shown in step S35 described later. 3D rendering is executed after replacing with a spatial position projected on the screen.
  • the user can draw a plane figure on the display surface of the virtual tablet B.
  • the predetermined distance is preferably a value greater than zero. This is because it is difficult for the user to keep the electronic pen 5 in contact with a display surface that does not physically exist when the user attempts to input on the display surface of the virtual tablet B with the electronic pen 5. by.
  • FIG. 9B shows an example in which an arbitrary three-dimensional space is set as the drawing area A.
  • the control unit 2a performs 3D drawing without performing the replacement as in the example of FIG. As a result, the user can draw a solid figure in the drawing area A.
  • step S32 the control unit 2a performs the detection operation of the received light level information and the burst signal (step S32). Specifically, this process includes a process of receiving light reception level information from the electronic pen 5 by wire or wireless, and a process of receiving a burst signal from the electronic pen 5 via the planar position sensor 4. As a result of performing step S32, the control unit 2a proceeds to step S34 when a burst signal is detected (positive determination at step S33), and when no burst signal is detected (negative determination at step S33). Advances the process to step S36.
  • step S34 detects the above-described planar position (the position of the pen tip 5b in the input surface 4a) based on the detected burst signal (step S34).
  • step S35 A tablet drawing process for performing 2D drawing on the display of the tablet terminal is included (step S35).
  • control unit 2a first performs a detection operation of a data signal transmitted from the electronic pen 5 via the planar position sensor 4 (step S60). Then, it is determined which writing pressure information or pressure information is included in the data signal (step S61).
  • the control unit 2a further determines whether or not the pen pressure indicated by the pen pressure information is equal to or less than a predetermined normal ON load (for example, 0). (Step S68). As a result, if it is determined that the load is normally equal to or less than the ON load, the process ends without performing 2D drawing. This is processing when it is considered that the pen tip 5b of the electronic pen 5 is not in contact with the input surface 4a (so-called hover state). On the other hand, if it is determined in step S68 that the load is greater than the normal ON load, the controller 2a uses, for example, the plane position sensor 4 based on the plane position detected in step S34 and the pen pressure indicated by the pen pressure information. 2D drawing is performed on the display of a certain tablet terminal (step S69).
  • a predetermined normal ON load for example, 0
  • the 2D drawing performed in step S69 includes a rendering process and a display process.
  • the control unit 2a places a circle having a radius corresponding to the corresponding writing pressure at each of a series of sequentially detected planar positions. Then, by smoothly connecting the circumferences of the respective circles, two-dimensional curve data (ink data) having a width corresponding to the writing pressure is generated.
  • the display process is a process of displaying the curve data generated in this way on a display of a tablet terminal that is the planar position sensor 4, for example.
  • step S61 If it is determined in step S61 that the pressure information is included, the control unit 2a executes a process for converting the grip force indicated by the pressure information into writing pressure (steps S62 to S67). Specifically, the control unit 2a first determines whether the reset flag A is true or false (step S62).
  • the reset flag A is a flag indicating whether or not the electronic pen 5 has just entered the range where the burst signal reaches the planar position sensor 4, and in the case of being immediately after, the determination result in step S62 is false.
  • the controller 2a determined to be false in step S62 further determines whether or not the grip force indicated by the pressure information is greater than or equal to a predetermined value (step S63). If it is determined that it is less than the predetermined value, the grip force indicated by the pressure information is set as the initial grip force (step S64), and if it is determined that it is greater than or equal to the predetermined value, the predetermined value is set to the initial value.
  • the grip force is set (step S65).
  • the initial grip force is a variable used to handle the grip force when the electronic pen 5 enters the range where the burst signal reaches the planar position sensor 4 (during pen down) as zero. Step S65 determines the upper limit of the initial grip force, and is used, for example, to prevent the user from being able to exert sufficient writing pressure due to an excessive grip force required to increase the line width.
  • FIG. 12 is a diagram for explaining the meaning of the initial grip force.
  • a graph is shown in which the horizontal axis represents the force against the surface of the external housing 5 a and the vertical axis represents the grip force detected by the grip force sensor 55.
  • the control unit 2a is configured not to use the grip force itself detected by the grip force sensor 55 but to use a value obtained by subtracting the initial grip force from the grip force as the grip force. By doing so, the user can input the writing pressure by the grip force by increasing or decreasing the grip force based on the grip force at the time of pen down.
  • step S64 or step S65 the control unit 2a sets the reset flag A to true (step S66), and then performs a process of converting the grip force into writing pressure using the correlation f (step S67).
  • step S67 is also executed when it is determined to be true in step S62.
  • step S67 the control unit 2a substitutes a value obtained by subtracting the initial grip force from the grip force indicated by the pressure information into the correlation f as a grip force.
  • the user can input the pen pressure by the grip force by increasing or decreasing the grip force based on the grip force at the time of pen-down.
  • the control unit 2a that has obtained the writing pressure in step S67 executes steps S68 and S69 using the writing pressure. Thereby, 2D drawing similar to the case where writing pressure information is included in the data signal is realized.
  • Step S69 ends the tablet drawing process. Then, the process returns to step S32 in FIG.
  • step S36 The control unit 2a that has proceeded to step S36 in FIG. 6 first sets the reset flag A to false (step S36). Thereby, when the electronic pen 5 is removed from the range where the burst signal reaches the planar position sensor 4, the reset flag A can be returned to false.
  • control unit 2a determines whether or not the light reception level information is detected by the detection operation in step S32 (step S37). And when it determines with having detected, the control part 2a detects the space position (position of the electronic pen 5 (or its pen tip 5b) in space) mentioned above based on the detected light reception level information (step) S38). Subsequently, the control unit 2a determines whether or not the detected spatial position is a position in the drawing area set in step S31 (step S39).
  • the control unit 2a that has determined that the position is in the drawing area in step S39 executes a virtual reality space drawing process for performing 3D drawing in the virtual reality space (step S41).
  • a process of replacing the detected spatial position with a spatial position projected onto the display surface of the virtual tablet may be inserted between step S39 and step S41 ( Step S40).
  • This step S40 is a process that can be executed only when the drawing area including the detected spatial position is an area set on the display surface of the virtual tablet B as shown in FIG. As a result, the user can draw a plane figure on the display surface of the virtual tablet as described above.
  • control unit 2a first performs a pen pressure information or pressure information receiving operation (step S70). Then, it is determined which of the pen pressure information and the pressure information is received (step S71).
  • step S71 When it is determined in step S71 that the pen pressure information has been received, the control unit 2a further determines whether or not the pen pressure indicated by the pen pressure information is equal to or less than a predetermined normal ON load (for example, 0) (step S71). S80). As a result, when it is determined that the load is normally equal to or less than the ON load, the process ends without performing 3D drawing. This is processing when it is considered that the pen tip 5b of the electronic pen 5 is not in contact with the above-described actual board (for example, one arranged in accordance with the display position of the virtual tablet).
  • a predetermined normal ON load for example, 0
  • step S80 determines whether the load is greater than the normal ON load. If it is determined in step S80 that the load is greater than the normal ON load, the controller 2a determines the spatial position detected in step S38 (or the spatial position acquired in step S40) and the pen pressure indicated by the pen pressure information. Based on the above, 3D rendering is performed in the virtual reality space (step S81).
  • the 3D drawing performed in step S79 includes a rendering process and a display process.
  • the control unit 2a places a sphere having a radius corresponding to the corresponding writing pressure at each of a series of spatial positions that are sequentially detected. Then, three-dimensional curve data having a cross-sectional diameter corresponding to the writing pressure is generated by smoothly connecting the surfaces of the spheres.
  • the display process is a process for displaying the curve data thus generated in the virtual reality space.
  • 2D drawing on the display surface may be performed instead of 3D drawing.
  • step S71 If it is determined in step S71 that the pressure information has been received, the control unit 2a executes a process for converting the grip force indicated by the pressure information into writing pressure (steps S72 to S77).
  • the details of this process are the same as the processes of steps S62 to S67 shown in FIG. 10, and the writing pressure as the conversion result is acquired in step S77.
  • the reset flag B is used instead of the reset flag A.
  • the reset flag B is a flag indicating whether or not the electronic pen 5 has just entered the drawing area. If it is immediately after, the determination result in step S72 is false.
  • the control unit 2a that has obtained the writing pressure in step S77 executes steps S78 and S79 using the writing pressure.
  • steps S78 and S79 instead of the normal ON load, a value different from the normal ON load, preferably a space ON load set to a value larger than the normal ON load is used (that is, indicated by the pressure information in step S78).
  • the processing is the same as steps S80 and S81 except that it is determined whether or not the writing pressure to be applied is equal to or less than a predetermined space ON load (> normal ON load). Thereby, 3D drawing similar to the case where pen pressure information is received is realized.
  • the reason why the space ON load is used instead of the normal ON load in step S78 is that when the electronic pen 5 is operated in a state of floating in the air, compared with the case where the electronic pen 5 is operated in a state of being in contact with a fixed surface such as the input surface 4a. This corresponds to the fact that the grip force is increased by an amount necessary to support the weight of the electronic pen 5.
  • a space ON load larger than the normal ON load in step S78 it is possible to appropriately perform 3D drawing despite such an increase in grip force.
  • Step S79 ends the virtual reality space drawing process. Then, the process returns to step S32 in FIG. 6, and the next light reception level information and burst signal detection operation is executed. If the control unit 2a determines that the received light level information is not detected in step S37 in FIG. 6 and if it is determined in step S39 in FIG. Is set (step S42), the process returns to step S32, and the next light reception level information and burst signal detection operation is executed. By executing step S42, the reset flag B can be returned to false when the electronic pen 5 is detached from the drawing area (including the case where the electronic pen 5 is detached from the virtual reality space).
  • the electronic pen 5 is configured to output pressure information related to the grip force, and the computer can execute 3D drawing and 2D drawing based on the pressure information related to the grip force.
  • the computer is configured, it is possible to suitably control the line width and transparency even when there is no actual touch surface.
  • FIG. 13 is a diagram showing the structure of the grip force sensor 55 according to the first example.
  • the grip force sensor 55 according to this example is configured by a touch sensor configured to be able to detect a pressing force by a pressure-sensitive method, for example, and is disposed on a side surface of the external housing 5a.
  • the processing unit 50 acquires the pressing force detected by the grip force sensor 55 as the grip force.
  • FIG. 14 is a diagram showing the structure of the grip force sensor 55 according to the second example.
  • the grip force sensor 55 according to the present example is configured by a button mechanism that can detect the pressing amount stepwise or continuously, and is disposed on the side surface of the external housing 5a.
  • the processing unit 50 acquires the pressing amount detected by the grip force sensor 55 as the grip force.
  • the button mechanism include an actuator, a hall element, and a strain gauge.
  • FIG. 15 is a diagram showing the structure of the grip force sensor 55 according to the third example.
  • the grip force sensor 55 according to the present example also serves as the writing pressure sensor 54 and is configured by a capacitor having a structure in which the dielectric 11 is disposed between the two electrode plates 10 and 12.
  • One end of the electrode plate 10 is connected to the other end of the core body 13 constituting the pen tip 5b.
  • the electrode plate 12 is connected to a button mechanism 14 disposed on the side surface of the external housing 5a.
  • the capacitor according to this example is configured such that the distance between the electrode plate 10 and the electrode plate 12 changes according to the force applied to the pen tip 5b, and as a result, the capacitance also changes. Further, in the capacitor according to this example, as understood from a comparison between FIG. 15A and FIG. 15B, the electrode plate 12 moves in the horizontal direction according to the amount of pressing of the button mechanism 14, and as a result, The capacitance is changed as follows.
  • the processing unit 50 according to this example regards the capacitor according to this example as the writing pressure sensor 54 and acquires the writing pressure from the capacitance.
  • the capacitor according to this example is regarded as the grip force sensor 55 and the grip force is acquired from the capacitance. According to this example, it is possible to realize both the grip force sensor 55 and the writing pressure sensor 54 with one capacitor.
  • the grip force sensor 55 and the pen pressure sensor 54 can be used also by a load cell. Since the load cell can individually measure the stress in each of the X direction, the Y direction, and the Z direction, based on the measured individual stress, the writing pressure that is the force in the pen axis direction and the pen axis direction are perpendicular to the pen axis direction. It is possible to individually calculate a grip force that is a strong force.
  • FIG. 16 is a diagram showing the structure of the grip force sensor 55 according to the fourth example.
  • the grip force sensor 55 according to this example has a structure in which the pressure-sensitive sensor 15, the substrate 16, and the dome button 17 are stacked, and is disposed on the side surface of the external housing 5a so that the surface on the dome button 17 side is exposed.
  • the pressure-sensitive sensor 15 is a sensor configured to be able to sense a pressing force on the surface of the external housing 5a
  • the dome button 17 is a button mechanism configured to be turned on and off by a user.
  • FIG. 17 is a process flow diagram illustrating a process performed by the processing unit 50 of the electronic pen 5 when the grip force sensor 55 according to the fourth example is used.
  • FIG. 17A is obtained by adding steps S90 to S95 to the processing flowchart shown in FIG.
  • FIG. 17B is obtained by adding step S96 to the processing flowchart shown in FIG. 4 or FIG.
  • the operation of the electronic pen 5 including the grip force sensor 55 according to the fourth example will be described with reference to FIG.
  • the processing unit 50 first determines whether the dome button 17 is on or off (step S90). As a result, if it is determined to be off, the reset flag C is set to false (step S95), and the tablet input process of step S1 is started.
  • the reset flag C is a flag indicating whether or not it is immediately after the dome button 17 is pressed. If it is immediately after, the determination result in step S91 described later is false.
  • the processing unit 50 that has been determined to be on in step S90 next determines whether the reset flag C is true or false (step S91).
  • the processing unit 50 determined to be true immediately starts the tablet input process in step S1.
  • the processing unit 50 acquires the grip force from the grip force sensor 55 (step S92), and sets the acquired grip force as the initial grip force (step S93).
  • the initial grip force is a variable used to handle the grip force when the dome button 17 is pressed as 0, and is the initial grip force used in the computer 2 (shown in FIG. 10 or FIG. 11). It is unrelated to what is used in the processing flow.
  • the processing unit 50 that has executed Step S93 sets the reset flag C to true (Step S94), and starts the tablet input process of Step S1.
  • the processing unit 50 subtracts the initial grip force from each of the grip force acquired in step S15 of FIG. 4 and the grip force acquired in step S26 of FIG. Is used as the grip force (step S96). That is, not the grip force itself acquired in steps S15 and S26 but pressure information regarding the grip force obtained by subtraction in step S96 is transmitted to the computer 2.
  • the processing unit 50 executes the above processing, the user of the electronic pen 5 according to the present example increases or decreases the grip force based on the grip force at the timing when the dome button 17 is turned on by his / her own intention. It becomes possible to input the pen pressure by grip force.
  • FIG. 18 is a diagram showing the structure of the grip force sensor 55 according to the fifth example.
  • the grip force sensor 55 according to this example is configured by a capacitor having a structure in which the dielectric 19 and the rubber 20 are disposed between the two electrode plates 18 and 21, and is disposed on the side surface of the external housing 5a.
  • the processing unit 50 according to this example is configured to acquire the capacitance of the capacitor that is the grip force sensor 55 as the grip force.
  • the grip force sensor 55 it is possible to detect not only the pressing force but also the force in the pen axis direction as the grip force.
  • FIG. 19 is a diagram showing the structure of the grip force sensor 55 according to the sixth example.
  • the electronic pen 5 according to the present example has a grip member 22 attached to the external housing 5a, and the grip force sensor 55 according to the present example is built in the grip member 22.
  • 19A is a side view of the electronic pen 5 with the grip member 22 attached
  • FIG. 19B is a top view of the electronic pen 5 with the grip member 22 attached
  • FIG. 19C is a grip. The use state of the electronic pen 5 with the member 22 attached is shown.
  • the grip member 22 includes a cylindrical base 22a fitted to the external housing 5a and a finger rest extending in an arch shape from one end of the base 22a. 22b.
  • the user uses the electronic pen 5 with the index finger placed on the finger rest 22b.
  • FIG. 19 shows an example in which the grip member 22 is separate from the external housing 5a, but these may be integrally formed.
  • the grip force sensor 55 is, for example, a strain gauge embedded in the finger rest 22b, and is configured to be able to detect a force (pressing force of the finger rest 22b) embedded in the user's index finger.
  • the processing unit 50 according to this example is configured to acquire the force thus detected as a grip force.
  • the processing unit 50 can detect a user action of shaking the electronic pen 5. If this is combined with detection of the pressing force of the finger rest 22b by the grip force sensor 55, it is also possible to simulate the tap operation of the touch surface.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】現実のタッチ面が存在しない場合であっても、好適に線幅や透明度を制御することを可能にする。 【解決手段】電子ペン５は、外部筐体５ａと、位置を指示するペン先５ｂと、ペン先５ｂに加わる筆圧を検出する筆圧センサ５４と、外部筐体５ａに加わるグリップ力を検出するグリップ力センサ５５と、筆圧センサ５４によって検出された筆圧を送信する平面通信部５１と、グリップ力センサ５５によって検出されたグリップ力を送信する空間通信部５２と、を備える。

Description

位置指示装置及び情報処理装置
　本発明は位置指示装置及び情報処理装置に関し、特に、タッチ面内の位置及び空間内の位置の両方を指示するために用いられるペン型の位置指示装置、及び、そのような位置指示装置と接続される情報処理装置に関する。
　近年、タブレット型のコンピュータと組み合わせて使うペン型の位置指示装置（以下、「電子ペン」という。）が注目されている。この種の電子ペンには、通常、ペン先に加わる圧力（筆圧）を検出する筆圧センサが設けられる。コンピュータは、タッチ面内における電子ペンの位置を検出する際、電子ペンから筆圧値を受信する。そして、検出した位置に応じて線画を描画する際に、受信した筆圧値に応じてその線幅や透明度を制御するように構成される。こうすることで、例えば、ペン先をタッチ面に押し当てる力が強いほど太い線を描く、というように、インクを吐出する従来型のペンに似た書き味を演出することが可能になる。
　また、特許文献１にはタッチ面を必要としないペン型入力装置が開示されている。このペン型入力装置は側面に圧力センサを有しており、ユーザのグリップ力を検出可能に構成される。特許文献１の見解によれば、ペンを持って文字や図形を描画する際には、グリップ力の変化に、描こうとしている文字や図形に応じた特徴が現れる。特許文献１の技術は、この特徴を文字や図形として認識することで、タッチ面内におけるペン先の位置を検出しなくても文字や図形の入力をできるようにしようとするものである。
特開平８－６７１０号公報
　ところで、本願の発明者は、仮想現実（ＶＲ：Virtual Reality、ＡＲ：Augmented Reality、ＭＲ：Mixed Realityを含む)空間内において、上述した電子ペンを用いて仮想平面に字を書いたり絵を描いたりできるようにすることを検討している。この場合、現実のタッチ面が存在しないので、上述した筆圧センサによって筆圧値を検出することができない。筆圧値がないと筆圧値に応じた線幅や透明度の制御ができず、従来型のペンに似た書き味を演出することができなくなるため、好適に線幅や透明度の制御が行える他の方法が必要とされていた。
　したがって、本発明の目的の一つは、現実のタッチ面が存在しない場合であっても好適に線幅や透明度の制御が行える位置指示装置及び情報処理装置を提供することにある。
　本発明による位置指示装置は、筐体と、位置を指示する位置指示部と、前記位置指示部に加わる第１の圧力を検出する第１のセンサと、前記筐体に加わる第２の圧力を検出する第２のセンサと、前記第１のセンサによって検出された前記第１の圧力を送信する第１の通信部と、前記第２のセンサによって検出された前記第２の圧力を送信する第２の通信部と、を備える位置指示装置である。
　なお、本発明による位置指示装置は、平面位置センサの入力面における位置指示を行うための位置指示部を収納する筒状の外部筐体と、空間内における前記位置指示装置の位置を示すための空間位置情報を外部装置とのインタラクションにより検出する空間位置検出部と、前記外部筐体に対する力を検出する圧力センサと、前記空間位置検出部によって検出された前記空間位置情報、前記入力面内における前記位置指示部の位置を示すための平面位置情報、及び、前記圧力センサによって検出された力に関する圧力情報を出力可能に構成された処理部と、を備える位置指示装置であるとしてもよい。
　本発明による情報処理装置は、筐体、位置を指示する位置指示部、及び、前記筐体に加わる力を検出する圧力センサを有する位置指示装置と通信可能な情報処理装置であって、前記圧力センサによって検出された圧力を受信する通信部と、空間内における前記位置指示装置の位置及び前記通信部によって受信した圧力に基づいて、仮想現実空間における３Ｄオブジェクトの生成を制御するコントローラと、を有する情報処理装置である。
　なお、本発明による情報処理装置は、平面位置センサの入力面における位置指示を行う位置指示部を収納する筒状の外部筐体、及び、前記外部筐体の表面に対する力を検出する圧力センサを有する位置指示装置と接続されるコンピュータであって、前記位置指示装置から、空間内における前記位置指示装置の位置を示すための空間位置情報、前記入力面内における前記位置指示部の位置を示すための平面位置情報、及び、前記圧力センサによって検出された力に関する圧力情報を受信可能に構成され、前記空間位置情報及び前記圧力情報を受信した場合に、受信した前記空間位置情報に基づいて前記空間内における前記位置指示装置の位置を示す空間位置を検出し、検出した前記空間位置及び受信した前記圧力情報に基づいて３Ｄ描画を行い、前記平面位置情報及び前記圧力情報を受信した場合に、受信した前記平面位置情報に基づいて前記タッチ面内における前記位置指示部の位置を示す平面位置を検出し、検出した前記平面位置及び受信した前記圧力情報に基づいて２Ｄ描画を行う、コンピュータであるとしてもよい。
　ユーザが仮想平面上に字を書いたり絵を描いたりする際、圧力センサによって検出される力（＝グリップ力）は、現実のタッチ面上に字を書いたり絵を描いたりする際に検出される筆圧との間に一定の相関関係を有する。したがって、圧力センサによって検出される圧力を送信できる本発明による位置指示装置、及び、圧力センサによって検出された圧力に基づいて３Ｄ描画を実行できる本発明による情報処理装置によれば、現実のタッチ面が存在しない場合であっても好適に線幅や透明度を制御することが可能になる。
本発明の第１の実施の形態による空間位置指示システム１の構成を示す図である。 （ａ）は、電子ペン５の外観を示す斜視図であり、図２（ｂ）は、電子ペン５の機能ブロックを示す略ブロック図である。 電子ペン５の処理部５０が行う処理を示す処理フロー図である。 図３に示したタブレット入力処理の詳細を示す処理フロー図である。 図３に示した仮想現実空間入力処理の詳細を示す処理フロー図である。 コンピュータ２の制御部２ａが行う処理を示す処理フロー図である。 図６に示した相関性取得処理（ステップＳ３０）の詳細を示す処理フロー図である。 筆圧とグリップ力の相関性ｆを説明する図である。 （ａ）（ｂ）はそれぞれ、描画領域の具体的な例を示す図である。 図６に示したタブレット描画処理の詳細を示す処理フロー図である。 図６に示した仮想現実空間描画処理の詳細を示す処理フロー図である。 初期グリップ力の意味を説明する図である。 第１の例によるグリップ力センサ５５の構造を示す図である。 第２の例によるグリップ力センサ５５の構造を示す図である。 第３の例によるグリップ力センサ５５の構造を示す図である。 第４の例によるグリップ力センサ５５の構造を示す図である。 第４の例によるグリップ力センサ５５を用いる場合に電子ペン５の処理部５０が行う処理を示す処理フロー図である。 第５の例によるグリップ力センサ５５の構造を示す図である。 第６の例によるグリップ力センサ５５の構造を示す図である。
　以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。
　図１は、本発明の実施の形態による空間位置指示システム１の構成を示す図である。同図に示すように、本実施の形態による空間位置指示システム１は、コンピュータ２と、仮想現実ディスプレイ３と、平面位置センサ４と、電子ペン５と、位置検出用機器７ａ，７ｂと、空間位置センサ８ａ～８ｃとを含んで構成される。空間位置センサ８ａ～８ｃはそれぞれ、平面位置センサ４、仮想現実ディスプレイ３、及び電子ペン５に設けられる。
　図１に示した各装置は、原則として部屋の中に配置される。空間位置指示システム１においては、この部屋のほぼ全体が仮想現実空間として利用され得る。
　コンピュータ２は、制御部２ａとメモリ２ｂとを含む。以下で説明するコンピュータ２が行う各処理は、制御部２ａがメモリ２ｂ内に記憶されるプログラムを読み出して実行することにより実現される。
　コンピュータ２は、仮想現実ディスプレイ３、位置検出用機器７ａ，７ｂ、平面位置センサ４のそれぞれと、有線又は無線により接続される。有線による場合、例えばＵＳＢ(Universal Serial Bus)を用いることが好適である。無線による場合、例えばＷｉ－Ｆｉ（登録商標）などの無線ＬＡＮ、又は、ブルートゥース（登録商標）などの近距離無線通信を用いることが好適である。なお、平面位置センサ４や仮想現実ディスプレイ３がコンピュータとしての機能を内蔵する場合には、そのコンピュータによりコンピュータ２の一部又は全部を構成することとしてもよい。
　コンピュータ２は、仮想現実ディスプレイ３上に仮想現実空間を表示する機能を有して構成される。この仮想現実空間は、ＶＲ(Virtual Reality)空間であってもよいし、ＡＲ(Augmented Reality)空間であってもよいし、ＭＲ(Mixed Reality)空間であってもよい。ＶＲ空間を表示する場合、仮想現実ディスプレイ３を装着したユーザは、仮想現実を認識し、現実世界と切り離される。一方、ＡＲ空間又はＭＲ空間を表示する場合、仮想現実ディスプレイ３を装着したユーザは、仮想現実と現実世界とが混合した空間を認識することになる。
　コンピュータ２は、位置検出用機器７ａ，７ｂの位置を基準として設定された仮想現実空間内において様々な３Ｄオブジェクト（物体）をレンダリングするレンダリング装置として機能するとともに、レンダリングの結果により仮想現実ディスプレイ３の表示を更新するよう構成される。これにより、仮想現実ディスプレイ３上に表示される仮想現実空間内には、様々な３Ｄオブジェクトが現れることになる。コンピュータ２によるレンダリングは、メモリ２ｂ内に記憶される３Ｄオブジェクト情報に基づいて実行される。３Ｄオブジェクト情報は、コンピュータ２により設定された仮想現実空間を示す仮想現実空間における３Ｄオブジェクトの形状、位置、及び向きを示す情報であり、レンダリング対象の３Ｄオブジェクトごとにメモリ２ｂ内に記憶される。
　コンピュータ２によりレンダリングされる３Ｄオブジェクトには、図１に示した平面位置センサ４、電子ペン５のように現実にも存在する３Ｄオブジェクト（以下、「第１の３Ｄオブジェクト」と称する）と、仮想タブレット（図示せず）のような現実には存在しない３Ｄオブジェクト（以下、「第２の３Ｄオブジェクト」と称する）とが含まれる。これらの３Ｄオブジェクトをレンダリングするにあたり、コンピュータ２はまず、現実空間における空間位置センサ８ｂの位置及び向きを検出し、検出結果に基づいて、ユーザの視点を示す視点情報を取得する。
　第１の３Ｄオブジェクトをレンダリングする場合、コンピュータ２はさらに、対応する物体に取り付けられている空間位置センサ（例えば、空間位置センサ８ａ，８ｃ）の現実空間における位置及び向きを検出し、検出結果をメモリ２ｂに格納する。そして、格納した位置及び向きと、上述した視点情報と、第１の３Ｄオブジェクトについて記憶している形状とに基づき、第１の３Ｄオブジェクトを仮想現実空間内にレンダリングする。また、コンピュータ２は、電子ペン５に関して特に、空間位置センサ８ｃの位置を検出することによって仮想現実空間内でユーザが行った操作を検出し、その結果に基づいて第２の３Ｄオブジェクトを新規に作成し（すなわち、メモリ２ｂに３Ｄオブジェクト情報を新規に格納し）、又は、既に保持している第２の３Ｄオブジェクトを移動ないし更新する（すなわち、メモリ２ｂに格納済みの３Ｄオブジェクト情報を更新する）処理を行う。
　一方、第２の３Ｄオブジェクトをレンダリングする場合、コンピュータ２は、メモリ２ｂに格納されている３Ｄオブジェクト情報と、上述した視点情報とに基づき、第２の３Ｄオブジェクトを仮想現実空間内にレンダリングするよう構成される。
　仮想現実ディスプレイ３は、人間の頭部に装着して用いるＶＲディスプレイ（ヘッドマウントディスプレイ）である。一般に市販される仮想現実ディスプレイには、「透過型」又は「非透過型」、「メガネ型」又は「帽子型」など各種のものがあるが、仮想現実ディスプレイ３としては、そのいずれを用いることも可能である。
　仮想現実ディスプレイ３は、空間位置センサ８ａ及び電子ペン５（空間位置センサ８ｃを含む）のそれぞれと有線又は無線により接続される。空間位置センサ８ａ，８ｃは、この接続を通じて、後述する受光レベル情報を仮想現実ディスプレイ３に通知するよう構成される。仮想現実ディスプレイ３は、空間位置センサ８ａ，８ｃのそれぞれから通知された受光レベル情報を、自身に内蔵している空間位置センサ８ｂの受光レベル情報とともにコンピュータ２に通知する。コンピュータ２は、こうして通知された受光レベル情報に基づき、現実空間内における空間位置センサ８ａ～８ｃそれぞれの位置及び向きを検出する。
　平面位置センサ４は、入力面４ａと、この入力面４ａの全体をカバーするように配置された複数の電極（図示せず）とを有する装置である。入力面４ａは平らな表面であることが好ましく、電子ペン５のペン先を滑らせるのに適した材料によって構成され得る。複数の電極は、電子ペン５が送信したペン信号（後述）を検出する役割を果たす。各電極によって検出されたペン信号はコンピュータ２に供給され、コンピュータ２は、供給されたペン信号に基づいて、入力面４ａ内における電子ペン５の指示位置や、電子ペン５が送信した各種データの取得を行う。平面位置センサ４は、例えばディスプレイ機能及びプロセッサを有するタブレット端末に内蔵されるものであってよく、この場合、タブレット端末のプロセッサによりコンピュータ２の一部又は全部を構成することが可能である。
　空間位置センサ８ａは、平面位置センサ４の表面に固定設置される。したがって、コンピュータ２によって検出される空間位置センサ８ａの位置及び向きは、仮想現実空間座標系における入力面４ａの位置及び向きを示している。
　電子ペン５は、ペン型の形状を有する位置指示装置であり、平面位置センサ４への入力装置としての機能（以下、「タブレット入力機能」と称する）と、コンピュータ２への入力装置としての機能（以下、「仮想現実空間入力機能」と称する）とを有して構成される。タブレット入力機能には、平面位置センサ４の入力面４ａ内の位置を指示する機能が含まれる。一方、仮想現実空間入力機能には、仮想現実空間内の位置を指示する機能が含まれる。各機能の詳細については、別途後述する。
　位置検出用機器７ａ，７ｂは、空間位置センサ８ａ～８ｃの位置を検出するための位置検出システムを構成する基地局装置であり、それぞれ、コンピュータ２による制御に従って方向を変えながらレーザー信号を射出可能に構成される。空間位置センサ８ａ～８ｃは、それぞれ複数の受光センサによって構成されており、位置検出用機器７ａ，７ｂのそれぞれが照射したレーザー信号を各受光センサによって受光し、それぞれの受光レベルを含む受光レベル情報を取得するよう構成される。こうして取得された受光レベル情報は、上述したように、仮想現実ディスプレイ３を介してコンピュータ２に供給される。なお、本実施の形態では、位置検出用機器７ａ，７ｂはレーザ信号を射出可能な構成としたが、この構成に限定されない。例えば、その他の非可視光センサ、可視光線センサ又はこれらの組み合わせを用いた構成としてもよい。
　図２（ａ）は、電子ペン５の外観を示す斜視図である。同図に示すように、電子ペン５は、平面位置センサ４の入力面４ａにおける位置指示を行うためのペン先５ｂ（位置指示部）を収納する筒状の外部筐体５ａを有して構成される。なお、実際の電子ペン５の表面には、後述するグリップ力センサ５５や各種スイッチを構成する各種部材が取り付けられるが、図２（ａ）では描画を省略している。
　タブレット入力機能による入力を行う場合、ユーザは、片方の手によって外部筐体５ａを把持し、ペン先５ｂを平面位置センサ４の入力面４ａに当接させる。そして、当接状態を保ちながら入力面４ａ上でペン先５ｂを移動させることによって、電子ペン５による入力操作を行う。一方、仮想現実空間入力機能による入力を行う場合、ユーザは、片方の手によって外部筐体５ａを把持し、空中で電子ペン５を移動させることによって、電子ペン５による入力操作を行う。仮想現実空間入力機能による入力には、上述した仮想タブレットへの入力が含まれる。
　図２（ｂ）は、電子ペン５の機能ブロックを示す略ブロック図である。同図に示すように、電子ペン５は、処理部５０、平面通信部５１、空間通信部５２、空間位置検出部５３、筆圧センサ５４、グリップ力センサ５５（圧力センサ）、及び力覚発生部５６を有して構成される。なお、電子ペン５は筆圧センサ５４及びグリップ力センサ５５の一方のみを有することとしてもよいので、以下では、そのような場合も含めて説明する。
　処理部５０は、電子ペン５内の他の各部と接続され、これらを制御するとともに、後述する各種の処理を行うプロセッサにより構成される。処理部５０は、図示しない内部メモリに記憶されるプログラムを読み出して実行することにより、電子ペン５内の他の各部の制御及び後述する各種の処理を実行する。
　平面通信部５１は、処理部５０の制御に従い、コンピュータ２との間で平面位置センサ４を介して信号の送受信を行う機能部である。この送受信では、平面位置センサ４の入力面４ａ内に配置される複数の電極と、電子ペン５のペン先５ｂの近傍に設けられるペン先電極（図示せず）とがアンテナとして利用される。また、この送受信には、電子ペン５から平面位置センサ４に対して一方的に信号を送信する場合と、電子ペン５と平面位置センサ４の間で双方向に信号の送受信を行う場合とが含まれるが、以下では、後者を前提として説明を続け、平面位置センサ４から電子ペン５に向けて送信される信号を「ビーコン信号」、電子ペン５から平面位置センサ４に向けて送信される信号を「ペン信号」と称することとする。この場合の信号送受信の具体的な方式としては、例えば電磁誘導方式又はアクティブ静電方式が用いられ得る。
　ビーコン信号は、コンピュータ２が例えば所定の時間間隔で送信する信号であり、コンピュータ２から電子ペン５を制御するためのコマンドを含む。ペン信号には、無変調の搬送波であるバースト信号（入力面４ａ内におけるペン先５ｂの位置を示すための平面位置情報）と、コマンドによって送信を要求されたデータによって搬送波を変調することにより得られるデータ信号とが含まれる。
　空間通信部５２は、処理部５０の制御に従い、仮想現実ディスプレイ３を介してコンピュータ２との間で信号の送受信を行う機能を有する。この信号の送受信は、上述したように、有線又は無線によって実現される。空間通信部５２とコンピュータ２との間での信号の送受信には、平面位置センサ４は介在しない。
　空間位置検出部５３は、図１に示した空間位置センサ８ｃによって構成される機能部であり、外部装置（具体的には、位置検出用機器７ａ，７ｂ）とのインタラクションにより、上述した受光レベル情報（空間内における電子ペン５の位置を示すための空間位置情報）を検出する役割を果たす。具体的には、位置検出用機器７ａ，７ｂが送信しているレーザー信号の検出動作を周期的又は連続的に行い、検出したレーザー信号に応じた受光レベル情報を生成し、その都度、処理部５０に供給する処理を行う。
　筆圧センサ５４は、ペン先５ｂに加わる力（筆圧）を検出可能に構成されたセンサであり、例えば、筆圧によって容量値が変化する容量センサ（図示せず）によって構成される。処理部５０は、筆圧センサ５４によって検出されている筆圧を取得し、取得した筆圧に関する筆圧情報を生成する機能を有する。筆圧情報は、例えば、アナログ情報である筆圧にアナログデジタル変換を施すことによって得られるデジタル値である。
　グリップ力センサ５５は、電子ペン５の外部筐体５ａの表面に対する力（＝グリップ力）を検出可能に構成されたセンサである。グリップ力センサ５５の具体的な構成については、後ほど図面を参照しながら詳しく説明する。処理部５０は、グリップ力センサ５５によって検出されているグリップ力を取得し、取得したグリップ力に関する圧力情報を生成する機能を有する。圧力情報は、例えば、アナログ情報であるグリップ力にアナログデジタル変換を施すことによって得られるデジタル値である。
　力覚発生部５６は、コンピュータ２から供給される制御信号に応じて力覚を発生する機能を有する。ここでいう力覚は、例えば外部筐体５ａの振動である。コンピュータ２は、例えばペン先５ｂが仮想タブレットの表面に接触している場合（より正確には、仮想タブレットの表面から所定の距離内にペン先５ｂが存在している場合）に、上記制御信号を空間通信部５２を介して電子ペン５に供給することによって、力覚発生部５６に力覚を発生させる。これによりユーザは、現実には存在しない仮想タブレットの表面にペン先５ｂが衝突した感覚を得ることができる。
　タブレット入力機能による入力を行う場合、処理部５０はまず、平面通信部５１を介して、コンピュータ２が送信するビーコン信号の検出動作を行う。その結果、ビーコン信号が検出された場合、処理部５０は、ビーコン信号への応答として、上述したバースト信号及びデータ信号を順次平面通信部５１に出力する。こうして出力されるデータ信号には、上述した筆圧情報又は圧力情報が含まれ得る。平面通信部５１は、こうして入力されたバースト信号及びデータ信号を、平面位置センサ４を介してコンピュータ２に対して送信するよう構成される。
　コンピュータ２は、平面位置センサ４を介してバースト信号を受信すると、入力面４ａ内に配置される複数の電極のそれぞれにおけるバースト信号の受信強度に基づき、入力面４ａ内におけるペン先５ｂの位置を示す平面位置を検出する。また、入力面４ａ内に配置される複数の電極のうち、検出した平面位置に最も近い電極を用いてデータ信号を受信することにより、電子ペン５が送信したデータを取得する。そしてコンピュータ２は、検出した平面位置及び受信したデータに基づいて２Ｄ描画を行う。２Ｄ描画の詳細については、後述する。タブレット入力機能は、こうして実現される。
　一方、仮想現実空間入力機能による入力を行う場合、処理部５０は、空間位置検出部５３から供給された受光レベル情報を、逐次、空間通信部５２に対して出力するよう構成される。また、処理部５０は、受光レベル情報の出力に併せて、上述したようにして生成した筆圧情報又は圧力情報も空間通信部５２に対して出力するよう構成される。空間通信部５２は、こうして入力された各情報を、コンピュータ２に対して送信するよう構成される。
　コンピュータ２は、空間通信部５２から上記各情報を受信すると、受信した受光レベル情報に基づき、空間内における電子ペン５の位置を示す空間位置を検出する。この場合において、電子ペン５の形状及び空間位置検出部５３とペン先５ｂの相対的位置関係を示す情報を予めコンピュータ２に記憶させておき、コンピュータ２は、受光レベル情報から直接的に求められる位置をこの情報に基づいてペン先５ｂの位置に変換し、変換によって得た位置を空間位置として検出することとしてもよい。コンピュータ２は、検出した空間位置及び受信した筆圧情報又は圧力情報に基づいて３Ｄ描画を行う。３Ｄ描画の詳細についても、後述する。仮想現実空間入力機能は、こうして実現される。
　図３は、電子ペン５の処理部５０が行う処理を示す処理フロー図である。また、図４は、図３に示したタブレット入力処理（ステップＳ１）の詳細を示す処理フロー図であり、図５は、図３に示した仮想現実空間入力処理（ステップＳ２）の詳細を示す処理フロー図である。以下、これら図３～図５を参照しながら、電子ペン５の動作について詳しく説明する。
　まず図３に示すように、処理部５０は、タブレット入力処理（ステップＳ１）と、仮想現実空間入力処理（ステップＳ２）とを時分割で行う。
　次に図４を参照すると、タブレット入力処理を行う処理部５０は、まず、平面通信部５１によるビーコン信号の検出動作を実施する（ステップＳ１０，Ｓ１１）。この検出動作において平面通信部５１は、上述したペン先電極に到来する信号を復調することによって、ビーコン信号の検出を試みる。その結果、ビーコン信号が検出されない場合には、タブレット入力処理を終了する。一方、ビーコン信号が検出された場合、処理部５０は、平面通信部５１に対してバースト信号を出力することにより、平面通信部５１にバースト信号を送信させる（ステップＳ１２）。
　この後の処理は、電子ペン５が筆圧センサ５４を有する場合と筆圧センサ５４を有しない場合とで異なる。前者の場合、処理部５０は、筆圧センサ５４の出力から筆圧を取得し（ステップＳ１３）、取得した筆圧に関する筆圧情報を含むデータ信号を平面通信部５１により送信する（ステップＳ１４）。一方、後者の場合、処理部５０は、グリップ力センサ５５の出力からグリップ力を取得し（ステップＳ１５）、取得したグリップ力に関する圧力情報を含むデータ信号を平面通信部５１により送信する（ステップＳ１６）。ステップＳ１４又はステップＳ１６における送信の後、処理部５０はタブレット入力処理を終了し、図３から理解されるように、次の仮想現実空間入力処理（ステップＳ２）を開始する。
　次に図５を参照すると、仮想現実空間入力処理を行う処理部５０は、まず、空間位置検出部５３によるレーザー信号の検出動作を実施する（ステップＳ２０，Ｓ２１）。その結果、レーザー信号が検出されない場合には、仮想現実空間入力処理を終了する。一方、レーザー信号が検出された場合、処理部５０は、レーザー信号に応じた受光レベル情報を空間位置検出部５３から取得し、空間通信部５２に送信させる（ステップＳ２２）。
　この後の処理は、電子ペン５が筆圧センサ５４を有する場合と筆圧センサ５４を有しない場合とで異なる。後者の場合、処理部５０は、グリップ力センサ５５の出力からグリップ力を取得し（ステップＳ２６）、取得したグリップ力に関する圧力情報を空間通信部５２により送信する（ステップＳ２７）。一方、前者の場合、処理部５０は、筆圧センサ５４の出力から筆圧を取得し（ステップＳ２３）、取得した筆圧が所定値を上回っているか否かを判定する（ステップＳ２４）。この判定は、ペン先５ｂが現実の表面に当接しているか否かの判定であり、当接していない場合には筆圧を使用しないようにするために行われる。なお、ここでいう現実の表面には、単なる板などの表面が相当する。これによれば、例えば仮想タブレットの表示位置に合わせて現実の板を配置しておくことにより、仮想タブレットに関しても、筆圧センサ５４を使用することが可能になる。
　ステップＳ２４で上回っていると判定した場合、処理部５０は、取得した筆圧に関する筆圧情報を空間通信部５２により送信する（ステップＳ２５）。一方、ステップＳ２４で上回っていないと判定した場合、処理部５０は、ステップＳ２６に処理を移し、圧力情報の送信を実行する（ステップＳ２６，Ｓ２７）。ステップＳ２５又はステップＳ２７における送信の後、処理部５０は仮想現実空間入力処理を終了し、図３から理解されるように、次のタブレット入力処理（ステップＳ１）を開始する。
　図６は、コンピュータ２の制御部２ａが行う処理を示す処理フロー図である。また、図７は、図６に示した相関性取得処理（ステップＳ３０）の詳細を示す処理フロー図であり、図１０は、図６に示したタブレット描画処理（ステップＳ３５）の詳細を示す処理フロー図であり、図１１は、図６に示した仮想現実空間描画処理（ステップＳ４１）の詳細を示す処理フロー図である。以下、これらの図を参照しながら、コンピュータ２の動作について詳しく説明する。
　図６に示すように、制御部２ａは、まず初めに相関性取得処理を実行する（ステップＳ３０）。
　相関性取得処理は、筆圧センサ５４によって検出される筆圧と、グリップ力センサ５５によって検出されるグリップ力との相関性ｆを取得する処理である。この処理において制御部２ａは、図７に示すように、まず初めに所定回数にわたり、筆圧センサ５４による筆圧の検出動作と、グリップ力センサ５５によるグリップ力の検出動作とを電子ペン５に同時に実行させ、その都度、筆圧情報及び圧力情報を電子ペン５から受信する（ステップＳ５０～Ｓ５２）。
　所定回数の繰り返しの後、制御部２ａは、得られた筆圧とグリップ力の複数の組み合わせに基づいて筆圧とグリップ力の相関性ｆを取得し（ステップＳ５３）、相関性取得処理を終了する。こうして取得される相関性ｆは、例えば筆圧とグリップ力の間の相関を表す相関関数であり、一例では筆圧＝ｆ（グリップ力）の形式で表される。以下、このような相関性ｆを用いることを前提に説明を続ける。
　図８（ａ）（ｂ）は、筆圧とグリップ力の相関性ｆを説明する図である。同図において、Ｐは筆圧、Ｇはグリップ力、Ｆはユーザの手と電子ペン５の表面の間の摩擦力を示している。
　初めに図８（ａ）を参照すると、ユーザが入力面４ａに対して垂直に電子ペン５を把持しながら線を書こうとするとき、Ｐ≒Ｆが成り立つ。また、グリップ力Ｇと摩擦力Ｆとの間には、Ｆ≒μＧの関係が成り立つ。ただし、μは、ユーザの手と電子ペン５の表面の間の摩擦係数である。したがって、Ｐ≒μＧが成り立つ。
　次に図８（ｂ）を参照すると、ユーザが入力面４ａの法線方向に対し角度θだけ傾けて電子ペン５を把持しながら線を書こうとするとき、Ｆ≒Ｐ'＝Ｐｃｏｓθが成り立つ。ただし、Ｐ'は、筆圧Ｐのペン軸方向の分力である。したがって、上述したＦ≒μＧの関係から、この場合にはＰｃｏｓθ＝μＧが成り立つ。
　このＰｃｏｓθ＝μＧという関係は、図８（ａ）に示した場合も包含している。したがって、ｆ（Ｇ）＝μＧ／ｃｏｓθとすれば、相関性ｆを普遍的に表現することが可能になる。ただし、この中に現れる摩擦係数μ及び角度θはユーザによって異なり得る量であることから、結局、ユーザごとに筆圧＝ｆ（グリップ力）を求める必要がある。したがって、図７を参照して説明したような相関性取得処理を実行する必要があることになる。
　図６に戻る。相関性取得処理を終了した制御部２ａは、続いて、仮想現実空間内に描画領域を設定する（ステップＳ３１）。描画領域は、電子ペン５による３Ｄ描画が実行される領域である。
　図９（ａ）（ｂ）はそれぞれ、描画領域の具体的な例を示す図である。図９（ａ）には、仮想タブレットＢの表示面から所定距離内の領域を描画領域Ａとして設定する例を示している。この例による描画領域Ａは、仮想タブレットＢへの入力を可能とする領域である。検出された空間位置がこの種の描画領域Ａ内にある場合、制御部２ａは、後述するステップＳ３５に示す仮想現実空間描画処理の中で、検出された空間位置を仮想タブレットＢの表示面上に射影してなる空間位置に置き換えたうえで３Ｄ描画を実行する。これによりユーザは、仮想タブレットＢの表示面に平面図形を描画することが可能になる。なお、上記所定距離は０より大きい値とすることが好ましい。これは、ユーザが電子ペン５によって仮想タブレットＢの表示面に入力を行おうとする場合に、物理的に存在しているわけではない表示面に電子ペン５を接触させ続けることが困難であることによる。
　図９（ｂ）は、任意の３次元空間を描画領域Ａとして設定する例を示している。制御部２ａは、検出された空間位置がこの描画領域Ａ内にある場合、図９（ａ）の例のような置き換えは行わずに３Ｄ描画を実行する。これによりユーザは、描画領域Ａ内に立体図形を描画することが可能になる。
　図６に戻る。続いて制御部２ａは、受光レベル情報及びバースト信号の検出動作を実施する（ステップＳ３２）。この処理は、具体的には、電子ペン５から有線又は無線により受光レベル情報を受信する処理と、電子ペン５から平面位置センサ４を介してバースト信号を受信する処理とを含む。制御部２ａは、ステップＳ３２を実施した結果、バースト信号を検出した場合（ステップＳ３３の肯定判定）にはステップＳ３４に処理を進め、バースト信号を検出しなかった場合（ステップＳ３３の否定判定）にはステップＳ３６に処理を進める。
　ステップＳ３４に処理を進めた制御部２ａは、検出したバースト信号に基づいて上述した平面位置（入力面４ａ内におけるペン先５ｂの位置）を検出した後（ステップＳ３４）、例えば平面位置センサ４を含むタブレット端末のディスプレイ上に２Ｄ描画を行うためのタブレット描画処理を実行する（ステップＳ３５）。
　タブレット描画処理において制御部２ａは、図１０に示すように、まず電子ペン５が平面位置センサ４を介して送信するデータ信号の検出動作を行う（ステップＳ６０）。そして、データ信号の中に筆圧情報及び圧力情報のいずれが含まれているかを判定する（ステップＳ６１）。
　ステップＳ６１で筆圧情報が含まれていると判定した場合、制御部２ａは、筆圧情報により示される筆圧が所定の通常ＯＮ荷重（例えば、０）以下であるか否かをさらに判定する（ステップＳ６８）。その結果、通常ＯＮ荷重以下であると判定した場合には、２Ｄ描画を行わずに処理を終了する。これは、電子ペン５のペン先５ｂが入力面４ａに接していないと考えられる場合（いわゆる、ホバー状態）の処理である。一方、ステップＳ６８において通常ＯＮ荷重より大きいと判定した場合には、制御部２ａは、ステップＳ３４で検出した平面位置と、筆圧情報により示される筆圧とに基づいて、例えば平面位置センサ４であるタブレット端末のディスプレイ上に２Ｄ描画を行う（ステップＳ６９）。
　ここで、ステップＳ６９で実施される２Ｄ描画について具体的に説明すると、２Ｄ描画には、レンダリング処理と表示処理とが含まれる。レンダリング処理において制御部２ａは、順次検出される一連の平面位置のそれぞれに、対応する筆圧に応じた半径を有する円を配置する。そして、各円の円周を滑らかに繋いでいくことにより、筆圧に応じた幅を有する２次元の曲線データ（インクデータ）を生成する。表示処理は、こうして生成された曲線データを、例えば平面位置センサ４であるタブレット端末のディスプレイに表示する処理である。
　ステップＳ６１で圧力情報が含まれていると判定した場合、制御部２ａは、圧力情報により示されるグリップ力を筆圧に変換するための処理を実行する（ステップＳ６２～Ｓ６７）。具体的に説明すると、制御部２ａはまず、リセットフラグＡが真及び偽のいずれであるかを判定する（ステップＳ６２）。リセットフラグＡは、バースト信号が平面位置センサ４に届く範囲に電子ペン５が入ってきた直後か否かを示すフラグであり、直後である場合には、ステップＳ６２の判定結果が偽となる。
　ステップＳ６２で偽と判定した制御部２ａはさらに、圧力情報により示されるグリップ力が所定値以上であるか否かを判定する（ステップＳ６３）。そして、所定値未満であると判定した場合には、圧力情報により示されるグリップ力を初期グリップ力に設定し（ステップＳ６４）、所定値以上であると判定した場合には、その所定値を初期グリップ力に設定する（ステップＳ６５）。なお、初期グリップ力は、バースト信号が平面位置センサ４に届く範囲に電子ペン５が入ってきたとき（ペンダウン時）のグリップ力を０として取り扱うために使用される変数である。また、ステップＳ６５は初期グリップ力の上限を定めるもので、例えば線幅を太くするために必要なグリップ力が大きくなりすぎてユーザが十分な筆圧を出せなくなることを防止するために用いられる。
　図１２は、初期グリップ力の意味を説明する図である。同図には、外部筐体５ａの表面に対する力を横軸とし、グリップ力センサ５５により検出されたグリップ力を縦軸とするグラフを示している。制御部２ａは、グリップ力センサ５５により検出されたグリップ力そのものではなく、そのグリップ力から初期グリップ力を減じてなる値をグリップ力として使用するよう構成される。こうすることによりユーザは、ペンダウン時のグリップ力を基準にグリップ力を増減することで、グリップ力による筆圧の入力を行うことが可能になる。
　図１０に戻る。ステップＳ６４又はステップＳ６５を実行した場合、制御部２ａは、リセットフラグＡに真を設定した後（ステップＳ６６）、相関性ｆを用いてグリップ力を筆圧に変換する処理を行う（ステップＳ６７）。このステップＳ６７は、ステップＳ６２で真と判定した場合にも実行される。ステップＳ６７において制御部２ａは、圧力情報により示されるグリップ力から初期グリップ力を減じてなる値をグリップ力として相関性ｆに代入する。これによりユーザは、図１２を参照して説明したように、ペンダウン時のグリップ力を基準にグリップ力を増減することで、グリップ力による筆圧の入力を行うことが可能になる。
　ステップＳ６７で筆圧を得た制御部２ａは、この筆圧を用いて、ステップＳ６８，Ｓ６９を実行する。これにより、データ信号に筆圧情報が含まれていた場合と同様の２Ｄ描画が実現される。
　ステップＳ６９を実行した制御部２ａは、タブレット描画処理を終了する。そして、図６のステップＳ３２に戻り、次の受光レベル情報及びバースト信号の検出動作を実行する。
　図６のステップＳ３６に処理を進めた制御部２ａは、まず、リセットフラグＡに偽を設定する（ステップＳ３６）。これにより、バースト信号が平面位置センサ４に届く範囲から電子ペン５が離脱した場合に、リセットフラグＡを偽に戻すことが可能になる。
　続いて制御部２ａは、ステップＳ３２の検出動作により受光レベル情報を検出したか否かを判定する（ステップＳ３７）。そして、検出したと判定した場合、制御部２ａは、検出した受光レベル情報に基づいて、上述した空間位置（空間内における電子ペン５（又は、そのペン先５ｂ）の位置）を検出する（ステップＳ３８）。続いて制御部２ａは、検出した空間位置がステップＳ３１で設定した描画領域内の位置であるか否かを判定する（ステップＳ３９）。
　ステップＳ３９で描画領域内の位置であると判定した制御部２ａは、仮想現実空間内に３Ｄ描画を行うための仮想現実空間描画処理を実行する（ステップＳ４１）。ここで、図６に破線で示すように、ステップＳ３９とステップＳ４１の間に、検出された空間位置を仮想タブレットの表示面上に射影してなる空間位置に置き換える処理を挿入してもよい（ステップＳ４０）。このステップＳ４０は、検出した空間位置を含む描画領域が図９（ａ）に示したように仮想タブレットＢの表示面上に設定される領域である場合にのみ実行され得る処理である。これによりユーザは、上述したように、仮想タブレットの表示面に平面図形を描画することが可能になる。
　仮想現実空間描画処理において制御部２ａは、図１１に示すように、まず筆圧情報又は圧力情報の受信動作を実施する（ステップＳ７０）。そして、筆圧情報及び圧力情報のいずれが受信されたかを判定する（ステップＳ７１）。
　ステップＳ７１で筆圧情報が受信されたと判定した場合、制御部２ａは、筆圧情報により示される筆圧が所定の通常ＯＮ荷重（例えば、０）以下であるか否かをさらに判定する（ステップＳ８０）。その結果、通常ＯＮ荷重以下であると判定した場合には、３Ｄ描画を行わずに処理を終了する。これは、電子ペン５のペン先５ｂが上述した現実の板（例えば、仮想タブレットの表示位置に合わせて配置されるもの）に接していないと考えられる場合の処理である。一方、ステップＳ８０において通常ＯＮ荷重より大きいと判定した場合には、制御部２ａは、ステップＳ３８で検出した空間位置（又は、ステップＳ４０で取得した空間位置）と、筆圧情報により示される筆圧とに基づいて、仮想現実空間内に３Ｄ描画を行う（ステップＳ８１）。
　２Ｄ描画の場合と同様、ステップＳ７９で実施される３Ｄ描画にも、レンダリング処理と表示処理とが含まれる。レンダリング処理において制御部２ａは、順次検出される一連の空間位置のそれぞれに、対応する筆圧に応じた半径を有する球を配置する。そして、各球の表面を滑らかに繋いでいくことにより、筆圧に応じた断面径を有する３次元の曲線データを生成する。表示処理は、こうして生成された曲線データを、仮想現実空間内に表示する処理である。ただし、ステップＳ４０を実行することにより空間位置を仮想タブレットの表示面内の位置に固定する場合には、３Ｄ描画に代え、表示面内における２Ｄ描画を行うこととしてもよい。
　ステップＳ７１で圧力情報が受信されたと判定した場合、制御部２ａは、圧力情報により示されるグリップ力を筆圧に変換するための処理を実行する（ステップＳ７２～Ｓ７７）。この処理の詳細は、図１０に示したステップＳ６２～Ｓ６７の処理と同様であり、ステップＳ７７において、変換結果としての筆圧が取得される。ただし、ステップＳ７２～Ｓ７７においては、リセットフラグＡに代え、リセットフラグＢが用いられる。リセットフラグＢは、描画領域内に電子ペン５が入ってきた直後か否かを示すフラグであり、直後である場合には、ステップＳ７２の判定結果が偽となる。
　ステップＳ７７で筆圧を得た制御部２ａは、この筆圧を用いて、ステップＳ７８，Ｓ７９を実行する。ステップＳ７８，Ｓ７９は、通常ＯＮ荷重に代え、通常ＯＮ荷重とは異なる値、好適には通常ＯＮ荷重よりも大きな値に設定される空間ＯＮ荷重を用いる（すなわち、ステップＳ７８において、圧力情報により示される筆圧が所定の空間ＯＮ荷重（＞通常ＯＮ荷重）以下であるか否かを判定する）ことの他は、ステップＳ８０，Ｓ８１と同じ処理である。これにより、筆圧情報が受信された場合と同様の３Ｄ描画が実現される。
　ステップＳ７８において通常ＯＮ荷重ではなく空間ＯＮ荷重を用いるのは、空中に浮かせた状態で電子ペン５を操作する場合、入力面４ａなどの固定面に当接させた状態で操作する場合に比べ、電子ペン５の自重を支えるために必要な分だけグリップ力が大きくなることに対応するものである。ステップＳ７８において通常ＯＮ荷重より大きな空間ＯＮ荷重を用いることにより、このようなグリップ力の増加があるにもかかわらず、適切に３Ｄ描画を行うことが可能になる。
　ステップＳ７９を実行した制御部２ａは、仮想現実空間描画処理を終了する。そして、図６のステップＳ３２に戻り、次の受光レベル情報及びバースト信号の検出動作を実行する。また、制御部２ａは、図６のステップＳ３７で受光レベル情報を検出していないと判定した場合、及び、図６のステップＳ３９で描画領域内の位置でないと判定した場合、リセットフラグＢに偽を設定した後（ステップＳ４２）、ステップＳ３２に戻り、次の受光レベル情報及びバースト信号の検出動作を実行する。ステップＳ４２を実行することにより、描画領域内から電子ペン５が離脱した場合（仮想現実空間内から電子ペン５が離脱した場合を含む）に、リセットフラグＢを偽に戻すことが可能になる。
　以上説明したように、本実施の形態によれば、グリップ力に関する圧力情報を出力できるように電子ペン５を構成し、グリップ力に関する圧力情報に基づいて３Ｄ描画及び２Ｄ描画を実行できるようにコンピュータ２を構成したので、現実のタッチ面が存在しない場合であっても、好適に線幅や透明度を制御することが可能になる。
　以下、グリップ力センサ５５の具体的な構成について、図面を参照しながら詳しく説明する。
　図１３は、第１の例によるグリップ力センサ５５の構造を示す図である。本例によるグリップ力センサ５５は、例えば感圧方式により押圧力を感知可能に構成されたタッチセンサによって構成され、外部筐体５ａの側面に配置される。この場合の処理部５０は、グリップ力センサ５５によって検出された押圧力をグリップ力として取得する。
　図１４は、第２の例によるグリップ力センサ５５の構造を示す図である。本例によるグリップ力センサ５５は、段階的又は連続的に押下量を検出可能に構成されたボタン機構によって構成され、外部筐体５ａの側面に配置される。この場合の処理部５０は、グリップ力センサ５５によって検出された押下量をグリップ力として取得する。ボタン機構の具体的な例としては、アクチュエータ、ホール素子、ストレインゲージなどが挙げられる。
　図１５は、第３の例によるグリップ力センサ５５の構造を示す図である。本例によるグリップ力センサ５５は筆圧センサ５４を兼ねており、２枚の電極板１０，１２の間に誘電体１１が配置された構造を有するキャパシタにより構成される。電極板１０は、一端がペン先５ｂを構成する芯体１３の他端に接続される。また、電極板１２は、外部筐体５ａの側面に配置されたボタン機構１４に接続される。
　本例によるキャパシタは、ペン先５ｂに加わる力に応じて電極板１０と電極板１２の間の距離が変化し、その結果として静電容量も変化するように構成される。また、本例によるキャパシタは、図１５（ａ）と図１５（ｂ）とを比較すると理解されるように、ボタン機構１４の押下量に応じて電極板１２が横方向に移動し、その結果として静電容量が変化するように構成される。本例による処理部５０は、図４に示したタブレット入力処理においては、本例によるキャパシタを筆圧センサ５４とみなし、その静電容量から筆圧を取得する。一方、図５に示した仮想現実空間入力処理においては、本例によるキャパシタをグリップ力センサ５５とみなし、その静電容量からグリップ力を取得する。本例によれば、１つのキャパシタにより、グリップ力センサ５５と筆圧センサ５４の両方を実現することが可能になる。
　なお、図１５ではキャパシタを用いる例を説明したが、ロードセルによってもグリップ力センサ５５と筆圧センサ５４とを兼ねることができる。ロードセルは、Ｘ方向，Ｙ方向，Ｚ方向のそれぞれについて個別に応力を測定することができるので、測定した個々の応力に基づいて、ペン軸方向の力である筆圧と、ペン軸方向に垂直な力であるグリップ力とを個別に算出することができる。
　図１６は、第４の例によるグリップ力センサ５５の構造を示す図である。本例によるグリップ力センサ５５は、感圧センサ１５、基板１６、ドームボタン１７が積層されてなる構造を有し、ドームボタン１７側の表面が露出するように外部筐体５ａの側面に配置される。感圧センサ１５は、外部筐体５ａの表面に対する押圧力を感知可能に構成されたセンサであり、ドームボタン１７は、ユーザによってオンオフ可能に構成されたボタン機構である。
　図１７は、第４の例によるグリップ力センサ５５を用いる場合に電子ペン５の処理部５０が行う処理を示す処理フロー図である。図１７（ａ）は、図３に示した処理フロー図にステップＳ９０～Ｓ９５を追加したものとなっている。また、図１７（ｂ）は、図４又は図５に示した処理フロー図にステップＳ９６を追加したものとなっている。以下、この図１７を参照しながら、第４の例によるグリップ力センサ５５を備える電子ペン５の動作について説明する。
　まず図１７（ａ）に示すように、処理部５０は、まずドームボタン１７がオンであるかオフであるかを判定する（ステップＳ９０）。その結果、オフであると判定した場合には、リセットフラグＣに偽を設定し（ステップＳ９５）、ステップＳ１のタブレット入力処理を開始する。リセットフラグＣは、ドームボタン１７が押された直後であるか否かを示すフラグであり、直後である場合には、後述するステップＳ９１の判定結果が偽となる。
　ステップＳ９０でオンであると判定した処理部５０は次に、リセットフラグＣが真及び偽のいずれであるかを判定する（ステップＳ９１）。ここで真と判定した処理部５０は、直ちにステップＳ１のタブレット入力処理を開始する。一方、偽と判定した場合には、処理部５０は、グリップ力センサ５５からグリップ力を取得し（ステップＳ９２）、取得したグリップ力を初期グリップ力に設定する（ステップＳ９３）。ここでの初期グリップ力は、ドームボタン１７が押下されたときのグリップ力を０として取り扱うために使用する変数であり、コンピュータ２内で使用される初期グリップ力（図１０又は図１１に示した処理フロー中で使用されるもの）とは無関係である。ステップＳ９３を実行した処理部５０は、リセットフラグＣに真を設定し（ステップＳ９４）、ステップＳ１のタブレット入力処理を開始する。
　次に図１７（ｂ）に示すように、処理部５０は、図４のステップＳ１５で取得したグリップ力、及び、図５のステップＳ２６で取得したグリップ力のそれぞれから初期グリップ力を減算したものをグリップ力として使用する（ステップＳ９６）。すなわち、ステップＳ１５，Ｓ２６で取得されるグリップ力そのものではなく、ステップＳ９６の減算により得られたグリップ力に関する圧力情報をコンピュータ２に対して送信する。
　処理部５０が以上のような処理を実行することにより、本例による電子ペン５のユーザは、自らの意思でドームボタン１７をオンしたタイミングのグリップ力を基準にグリップ力を増減することで、グリップ力による筆圧の入力を行うことが可能になる。
　図１８は、第５の例によるグリップ力センサ５５の構造を示す図である。本例によるグリップ力センサ５５は、２枚の電極板１８，２１の間に誘電体１９及びラバー２０が配置された構造を有するキャパシタにより構成され、外部筐体５ａの側面に配置される。本例による処理部５０は、グリップ力センサ５５であるキャパシタの静電容量をグリップ力として取得するよう構成される。
　本例によるキャパシタは、外側に位置する電極板２１をユーザが押下した場合に、その押圧力に応じてラバー２０がつぶれ、その分、電極板１８と電極板２１の間の距離が短くなり、その結果として静電容量が大きくなることに加え、外側に位置する電極板２１にユーザがペン軸方向の力を加えた場合にも、ラバー２０の変形によって電極板２１が図１８（ｂ）に示すようにペン軸方向にスライドし、その結果として静電容量が小さくなる。したがって、本例によるグリップ力センサ５５によれば、押圧力に加え、ペン軸方向への力をもグリップ力として検出することが可能になる。なお、電極板１８と電極板２１の間の距離をｄ、スライドがない状態での電極板１８，２１のオーバーラップ面積をＳ、スライドによるオーバーラップ面積の変化量をΔＳ、誘電体１９及びラバー２０により構成される部材の誘電率をεとすると、本例によるキャパシタの静電容量は次の式（１）で表される。
Ｃ＝ε（Ｓ－ΔＳ）／ｄ・・・（１）
　図１９は、第６の例によるグリップ力センサ５５の構造を示す図である。同図に示すように、本例による電子ペン５は外部筐体５ａに取り付けられるグリップ部材２２を有しており、本例によるグリップ力センサ５５は、このグリップ部材２２に内蔵される。図１９（ａ）は、グリップ部材２２を取り付けた状態の電子ペン５の側面、図１９（ｂ）は、グリップ部材２２を取り付けた状態の電子ペン５の上面、図１９（ｃ）は、グリップ部材２２を取り付けた状態の電子ペン５の使用状態をそれぞれ示している。
　図１９（ａ）～（ｃ）に示すように、グリップ部材２２は、外部筐体５ａに嵌合する筒状の基台２２ａと、この基台２２ａの一端からアーチ状に延在するフィンガーレスト２２ｂとを有して構成される。ユーザは、図１９（ｃ）に示すように、フィンガーレスト２２ｂに人差し指を置いた状態で電子ペン５を使用することになる。なお、図１９には、グリップ部材２２が外部筐体５ａとは別体である例を描いているが、これらを一体形成することとしてもよい。
　グリップ力センサ５５は、例えば、フィンガーレスト２２ｂ内に埋め込まれた歪みゲージであり、ユーザの人差し指に込められている力（フィンガーレスト２２ｂの押圧力）を検出可能に構成される。本例による処理部５０は、こうして検出された力をグリップ力として取得するよう構成される。
　ここで、電子ペン５又はグリップ部材２２内に加速度センサを内蔵することで、処理部５０は、電子ペン５を振るというユーザ動作をも検出することが可能になる。これをグリップ力センサ５５によるフィンガーレスト２２ｂの押圧力の検出と組み合わせれば、タッチ面のタップ動作を模擬することも可能である。
　以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
１　　　　　空間位置指示システム
２　　　　　コンピュータ
２ａ　　　　制御部
２ｂ　　　　メモリ
３　　　　　仮想現実ディスプレイ
４　　　　　平面位置センサ
４ａ　　　　入力面
５　　　　　電子ペン
５ａ　　　　外部筐体
５ｂ　　　　ペン先
７ａ，７ｂ　位置検出用機器
８ａ～８ｃ　空間位置センサ
１０，１２　電極板
１１　　　　誘電体
１３　　　　芯体
１４　　　　ボタン機構
１５　　　　感圧センサ
１６　　　　基板
１７　　　　ドームボタン
１８，２１　電極板
１９　　　　誘電体
２０　　　　ラバー
２２　　　　グリップ部材
２２ａ　　　基台
２２ｂ　　　フィンガーレスト
５０　　　　処理部
５１　　　　平面通信部
５２　　　　空間通信部
５３　　　　空間位置検出部
５４　　　　筆圧センサ
５５　　　　グリップ力センサ
５６　　　　力覚発生部
Ａ　　　　　描画領域
Ｂ　　　　　仮想タブレット

Claims (13)

  1. 　筐体と、
    　位置を指示する位置指示部と、
    　前記位置指示部に加わる第１の圧力を検出する第１のセンサと、
    　前記筐体に加わる第２の圧力を検出する第２のセンサと、
    　前記第１のセンサによって検出された前記第１の圧力を送信する第１の通信部と、
    　前記第２のセンサによって検出された前記第２の圧力を送信する第２の通信部と、
    　を備える位置指示装置。
  2. 　前記第１の通信部は、前記位置指示部に前記第１の圧力を加える第１の装置に前記第１の圧力を送信する通信部であり、
    　前記第２の通信部は、仮想現実空間における３Ｄオブジェクトの生成を制御する第２の装置に前記第２の圧力を送信する通信部である、
    　請求項１に記載の位置指示装置。
  3. 　前記第１のセンサによって検出された前記第１の圧力と所定値とを比較するコントローラをさらに有し、
    　前記第２の通信部は、前記コントローラによる比較の結果に応じて、前記第１の圧力または前記第２の圧力を送信する通信部である、
    　請求項１または２に記載の位置指示装置。
  4. 　前記第１及び第２のセンサは、前記第１及び第２の圧力の両方を検出可能に構成された共通のセンサによって構成される、
    　請求項１に記載の位置指示装置。
  5. 　前記第２のセンサは、前記筐体への押圧力を感知するタッチセンサにより構成される、
    　請求項１乃至３のいずれか一項に記載の位置指示装置。
  6. 　前記第２のセンサは、段階的又は連続的に押下量を検出するボタン機構により構成される、
    　請求項１乃至３のいずれか一項に記載の位置指示装置。
  7. 　前記共通のセンサは、前記筐体に配置されたボタン機構の押下量と、前記第１の圧力との双方により静電容量が変化する容量センサにより構成される、
    　請求項４に記載の位置指示装置。
  8. 　前記第２のセンサは、オンオフ可能に構成されるドームボタンと、前記筐体への押圧力を感知する感圧センサとにより構成される、
    　請求項１乃至３のいずれか一項に記載の位置指示装置。
  9. 　筐体、位置を指示する位置指示部、及び、前記筐体に加わる力を検出する圧力センサを有する位置指示装置と通信可能な情報処理装置であって、
    　前記圧力センサによって検出された圧力を受信する通信部と、
    　空間内における前記位置指示装置の位置及び前記通信部によって受信した圧力に基づいて、仮想現実空間における３Ｄオブジェクトの生成を制御するコントローラと、
    　を有する情報処理装置。
  10. 　前記コントローラは、
    　仮想現実空間に描画領域を設定し、
    　前記空間内における前記位置指示装置の位置が前記仮想現実空間に設定される描画領域内にあるか否かを判定し、
    　前記空間内における前記位置指示装置の位置が前記描画領域内にあると判定した場合に前記３Ｄオブジェクトの生成を制御する
    　請求項９に記載の情報処理装置。
  11. 　前記コントローラは、
    　前記位置指示部に加わる第１の圧力と前記圧力センサによって検出される第２の圧力との相関性を取得し、
    　前記取得した相関性に基づいて前記第２の圧力を変換することによって生成される圧力に基づいて前記３Ｄオブジェクトの生成を制御する
    　請求項９に記載の情報処理装置。
  12. 　前記コントローラは、
    　前記空間内における前記位置指示装置の位置及び前記位置指示部に加わる圧力に基づいて、仮想現実空間における３Ｄオブジェクトの生成を制御する、
    　請求項９に記載の情報処理装置。
  13. 　前記コントローラは、
    　前記位置指示装置に圧力を加える外部の装置が有する入力面における前記位置指示装置によって指示される位置及び前記位置指示部に加わる圧力に基づいて、２Ｄ描画を制御する
    　請求項９に記載の情報処理装置。
PCT/JP2019/015042 2018-05-18 2019-04-04 位置指示装置及び情報処理装置 WO2019220803A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020519507A JP6887060B2 (ja) 2018-05-18 2019-04-04 位置指示装置及び情報処理装置
EP19804098.2A EP3796136A4 (en) 2018-05-18 2019-04-04 POSITION INDICATOR AND INFORMATION PROCESSING DEVICE
CN201980029211.9A CN112074802A (zh) 2018-05-18 2019-04-04 位置指示装置及信息处理装置
US17/084,444 US20210048897A1 (en) 2018-05-18 2020-10-29 Position indicating device and information processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-096313 2018-05-18
JP2018096313 2018-05-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/084,444 Continuation US20210048897A1 (en) 2018-05-18 2020-10-29 Position indicating device and information processing device

Publications (1)

Publication Number Publication Date
WO2019220803A1 true WO2019220803A1 (ja) 2019-11-21

Family

ID=68540195

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/015042 WO2019220803A1 (ja) 2018-05-18 2019-04-04 位置指示装置及び情報処理装置

Country Status (5)

Country Link
US (1) US20210048897A1 (ja)
EP (1) EP3796136A4 (ja)
JP (3) JP6887060B2 (ja)
CN (1) CN112074802A (ja)
WO (1) WO2019220803A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022003511A1 (en) * 2020-07-01 2022-01-06 Wacom Co., Ltd. Systems and methods for dynamic shape sketching
US11294478B2 (en) * 2018-03-23 2022-04-05 Wacom Co., Ltd. Three-dimensional position indicator and three-dimensional position detection system
WO2022224578A1 (ja) 2021-04-23 2022-10-27 株式会社ワコム コントローラ及びコンピュータ
US11797104B2 (en) 2021-05-06 2023-10-24 Samsung Electronics Co., Ltd. Electronic device and control method of the same

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11815968B2 (en) * 2017-12-14 2023-11-14 Societe Bic Stylus for a touchscreen
CN112041789B (zh) * 2018-05-21 2024-05-31 株式会社和冠 位置指示设备及空间位置指示系统
KR20220012073A (ko) 2020-07-22 2022-02-03 삼성전자주식회사 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치
CN112835457A (zh) * 2021-02-06 2021-05-25 上海萃钛智能科技有限公司 一种3d魔术笔及基于该3d魔术笔的显示系统及其使用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0867101A (ja) 1994-08-27 1996-03-12 Dr Ing H C F Porsche Ag 自動車のための車輪
JP2006293605A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法およびシステム
JP2009266097A (ja) * 2008-04-28 2009-11-12 Toshiba Corp 入力機器
JP2013242819A (ja) * 2012-05-23 2013-12-05 Hitachi Consumer Electronics Co Ltd ペン型入力装置
KR101360980B1 (ko) * 2013-02-05 2014-02-11 주식회사 카이언스 필기구형 전자 입력장치
JP2018001721A (ja) * 2016-07-08 2018-01-11 国立大学法人大阪大学 筆記装置及びコンピュータープログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10333815A (ja) * 1997-06-04 1998-12-18 Brother Ind Ltd 画像認識装置
US8988398B2 (en) * 2011-02-11 2015-03-24 Microsoft Corporation Multi-touch input device with orientation sensing
JP2013084096A (ja) 2011-10-07 2013-05-09 Sharp Corp 情報処理装置
JP2014062962A (ja) 2012-09-20 2014-04-10 Sony Corp 情報処理装置、筆記具、情報処理方法およびプログラム
JP6286846B2 (ja) 2013-03-25 2018-03-07 セイコーエプソン株式会社 プロジェクター、指示体、インタラクティブシステムおよび制御方法
US9489048B2 (en) * 2013-12-13 2016-11-08 Immersion Corporation Systems and methods for optical transmission of haptic display parameters
WO2016172233A1 (en) * 2015-04-20 2016-10-27 Wacom Co., Ltd. System and method for bidirectional communication between stylus and stylus sensor controller
CN105551339A (zh) * 2015-12-31 2016-05-04 英华达（南京）科技有限公司 基于虚拟现实技术的书法练习系统及方法
US10073548B2 (en) * 2016-11-08 2018-09-11 Wacom Co., Ltd. Stylus having variable transmit signal strength, and sensor for detecting such stylus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0867101A (ja) 1994-08-27 1996-03-12 Dr Ing H C F Porsche Ag 自動車のための車輪
JP2006293605A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法およびシステム
JP2009266097A (ja) * 2008-04-28 2009-11-12 Toshiba Corp 入力機器
JP2013242819A (ja) * 2012-05-23 2013-12-05 Hitachi Consumer Electronics Co Ltd ペン型入力装置
KR101360980B1 (ko) * 2013-02-05 2014-02-11 주식회사 카이언스 필기구형 전자 입력장치
JP2018001721A (ja) * 2016-07-08 2018-01-11 国立大学法人大阪大学 筆記装置及びコンピュータープログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11294478B2 (en) * 2018-03-23 2022-04-05 Wacom Co., Ltd. Three-dimensional position indicator and three-dimensional position detection system
US11934592B2 (en) 2018-03-23 2024-03-19 Wacom Co., Ltd. Three-dimensional position indicator and three-dimensional position detection system including grip part orthogonal to electronic pen casing
WO2022003511A1 (en) * 2020-07-01 2022-01-06 Wacom Co., Ltd. Systems and methods for dynamic shape sketching
US12001629B2 (en) 2020-07-01 2024-06-04 Wacom Co., Ltd. Systems and methods for dynamic shape sketching using position indicator and processing device that displays visualization data based on position of position indicator
WO2022224578A1 (ja) 2021-04-23 2022-10-27 株式会社ワコム コントローラ及びコンピュータ
KR20230138548A (ko) 2021-04-23 2023-10-05 가부시키가이샤 와코무 컨트롤러 및 컴퓨터
US11797104B2 (en) 2021-05-06 2023-10-24 Samsung Electronics Co., Ltd. Electronic device and control method of the same

Also Published As

Publication number Publication date
EP3796136A4 (en) 2021-07-14
JP2021114346A (ja) 2021-08-05
JP7373258B2 (ja) 2023-11-02
JP6887060B2 (ja) 2021-06-16
US20210048897A1 (en) 2021-02-18
JP2023174898A (ja) 2023-12-08
EP3796136A1 (en) 2021-03-24
CN112074802A (zh) 2020-12-11
JPWO2019220803A1 (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
WO2019220803A1 (ja) 位置指示装置及び情報処理装置
TW408278B (en) Input device
US20100090949A1 (en) Method and Apparatus for Input Device
US8810514B2 (en) Sensor-based pointing device for natural input and interaction
CN111344663B (zh) 渲染装置及渲染方法
WO1993008540A1 (en) Device for generating multidimensional input signals to a computer
US20140362025A1 (en) Spherical remote control
CN111819524A (zh) 使用了电子笔的输入装置
CN101583000B (zh) 简化指令集合的电视控制系统及其使用方法
CN102591489A (zh) 信息处理装置、信息处理系统和信息处理方法
KR20100009023A (ko) 움직임을 인식하는 장치 및 방법
US20150002486A1 (en) Multifunctional pencil input peripheral computer controller
US7356769B2 (en) Method and apparatus for providing inputs to a communication or computing device
KR102572675B1 (ko) 사용자 인터페이스를 적응적으로 구성하기 위한 장치 및 방법
JP6270557B2 (ja) 情報入出力装置及び情報入出力方法
US20150103052A1 (en) Direction input device and method for operating user interface using same
KR20050116041A (ko) 가속도센서로 구성된 디지털 펜
WO2013032410A1 (en) Multifunctional pencil input peripheral computer controller
KR20040020262A (ko) 펜 타입의 다기능 마우스 입력장치
JP7339470B2 (ja) コントローラ及びコンピュータ
KR102180661B1 (ko) 압력 기반의 사용자 입력 장치와 이를 이용한 3d 무선 프리젠터
WO2023134408A1 (zh) 一种信息传输方法和装置
CN115968465A (zh) 计算机、方法及程序
KR100349757B1 (ko) 컴퓨터용 입력장치
KR101066829B1 (ko) 공간 입력장치 및 이를 이용한 입력방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19804098

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020519507

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019804098

Country of ref document: EP