WO2019171719A1 - 電子ペンを用いた入力装置 - Google Patents

電子ペンを用いた入力装置 Download PDF

Info

Publication number
WO2019171719A1
WO2019171719A1 PCT/JP2018/047700 JP2018047700W WO2019171719A1 WO 2019171719 A1 WO2019171719 A1 WO 2019171719A1 JP 2018047700 W JP2018047700 W JP 2018047700W WO 2019171719 A1 WO2019171719 A1 WO 2019171719A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic pen
posture
information
unit
detection unit
Prior art date
Application number
PCT/JP2018/047700
Other languages
English (en)
French (fr)
Inventor
博史 宗像
元昊 陳
Original Assignee
株式会社ワコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ワコム filed Critical 株式会社ワコム
Priority to CN201880090305.2A priority Critical patent/CN111819524A/zh
Priority to EP18908456.9A priority patent/EP3764201A4/en
Priority to JP2020504804A priority patent/JP7386152B2/ja
Publication of WO2019171719A1 publication Critical patent/WO2019171719A1/ja
Priority to US17/000,106 priority patent/US11243616B2/en
Priority to US17/534,343 priority patent/US11656692B2/en
Priority to US18/299,547 priority patent/US20230251726A1/en
Priority to JP2023192684A priority patent/JP2024016238A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means

Definitions

  • This invention relates to an input device suitable when an electronic pen is used in space.
  • a drawing system that creates an animation image or the like by drawing a coordinate input device called a digitizer by continuously pointing the position with an electronic pen.
  • Patent Document 1 Japanese Patent Laid-Open No. 2016-126503 provides an electronic pen that can detect an inclination angle and a rotation angle with respect to an input surface of a sensor unit of a position detection device.
  • the position detection device is instructed by the electronic pen by exchanging signals between the electronic pen and the position detection device including the sensor unit by electromagnetic induction coupling or capacitive coupling.
  • the detected position is detected, and the position coordinates of the instruction position of the electronic pen, the tilt angle, and the rotation angle are detected.
  • Patent Document 2 US Pat. No. 9,329,703B2
  • a sensor capable of measuring the movement and direction of the electronic pen is built in or attached, and the detection output of the sensor is transmitted to the position detection device.
  • the position detection device can detect the movement and state (tilt and rotation) of the electronic pen.
  • Patent Document 2 According to the method of Patent Document 2, the problem in Patent Document 1 does not occur. However, depending on the conditions, there are problems that the reaction speed becomes slow and the accuracy of the position coordinates decreases.
  • An object of the present invention is to provide an input device that can solve the above problems.
  • a first detection unit for detecting a first designated position by the electronic pen on the sensor unit in response to transmission / reception of a signal between the electronic pen and the sensor unit;
  • a second detection unit for detecting a second designated position by the electronic pen in a three-dimensional space in which the electronic pen is present;
  • a control unit that generates position information of the electronic pen based on the first designated position and the second designated position;
  • An input device is provided.
  • the indicated position includes not only the position coordinates but also the posture (tilt and rotation). According to the input device having the above-described configuration, for example, it is possible to output the posture information included in the designated position by the electronic pen detected by the second detection unit together with the position coordinates of the first designated position. It is.
  • a digitizer pen tablet
  • a sensor unit that performs at least one of transmission and reception of signals with an electronic pen (hereinafter referred to as “signal transmission / reception”)
  • an electronic pen in space The present invention relates to a spatial position indication system comprising: a spatial position detection unit that detects the indicated position information by.
  • the position includes not only position coordinates but also posture (tilt and rotation) and the like. In the following description, position coordinates and posture information will be described separately to clarify both.
  • the display unit is composed of a head-mounted display, smart glass, and the like, and the 3D drawing space is virtual reality (VR (Virtual Reality), MR (Mixed Reality), AR (Augmented Reality), etc.) (Hereinafter, abbreviated as VR).
  • FIG. 1 is a diagram showing an outline of the overall configuration of a space position indicating system including an input device according to the first embodiment in which a VR space is a 3D drawing space.
  • FIG. 2 is a block diagram illustrating a detailed configuration example of functions of respective units of the spatial position indicating system including the input device according to the first embodiment.
  • the spatial position indicating system of the embodiment of this example includes an electronic pen 10, a digitizer 20, a spatial position detection unit 30, a spatial drawing information generation device 40, a head mounted display (Hereinafter referred to as HMD) 50.
  • the space drawing information generation device 40 includes functions of an input information processing unit 41 and a display image generation unit 42 in this example, and is configured by a computer, for example.
  • the input device includes a first detection unit that detects an indication position by the electronic pen 10 in response to transmission / reception of a signal with the electronic pen 10 and a three-dimensional space in which the electronic pen 10 exists.
  • a second detection unit that detects a position indicated by the electronic pen 10 and a control unit that generates position information of the electronic pen 10 based on the indicated position.
  • the first detection unit is configured by the digitizer 20, and the second detection unit is configured by the spatial position detection unit 30 and the spatial information processing unit 410 of the input processing unit 41,
  • the control unit is configured by an input information processing unit.
  • the electronic pen 10 is an electromagnetic induction type electronic pen as an example.
  • the electronic pen 10 is not limited to the electromagnetic induction type, and an electrostatic coupling method may be used.
  • the digitizer 20 includes a thin cuboid-shaped casing 21, and the surface thereof is used as an input surface 21 ⁇ / b> S for position indication by the electronic pen 10.
  • the digitizer 20 includes a sensor unit 22 and a position detection unit 23 (see FIG. 2).
  • the sensor unit 22 has a plurality of loop coils disposed in the horizontal direction (X-axis direction) of the case of the digitizer 20 and in the vertical direction (Y-axis direction) of the case.
  • the digitizer 20 is of an electromagnetic induction type in accordance with the electronic pen 10, but is not limited to the electromagnetic induction type.
  • the electronic pen 10 includes a resonance circuit (not shown) including a coil and a capacitor on the pen tip side.
  • the loop coil of the sensor unit 22 of the digitizer 20 and the resonance circuit of the electronic pen 10 are provided. In this way, signals are exchanged between the electronic pen 10 and the sensor unit 22 of the digitizer 20 by electromagnetic induction coupling.
  • the position detector 23 of the digitizer 20 supplies a signal to the electronic pen 10 through the loop coil of the sensor unit 22, receives a signal fed back from the electronic pen 10 through the loop coil, and based on the received signal, The position designated by the electronic pen 10 is detected in the detection area of the unit 22.
  • the digitizer 20 is configured to detect the position designated by the pen tip of the electronic pen 10 as the designated position of the electronic pen 10.
  • a plurality of loop coils of the sensor unit 22 are disposed so as to cover almost the entire area of the input surface 21S.
  • the position detection area where the digitizer 20 can detect the indicated position of the electronic pen 10 is only the plane area when the pen tip of the electronic pen 10 is in contact with the input surface 21 ⁇ / b> S of the digitizer 20.
  • the pen tip of the electronic pen 10 is not in contact with the input surface 21S of the digitizer 20, and the input surface 21S is in a direction orthogonal to the input surface 21S (Z axis orthogonal to the X axis direction and the Y axis direction).
  • a spatial region (hover region in the hover state of the electronic pen 10) in which the indication position of the electronic pen 10 can be detected through transmission / reception of signals by electromagnetic coupling.
  • the spatial position detection unit 30 sets a three-dimensional space area in which the digitizer 20 exists, and in the three-dimensional space area, the position indicated by the pen tip of the electronic pen 10, the tilt angle of the electronic pen 10,
  • the position of the electronic pen 10 (referred to as a pen posture) such as a rotation angle is detected, and the position of the digitizer 20 and the tilt angle and tilt direction from the horizontal plane can be detected.
  • the spatial position detection unit 30 includes two light emission tracking devices 31A and 31B and a plurality of light position notification units (hereinafter referred to as trackers) 32A, 32B, 32C, and 32D.
  • the HMD 50 displays a 3D drawing image drawn in the motion detection space area MD including the position detection area DT of the digitizer 20 as a virtual display image and an electronic pen. Ten virtual display images are displayed.
  • the two light emission tracking devices 31A and 31B have the same configuration, and each includes a laser light emitting unit for infrared laser light, and search means for searching the movement detection space region MD by the emitted infrared laser light. And optical position detecting means for detecting the light emission of the light emitting portions of the trackers 32A, 32B, 32C, 32D that have received the infrared laser light.
  • the object to which the trackers 32A, 32B, 32C, and 32D are mounted is the electronic pen 10 and the digitizer 20, as described above. . That is, in this example, in order to be able to notify the position of the digitizer 20 and the tilt angle and tilt direction with respect to the horizontal plane, the upper left corner and the lower right corner of the case of the digitizer 20 which is a thin rectangular parallelepiped shape, A tracker 32A and a tracker 32B are mounted.
  • the electronic pen 10 is equipped with a tracker 32 ⁇ / b> C on the pen tip side, and the axis of the housing of the electronic pen 10.
  • a tracker 32D is mounted on the rear end side opposite to the pen tip side in the center direction.
  • the light emission tracking devices 31A and 31B control the laser light emitting unit by the search means, and emit and search the infrared laser light so as to search and scan the movement detection space region MD so as to detect the tracker position.
  • Each of the trackers 32 ⁇ / b> A, 32 ⁇ / b> B, 32 ⁇ / b> C, and 32 ⁇ / b> D monitors the reception of the infrared laser beam with a sensor, and turns on the light emitting unit composed of an LED when the sensor detects the reception of the infrared laser beam.
  • the light emission tracking devices 31A and 31B detect the light emission of the light emitting units of the trackers 32A, 32B, 32C, and 32D, and thereby the movement detection space region MD of the object to which the trackers 32A, 32B, 32C, and 32D are attached is detected. Detect position.
  • the light emission tracking devices 31A and 31B detect light emission of the light emitting units of the trackers 32A, 32B, 32C and 32D
  • the light emission tracking devices 31A and 31B can also detect the elapsed time from the light emission time of the emitted infrared laser at the time of detection. It is configured to be able to. In this case, each of the trackers 32A, 32B, 32C, and 32D emits different light according to its own identification information.
  • the two light emission tracking devices 31A and 31B are connected to the space drawing information generation device 40 in a wired or wireless manner, and the detected trackers 32A, 32, and 32 are connected to the space drawing information generation device 40.
  • the spatial position information in the motion detection space region MD of 32C and 32D is notified.
  • the spatial position information in the motion detection space region MD of the trackers 32A, 32B, 32C, 32D detected by the two light emission tracking devices 31A, 31B is, as shown in FIG.
  • the spatial information processing unit 410 includes a spatial position detection unit 4101, a pen posture detection unit 4102, and a digitizer posture detection unit 4103.
  • the spatial position detection unit 4101 detects the position of the digitizer 20 in the motion detection space area MD from the trackers 32A and 32B, and indicates the position indicated by the electronic pen 10 as the position of the pen tip of the electronic pen 10 from the trackers 32C and 32D. Then, the position of the rear end of the electronic pen 10 is detected.
  • the pen posture detection unit 4102 detects a pen posture including the tilt angle and the rotation angle of the electronic pen 10 from the trackers 32C and 32D.
  • the digitizer posture detection unit 4103 detects the position indicated by the electronic pen 10 as the previous position.
  • the input information processing unit 41 is detected by the information on the position indicated by the electronic pen 10 in the position detection area DT detected by the digitizer 20 and the spatial information processing unit 410 of the input information processing unit 41.
  • information to be supplied to the display image generation unit 42 is generated from information on the position (instructed position and rear end position) of the electronic pen 10 in the motion detection space area MD, pen posture information, and digitizer posture information. Then, the input information processing unit 41 supplies the generated information to the display image generation unit 42.
  • the display image generation unit 42 of the space drawing information generation device 40 includes a drawing image generation unit 421 for generating a 3D drawing image and a VR image to be displayed on the HMD 50, as shown in FIG. A VR image generation unit 422 for generation.
  • the drawing image generation unit 421 generates a 3D drawing image based on a position instruction by the electronic pen 10, and performs deformation, rotation, movement, etc. of the 3D drawing image based on a gesture executed by an operator of the electronic pen 10. Process.
  • the drawing image generation unit 421 reflects the pen attitude including the tilt angle, the tilt direction, and the rotation angle with respect to the input surface 21S of the digitizer 20 of the electronic pen 10 in the generation of the 3D drawing image. To do. For example, when the electronic pen 10 exchanges signals with the digitizer 20, an inclination angle or an inclination direction with respect to the input surface 21S of the digitizer 20 is used.
  • processing related to a 3D drawing image is referred to as 3D drawing system processing.
  • the pen position including the tilt angle, tilt direction, and rotation angle of the electronic pen 10 can be detected by the spatial position detection unit 30.
  • the input information processing unit 41 supplies the information on the pen posture of the electronic pen 10 detected by the spatial position detection unit 30 to the display image generation unit 42 as information for 3D drawing system processing. Is configured to do.
  • the input information processing unit 41 is configured so that the 3D drawing image reflects pen posture information such as the tilt and rotation of the electronic pen 10 at the time of drawing input based on the position instruction by the electronic pen 10.
  • the information indicating the position instruction by the electronic pen 10 (information on the position of the pen tip) and the information on the pen posture of the electronic pen 10 are supplied to the display image generating unit 42.
  • the display image generation unit 42 is provided with a gesture detection processing unit 423 for detecting a gesture executed by the operator of the electronic pen 10.
  • the input information processing unit 41 receives the pen tip position information (corresponding to the indicated position information) of the electronic pen 10 detected by the spatial position detection unit 30 and the pen posture information. The information is supplied to the gesture detection processing unit 423.
  • the electronic pen 10 detected by the digitizer 20 As described above, in this embodiment, not only the information of the indicated position by the electronic pen 10 detected by the digitizer 20 as the information for 3D drawing system processing, but also the electronic pen 10 detected by the spatial position detection unit 30 is used. Information on the pointing position (position of the pen tip) and information on the pen posture are used.
  • the VR image generation unit 422 of the display image generation unit 42 generates a VR image to be displayed on the HMD 50.
  • the VR image includes the VR image of the electronic pen 10 and the VR image of the 3D drawing image generated by the drawing image generation unit 421.
  • the VR image is generated by the drawing image generation unit 421.
  • the VR image of the 3D drawing image and the VR image of the electronic pen 10 are displayed in 3D.
  • the VR image generation unit 422 may also generate the VR image of the digitizer 20.
  • processing related to VR image generation in the VR image generation unit 422 is referred to as VR image processing.
  • the VR image generation unit 422 is supplied with information for generating a VR image of the electronic pen 10 from the input information processing unit 41, and the generated 3D drawing is generated from the drawing image generation unit 421. Image information is supplied. Then, the VR image information generated by the VR image generation unit 422 is supplied to the HMD 50 through the display drive unit 424, and is displayed on the display screen of the HMD 50 such as an LCD (Liquid Crystal Display).
  • LCD Liquid Crystal Display
  • the electronic pen from the digitizer 20 that can detect the position (pen tip position) of the electronic pen 10 with higher accuracy than the space position detection unit 30 is possible.
  • the information on the designated position by the user and the information on the pen posture such as tilt and rotation detected by using the spatial position detection unit 30 are transferred from the input information processing unit 41 to the VR image generation unit 422 of the display image generation unit 42. Supplied.
  • the digitizer 20 cannot detect the indicated position of the electronic pen 10, and therefore information on the indicated position by the electronic pen detected using the space position detection unit 30. And the information on the pen posture are supplied from the input information processing unit 41 to the VR image generation unit 422 of the display image generation unit 42.
  • the information for the VR image system processing includes only the information on the indication position (the position of the pen tip) of the electronic pen 10 detected by the spatial position detection unit 30 and the information on the pen posture. Instead, the information on the position indicated by the electronic pen 10 detected by the digitizer 20 is used.
  • the input information processing unit 41 generates the drawing system processing information and the VR image system processing information as described above from the information from the digitizer 20 and the information from the spatial position detection unit 30.
  • the display image generation unit 42 is supplied, and the electronic pen 10 generates a switching control signal SE for performing selection control depending on whether the electronic pen 10 exists in the position detection region DT or the motion detection space region MD. .
  • the spatial coordinate system information of the position detection area DT of the digitizer 20 and the motion detection space area MD of the spatial position detection unit 30 in each of the 3D drawing system process and the VR image system process can be used mutually.
  • the two spatial coordinate systems can be set independently, but in this embodiment, information of one of the two spatial coordinate systems is converted into information of the other spatial coordinate system.
  • information on the spatial coordinate system of the motion detection space region MD of the spatial position detection unit 30 is converted into information on the spatial coordinate system of the position detection region DT of the digitizer 20.
  • the information on the pen posture of the electronic pen 10 detected in the motion detection space region MD of the spatial position detection unit 30 is used in the 3D drawing system process and in the VR image system process. Can also be used.
  • the information on the pen posture of the electronic pen 10 is reflected on the posture of the VR image of the electronic pen 10.
  • the information on the pen attitude of the electronic pen 10 includes information on the tilt angle of the electronic pen 10.
  • the tilt angle of the electronic pen 10 is determined by the sensor unit 22 of the digitizer 20. This is the relative tilt angle with respect to the input surface.
  • the information on the pen posture of the electronic pen 10 detected in the motion detection space area MD of the spatial position detection unit 30 is, for example, the motion detection of the spatial position detection unit 30 based on the gravity direction or the horizontal plane direction of the earth. It is an inclination angle in the space region MD.
  • the digitizer 20 can be installed so that the direction orthogonal to the input surface 21S of the sensor unit 22 is exactly aligned with the Z-axis direction of the motion detection space region MD of the spatial position detection unit 30, the spatial position detection is possible.
  • the tilt angle of the electronic pen 10 detected in the space of the motion detection space region MD of the unit 30 matches the relative tilt angle with respect to the input surface of the sensor unit 22 of the digitizer 20.
  • the digitizer 20 may be installed to be inclined with respect to the motion detection space region MD of the space position detection unit 30.
  • the absolute inclination angle of the electronic pen 10 detected in the space of the motion detection space region MD of the spatial position detection unit 30 is as described below, and the sensor unit 22 of the digitizer 20 is described below. Is converted into a relative tilt angle with respect to the input surface.
  • FIG. 3 is a diagram used for explaining the process of converting the tilt angle.
  • FIG. 3 shows a spherical coordinate system in which the pen tip of the electronic pen 10 is the point O at the center of the spherical body.
  • 3 is a horizontal plane in the spatial region of the motion detection space region MD of the spatial position detection unit 30.
  • the XY plane (a surface including the X-axis direction and the Y-axis direction orthogonal to each other) in FIG.
  • a point indicating the position of the edge of the rear end portion on the opposite side of the pen tip in the axial direction of the casing of the electronic pen 10 is a spherical coordinate.
  • the radius r of the sphere is the length in the axial direction of the casing of the electronic pen 10.
  • the direction can be detected by using the spatial position detection unit 30 so that the tilt angle of the electronic pen 10 is ⁇ and the tilt direction is ⁇ .
  • the inclination angle of the housing of the digitizer 20 in the space of the motion detection space region MD is ⁇ ′
  • the inclination direction is ⁇ ′. Can be detected.
  • the end of the electronic pen 10 on the rear end side when the axial center direction of the casing of the electronic pen 10 matches the vertical direction in the space of the motion detection space region MD. If the edge position is Q, the rear end of the electronic pen 10 when the axial center direction of the casing of the electronic pen 10 is perpendicular to the input surface 21S of the sensor unit 22 of the digitizer 20 The position of the side edge is the R point.
  • the angle formed by the space vector OR from the R point O and the space vector OP from the P point O is obtained, the angle is used to detect the angle using the spatial position detection unit 30. It is possible to convert the tilt angle and tilt direction of the electronic pen 10 into the relative tilt angle and tilt direction of the electronic pen 10 with respect to the input surface 21S of the sensor unit 22 of the digitizer 20.
  • the electronic pen which detects the relative inclination angle and inclination direction of the electronic pen 10 with respect to the input surface 21S of the sensor unit 22 of the digitizer 20 by using the spatial position detection unit 30 by performing the inverse conversion described above. 10 tilt angles and tilt directions can be converted.
  • the position detection unit 23 constituting the digitizer 20 supplies the detection output of the indication position of the electronic pen 10 to the selection unit 411 as one input signal thereof, and to the selection unit 412 as one input signal thereof. Supply.
  • the information supplied from the position detection unit 23 to the selection units 411 and 412 includes writing pressure information applied to the electronic pen 10 in addition to the detection output of the designated position of the electronic pen 10.
  • the spatial position detection unit 4101 of the spatial information processing unit 410 supplies the coordinate conversion unit 413 with a detection output of the spatial position of the pen tip of the electronic pen 10 (indicated position of the electronic pen).
  • the coordinate conversion unit 413 converts information on the spatial coordinate system of the motion detection space region MD of the spatial position detection unit 30 into information on the spatial coordinate system of the position detection region DT of the digitizer 20.
  • the coordinate conversion unit 413 supplies the converted coordinate output to the selection units 411 and 412 as the other input signal.
  • the position detector 23 of the digitizer 20 supplies information on the signal level of the received signal from the electronic pen 10 to the selection control signal generator 414.
  • the selection control signal generation unit 414 detects the separation distance from the input surface 21S of the digitizer 20 of the pen tip of the electronic pen 10 from the signal level of the reception signal from the electronic pen 10, and the separation distance from the detected input surface 21S.
  • the selection control signal SE is generated based on the above.
  • the selection control signal SE is such that the separation distance from the input surface 21S of the digitizer 20 at the pen tip of the electronic pen 10 is a critical height in the Z-axis direction at which the digitizer 20 can detect the hover state of the electronic pen. Control is performed so as to select the position detection output from the position detection unit 23 of the digitizer 20 when Lz or less, and control is performed so as to select the detection output from the spatial position detection unit 4101 when greater than the critical height Lz. Signal.
  • the selection unit 411 switches one of the inputs and the other input in accordance with the selection control signal SE and supplies it to the association unit 415 for 3D drawing processing.
  • the selection unit 412 switches one of the inputs and the other input in accordance with the selection control signal SE, and supplies it to the association unit 416 for VR image processing.
  • two selection units 411 and 412 are provided for each processing so as to be clear for 3D rendering processing and VR image processing.
  • the selection unit may be one common, and the output of the common selection unit may be supplied to each of the association units 415 and 416.
  • Information on the pen posture detected by the pen posture detection unit 4102 of the spatial information processing unit 410 using the spatial position detection unit 30 is supplied to the associating unit 416 for VR image processing.
  • the VR image system processing associating unit 416 associates the information on the designated position of the electronic pen 10 from the selection unit 412 and the information on the pen posture from the pen posture detection unit 4102 of the spatial information processing unit 410 as a pair. And supplied to the VR image generation unit 422 of the display image generation unit 42.
  • associating by the associating unit 416 involves associating the pointing position of the electronic pen 10 output from the selecting unit 412 with a pair of pen posture information detected at the pointing position of the electronic pen 10. I mean.
  • the spatial information processing unit 410 When both the information on the indicated position of the electronic pen 10 and the information on the pen posture associated with each other by the associating unit 416 are information from the spatial information processing unit 410, the spatial information processing unit 410 outputs the information. Is adjusted, the associating unit 416 can perform association by simply pairing information at the same timing.
  • the associating unit 416 detects the digitizer 20 and the spatial position detecting unit 30.
  • the output timing deviation processing delay
  • the VR image generation unit 422 of the display image generation unit 42 generates a VR image of the electronic pen 10 using the information on the indicated position of the electronic pen 10 and the information on the pen posture from the association unit 416.
  • the VR image of the electronic pen 10 is generated so as to be displayed at a position based on information on the designated position of the electronic pen 10.
  • the information on the indication position of the electronic pen 10 from the selection unit 412 is switched and selected by the selection control signal SE, but the information on the indication position from the spatial position detection unit 4101 is used for the digitizer 20 and the spatial position detection. Since coordinate conversion is performed by the coordinate conversion unit 413 so that the coordinate space is common to the unit 30, even when the selection unit 412 is switched, the display position of the VR image of the electronic pen 10 moves so as to jump. There will be no such display misalignment.
  • Information on the pen posture from the pen posture detection unit 4102 of the spatial information processing unit 410 is also supplied to the association unit 415 for 3D drawing system processing through the posture conversion unit 417.
  • the posture conversion unit 417 is supplied with the pen posture information from the pen posture detection unit 4102 and the posture information of the digitizer 20 detected by the digitizer posture detection unit 4103.
  • the process of converting the pen posture of the electronic pen 10 in the spatial coordinate system detected by the spatial position detection unit 30 described above into a relative pen posture with respect to the input surface 21S of the sensor unit 22 of the digitizer 20 is executed.
  • the associating unit 415 for 3D drawing system processing uses the digitizer 20 to receive information on the pointing position of the electronic pen 10 from the selecting unit 411 and information on the pen posture detected by the pen posture detecting unit 4102 from the posture converting unit 417.
  • the information converted into the information of the pen orientation relative to the input surface 21S is associated with the information and supplied to the drawing image generation unit 421 and the gesture detection processing unit 423 of the display image generation unit 42 as a pair.
  • the association in the association unit 415 is similar to the association unit 416 in that the pen posture detected at the instruction position of the electronic pen 10 is the same as the instruction position of the electronic pen 10 output from the selection unit 412. This means associating information as a pair.
  • the drawn image generation unit 421 generates a fine line drawing or the like based on the detection output of the designated position of the electronic pen 10 from the digitizer 20 and the information on the pen posture detected by the spatial position detection unit 30 in this embodiment.
  • a drawing process based on the motion (gesture) detected by the gesture detection processing unit 423 is performed based on the pen drawing function for drawing and the spatial position and pen posture of the electronic pen 10 detected by the spatial position detection unit 30. It has a gesture processing function.
  • the drawing image generation unit 421 and the gesture detection processing unit 423 are supplied with the selection control signal SE from the selection control signal generation unit 414, and the gesture detection processing unit 423 indicates that the indication position of the electronic pen 10 is Control is performed so as to operate when the position detection area DT of the digitizer 20 is other than the spatial area, and the drawing image generation unit 421 is configured such that when the indicated position of the electronic pen 10 is within the spatial area of the position detection area DT of the digitizer 20 When the pen drawing function is executed and the designated position of the electronic pen 10 is outside the space area of the position detection area DT of the digitizer 20, switching control is performed so as to execute a gesture process.
  • the coordinate conversion unit 413 is used to perform coordinate conversion so that the digitizer 20 and the spatial position detection unit 30 have a common coordinate space. Even if the indication position of the electronic pen 10 is switched, the indication position of the electronic pen 10 does not shift so as to jump. Further, even if the pen posture is detected by the spatial position detection unit 30, it is converted into a relative pen posture with respect to the input surface 21S of the digitizer 20, so that it is appropriately reflected in the 3D drawing image.
  • the 3D drawing image information generated by the drawing image generation unit 421 is supplied to the VR image generation unit 422 to be a VR image, which is supplied to the HMD 50 through the display drive unit 424 and displayed.
  • the pointing position of the electronic pen 10 is set to a common spatial coordinate between the digitizer 20 and the spatial position detection unit 30 by using the coordinate conversion unit 413.
  • the spatial coordinate system of the drawn image and the spatial coordinate system of a VR image such as the electronic pen 10 are the same. Therefore, since the indicated position of the electronic pen 10 with respect to the 3D drawing image is not different between the 3D drawing system process and the VR image system process, the VR image generation unit 422 does not need to correct both spatial coordinates.
  • the electronic pen 10 and the digitizer 20 have a function of detecting a pen posture such as an inclination angle and a rotation angle of the electronic pen 10. Even if not, the pen posture of the electronic pen 10 detected by the spatial position detection unit 30 can be used for 3D drawing image generation.
  • information on the pen posture of the electronic pen 10 detected by the spatial position detection unit 30 in a spatial region other than the position detection region DT of the digitizer 20 is used to generate a 3D drawing image. There is also an effect that it can be used for gesture detection.
  • the spatial coordinates of the detection area of the digitizer 20 and the spatial coordinates of the detection area of the spatial position detection unit 30 can be handled as common coordinates. Even when the output from the digitizer 20 and the output of the spatial position detection unit 30 are switched, there is a feature that no coordinate deviation occurs.
  • the operator can move the electronic pen 10 spatially on the digitizer 20 without being aware of switching between the digitizer 20 and the spatial position detection unit 30, and can perform operations from a fine drawing to a gesture seamlessly. Can do.
  • the position detection area of the digitizer 20 is used as position information (position information of the pen tip) for the electronic pen 10 for generating a VR image of the electronic pen 10 in the VR image processing.
  • position information position information of the pen tip
  • the position detection output of the digitizer 20 with higher accuracy and faster reaction speed than the detection output of the spatial position detection unit 30 can be used, so that the actual user can operate the electronic pen. Accordingly, a VR image that reacts accurately can be obtained.
  • each unit of the input information processing unit 41 and the display image generation unit 42 can be configured as a software function unit executed by a software program. Yes.
  • the first embodiment described above is an example in which the electronic pen 10 and the digitizer 20 do not have a pen posture detection function such as the tilt angle and rotation angle of the electronic pen, but the tilt angle and rotation angle of the electronic pen, etc. It can be set as the structure which has a detection function of pen posture.
  • the input device is the same system as the spatial position indication system described in the first embodiment described above, and the electronic pen or digitizer detects the tilt angle or rotation angle of the electronic pen. This is a case of having a pen posture detection function.
  • FIG. 4 shows a configuration example of a main part of the spatial position indicating system according to the second embodiment.
  • the spatial position indication system of the second embodiment has the same configuration as that of the first embodiment, but an electronic device having a configuration for detecting a pen posture instead of the electronic pen 10 and the digitizer 20.
  • a pen 10A (not shown in FIG. 4) and a digitizer 20A are provided.
  • an input information processing unit 41A having a configuration as shown in FIG. 4 is provided instead of the input information processing unit 41 of the space drawing information generating device 40 in the first embodiment.
  • the spatial position indication system according to the second embodiment also includes the spatial position detection unit 30, the display image generation unit 42, and the HMD 50 described in the first embodiment, which are the same as those in the first embodiment. Since they are similar, they are not shown in FIG. Also, in the digitizer 20A and the input information processing unit 41A shown in FIG. 4, the same parts as those of the digitizer 20 and the input information processing unit 41 shown in FIG. To do.
  • the signal levels of ⁇ 1, Xi, Xi + 1, Xi + 2, and Xi + 3 are symmetrical with respect to the designated position.
  • the electronic pen 10A when the electronic pen 10A is tilted, the signal levels of these seven loop coil positions Xi-3, Xi-2, Xi-1, Xi, Xi + 1, Xi + 2, Xi + 3 are shown in FIG. ),
  • the electronic pen 10A changes according to the direction in which the electronic pen 10A is inclined and the angle at which the electronic pen 10A is inclined. Based on the predetermined number of signal levels, it is possible to detect the position coordinates, the tilt angle, and the tilt direction of the designated position of the electronic pen 10A.
  • the indication position of the electronic pen 10A detected by the spatial position detection unit 30 instead of the indication position and pen attitude information of the electronic pen 10A detected by the digitizer 20A
  • information on the pen posture is used.
  • the digitizer 20 ⁇ / b> A of the second embodiment includes an attitude detection unit 24.
  • the posture detection unit 24 detects a pen posture such as an inclination angle, an inclination direction, and a rotation angle of the electronic pen 10A based on transmission / reception of signals between the electronic pen 10A (not shown) and the sensor unit 22 of the digitizer 20A.
  • Information on the pen posture of the electronic pen 10A detected by the posture detection unit 24 is supplied to one input terminal of the selection unit 418 of the input information processing unit 41A.
  • the other input terminal of the selection unit 418 is supplied with information on the pen posture of the electronic pen 10A detected using the spatial position detection unit 30 from the pen posture detection unit 4102 of the spatial information processing unit 410.
  • information about the pen posture of the electronic pen 10A detected by the pen posture detection unit 4102 of the spatial information processing unit 410 is supplied to one input terminal of the selection unit 419.
  • Information on the pen posture of the electronic pen 10A from the posture detection unit 24 of the digitizer 20A is supplied to the posture conversion unit 417R, and the inclination of the digitizer 20A detected by the digitizer posture detection unit 4103 of the spatial information processing unit 410.
  • Information on the digitizer posture including the angle and the tilt direction is supplied to the posture converter 417R.
  • the posture conversion unit 417R uses the posture conversion unit based on the pen posture information of the electronic pen 10A from the posture detection unit 24 of the digitizer 20A and the posture information of the digitizer 20A from the digitizer posture detection unit 4103 of the spatial information processing unit 410. Inverse conversion to 417 is performed. That is, the relative pen posture of the electronic pen 10A detected by the digitizer 20A with respect to the input surface 21S is determined by the absolute digitizer 20A in the spatial coordinate system of the motion detection space area MD detected by the spatial position detection unit 30. Converted to posture.
  • the information on the pen posture of the electronic pen 10A whose posture has been changed by the posture conversion unit 417R is supplied to the other input terminal of the selection unit 419.
  • Information on the pen posture of the electronic pen 10A selected and output by the selection unit 419 as described later is supplied to the associating unit 416, and information on the indicated position of the electronic pen 10A from the selection unit 412 is the same as described above.
  • the selection control signal generation unit 414A of the second embodiment generates selection control signals SEA for the selection unit 411, the selection unit 412, the selection unit 418, and the selection unit 419.
  • the selection control signal generation unit 414A generates a selection control signal SE similar to the selection control signal generation unit 414 of the first embodiment described above, and the drawing image generation unit 421 and gesture detection processing of the display image generation unit 42. The processing executed by the unit 423 is switched in the same manner as in the first embodiment described above.
  • the selection control signal SEA from the selection control signal generation unit 414A of the second embodiment indicates that the indication position (pen tip position) of the electronic pen 10A is within the spatial region of the position detection region DT of the digitizer 20A or other than that
  • the peripheral region PE see FIG. 6 of the input surface 21S of the digitizer 20A or the center inside the peripheral region PE of the input surface 21S In the partial area, the selection units 411, 412, 418, and 419 are selected and controlled.
  • the selection control signal generation unit 414A of the second embodiment receives instructions from the electronic pen 10A from the position detection unit 23 of the digitizer 20A. Location information is also supplied. Then, the selection control signal generation unit 414A has the indication position (pen tip position) of the electronic pen 10A within the spatial region of the position detection region DT and within the spatial region of the central region inside the peripheral region PE. And a selection control signal SEA for selecting and controlling the selection units 411, 412, 418, and 419 depending on whether they are in the other space region or not.
  • the selection unit 411 In response to the selection control signal SEA, the selection unit 411 indicates that the indicated position (the position of the pen tip) of the electronic pen 10A is within the space area of the position detection area DT and the space area of the central area inside the peripheral area PE.
  • the information on the indication position of the electronic pen 10A from the position detection unit 23 of the digitizer 20A is selected and supplied to the association unit 415, and the indication position (pen tip position) of the electronic pen 10A is If it is in a spatial region other than the information, information on the designated position of the electronic pen 10A from the spatial position detection unit 4101 from the coordinate conversion unit 413 is selected and supplied to the association unit 415.
  • the selection unit 412 indicates that the indication position (pen tip position) of the electronic pen 10A is within the spatial region of the position detection region DT and the central region inside the peripheral region PE by the selection control signal SEA.
  • the selection control signal SEA When in the space area, information on the designated position of the electronic pen 10A from the position detecting unit 23 of the digitizer 20A is selected and supplied to the associating unit 416, and the designated position (pen tip position) of the electronic pen 10A is selected.
  • information on the indicated position of the electronic pen 10A from the spatial position detection unit 4101 subjected to coordinate conversion processing by the coordinate conversion unit 413 is selected and supplied to the association unit 416.
  • the selection unit 418 uses the selection control signal SEA to indicate that the indication position (the position of the pen tip) of the electronic pen 10A is within the spatial region of the position detection region DT and the central region inside the peripheral region PE.
  • the selection control signal SEA When in the space area, information on the pen posture of the electronic pen 10A from the posture detection unit 24 of the digitizer 20A is selected and supplied to the associating unit 415, and the indication position (pen tip position) of the electronic pen 10A is selected.
  • the pen posture information converted into the relative pen posture is selected from the pen posture of the electronic pen 10A detected by the pen posture detection unit 4102 from the posture conversion unit 417. To the associating unit 415.
  • the selection unit 419 uses the selection control signal SEA to indicate that the indication position (the position of the pen tip) of the electronic pen 10A is within the spatial region of the position detection region DT and the central region inside the peripheral region PE.
  • the pen posture of the electronic pen 10A detected by the posture detector 24 of the digitizer 20A from the posture converter 417R is converted into an absolute pen posture detected by the spatial position detection unit 30.
  • the selected pen posture information is selected and supplied to the associating unit 416.
  • the electronic information from the pen posture detecting unit 4102 is displayed. Information on the pen posture of the pen 10 ⁇ / b> A is selected and supplied to the associating unit 416.
  • each block constituting the input information processing unit 41A shown in FIG. 4 is a software function unit by a computer program.
  • the input information processing unit 41A determines from the signal from the digitizer 20A whether the designated position of the electronic pen 10A is detected by the digitizer 20A (step S1). If it is determined in step S1 that the digitizer 20A is not in a state of detecting the indicated position of the electronic pen 10A, the input information processing unit 41A determines whether the electronic pen 10A can be detected by the spatial position detection unit 30. It discriminate
  • step S1 When it is determined in step S1 that the digitizer 20A has detected the instruction position of the electronic pen 10A, the input information processing unit 41A acquires the coordinates of the instruction position of the electronic pen 10A detected by the digitizer 20A (step S1). S3) It is determined whether or not the coordinates of the acquired designated position are within the peripheral area PE (step S4).
  • step S4 If it is determined in step S4 that the acquired coordinates of the designated position are not the peripheral area PE but the inner area, the input information processing unit 41A determines the information on the designated position of the electronic pen 10A from the digitizer 20A and the pen posture. Is output to the display image generation unit 42 for generating a drawn image (step S5).
  • the input information processing unit 41A performs coordinate conversion so that the information on the indicated position of the electronic pen 10A detected by the spatial position detection unit 4101 of the spatial information processing unit 410 becomes information in the coordinate system common to the digitizer 20A. (Step S6). Then, the input information processing unit 41A associates the coordinated position information of the electronic pen 10A with the pen posture information detected by the pen posture detection unit 4102 of the spatial information processing unit 410 and generates VR images. It outputs to the display image generation part 42 (step S7). After step S7, the input information processing unit 41A returns the process to step S1, and repeats the processes after step S1.
  • step S4 when it is determined in step S4 that the acquired coordinates of the designated position are within the peripheral area PE, it is also determined in step S2 that the electronic pen 10A can be detected by the spatial position detection unit 30.
  • the input information processing unit 41A performs coordinate conversion so that the information on the indicated position of the electronic pen 10A detected by the spatial position detection unit 4101 of the spatial information processing unit 410 becomes information in the coordinate system common to the digitizer 20A. (Step S11 in FIG. 8). Further, the input information processing unit 41A acquires information on the posture of the digitizer 20A detected by the digitizer posture detection unit 4103 of the spatial information processing unit 410 (step S12).
  • the input information processing unit 41A uses the posture information of the digitizer 20A obtained in step S12 as the pen posture information from the posture detection unit 24 of the digitizer 20A, not the relative posture with respect to the digitizer 20A.
  • the information is converted into absolute posture information in the space region (step S13).
  • the input information processing unit 41A associates the information on the designated position of the electronic pen 10A obtained by the coordinate conversion in step S11 and the information on the absolute posture obtained in step S13 to generate a display image for generating a drawing image. It outputs to the part 42 (step S14).
  • the input information processing unit 41A uses the posture information of the digitizer 20A acquired in step S12 as the relative information to the digitizer 20A using the pen posture information from the pen posture detection unit 4102 of the spatial information processing unit 410.
  • the information is converted into posture information (step S15).
  • the input information processing unit 41A associates the information on the designated position of the electronic pen 10A obtained by coordinate conversion in step S11 with the information on the absolute posture obtained in step S13, and displays the display image for VR image generation. It outputs to the production
  • step S16 the input information processing unit 41A returns the process to step S1, and repeats the processes after step S1.
  • the input information processing unit 41A of the spatial position indication system of the second embodiment is configured as described above, the information on the indication position of the electronic pen 10A in the 3D drawing system processing and the VR image system processing is the digitizer.
  • the position detection of the digitizer 20A is performed with higher accuracy than that detected by the spatial position detection unit 30.
  • Information on the indicated position of the electronic pen 10A detected by the unit 23 is used, and the peripheral area PE of the input surface 21S (including the sky above the input surface 21S) in the spatial area of the position detection area DT of the digitizer 20A.
  • the spatial position detection unit In the spatial region outside the spatial region of the position detection region DT, the spatial position detection unit is detected with higher accuracy than the detection by the position detection unit 23 of the digitizer 20A. Information indicated position of the electronic pen 10A detected by the spatial position detector 4101 of Tsu bets 30 is used.
  • the spatial position in the central region inside the peripheral region PE of the input surface 21S in the spatial region of the position detection region DT of the digitizer 20A Information on the pen posture of the electronic pen 10A detected by the posture detection unit 24 of the digitizer 20A is used with higher accuracy than that detected by the detection unit 30, and the spatial region of the position detection region DT of the digitizer 20A is used.
  • the position detection unit 23 of the digitizer 20A detects with higher accuracy than the case of detection.
  • Information on the pen posture of the electronic pen 10 ⁇ / b> A detected by the pen posture detection unit 4102 of the spatial position detection unit 30 is used.
  • the first embodiment and the second embodiment described above are cases where the input device according to the present invention is applied to a spatial position indicating system.
  • the input device according to the present invention is a hover region in a tablet device including a digitizer.
  • the present invention can also be applied to the case where a position indication by an electronic pen is detected within a position detection region DT including
  • FIG. 9 is a diagram showing an outline of a system including the input device according to the third embodiment.
  • the electronic pen 10B and the tablet device 60 including a digitizer constitute the input device of the third embodiment.
  • the tablet device 60 of this input device is placed on, for example, a desk 90 and connected to a computer 80.
  • the tablet device 60 is placed with an inclination angle ⁇ , for example, with respect to the placement surface of the desk 90.
  • position of the electronic pen 10B in the three-dimensional space above the input surface 61S of the digitizer built in the tablet apparatus 60 is the electronic pen 10B. It is detachably provided on the rear end side opposite to the pen tip side. The gyro sensor unit 70 may be built in the rear end side of the electronic pen 10B opposite to the pen tip side.
  • FIG. 10 is a block diagram for explaining a functional configuration example of the electronic pen 10B, the tablet device 60, and the gyro sensor unit 70 that constitute the input device of the third embodiment.
  • the gyro sensor unit 70 includes, for example, a three-axis gyro sensor 71 and a wireless communication unit 72.
  • the wireless communication unit 72 includes, for example, a short-range wireless communication unit based on Bluetooth (registered trademark) standard.
  • the wireless communication unit 72 is not limited to this, and may be optical communication such as infrared communication.
  • the three-axis gyro sensor 71 corresponds to the tilt angle, tilt direction, and rotation angle in the three-dimensional space of the electronic pen 10B. Output the output signal.
  • the output signal corresponding to the tilt angle, tilt direction, and rotation angle of the electronic pen 10B of the electronic pen 10B detected by the three-axis gyro sensor 71 is relative to the input surface 61S of the tablet device 60 of the electronic pen 10B. It is not according to the posture but according to the absolute posture based on the earth axis in the three-dimensional space.
  • the wireless communication unit 72 wirelessly transmits an output signal from the three-axis gyro sensor 71 to the tablet device 60.
  • the electronic pen 10B includes an interaction unit 100 with the sensor unit 61 of the tablet device 60.
  • the interaction unit 100 is coupled to the sensor unit 61 of the tablet device 60 by either an electromagnetic induction method or an electrostatic coupling method to exchange signals.
  • the interaction unit 100 of the electronic pen 10B exchanges position detection signals for the designated position of the electronic pen 10B with the sensor unit 61 to detect a pen posture such as an inclination angle, an inclination direction, and a rotation angle. No signal exchange is performed.
  • the indicated position of the electronic pen 10B is detected by the indicated position detection unit 62 from the signal obtained as a result of the interaction with the electronic pen 10B in the sensor unit 61.
  • Information on the designated position of the electronic pen 10 ⁇ / b> B detected by the designated position detection unit 62 is supplied to the association unit 63.
  • the tablet device 60 of the third embodiment includes a wireless communication unit 64 that performs wireless communication with the wireless communication unit 72 of the gyro sensor unit 70.
  • the detection output of the three-axis gyro sensor 71 of the gyro sensor unit 70 received by the wireless communication unit 64 is supplied to the electronic pen posture detection unit 65, and the pen posture of the electronic pen 10B is detected.
  • Information on the pen posture of the electronic pen 10 ⁇ / b> B detected by the electronic pen posture detection unit 65 is supplied to the relative posture calculation unit 66.
  • the tablet device 60 of this embodiment includes a gyro sensor 67 for detecting the tilt angle and tilt direction of the device itself.
  • the sensor output of the gyro sensor 67 is supplied to the tablet posture detection unit 68.
  • the tablet posture detection unit 68 Based on the sensor output of the gyro sensor 67, the tablet posture detection unit 68 detects the tilt angle and tilt direction of the device itself, and detects the detected tilt angle and tilt direction information (tablet posture information) of the device itself.
  • the relative posture calculation unit 66 is supplied.
  • the relative posture calculation unit 66 corrects the information on the absolute pen posture in the three-dimensional space of the electronic pen 10 ⁇ / b> B from the electronic pen posture detection unit 65 using the tablet posture information from the tablet posture detection unit 68.
  • the relative pen posture with respect to the input surface 61S of the tablet device 60 of the electronic pen 10B is calculated. Then, the relative posture calculation unit 66 supplies the calculated information about the relative pen posture of the electronic pen 10 ⁇ / b> B to the association unit 63.
  • the associating unit 63 associates the information on the indicated position of the electronic pen 10B and the information on the relative pen posture of the electronic pen 10B in the same manner as the above-described associating unit, and outputs the information to the computer 80. .
  • the sensor unit 70 can output the pen posture information of the electronic pen 10B detected in the three-dimensional space as the pen posture information corresponding to the designated position of the electronic pen 10B.
  • the spatial position detection unit 30 is configured to include a light emission tracking device that emits infrared laser light and a tracker.
  • a light emission tracking device that emits infrared laser light
  • a tracker that emits infrared laser light
  • the configuration is limited to this configuration. It goes without saying that it is not.
  • a configuration using another invisible light sensor, a visible light sensor, or a combination thereof may be used.
  • the operator of the electronic pen 10 cannot directly see the digitizer 20. Therefore, the virtual image of the digitizer 20 can be drawn on the virtual space image displayed on the HMD 50, and the operator can recognize the position of the digitizer 20 on the display screen of the HMD 50.
  • the coordinate value of the spatial position detection unit 30 is converted into the spatial coordinate system of the digitizer 20.
  • the coordinate value is converted into the coordinate value.
  • the coordinate value of the position detection area DT of the digitizer 20 may be converted into the coordinate value of the spatial position detection unit 30. Note that the conversion between the two spatial coordinate systems is not essential and is optional.
  • the electronic pen and the digitizer are of the electromagnetic induction type, but are not limited to this, and the electrostatic type (active electrostatic coupling type) is used.
  • the electrostatic type active electrostatic coupling type
  • the digitizers of the first to second embodiments and the tablet device of the third embodiment may be so-called portable mobile phone terminals called smartphones.
  • the drawing image may be a 2D drawing image or a 2.5D drawing image.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

３次元空間における電子ペンによる指示位置やペン姿勢を、精度や反応速度を考慮して良好に検出することができるようにする入力装置を提供する。　電子ペンとの信号の授受に応じて、電子ペンによる第１の指示位置を検出する第１の検出部と、電子ペンが存在する３次元空間における電子ペンによる第２の指示位置を検出する第２の検出部と、第１の指示位置に代えて第２の指示位置を出力するか否かの制御をする制御部とを備える入力装置である。

Description

[規則37.2に基づきISAが決定した発明の名称]　電子ペンを用いた入力装置
　この発明は、電子ペンを空間上で用いる場合に好適な入力装置に関する。
　デジタイザと呼ばれる座標入力装置に対して、電子ペンにより連続的に位置指示することにより描画することで、アニメーション画像などを作成する描画システムが知られている。
　従来から、電子ペンの傾きや回転を検出する方法として種々の方法が提案されている。特許文献１（特開２０１６－１２６５０３号公報）には、位置検出装置のセンサ部の入力面に対する傾き角や回転角の検出が可能な電子ペンが提供されている。この特許文献１の場合には、電子ペンとセンサ部を備える位置検出装置との間で、電磁誘導結合や静電容量結合などにより信号を授受することで、位置検出装置が、電子ペンにより指示された位置を検出すると共に、電子ペンの指示位置の位置座標、及び傾き角や回転角を検出する。
　また、特許文献２（米国特許第９，３２９，７０３Ｂ２公報）には、電子ペンに、その動きや方位測定が可能なセンサを、内蔵あるいは装着し、そのセンサの検出出力を位置検出装置に送信することで、位置検出装置で、電子ペンの動きや状態（傾きや回転）を検出することができるようにすることが記載されている。
特開２０１６－１２６５０３号公報 米国特許第９，３２９，７０３Ｂ２公報
　上述の特許文献１の場合には、電子ペンによる指示位置を中心とした周囲の複数個のループコイルから得られる複数の信号レベルを用いて、電子ペンの指示位置の位置座標及び傾きを検出する。しかし、センサ部の周辺領域では、電子ペンの指示位置の位置座標の精度が低下すると共に、電子ペンの傾きを検出すること困難になるという問題があった。
　特許文献２の方法によれば、特許文献１の場合の問題は生じない。しかし、条件によっては、反応速度が遅くなったり、位置座標の精度が低下したりするという問題がある。
　この発明は、以上の問題点を解消することができる入力装置を提供することを目的とする。
　上記の課題を解決するために、
　電子ペンとセンサ部との信号の授受に応じて、前記センサ部上の前記電子ペンによる第１の指示位置を検出する第１の検出部と、
　前記電子ペンが存在する３次元空間における前記電子ペンによる第２の指示位置を検出する第２の検出部と、
　前記第１の指示位置と前記第２の指示位置とに基づいて、前記電子ペンの位置情報を生成する制御部と、
　を備える入力装置を提供する。
　上述の構成の入力装置において、指示位置には、位置座標だけでなく姿勢（傾きや回転）も含まれるものである。そして、上述の構成の入力装置によれば、例えば、第２の検出部で検出される電子ペンによる指示位置に含まれる姿勢の情報を、第１の指示位置の位置座標と共に出力することが可能である。
この発明による入力装置の第１の実施形態を含む空間位置指示システムの構成例を説明するための図である。 図１の例の空間位置指示システムの各部の構成例を説明するためのブロック図である。 この発明による入力装置の実施形態を説明するための図である。 この発明による入力装置の第２の実施形態の各部の構成例を説明するためのブロック図である。 電子ペンとデジタイザとの信号の授受により、電子ペンの傾きを検出する動作を説明するための図である。 電子ペンとの信号の授受によりデジタイザが電子ペンの指示位置及び傾きを検出する際における検出精度が、入力面の周辺領域と他の領域とで異なることを説明するに用いる図である。 この発明による入力装置の第２の実施形態の主要な動作を説明するためのフローチャートの一部を示す図である。 この発明による入力装置の第２の実施形態の主要な動作を説明するためのフローチャートの一部を示す図である。 この発明による入力装置の第３の実施形態の構成例を説明するための図である。 この発明による入力装置の第３の実施形態の各部の構成例を説明するためのブロック図である。
　以下、この発明による入力装置の実施形態を、図を参照しながら説明する。
　［第１の実施形態］
　以下に説明する入力装置の実施形態は、電子ペンと信号の送信及び受信の少なくとも一方を行う（以下「信号の授受」という。）センサ部を備えるデジタイザ（ペンタブレット）と、空間中における電子ペンによる指示位置情報を検出する空間位置検出用ユニットと、を備える空間位置指示システムに関する。なお、位置には、位置座標だけでなく姿勢（傾きや回転）なども含まれるが、以下の説明においては、両者を明確にするために、位置座標と姿勢の情報とは分けて説明する。
　この実施形態による空間位置指示システムは、表示部がヘッドマウントディスプレイやスマートグラス等で構成され、３Ｄ描画空間をバーチャルリアリティー（ＶＲ（Virtual Reality）、ＭＲ（Mixed Reality）、ＡＲ（Augmented Reality）などを含む。以下、ＶＲと略称する）の空間として利用する。図１は、ＶＲの空間を３Ｄ描画空間とした第１の実施形態の入力装置を含む空間位置指示システムの全体の構成の概要を示す図である。図２は、第１の実施形態の入力装置を含む空間位置指示システムの各部の機能の詳細構成例を示すブロック図である。
　すなわち、図１に示すように、この例の実施形態の空間位置指示システムは、電子ペン１０と、デジタイザ２０と、空間位置検出用ユニット３０と、空間描画情報生成装置４０と、ヘッドマウントディスプレイ（以下、ＨＭＤと称する）５０とを備えて構成されている。空間描画情報生成装置４０は、図２に示すように、この例では、入力情報処理部４１と表示画像生成部４２との機能を備えるもので、例えばコンピュータで構成される。
　なお、この第１の実施形態の入力装置は、電子ペン１０との信号の授受に応じて、電子ペン１０による指示位置を検出する第１の検出部と 、電子ペン１０が存在する３次元空間における電子ペン１０による指示位置を検出する第２の検出部と、これらの指示位置に基づいて、電子ペン１０の位置情報を生成する制御部と 、を備える。この第１の実施形態においては、第１の検出部はデジタイザ２０で構成され、第２の検出部は、空間位置検出用ユニット３０と入力処理部４１の空間情報処理部４１０とで構成され、制御部は、入力情報処理部により構成される。
　電子ペン１０は、この第１の実施形態においては、電磁誘導方式の電子ペンを例に用いるが、電磁誘導方式に限定されるものではなく、静電結合方式などを用いてもよい。デジタイザ２０は、薄型の直方体形状の筐体２１を備え、その表面を電子ペン１０による位置指示の入力面２１Ｓとしている。そして、デジタイザ２０は、センサ部２２と、位置検出部２３（図２参照）とを備える。
　センサ部２２は、図示は省略するが、複数個のループコイルが、それぞれ、デジタイザ２０の筐体の横方向（Ｘ軸方向）と、筐体の縦方向（Ｙ軸方向）とに配設されて構成されている。この例では、デジタイザ２０は、電子ペン１０に合わせて電磁誘導方式のものとされているが、電磁誘導方式に限定されるものではない。
　電子ペン１０は、図示は省略するが、ペン先側にコイルとコンデンサとからなる共振回路（図示は省略）を備えており、デジタイザ２０のセンサ部２２のループコイルと、電子ペン１０の共振回路との間で、電磁誘導結合することで、電子ペン１０とデジタイザ２０のセンサ部２２との間で信号の授受を行う。
　デジタイザ２０の位置検出部２３は、センサ部２２のループコイルを通じて電子ペン１０に信号を供給すると共に、電子ペン１０から帰還される信号をループコイルを通じて受信し、その受信した信号に基づいて、センサ部２２の検出領域において電子ペン１０により指示された位置を検出する。なお、この実施形態では、デジタイザ２０は、電子ペン１０のペン先で指示された位置を電子ペン１０の指示位置として検出するように構成されている。
　この例のデジタイザ２０では、入力面２１Ｓのほぼ全域をカバーするようにセンサ部２２の複数個のループコイルが配設されている。
　そして、この実施形態では、デジタイザ２０で電子ペン１０の指示位置を検出することができる位置検出領域は、電子ペン１０のペン先がデジタイザ２０の入力面２１Ｓに接触しているときの平面領域のみならず、電子ペン１０のペン先がデジタイザ２０の入力面２１Ｓに非接触であって、入力面２１Ｓとは、当該入力面２１Ｓに直交する方向（Ｘ軸方向及びＹ軸方向に直交するＺ軸方向）に離間しているが、電磁結合による信号の授受を通して電子ペン１０の指示位置を検出することができる空間領域（電子ペン１０のホバー状態のホバー領域）を含む。
　空間位置検出用ユニット３０は、この例では、デジタイザ２０が存在する３次元空間領域を設定して、当該３次元空間領域において、電子ペン１０のペン先による指示位置、電子ペン１０の傾き角や回転角などの電子ペン１０の姿勢（ペン姿勢という）を検出すると共に、デジタイザ２０の位置及び水平平面からの傾き角や傾き方向を検出することができるように構成されている。
　空間位置検出用ユニット３０は、２個の発光追跡装置３１Ａ，３１Ｂと、複数個の光位置通知部（以下、トラッカーと称する）３２Ａ，３２Ｂ，３２Ｃ，３２Ｄとを含んで構成されている。なお、この実施形態では、後述するように、ＨＭＤ５０には、デジタイザ２０の位置検出領域ＤＴを含む動き検出空間領域ＭＤで描画された３Ｄ描画画像が、仮想表示画像として表示されると共に、電子ペン１０の仮想表示画像が表示される。
　２個の発光追跡装置３１Ａ，３１Ｂは、同一の構成を有するもので、それぞれ赤外線レーザ光のレーザ発光部と、発光した赤外線レーザ光により動き検出空間領域ＭＤ内をサーチするようにするサーチ手段と、赤外線レーザ光を受けたトラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄの発光部の発光を検知する光位置検知手段とを備える。
　トラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄが装着されるオブジェクト（空間位置検出用ユニット３０の探索空間領域における探索対象物）は、この実施形態では、前述したように、電子ペン１０と、デジタイザ２０である。すなわち、この例では、デジタイザ２０の位置及び水平面に対する傾き角や傾き方向を通知することができるようにするために、薄型の直方体形状であるデジタイザ２０の筐体の左上隅と右下隅とに、トラッカー３２Ａとトラッカー３２Ｂとが装着されている。また、電子ペン１０の位置及びペン姿勢（傾き角や回転角）を通知するために、電子ペン１０には、そのペン先側にトラッカー３２Ｃが装着され、また、電子ペン１０の筐体の軸心方向において、ペン先側とは反対側の後端側に、トラッカー３２Ｄが装着されている。
　発光追跡装置３１Ａ，３１Ｂは、サーチ手段によりレーザ発光部を制御して、赤外線レーザ光を、トラッカー位置を検出するように動き検出空間領域ＭＤ内を探索走査させるように出射して、サーチする。トラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄのそれぞれは、赤外線レーザ光の受光を、センサで監視し、センサで赤外線レーザ光の受光を検出したときに、ＬＥＤからなる発光部を点灯する。
　発光追跡装置３１Ａ，３１Ｂは、トラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄの発光部の発光を検知することで、当該トラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄが装着されているオブジェクトの動き検出空間領域ＭＤ内における位置を検出する。発光追跡装置３１Ａ，３１Ｂは、トラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄの発光部の発光を検知したときに、当該検知した時点の、発光した赤外線レーザの発光時刻からの経過時刻をも検知することができるように構成されている。この場合に、トラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄのそれぞれは、自身の識別情報に応じた異なる発光をする。
　２個の発光追跡装置３１Ａ，３１Ｂは、空間描画情報生成装置４０に対して、有線で、あるいは、無線で接続されており、空間描画情報生成装置４０に対して、検知したトラッカー３２Ａ，３２，３２Ｃ，３２Ｄの動き検出空間領域ＭＤにおける空間位置情報を通知する。
　２個の発光追跡装置３１Ａ，３１Ｂで検知されたトラッカー３２Ａ，３２Ｂ，３２Ｃ，３２Ｄの動き検出空間領域ＭＤにおける空間位置情報は、この例では、図２に示すように、空間描画情報生成装置４０の入力情報処理部４１の空間情報処理部４１０に供給される。
　空間情報処理部４１０は、この例では、空間位置検出部４１０１と、ペン姿勢検出部４１０２と、デジタイザ姿勢検出部４１０３とからなる。空間位置検出部４１０１は、トラッカー３２Ａ，３２Ｂから、動き検出空間領域ＭＤにおけるデジタイザ２０の位置を検出すると共に、トラッカー３２Ｃ，３２Ｄから、電子ペン１０のペン先の位置としての電子ペン１０による指示位置と、電子ペン１０の後端の位置を検出する。ペン姿勢検出部４１０２は、この例では、トラッカー３２Ｃ及び３２Ｄから、電子ペン１０の傾き角及び回転角を含むペン姿勢を検出する。また、デジタイザ姿勢検出部４１０３は、先の位置として、電子ペン１０による指示位置を検出する。
　そして、この実施形態では、入力情報処理部４１は、デジタイザ２０で検出された、位置検出領域ＤＴにおける電子ペン１０による指示位置の情報と、入力情報処理部４１の空間情報処理部４１０で検出された、動き検出空間領域ＭＤにおける電子ペン１０の位置（指示位置及び後端位置）の情報、ペン姿勢情報及びデジタイザ姿勢情報とから、表示画像生成部４２に供給する情報を生成する。そして、入力情報処理部４１は、生成した情報を、表示画像生成部４２に供給する。
　そして、この実施形態では、空間描画情報生成装置４０の表示画像生成部４２は、図２に示すように、３Ｄ描画像を生成するための描画像生成部４２１と、ＨＭＤ５０に表示するＶＲ画像を生成するためのＶＲ画像生成部４２２とを備える。
　描画像生成部４２１は、電子ペン１０による位置指示に基づいて３Ｄ描画像を生成すると共に、電子ペン１０の操作者により実行されたジェスチャーに基づいて、３Ｄ描画像の変形、回転、移動などの処理を行う。そして、この実施形態では、描画像生成部４２１は、電子ペン１０のデジタイザ２０の入力面２１Ｓに対する傾き角や傾き方向、回転角を含むペン姿勢をも、３Ｄ描画像の生成に反映させるようにする。例えば、電子ペン１０がデジタイザ２０と信号の授受する場合には、デジタイザ２０の入力面２１Ｓに対する傾き角や傾き方向を用いる。以下、３Ｄ描画像に関する処理を３Ｄ描画系処理という。
　この実施形態では、電子ペン１０に装着されたトラッカー３２Ｃ，３２Ｄを用いて、空間位置検出用ユニット３０により、電子ペン１０の傾き角、傾き方向及び回転角を含むペン姿勢を検出することができる。そこで、この実施形態では、入力情報処理部４１は、空間位置検出用ユニット３０により検出された電子ペン１０のペン姿勢の情報を、３Ｄ描画系処理用の情報として、表示画像生成部４２に供給するように構成されている。
　すなわち、後述するように、入力情報処理部４１は、３Ｄ描画像に、電子ペン１０による位置指示に基づく描画入力時の電子ペン１０の傾きや回転などのペン姿勢の情報が反映されるように、電子ペン１０による位置指示の情報（ペン先の位置の情報）と、電子ペン１０のペン姿勢の情報とを、表示画像生成部４２に供給するように構成されている。
　また、表示画像生成部４２には、図２に示すように、電子ペン１０の操作者により実行されたジェスチャーを検出するためのジェスチャー検出処理部４２３が設けられている。そして、この実施形態では、入力情報処理部４１は、空間位置検出用ユニット３０において検出された電子ペン１０のペン先の位置情報（指示位置の情報に対応）と、ペン姿勢の情報とを、当該ジェスチャー検出処理部４２３に供給する情報とするように構成されている。
　以上のように、この実施形態では、３Ｄ描画系処理用の情報としてデジタイザ２０で検出される電子ペン１０による指示位置の情報のみではなく、空間位置検出用ユニット３０で検出される電子ペン１０の指示位置（ペン先の位置）の情報及びペン姿勢の情報が利用される。
　表示画像生成部４２のＶＲ画像生成部４２２は、ＨＭＤ５０に表示するＶＲ画像を生成する。ＶＲ画像としては、この実施形態では、電子ペン１０のＶＲ画像と、描画像生成部４２１で生成された３Ｄ描画像のＶＲ画像が含まれ、ＨＭＤ５０においては、描画像生成部４２１で生成された３Ｄ描画像のＶＲ画像と、電子ペン１０のＶＲ画像とが３Ｄ表示される。なお、ＶＲ画像生成部４２２は、デジタイザ２０のＶＲ画像をも生成するようにしてもよい。以下、ＶＲ画像生成部４２２におけるＶＲ画像の生成に関する処理をＶＲ画像系処理という。
　この実施形態では、ＶＲ画像生成部４２２には、入力情報処理部４１からの電子ペン１０のＶＲ画像を生成するための情報が供給されると共に、描画像生成部４２１から、生成された３Ｄ描画像の情報が供給される。そして、ＶＲ画像生成部４２２で生成されたＶＲ画像情報が、表示ドライブ部４２４を通じて、ＨＭＤ５０に供給されて、ＨＭＤ５０の例えばＬＣＤ（Liquid　Crystal　Display；液晶ディスプレイ）からなる表示画面に表示される。
　この場合に、電子ペン１０が位置検出領域ＤＴに存在するときには、電子ペン１０の位置（ペン先位置）を空間位置検出用ユニット３０よりも高精度で検出することができるデジタイザ２０からの電子ペンによる指示位置の情報と、空間位置検出用ユニット３０が用いられて検出される傾きや回転などのペン姿勢の情報とが、入力情報処理部４１から表示画像生成部４２のＶＲ画像生成部４２２に供給される。
　また、電子ペン１０が動き検出空間領域ＭＤに存在するときには、デジタイザ２０では電子ペン１０の指示位置は検出できないので、空間位置検出用ユニット３０が用いられて検出される電子ペンによる指示位置の情報と、ペン姿勢の情報とが、入力情報処理部４１から表示画像生成部４２のＶＲ画像生成部４２２に供給される。
　以上のように、この実施形態では、ＶＲ画像系処理用の情報として、空間位置検出用ユニット３０で検出される電子ペン１０の指示位置（ペン先の位置）の情報及びペン姿勢の情報のみではなく、デジタイザ２０で検出される電子ペン１０による指示位置の情報が利用される。
　入力情報処理部４１は、デジタイザ２０からの情報と、空間位置検出用ユニット３０からの情報とから、以上説明したような描画系処理用の情報と、ＶＲ画像系処理用の情報とを生成して、表示画像生成部４２に供給すると共に、電子ペン１０が、位置検出領域ＤＴ及び動き検出空間領域ＭＤのいずれに存在しているかに応じた選択制御をするための切替制御信号ＳＥを生成する。
　上述したように、この実施形態では、３Ｄ描画系処理及びＶＲ画像系処理のそれぞれにおいて、デジタイザ２０の位置検出領域ＤＴの空間座標系の情報と、空間位置検出用ユニット３０の動き検出空間領域ＭＤの空間座標系の情報とを相互に利用することができる。この場合に、２つの空間座標系は、それぞれ独立に設定され得るが、この実施形態では２つの空間座標系の内の一方の空間座標系の情報を、他方の空間座標系の情報に変換することにより、共通の座標空間における情報として扱えるようにする。この実施形態では、空間位置検出用ユニット３０の動き検出空間領域ＭＤの空間座標系の情報を、デジタイザ２０の位置検出領域ＤＴの空間座標系の情報に変換する。
　この実施形態の空間位置指示システムにおいては、空間位置検出用ユニット３０の動き検出空間領域ＭＤで検出される電子ペン１０のペン姿勢の情報を、３Ｄ描画系処理で用いるとともに、ＶＲ画像系処理においても用いることができる。
　この場合に、ＶＲ画像系処理においては、電子ペン１０のペン姿勢の情報は、電子ペン１０のＶＲ画像の姿勢に反映される。この電子ペン１０のペン姿勢の情報には、電子ペン１０の傾き角の情報が含まれているが、３Ｄ描画系処理においては、この電子ペン１０の傾き角は、デジタイザ２０のセンサ部２２の入力面に対する相対的な傾き角である。一方、空間位置検出用ユニット３０の動き検出空間領域ＭＤで検出される電子ペン１０のペン姿勢の情報は、例えば地球の重力方向あるいは水平面方向を基準にした、空間位置検出用ユニット３０の動き検出空間領域ＭＤにおける傾き角である。
　デジタイザ２０を、そのセンサ部２２の入力面２１Ｓに直交する方向が、空間位置検出用ユニット３０の動き検出空間領域ＭＤのＺ軸方向と正確に一致させるように設置することができれば、空間位置検出用ユニット３０の動き検出空間領域ＭＤの空間において検出される電子ペン１０の傾き角は、デジタイザ２０のセンサ部２２の入力面に対する相対的な傾き角と一致する。しかし、実際的には、デジタイザ２０を、空間位置検出用ユニット３０の動き検出空間領域ＭＤに対して傾けて設置する場合がある。
　そこで、この実施形態では、空間位置検出用ユニット３０の動き検出空間領域ＭＤの空間で検出される電子ペン１０の絶対的な傾き角は、以下に説明するようにして、デジタイザ２０のセンサ部２２の入力面に対する相対的な傾き角に変換される。
　図３は、この傾き角の変換の処理を説明するために用いる図である。この図３は、電子ペン１０のペン先を球体の中心のＯ点とした球体座標系を示している。この図３におけるＸ－Ｙ平面（互いに直交するＸ軸方向とＹ軸方向とを含む面）は、空間位置検出用ユニット３０の動き検出空間領域ＭＤの空間領域における水平面としている。
　図３において、電子ペン１０の筐体の軸心方向のペン先とは反対側の後端部の端縁の位置を示す点は、球面座標となる。この場合、球体の半径ｒは、電子ペン１０の筐体の軸心方向の長さとなる。図３の球体座標系において、電子ペン１０の筐体の軸心方向の後端部の端縁がＰ点にあるときの動き検出空間領域ＭＤの空間内での電子ペン１０の傾き角及び傾き方向は、空間位置検出用ユニット３０を用いることで、電子ペン１０の傾き角はδ、また、傾き方向はαとして検出することができる。また、空間位置検出用ユニット３０を用いることで、図３の例では、デジタイザ２０の筐体の、動き検出空間領域ＭＤの空間内での傾き角はδ´、また、傾き方向はα´として検出することができる。
　そして、図３に示すように、電子ペン１０の筐体の軸心方向が、動き検出空間領域ＭＤの空間内で垂直方向と一致する状態なっているときの電子ペン１０の後端側の端縁の位置をＱ点とすると、電子ペン１０の筐体の軸心方向が、デジタイザ２０のセンサ部２２の入力面２１Ｓに対して垂直な方向となっているときの、電子ペン１０の後端側の端縁の位置はＲ点となる。
　したがって、Ｒ点のＯ点からの空間ベクトルＯＲと、Ｐ点のＯ点からの空間ベクトルＯＰとが成す角度を求めると、その角度を用いることで、空間位置検出用ユニット３０を用いて検出された電子ペン１０の傾き角及び傾き方向から、デジタイザ２０のセンサ部２２の入力面２１Ｓに対する電子ペン１０の相対的な傾き角及び傾き方向に変換することが可能になる。
　なお、上述の逆変換をすることで、デジタイザ２０のセンサ部２２の入力面２１Ｓに対する電子ペン１０の相対的な傾き角及び傾き方向を、空間位置検出用ユニット３０を用いて検出される電子ペン１０の傾き角及び傾き方向に変換することができる。
　次に、以上のことを実現するように構成された図２の入力情報処理部４１の構成例について説明する。すなわち、デジタイザ２０を構成する位置検出部２３は、電子ペン１０の指示位置の検出出力を、選択部４１１に、その一方の入力信号として供給すると共に、選択部４１２に、その一方の入力信号として供給する。なお、この位置検出部２３から選択部４１１及び４１２に供給される情報には、電子ペン１０の指示位置の検出出力に加えて、電子ペン１０に印加される筆圧情報が含まれている。
　また、空間情報処理部４１０の空間位置検出部４１０１は、電子ペン１０のペン先の空間位置（電子ペンの指示位置）の検出出力を、座標変換部４１３に供給する。この座標変換部４１３は、空間位置検出用ユニット３０の動き検出空間領域ＭＤの空間座標系の情報を、デジタイザ２０の位置検出領域ＤＴの空間座標系の情報に変換する。そして、座標変換部４１３は、その変換後の座標出力を、選択部４１１及び４１２に、その他方の入力信号として供給する。
　そして、この実施形態においては、デジタイザ２０の位置検出部２３は、電子ペン１０からの受信信号の信号レベルの情報を、選択制御信号生成部４１４に供給する。選択制御信号生成部４１４は、電子ペン１０からの受信信号の信号レベルから、電子ペン１０のペン先のデジタイザ２０の入力面２１Ｓからの離間距離を検出し、検出した入力面２１Ｓからの離間距離に基づいて選択制御信号ＳＥを生成する。
　この場合に、選択制御信号ＳＥは、電子ペン１０のペン先のデジタイザ２０の入力面２１Ｓからの離間距離が、デジタイザ２０が電子ペンのホバー状態を検出することができるＺ軸方向の臨界高さＬｚ以下のときには、デジタイザ２０の位置検出部２３からの位置検出出力を選択するように制御し、上記臨界高さＬｚよりも大きいときには、空間位置検出部４１０１からの検出出力を選択するように制御する信号である。
　選択部４１１は、一方の入力と他方の入力の一方を、選択制御信号ＳＥに応じて切り替えて、３Ｄ描画系処理用の関連付け部４１５に供給する。また、選択部４１２は、一方の入力と他方の入力の一方を、選択制御信号ＳＥに応じて切り替えて、ＶＲ画像系処理用の関連付け部４１６に供給する。
　なお、図２の例においては、３Ｄ描画系処理用と、ＶＲ画像系処理用とで明確になるように、それぞれの処理用として２個の選択部４１１と４１２とを設けたが、実際的には、選択部は共通の１個で良く、その共通の選択部の出力を、関連付け部４１５及び４１６のそれぞれに供給するように構成することができる。
　空間位置検出用ユニット３０が用いられて空間情報処理部４１０のペン姿勢検出部４１０２で検出されたペン姿勢の情報は、そのままＶＲ画像系処理用の関連付け部４１６に供給される。
　このＶＲ画像系処理用の関連付け部４１６は、選択部４１２からの電子ペン１０の指示位置の情報と、空間情報処理部４１０のペン姿勢検出部４１０２からのペン姿勢の情報とを関連付けてペアとして、表示画像生成部４２のＶＲ画像生成部４２２に供給する。この場合に、関連付け部４１６での関連付けは、選択部４１２から出力される電子ペン１０の指示位置に対して、当該電子ペン１０の指示位置において検出されるペン姿勢の情報をペアとして関連付けることを意味している。
　関連付け部４１６で関連付ける電子ペン１０の指示位置の情報と、ペン姿勢の情報とが、共に空間情報処理部４１０からの情報である場合には、空間情報処理部４１０で、それらの情報の出力タイミングが調整されることで、関連付け部４１６では、単純に、同一タイミングの情報をペアリングすることで関連付けができる。
　これに対して、関連付け部４１６で関連付ける電子ペン１０の指示位置の情報が、デジタイザ２０からの情報である場合には、関連付け部４１６では、デジタイザ２０と、空間位置検出用ユニット３０とでの検出結果の出力タイミングのずれ（処理遅延）を考慮することで、電子ペン１０の指示位置の情報とペン姿勢の情報との関連付けをする。
　表示画像生成部４２のＶＲ画像生成部４２２は、この関連付け部４１６からの電子ペン１０の指示位置の情報とペン姿勢の情報とを用いて電子ペン１０のＶＲ画像を生成する。この場合に、電子ペン１０のＶＲ画像は、電子ペン１０の指示位置の情報に基づく位置に表示するように生成される。
　この場合に、選択部４１２からの電子ペン１０の指示位置の情報は、選択制御信号ＳＥにより切り替え選択されるが、空間位置検出部４１０１からの指示位置の情報は、デジタイザ２０と空間位置検出用ユニット３０とで共通の座標空間となるように、座標変換部４１３で座標変換されるので、選択部４１２が切り替えられたときにも、電子ペン１０のＶＲ画像の表示位置がジャンプするように動くなどいうような表示ずれを生じるようなことはない。
　空間情報処理部４１０のペン姿勢検出部４１０２からのペン姿勢の情報は、また、姿勢変換部４１７を通じて３Ｄ描画系処理用の関連付け部４１５に供給される。姿勢変換部４１７には、ペン姿勢検出部４１０２からのペン姿勢の情報とデジタイザ姿勢検出部４１０３で検出されたデジタイザ２０の姿勢の情報とが供給されており、姿勢変換部４１７では、図３を用いて説明した、空間位置検出用ユニット３０で検出した空間座標系における電子ペン１０のペン姿勢を、デジタイザ２０のセンサ部２２の入力面２１Ｓに対する相対的なペン姿勢に変換する処理を実行する。
　３Ｄ描画系処理用の関連付け部４１５は、選択部４１１からの電子ペン１０の指示位置の情報と、姿勢変換部４１７からの、ペン姿勢検出部４１０２で検出されたペン姿勢の情報がデジタイザ２０の入力面２１Ｓに対する相対的なペン姿勢の情報に変換された情報とを関連付けてペアとして、表示画像生成部４２の描画像生成部４２１及びジェスチャー検出処理部４２３に供給する。この場合に、関連付け部４１５での関連付けも、関連付け部４１６と同様に、選択部４１２から出力される電子ペン１０の指示位置に対して、当該電子ペン１０の指示位置において検出されるペン姿勢の情報をペアとして関連付けることを意味している。
　描画像生成部４２１は、デジタイザ２０からの電子ペン１０の指示位置の検出出力と、この実施形態では空間位置検出用ユニット３０で検出されたペン姿勢の情報とに基づいて、精細な線画等を描画するペン描画機能と、空間位置検出用ユニット３０により検出された電子ペン１０の空間位置とペン姿勢とに基づいてジェスチャー検出処理部４２３で検出された動き（ジェスチャー）に基づいた描画処理をするジェスチャー処理機能とを備える。
　そして、この描画像生成部４２１及びジェスチャー検出処理部４２３には、選択制御信号生成部４１４からの選択制御信号ＳＥが供給されており、ジェスチャー検出処理部４２３は、電子ペン１０の指示位置が、デジタイザ２０の位置検出領域ＤＴの空間領域以外のときに動作するように制御され、描画像生成部４２１は、電子ペン１０の指示位置が、デジタイザ２０の位置検出領域ＤＴの空間領域内のときには、ペン描画機能を実行し、電子ペン１０の指示位置が、デジタイザ２０の位置検出領域ＤＴの空間領域以外のときには、ジェスチャー処理を実行するように切り替え制御される。
　この場合に、この実施形態では、デジタイザ２０と空間位置検出用ユニット３０とで共通の座標空間となるように、座標変換部４１３を用いて座標変換するようにしているので、選択部４１１で、電子ペン１０の指示位置の切り替えられたとしても、電子ペン１０の指示位置がジャンプするようにずれてしまうようなことはない。また、ペン姿勢は、空間位置検出用ユニット３０で検出されたものであっても、デジタイザ２０の入力面２１Ｓに対する相対的なペン姿勢に変換されるので、３Ｄ描画像に適切に反映される。
　前述したように、描画像生成部４２１で生成された３Ｄ描画画像情報は、ＶＲ画像生成部４２２に供給されてＶＲ画像とされ、表示ドライブ部４２４を通じてＨＭＤ５０に供給されて表示される。この場合において、この実施形態では、電子ペン１０の指示位置は、座標変換部４１３を用いることで、デジタイザ２０と空間位置検出用ユニット３０とで共通の空間座標となるようにしているので、３Ｄ描画像の空間座標系と、電子ペン１０などのＶＲ画像の空間座標系は同一となる。したがって、３Ｄ描画像に対する電子ペン１０の指示位置は、３Ｄ描画系処理とＶＲ画像系処理とで異なることはないので、ＶＲ画像生成部４２２では、両者の空間座標の補正をする必要はない。
　以上の説明から分かるように、この第１の実施形態では、３Ｄ描画系処理において、電子ペン１０及びデジタイザ２０が、電子ペン１０の傾き角や回転角などのペン姿勢を検出する機能を備えていなくでも、空間位置検出用ユニット３０で検出した電子ペン１０のペン姿勢を、３Ｄ描画像生成に利用することができるという効果を奏する。また、この第１の実施形態では、デジタイザ２０の位置検出領域ＤＴ以外の空間領域で、空間位置検出用ユニット３０により検出した電子ペン１０のペン姿勢の情報を、３Ｄ描画像の生成のためのジェスチャー検出用とするようにできるという効果もある。さらに、この第１の実施形態では、デジタイザ２０の検出領域の空間座標と、空間位置検出用ユニット３０の検出領域の空間座標とを共通の座標として扱えるようにしたので、３Ｄ描画系処理において、デジタイザ２０からの出力と、空間位置検出用ユニット３０の出力とを切り替えたときにも、座標ずれが生じないという特徴がある。
　したがって、操作者は、デジタイザ２０と、空間位置検出用ユニット３０との切り替えを意識することなく、電子ペン１０をデジタイザ２０上において空間的に移動するだけで、シームレスに、精細描画からジェスチャーによる操作をすることができる。
　また、上述した第１の実施形態においては、ＶＲ画像系処理において、電子ペン１０のＶＲ画像を生成するための電子ペン１０の位置情報（ペン先の位置情報）として、デジタイザ２０の位置検出領域ＤＴの空間領域においては、空間位置検出用ユニット３０での検出出力よりも高精度で、反応速度も速いデジタイザ２０の位置検出出力を用いることができるので、実際の使用者の電子ペンの操作に応じて的確に反応するＶＲ画像が得られる。
　なお、上述した空間描画情報生成装置４０は、コンピュータにより構成されるので、入力情報処理部４１及び表示画像生成部４２の各部は、ソフトウェアプログラムにより実行するソフトウェア機能部として構成することができることは言うまでもない。
　［第２の実施形態］
　上述の第１の実施形態は、電子ペン１０及びデジタイザ２０は、電子ペンの傾き角や回転角などのペン姿勢の検出機能は有しない例であったが、電子ペンの傾き角や回転角などのペン姿勢の検出機能を有する構成とすることができる。
　以下に説明する第２の実施形態の入力装置は、上述した第１の実施形態で説明した空間位置指示システムと同様のシステムにおいて、電子ペンやデジタイザが、電子ペンの傾き角や回転角などのペン姿勢の検出機能を有する場合である。
　図４に、この第２の実施形態の空間位置指示システムの要部の構成例を示す。この第２の実施形態の空間位置指示システムは、第１の実施形態と同様の構成を備えるものであるが、電子ペン１０及びデジタイザ２０の代わりに、ペン姿勢を検出するための構成を備える電子ペン１０Ａ（図４では図示を省略）とデジタイザ２０Ａとを設ける。そして、第１の実施形態における空間描画情報生成装置４０の入力情報処理部４１の代わりに、図４に示すような構成の入力情報処理部４１Ａを設ける。
　この第２の実施形態の空間位置指示システムにおいては、第１の実施形態で説明した空間位置検出用ユニット３０、表示画像生成部４２、ＨＭＤ５０をも備えるが、それらは、第１の実施形態と同様であるので、図４には示していない。また、図４に示すデジタイザ２０Ａ及び入力情報処理部４１Ａにおいて、図２に示したデジタイザ２０及び入力情報処理部４１と同様の部分には、同一参照符号を付して、その詳細な説明は省略する。
　図５（Ａ）に示すように、電子ペン１０Ａがセンサ部の入力面に対して垂直である場合には、所定数の複数、例えば７本のループコイル位置Ｘｉ－３、Ｘｉ－２、Ｘｉ－１、Ｘｉ、Ｘｉ＋１、Ｘｉ＋２、Ｘｉ＋３の信号レベルは、指示位置を中心として対称形を呈する。
　これに対して、電子ペン１０Ａが傾いているときには、これらの７本のループコイル位置Ｘｉ－３、Ｘｉ－２、Ｘｉ－１、Ｘｉ、Ｘｉ＋１、Ｘｉ＋２、Ｘｉ＋３の信号レベルは、図５（Ｂ）に示すように、電子ペン１０Ａが傾いている方向及び傾いている角度に応じて変化する。この所定数の複数の信号レベルに基づいて、電子ペン１０Ａの指示位置の位置座標、及び傾き角、傾き方向を検出することができる。
　しかしながら、図６に示すようなセンサ部の入力面（検出領域）ＩＮＳにおいては、例えば点線の位置よりも外側の斜線を付して示す周辺領域ＰＥでは、上述の所定数より少ない複数の信号レベルしか得られない。このため、この第２の実施形態では、デジタイザ２０Ａの周辺領域ＰＥでは、電子ペン１０Ａの指示位置（ペン先位置）及び電子ペン１０Ａのペン姿勢の検出精度は低くなり、この第２の実施形態の場合には、空間位置検出用ユニット３０で検出される電子ペン１０Ａの指示位置（ペン先位置）及び電子ペン１０Ａのペン姿勢の検出精度の方が高精度となっている点を考慮する。
　すなわち、この第２の実施形態では、電子ペン１０Ａのペン先位置が、デジタイザ２０Ａにおいて、電子ペン１０Ａの指示位置やペン姿勢が検出することができる位置検出領域ＤＴの空間領域であっても、周辺領域ＰＥ及びその上空の空間領域にあるときには、デジタイザ２０Ａで検出される電子ペン１０Ａの指示位置及びペン姿勢の情報に代えて、空間位置検出用ユニット３０で検出される電子ペン１０Ａの指示位置及びペン姿勢の情報を用いるようにする。
　図４に示すように、この第２の実施形態のデジタイザ２０Ａは、姿勢検出部２４を備える。この姿勢検出部２４は、図示を省略した電子ペン１０Ａとデジタイザ２０Ａのセンサ部２２との信号の授受に基づいて、電子ペン１０Ａの傾き角、傾き方向、回転角などのペン姿勢を検出する。そして、この姿勢検出部２４で検出された電子ペン１０Ａのペン姿勢の情報は、入力情報処理部４１Ａの選択部４１８の一方の入力端子に供給される。この選択部４１８の他方の入力端子には、空間情報処理部４１０のペン姿勢検出部４１０２からの、空間位置検出用ユニット３０が用いられて検出された電子ペン１０Ａのペン姿勢の情報が供給される。
　選択部４１８からの電子ペン１０Ａのペン姿勢の情報は、関連付け部４１５に供給されて、選択部４１１からの電子ペン１０Ａの指示位置の情報と、上述と同様の関連付け処理がなされ、表示画像生成部４２の描画像生成部４２１及びジェスチャー検出処理部４２３に供給される。
　また、この第２の実施形態では、空間情報処理部４１０のペン姿勢検出部４１０２で検出された電子ペン１０Ａのペン姿勢の情報は、選択部４１９の一方の入力端子に供給される。そして、デジタイザ２０Ａの姿勢検出部２４からの電子ペン１０Ａのペン姿勢の情報は、姿勢変換部４１７Ｒに供給されると共に、空間情報処理部４１０のデジタイザ姿勢検出部４１０３で検出されたデジタイザ２０Ａの傾き角及び傾き方向を含むデジタイザ姿勢の情報が、この姿勢変換部４１７Ｒに供給される。
　姿勢変換部４１７Ｒでは、デジタイザ２０Ａの姿勢検出部２４からの電子ペン１０Ａのペン姿勢の情報と、空間情報処理部４１０のデジタイザ姿勢検出部４１０３からのデジタイザ２０Ａの姿勢の情報とから、姿勢変換部４１７とは逆変換がなされる。すなわち、デジタイザ２０Ａで検出された電子ペン１０Ａの、入力面２１Ｓに対する相対的なペン姿勢を、空間位置検出用ユニット３０で検出される動き検出空間領域ＭＤの空間座標系における絶対的なデジタイザ２０Ａの姿勢に変換される。
　そして、この姿勢変換部４１７Ｒで姿勢変換された電子ペン１０Ａのペン姿勢の情報は、選択部４１９の他方の入力端子に供給される。選択部４１９で後述するように選択されて出力される電子ペン１０Ａのペン姿勢の情報は、関連付け部４１６に供給されて、選択部４１２からの電子ペン１０Ａの指示位置の情報と、上述と同様の関連付け処理がなされ、表示画像生成部４２のＶＲ画像生成部４２２に供給される。
　この第２の実施形態の選択制御信号生成部４１４Ａは、選択部４１１、選択部４１２、選択部４１８及び選択部４１９の選択制御信号ＳＥＡを生成する。また、選択制御信号生成部４１４Ａは、上述の第１の実施形態の選択制御信号生成部４１４と同様の選択制御信号ＳＥを生成し、表示画像生成部４２の描画像生成部４２１及びジェスチャー検出処理部４２３が実行する処理を、上述の第１の実施形態と同様にして切り替え制御をする。
　この第２の実施形態の選択制御信号生成部４１４Ａからの選択制御信号ＳＥＡは、電子ペン１０Ａの指示位置（ペン先位置）が、デジタイザ２０Ａの位置検出領域ＤＴの空間領域内か、それ以外の空間領域かで、選択部４１１，４１２，４１８，４１９を選択制御するだけでなく、デジタイザ２０Ａの入力面２１Ｓの周辺領域ＰＥ（図６参照）か、入力面２１Ｓの周辺領域ＰＥの内側の中央部領域かで、選択部４１１，４１２，４１８，４１９を選択制御するようにする。
　このため、この第２の実施形態の選択制御信号生成部４１４Ａには、デジタイザ２０Ａの位置検出部２３からは、電子ペン１０Ａからの受信信号の信号レベルの情報に加えて、電子ペン１０Ａの指示位置の情報も供給される。そして、選択制御信号生成部４１４Ａは、電子ペン１０Ａの指示位置（ペン先の位置）が、位置検出領域ＤＴの空間領域内であり、且つ、周辺領域ＰＥの内側の中央部領域の空間領域内に在るときと、それ以外の空間領域に在るときとで、選択部４１１，４１２，４１８，４１９を選択制御する選択制御信号ＳＥＡを生成する。
　選択部４１１は、選択制御信号ＳＥＡにより、電子ペン１０Ａの指示位置（ペン先の位置）が、位置検出領域ＤＴの空間領域内であり、且つ、周辺領域ＰＥの内側の中央部領域の空間領域内に在るときには、デジタイザ２０Ａの位置検出部２３からの電子ペン１０Ａの指示位置の情報を選択して、関連付け部４１５に供給し、電子ペン１０Ａの指示位置（ペン先の位置）が、上記以外の空間領域に在るときには、座標変換部４１３からの空間位置検出部４１０１からの電子ペン１０Ａの指示位置の情報を選択して、関連付け部４１５に供給する。
　また、選択部４１２は、選択制御信号ＳＥＡにより、電子ペン１０Ａの指示位置（ペン先の位置）が、位置検出領域ＤＴの空間領域内であり、且つ、周辺領域ＰＥの内側の中央部領域の空間領域内に在るときには、デジタイザ２０Ａの位置検出部２３からの電子ペン１０Ａの指示位置の情報を選択して、関連付け部４１６に供給し、電子ペン１０Ａの指示位置（ペン先の位置）が、上記以外の空間領域に在るときには、座標変換部４１３で座標変換処理した空間位置検出部４１０１からの電子ペン１０Ａの指示位置の情報を選択して、関連付け部４１６に供給する。
　また、選択部４１８は、選択制御信号ＳＥＡにより、電子ペン１０Ａの指示位置（ペン先の位置）が、位置検出領域ＤＴの空間領域内であり、且つ、周辺領域ＰＥの内側の中央部領域の空間領域内に在るときには、デジタイザ２０Ａの姿勢検出部２４からの電子ペン１０Ａのペン姿勢の情報を選択して、関連付け部４１５に供給し、電子ペン１０Ａの指示位置（ペン先の位置）が、上記以外の空間領域に在るときには、姿勢変換部４１７からのペン姿勢検出部４１０２で検出された電子ペン１０Ａのペン姿勢から、相対的なペン姿勢に変換されたペン姿勢の情報を選択して、関連付け部４１５に供給する。
　また、選択部４１９は、選択制御信号ＳＥＡにより、電子ペン１０Ａの指示位置（ペン先の位置）が、位置検出領域ＤＴの空間領域内であり、且つ、周辺領域ＰＥの内側の中央部領域の空間領域内に在るときには、姿勢変換部４１７Ｒからのデジタイザ２０Ａの姿勢検出部２４で検出された電子ペン１０Ａのペン姿勢から、空間位置検出用ユニット３０で検出される絶対的なペン姿勢に変換されたペン姿勢の情報を選択して、関連付け部４１６に供給し、電子ペン１０Ａの指示位置（ペン先の位置）が、上記以外の空間領域に在るときには、ペン姿勢検出部４１０２からの電子ペン１０Ａのペン姿勢の情報を選択して、関連付け部４１６に供給する。
　この第２の実施形態の空間位置指示システムの入力情報処理部４１Ａがコンピュータで構成される場合の処理動作の流れの一例を、図７及びその続きである図８を参照して説明する。なお、この場合には、図４に示した入力情報処理部４１Ａを構成する各ブロックは、コンピュータのプログラムによるソフトウェア機能部となる。
　すなわち、入力情報処理部４１Ａは、デジタイザ２０Ａからの信号から、デジタイザ２０Ａで電子ペン１０Ａの指示位置を検出する状態になったか否か判別する（ステップＳ１）。このステップＳ１で、デジタイザ２０Ａで電子ペン１０Ａの指示位置を検出する状態になっていないと判別したときには、入力情報処理部４１Ａは、空間位置検出用ユニット３０で電子ペン１０Ａが検出できるか否か判別する（ステップＳ２）。このステップＳ２で、空間位置検出用ユニット３０で電子ペン１０Ａが検出できないと判別したときには、入力情報処理部４１Ａは、処理をステップＳ１に戻す。
　ステップＳ１で、デジタイザ２０Ａで電子ペン１０Ａの指示位置を検出する状態になったと判別したときには、入力情報処理部４１Ａは、デジタイザ２０Ａで検出された電子ペン１０Ａによる指示位置の座標を取得し（ステップＳ３）、取得した指示位置の座標は、周辺領域ＰＥ内であるか否か判別する（ステップＳ４）。
　ステップＳ４で、取得した指示位置の座標は、周辺領域ＰＥではなく、その内側領域であると判別したときには、入力情報処理部４１Ａは、デジタイザ２０Ａからの電子ペン１０Ａの指示位置の情報とペン姿勢の情報とを関連付けて描画像生成用として表示画像生成部４２に出力する（ステップＳ５）。
　次いで、入力情報処理部４１Ａは、空間情報処理部４１０の空間位置検出部４１０１で検出した電子ペン１０Ａの指示位置の情報を、デジタイザ２０Ａと共通の座標系の情報とするための座標変換をする（ステップＳ６）。そして、入力情報処理部４１Ａは、座標変換した電子ペン１０Ａの指示位置の情報と、空間情報処理部４１０のペン姿勢検出部４１０２で検出したペン姿勢の情報とを関連付けて、ＶＲ画像生成用として表示画像生成部４２に出力する（ステップＳ７）。このステップＳ７の次には、入力情報処理部４１Ａは、処理をステップＳ１に戻し、このステップＳ１以降の処理を繰り返す。
　次に、ステップＳ４で、取得した指示位置の座標は、周辺領域ＰＥ内であると判別したとき、また、ステップＳ２で、空間位置検出用ユニット３０で電子ペン１０Ａを検出することができると判別したときには、入力情報処理部４１Ａは、空間情報処理部４１０の空間位置検出部４１０１で検出した電子ペン１０Ａの指示位置の情報を、デジタイザ２０Ａと共通の座標系の情報とするための座標変換をする（図８のステップＳ１１）。また、入力情報処理部４１Ａは、空間情報処理部４１０のデジタイザ姿勢検出部４１０３で検出されたデジタイザ２０Ａの姿勢の情報を取得する（ステップＳ１２）。
　次に、入力情報処理部４１Ａは、デジタイザ２０Ａの姿勢検出部２４からのペン姿勢の情報を、ステップＳ１２で取得したデジタイザ２０Ａの姿勢の情報を用いて、デジタイザ２０Ａに対する相対的な姿勢ではなく、空間領域における絶対姿勢の情報に変換する（ステップＳ１３）。そして、入力情報処理部４１Ａは、ステップＳ１１で座標変換して得た電子ペン１０Ａの指示位置の情報と、ステップＳ１３で求められた絶対姿勢の情報とを関連付けて描画像生成用として表示画像生成部４２に出力する（ステップＳ１４）。
　次に、入力情報処理部４１Ａは、空間情報処理部４１０のペン姿勢検出部４１０２からのペン姿勢の情報を、ステップＳ１２で取得したデジタイザ２０Ａの姿勢の情報を用いて、デジタイザ２０Ａに対する相対的な姿勢の情報に変換する（ステップＳ１５）。そして、入力情報処理部４１Ａは、ステップＳ１１で座標変換して得た電子ペン１０Ａの指示位置の情報と、ステップＳ１３で求められた絶対姿勢の情報とを関連付けて、ＶＲ画像生成用として表示画像生成部４２に出力する（ステップＳ１６）。このステップＳ１６の次には、入力情報処理部４１Ａは、処理をステップＳ１に戻し、このステップＳ１以降の処理を繰り返す。
　この第２の実施形態の空間位置指示システムの入力情報処理部４１Ａは、以上のように構成されているので、３Ｄ描画系処理及びＶＲ画像系処理における電子ペン１０Ａの指示位置の情報は、デジタイザ２０Ａの位置検出領域ＤＴの空間領域の内の、入力面２１Ｓの周辺領域ＰＥよりも内側の中央部領域では、空間位置検出用ユニット３０で検出する場合よりも高精度で、デジタイザ２０Ａの位置検出部２３で検出される電子ペン１０Ａの指示位置の情報が用いられ、そして、デジタイザ２０Ａの位置検出領域ＤＴの空間領域の内の、入力面２１Ｓの周辺領域ＰＥ（入力面２１Ｓの上空を含む）及び位置検出領域ＤＴの空間領域の外側の空間領域では、デジタイザ２０Ａの位置検出部２３で検出する場合よりも高精度で、空間位置検出用ユニット３０の空間位置検出部４１０１で検出される電子ペン１０Ａの指示位置の情報が用いられる。
　また、３Ｄ描画系処理における電子ペン１０Ａのペン姿勢の情報としては、デジタイザ２０Ａの位置検出領域ＤＴの空間領域の内の、入力面２１Ｓの周辺領域ＰＥよりも内側の中央部領域では、空間位置検出用ユニット３０で検出する場合よりも高精度で、デジタイザ２０Ａの姿勢検出部２４で検出される電子ペン１０Ａのペン姿勢の情報が用いられ、そして、デジタイザ２０Ａの位置検出領域ＤＴの空間領域の内の、入力面２１Ｓの周辺領域ＰＥ（入力面２１Ｓの上空を含む）及び位置検出領域ＤＴの空間領域の外側の空間領域では、デジタイザ２０Ａの位置検出部２３で検出する場合よりも高精度で、空間位置検出用ユニット３０のペン姿勢検出部４１０２で検出される電子ペン１０Ａのペン姿勢の情報が用いられる。
　したがって、この第２の実施形態においても、第１の実施形態と同様に、常に高精度の情報を用いて、３Ｄ描画系処理を行うと共に、ＶＲ画像系処理を行うことができる。この場合に、第１の実施形態と同様に、３Ｄ描画系処理及びＶＲ画像系処理のそれぞれにおいては、デジタイザ２０Ａで検出される情報と、空間位置検出用ユニット３０で検出される情報を、相互に利用することができて便利であるという利点がある。
　［第３の実施形態］
　以上説明した第１の実施形態及び第２の実施形態は、この発明による入力装置を空間位置指示システムに適用した場合であるが、この発明による入力装置は、デジタイザを備えるタブレット装置において、ホバー領域を含む位置検出領域ＤＴ内で電子ペンによる位置指示を検出する場合にも適用可能である。
　図９は、この第３の実施形態の入力装置を含むシステムの概要を示す図である。この図９においては、電子ペン１０Ｂとデジタイザを備えるタブレット装置６０とにより、第３の実施形態の入力装置が構成される。図９に示すように、この入力装置のタブレット装置６０は、例えば机９０上に置かれており、コンピュータ８０に接続されている。また、この例では、タブレット装置６０は、机９０の載置面に対して例えば傾き角θを持って、載置されている。
　そして、この第３の実施形態においては、タブレット装置６０に内蔵されるデジタイザの入力面６１Ｓの上方の３次元空間における電子ペン１０Ｂのペン姿勢を検出するためのジャイロセンサユニット７０が、電子ペン１０Ｂのペン先側とは反対側の後端側に、挿脱可能に設けられている。なお、ジャイロセンサユニット７０は、電子ペン１０Ｂのペン先側とは反対側の後端側に内蔵されていてもよい。
　図１０は、この第３の実施形態の入力装置を構成する電子ペン１０Ｂ、タブレット装置６０及びジャイロセンサユニット７０の機能構成例を説明するためのブロック図である。この場合に、ジャイロセンサユニット７０は、例えば３軸ジャイロセンサ７１と、無線通信部７２とを備えて構成されている。無線通信部７２は、例えばブルートゥース（登録商標）規格の近距離無線通信手段で構成されている。無線通信部７２は、これに限らず、赤外線通信などの光通信であってもよい。
　この例では、ジャイロセンサユニット７０は、電子ペン１０Ｂの筐体に対して装着されているので、３軸ジャイロセンサ７１は、電子ペン１０Ｂの３次元空間における傾き角、傾き方向、回転角に応じた出力信号を出力する。ここで、３軸ジャイロセンサ７１で検出される電子ペン１０Ｂの電子ペン１０Ｂの傾き角、傾き方向、回転角に応じた出力信号は、電子ペン１０Ｂのタブレット装置６０の入力面６１Ｓに対する相対的な姿勢に応じたものではなく、３次元空間における地軸を基準にした絶対的な姿勢に応じたものとなっている。無線通信部７２は、３軸ジャイロセンサ７１からの出力信号を、タブレット装置６０に対して無線送信する。
　電子ペン１０Ｂは、タブレット装置６０のセンサ部６１とのインタラクション部１００を備えている。インタラクション部１００は、電磁誘導方式あるいは静電結合方式のいずれかにより、タブレット装置６０のセンサ部６１と結合して、信号のやり取りをする。この例の電子ペン１０Ｂのインタラクション部１００は、センサ部６１とは、電子ペン１０Ｂの指示位置の位置検出用信号のやり取りを行い、傾き角、傾き方向、回転角などのペン姿勢を検出するための信号のやり取りは行わない。
　タブレット装置６０では、センサ部６１での電子ペン１０Ｂとのインタラクションの結果得られる信号から、指示位置検出部６２で、電子ペン１０Ｂの指示位置が検出される。指示位置検出部６２で検出された電子ペン１０Ｂの指示位置の情報は、関連付け部６３に供給される。
　この第３の実施形態のタブレット装置６０は、ジャイロセンサユニット７０の無線通信部７２と無線通信を行う無線通信部６４を備える。この無線通信部６４で受信されたジャイロセンサユニット７０の３軸ジャイロセンサ７１の検出出力は、電子ペン姿勢検出部６５に供給されて、電子ペン１０Ｂのペン姿勢が検出される。この電子ペン姿勢検出部６５で検出された電子ペン１０Ｂのペン姿勢の情報は、相対姿勢算出部６６に供給される。
　この実施形態のタブレット装置６０は、自装置の傾き角や傾き方向を検出するためのジャイロセンサ６７を備えている。このジャイロセンサ６７のセンサ出力は、タブレット姿勢検出部６８に供給される。タブレット姿勢検出部６８は、ジャイロセンサ６７のセンサ出力に基づいて、自装置の傾き角や傾き方向を検出し、その検出した自装置の傾き角や傾き方向の情報（タブレット姿勢の情報）を、相対姿勢算出部６６に供給する。
　相対姿勢算出部６６は、電子ペン姿勢検出部６５からの電子ペン１０Ｂの３次元空間における絶対的なペン姿勢の情報を、タブレット姿勢検出部６８からのタブレット姿勢の情報を用いて補正することで、電子ペン１０Ｂのタブレット装置６０の入力面６１Ｓに対する相対的なペン姿勢を算出する。そして、相対姿勢算出部６６は、算出した電子ペン１０Ｂの相対的なペン姿勢の情報を、関連付け部６３に供給する。
　関連付け部６３は、前述した関連付け部と同様にして、電子ペン１０Ｂの指示位置の情報と、電子ペン１０Ｂの相対的なペン姿勢の情報とを関連付けて、コンピュータ８０に対して出力するようにする。
　以上のようにして、この第３の実施形態の入力装置においては、電子ペン１０Ｂのペン先による指示位置が得られるときに、これに対応して電子ペン１０Ｂの後端側に設けられたジャイロセンサユニット７０で、３次元空間において検出された電子ペン１０Ｂのペン姿勢の情報を、電子ペン１０Ｂの指示位置に対応するペン姿勢の情報として出力することができる。
　［他の実施形態または変形例］
　上述の第１の実施形態及び第２の実施形態においては、空間位置検出用ユニット３０は、赤外線レーザ光の発光する発光追跡装置と、トラッカーとを備える構成としたが、この構成に限られるものではないことは言うまでもない。例えば、その他の非可視光センサ、可視光線センサ又はこれらの組み合わせ等を用いた構成としてもよい。
　また、上述の第１の実施形態及び第２の実施形態においては、ＨＭＤ５０を装着しているので、電子ペン１０の操作者は、デジタイザ２０は、直接的には見ることができない。そこで、ＨＭＤ５０に表示する仮想空間画像に、デジタイザ２０の仮想画像を描画して、ＨＭＤ５０の表示画面で、操作者がデジタイザ２０の位置を認識するように構成することもできる。
　また、上述の第１の実施形態及び第２の実施形態においては、２つの空間座標系での誤差を補正するために、空間位置検出用ユニット３０の座標値を、デジタイザ２０の空間座標系の座標値に変換するようにしたが、逆に、デジタイザ２０の位置検出領域ＤＴの座標値を空間位置検出用ユニット３０の座標値に変換するようにしてもよい。なお、この２つの空間座標系の間の変換は、必須のものではなく、任意である。
　上述の第１の実施形態及び第２の実施形態では、電子ペン及びデジタイザは、電磁誘導方式のものを用いるようにしたが、これに限られるものではなく、静電方式（アクティブ静電結合方式、パッシブ静電結合方式を含む）の電子ペンとデジタイザを用いることも、勿論できる。
　また、第１の実施形態～第２の実施形態のデジタイザ及び第３の実施形態のタブレット装置は、いわゆるスマートフォンと呼ばれる携帯型携帯電話端末であってもよい。
　なお、第１の実施形態及び第２の実施形態では、空間位置指示システムにより３Ｄ描画をする場合について説明したが、描画画像は、２Ｄ描画画像や２．５Ｄ描画画像であってもよい。
　１０，１０Ａ，１０Ｂ…電子ペン、２０，２０Ａ…デジタイザ、２１Ｓ…入力面、２２…センサ部、２３…位置検出部、２４…姿勢検出部、３０…空間位置検出用ユニット、４０…空間描画情報生成装置、４１…入力情報処理部、４１０１…空間位置検出部、４１０２…ペン姿勢検出部、５０…ＨＭＤ
 

Claims (9)

  1. 　電子ペンとの信号の授受に応じて、前記電子ペンによる第１の指示位置を検出する第１の検出部と 、
    　前記電子ペンが存在する３次元空間における前記電子ペンによる第２の指示位置を検出する第２の検出部と、
    　前記第１の指示位置と前記第２の指示位置とに基づいて、前記電子ペンの位置情報を生成する制御部と 、
    　を備える入力装置。
  2. 　前記第２の検出部で検出される前記第２の指示位置には、前記電子ペンが存在する３次元空間における前記電子ペンの第１の姿勢を含み、
    　前記第１の姿勢から、前記電子ペンの前記第１の検出部に対する姿勢を算出する算出手段を備える
    　ことを特徴とする請求項１に記載の入力装置。
  3. 　前記第２の検出部で検出される前記第２の指示位置には、前記電子ペンが存在する３次元空間における前記電子ペンの第１の姿勢を含み、
    　前記第２の検出部は、前記電子ペンの角速度を検出するセンサの出力から、前記電子ペンの前記第１の姿勢を検出する
    　ことを特徴とする請求項１に記載の入力装置。
  4. 　前記第２の検出部で検出される前記第２の指示位置には、前記電子ペンが存在する３次元空間における前記電子ペンの第１の姿勢を含み、
    　前記制御部は、前記電子ペンと前記第１の検出部との信号の授受が可能な状態において、前記第２の検出部で検出された前記第１の姿勢を、前記第１の指示位置とに基づいて、前記電子ペンの位置情報を生成する
    　ことを特徴とする請求項１に記載の入力装置。
  5. 　前記制御部は、前記電子ペンの指示位置が、前記電子ペンと前記第１の検出部との信号の授受が可能な状態において、前記第１の検出部の入力面の領域のうち、周辺領域の内側の領域では前記第１の指示位置を出力し、前記周辺領域においては前記第２の指示位置を出力する
    　ことを特徴とする請求項１に記載の入力装置。
  6. 　前記第１の検出部で検出される前記第１の指示位置には第１の姿勢を含み、前記第２の検出部で検出される前記第２の指示位置には、第２の姿勢を含むものであり、
    　前記制御部は、前記電子ペンと前記第１の検出部との信号の授受が可能な状態において、前記電子ペンの指示位置が、前記第１の検出部の入力面の領域のうち、周辺領域の内側の領域では前記第１の指示位置の情報と前記第１の姿勢の情報とを出力し、前記周辺領域においては前記第１の指示位置の情報と前記第２の姿勢の情報とを出力する 
    　ことを特徴とする請求項１に記載の入力装置。
  7. 　前記第２の指示位置に代えて前記第１の指示位置を出力するか否かを制御する第２の制御部を備える
    　ことを特徴とする請求項１に記載の入力装置。
  8. 　前記第１の検出部で検出される前記第１の指示位置には第１の姿勢を含み、かつ、前記第１の姿勢は前記電子ペンの前記第１の検出部に対する相対姿勢であり、
    　前記第１の姿勢を、前記電子ペンが存在する３次元空間における姿勢に変換する手段を備え、
    　前記第２の制御部は、前記変換された前記第１の姿勢を出力する
    　ことを特徴とする請求項７に記載の入力装置。
  9. 　前記第１の検出部で検出される前記第１の指示位置には、前記第１の姿勢を含み、前記第２の検出部で検出される前記第２の指示位置には、前記第２の姿勢を含み、
    　前記第２の制御部は、前記電子ペンの指示位置が、前記電子ペンと前記第１の検出部との信号の授受が可能な状態において、前記第１の検出部の入力面の領域の内側の中央領域では、前記第２の指示位置と、前記第１の指示位置の情報とを出力し、前記第１の検出部の入力面の前記中央領域の外側の領域においては、前記第２の指示位置の情報を出力する
    　ことを特徴とする請求項７に記載の入力装置。
     
PCT/JP2018/047700 2018-03-05 2018-12-26 電子ペンを用いた入力装置 WO2019171719A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201880090305.2A CN111819524A (zh) 2018-03-05 2018-12-26 使用了电子笔的输入装置
EP18908456.9A EP3764201A4 (en) 2018-03-05 2018-12-26 INPUT DEVICE WITH ELECTRONIC PEN
JP2020504804A JP7386152B2 (ja) 2018-03-05 2018-12-26 入力システム及び入力方法
US17/000,106 US11243616B2 (en) 2018-03-05 2020-08-21 Input device
US17/534,343 US11656692B2 (en) 2018-03-05 2021-11-23 Input device
US18/299,547 US20230251726A1 (en) 2018-03-05 2023-04-12 Input device
JP2023192684A JP2024016238A (ja) 2018-03-05 2023-11-13 画像生成方法及びコンピュータ並びに画像生成プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018038512 2018-03-05
JP2018-038512 2018-03-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/000,106 Continuation US11243616B2 (en) 2018-03-05 2020-08-21 Input device

Publications (1)

Publication Number Publication Date
WO2019171719A1 true WO2019171719A1 (ja) 2019-09-12

Family

ID=67847059

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/047700 WO2019171719A1 (ja) 2018-03-05 2018-12-26 電子ペンを用いた入力装置

Country Status (5)

Country Link
US (3) US11243616B2 (ja)
EP (1) EP3764201A4 (ja)
JP (2) JP7386152B2 (ja)
CN (1) CN111819524A (ja)
WO (1) WO2019171719A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148139A (zh) * 2020-09-28 2020-12-29 联想(北京)有限公司 一种姿态识别方法和计算机可读存储介质
WO2023188659A1 (ja) * 2022-03-30 2023-10-05 株式会社ワコム 情報処理システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019074582A (ja) * 2017-10-13 2019-05-16 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP7300304B2 (ja) * 2019-04-22 2023-06-29 株式会社ワコム ペン状態検出回路及びペン状態検出方法
WO2023003759A1 (en) * 2021-07-22 2023-01-26 Dathomir Laboratories Llc Multi-modal tracking of an input device
US11816275B1 (en) 2022-08-02 2023-11-14 International Business Machines Corporation In-air control regions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129907A (ja) * 2006-11-22 2008-06-05 Konica Minolta Holdings Inc 情報処理システム
JP2010205134A (ja) * 2009-03-05 2010-09-16 Panasonic Corp 情報表示装置
US9329703B2 (en) 2011-06-22 2016-05-03 Apple Inc. Intelligent stylus
JP2016126503A (ja) 2014-12-26 2016-07-11 株式会社ワコム 位置指示器及び信号処理装置
JP2017117373A (ja) * 2015-12-25 2017-06-29 キヤノン株式会社 操作装置とその制御方法、及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060129933A1 (en) * 2000-12-19 2006-06-15 Sparkpoint Software, Inc. System and method for multimedia authoring and playback
US7027648B2 (en) * 2002-02-08 2006-04-11 Microsoft Corporation Pen out-of-proximity handwriting-recognition trigger
KR100631616B1 (ko) * 2005-01-08 2006-10-11 엘지전자 주식회사 3차원 위치정보 입력장치
JP2007286976A (ja) * 2006-04-18 2007-11-01 Fanuc Ltd ロボットシミュレーション装置
US10922870B2 (en) * 2010-06-01 2021-02-16 Vladimir Vaganov 3D digital painting
WO2015047223A1 (en) * 2013-09-24 2015-04-02 Hewlett-Packard Development Company, L.P. Identifying a target touch region of a touch-sensitive surface based on an image
CN104598048A (zh) * 2013-10-31 2015-05-06 鸿富锦精密工业（深圳）有限公司 数位笔书写控制方法及系统
CN106404234A (zh) * 2015-03-12 2017-02-15 辛纳普蒂克斯公司 力传感器
JP6416687B2 (ja) * 2015-04-17 2018-10-31 株式会社ジャパンディスプレイ 表示装置およびタッチ検出装置
US20170242498A1 (en) * 2016-02-23 2017-08-24 Motorola Mobility Llc Passive Chopsticks Stylus System for Capacitive Touch Screens
KR20180015987A (ko) * 2016-08-04 2018-02-14 삼성전자주식회사 펜과 관련된 정보를 판단하는 터치 감지 장치 및 그 제어 방법과 펜
US11262885B1 (en) * 2017-06-27 2022-03-01 William Martin Burckel Multi-gesture context chaining
CN111033452B (zh) * 2017-09-04 2024-04-09 株式会社和冠 空间位置指示系统
EP3770732B1 (en) * 2018-03-23 2023-06-14 Wacom Co., Ltd. Three-dimensional pointing device and three-dimensional position detection system
US20200310561A1 (en) * 2019-03-29 2020-10-01 Logitech Europe S.A. Input device for use in 2d and 3d environments

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129907A (ja) * 2006-11-22 2008-06-05 Konica Minolta Holdings Inc 情報処理システム
JP2010205134A (ja) * 2009-03-05 2010-09-16 Panasonic Corp 情報表示装置
US9329703B2 (en) 2011-06-22 2016-05-03 Apple Inc. Intelligent stylus
JP2016126503A (ja) 2014-12-26 2016-07-11 株式会社ワコム 位置指示器及び信号処理装置
JP2017117373A (ja) * 2015-12-25 2017-06-29 キヤノン株式会社 操作装置とその制御方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3764201A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148139A (zh) * 2020-09-28 2020-12-29 联想(北京)有限公司 一种姿态识别方法和计算机可读存储介质
CN112148139B (zh) * 2020-09-28 2022-07-26 联想(北京)有限公司 一种姿态识别方法和计算机可读存储介质
WO2023188659A1 (ja) * 2022-03-30 2023-10-05 株式会社ワコム 情報処理システム

Also Published As

Publication number Publication date
US20230251726A1 (en) 2023-08-10
EP3764201A1 (en) 2021-01-13
EP3764201A4 (en) 2021-12-08
US11656692B2 (en) 2023-05-23
US20220083156A1 (en) 2022-03-17
CN111819524A (zh) 2020-10-23
JPWO2019171719A1 (ja) 2021-03-04
US20200387240A1 (en) 2020-12-10
JP7386152B2 (ja) 2023-11-24
JP2024016238A (ja) 2024-02-06
US11243616B2 (en) 2022-02-08

Similar Documents

Publication Publication Date Title
WO2019171719A1 (ja) 電子ペンを用いた入力装置
US11630570B2 (en) Spatial position indication system
JP2023129627A (ja) 位置指示器及び位置検出システム
US9401050B2 (en) Recalibration of a flexible mixed reality device
JP5561092B2 (ja) 入力装置、入力制御システム、情報処理方法及びプログラム
US20230205416A1 (en) Spatial position indication system
JP6711033B2 (ja) 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置
JP2010146230A (ja) 入力装置およびデータ処理システム
CN108351736B (zh) 可穿戴显示器、图像显示装置和图像显示系统
US7287701B2 (en) Handheld coordinate reference system
JP2008047047A (ja) 入力装置及び方法、並びにプログラム及び記憶媒体
US20130155211A1 (en) Interactive system and interactive device thereof
CN116113911A (zh) 利用到达角数据的设备追踪
KR100948806B1 (ko) 무선 공간인식 3차원 마우스 장치 및 이의 제어 방법
US20240192788A1 (en) Three-dimensional position indicator and three-dimensional position detection system including grip part and tracker
WO2022172335A1 (ja) 仮想ガイド表示装置、仮想ガイド表示システム、及び仮想ガイド表示方法
WO2023179264A1 (zh) 隔空输入方法、设备以及系统
JP2021170420A (ja) 携帯端末、方法及びプログラム
JP2012220342A (ja) ナビゲーション装置
KR20170110442A (ko) 증강현실 기능을 구비한 제어용 컴퓨터 장치 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18908456

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020504804

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018908456

Country of ref document: EP

Effective date: 20201005