WO2019225170A1 - 位置指示デバイス及び空間位置指示システム - Google Patents

位置指示デバイス及び空間位置指示システム Download PDF

Info

Publication number
WO2019225170A1
WO2019225170A1 PCT/JP2019/015043 JP2019015043W WO2019225170A1 WO 2019225170 A1 WO2019225170 A1 WO 2019225170A1 JP 2019015043 W JP2019015043 W JP 2019015043W WO 2019225170 A1 WO2019225170 A1 WO 2019225170A1
Authority
WO
WIPO (PCT)
Prior art keywords
position indicating
virtual reality
unit
reality space
force sense
Prior art date
Application number
PCT/JP2019/015043
Other languages
English (en)
French (fr)
Inventor
井手　雄一
浩 玉野
Original Assignee
株式会社ワコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ワコム filed Critical 株式会社ワコム
Priority to CN202410576053.1A priority Critical patent/CN118567473A/zh
Priority to CN201980029213.8A priority patent/CN112041789B/zh
Priority to JP2020521071A priority patent/JP7401427B2/ja
Publication of WO2019225170A1 publication Critical patent/WO2019225170A1/ja
Priority to US16/951,713 priority patent/US11604520B2/en
Priority to US18/167,006 priority patent/US12073032B2/en
Priority to JP2023194216A priority patent/JP2024012599A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware

Definitions

  • the present invention relates to a position indicating device and a spatial position indicating system, and more particularly to a position indicating device and a spatial position indicating system corresponding to haptics.
  • Patent Document 1 discloses a game that uses a virtual marker, a paintbrush, and a paint spray can to create a work of art or graffiti on a virtual surface or an actual surface.
  • Patent Document 1 discloses a technique in which an actuator is provided in each of a marker type, paintbrush type, and paint spray can type controller, and this actuator is given vibration. Yes.
  • Non-Patent Document 2 interference between a surgical instrument such as a virtual catheter and a 3D model is determined based on the position and direction of a stylus mechanically connected to a robot arm, and the touch (viscosity) corresponding to each part is determined.
  • a haptic characteristic such as rigidity and friction
  • one of the objects of the present invention is to provide a position indicating device capable of realizing the use of the electronic pen in the virtual reality space.
  • the input can be performed not only on the real tablet but also on the virtual tablet.
  • the electronic pen is placed on the surface of the object in the virtual reality space. It is desirable to generate a force sense in the electronic pen when the pen tip hits.
  • a position sensor for detecting the position of the electronic pen has a certain size, and at least at present, there is no small position sensor that can be installed on the pen tip. As a result, even if a force sense is generated when the detected position hits the surface of the object, the pen tip is not always on the surface of the object at that time, so that the user feels uncomfortable.
  • another object of the present invention is to provide a spatial position indicating system that can generate a force sense without making the user feel uncomfortable when the user uses an electronic pen in a virtual reality space. There is to do.
  • a position indication device includes a housing configured to be able to mount an electronic pen having a pen tip, a force sense generating unit that generates a force sense, and the electronic pen mounted on the housing.
  • a position indicating device includes a housing configured to be able to mount an electronic pen having a pen tip, a force sense generating unit that generates a force sense, and the electronic pen mounted on the housing.
  • a controller for controlling the force sense generating unit so as to generate a force sense when a distance between the position of the pen tip in the virtual reality space and an object in the virtual reality space is a predetermined value or less;
  • a position indication device includes a position indication unit, a force generation unit that generates a force sense, a position of the position indication unit in a virtual reality space, and an object in the virtual reality space. And a controller that controls the force generation unit so as to generate a force sense when the distance between them is equal to or less than a predetermined value.
  • the space position indicating system obtains the position of the position indicating unit of the position indicating device in the real space and the position indicating unit in the virtual reality space based on the position of the position indicating unit in the real space.
  • a step of acquiring a position a determination step of determining whether a distance between a position of the position indicating unit in the virtual reality space and an object in the virtual reality space is equal to or less than a predetermined value, and the determination
  • a spatial position indicating system including a computer that executes a transmission step of transmitting a control signal for controlling the force sense generating unit to the position indicating device having the force sense generating unit according to a determination result of the step. .
  • the electronic pen can be mounted on the space position indicating device, the electronic pen can be used in the virtual reality space.
  • the electronic pen itself operates as a space position indicating device, so that the electronic pen can be used in the virtual reality space.
  • the force of the position indicating device is based on the position of the pen tip, not the position of the position indicating device (or electronic pen) indicated by the position information. Since a force sense can be generated in the sense generating unit, it is possible to generate a force sense without causing the user who uses the electronic pen in the virtual reality space to feel uncomfortable.
  • FIG. 2A is a perspective view showing an external appearance of the electronic pen 5
  • FIG. 2B is a schematic block diagram showing functional blocks of the electronic pen 5.
  • FIG. 3 is a process flow diagram illustrating a process performed by a processing unit 50 illustrated in FIG.
  • FIG. 1 is a diagram showing a configuration of a spatial position indicating system 1 according to the first embodiment of the present invention.
  • the spatial position indicating system 1 includes a computer 2, a virtual reality display 3, a tablet 4, an electronic pen 5, lightning houses 7a and 7b, and position sensors 8a to 8c. It is comprised including.
  • the position sensors 8a to 8c are provided on the tablet 4, the virtual reality display 3, and the electronic pen 5, respectively.
  • FIG. 1 Each device shown in FIG. 1 is arranged in a room in principle. In the space position indicating system 1, almost the entire room can be used as a virtual reality space.
  • the computer 2 includes a control unit 2a and a memory 2b. Each process performed by the computer 2 described below can be realized by the controller 2a reading and executing a program stored in the memory 2b.
  • the computer 2 is connected to each of the virtual reality display 3, the lightning houses 7a and 7b, and the tablet 4 by wire or wirelessly.
  • wired it is preferable to use USB (Universal Serial Bus), for example.
  • wireless for example, it is preferable to use a wireless LAN such as Wi-Fi (registered trademark) or a short-range wireless communication such as Bluetooth (registered trademark).
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • the computer 2 is configured to have a function of displaying a virtual reality space on the virtual reality display 3.
  • This virtual reality space may be a VR (Virtual Reality) space, an AR (Augmented Reality) space, or an MR (Mixed Reality) space.
  • VR Virtual Reality
  • AR Augmented Reality
  • MR Magnetic Reality
  • the user wearing the virtual reality display 3 recognizes the virtual reality and is separated from the real world.
  • the AR space or the MR space the user wearing the virtual reality display 3 recognizes a space in which the virtual reality and the real world are mixed.
  • the computer 2 functions as a rendering device that renders various 3D objects (objects) in the virtual reality space set with respect to the positions of the lightning houses 7a and 7b, and displays the virtual reality display 3 according to the rendering result. Configured to update. As a result, various 3D objects appear in the virtual reality space displayed on the virtual reality display 3. Rendering by the computer 2 is executed based on 3D object information stored in the memory 2b.
  • the 3D object information is information indicating the shape, position, and orientation of the 3D object in the virtual reality space indicating the virtual reality space set by the computer 2, and is stored in the memory 2b for each 3D object to be rendered.
  • the 3D object rendered by the computer 2 includes a 3D object that actually exists such as the tablet 4 and the electronic pen 5 shown in FIG. 1 (hereinafter referred to as “first 3D object”) and a virtual tablet ( 3D objects that do not exist in reality (hereinafter referred to as “second 3D objects”), such as those not shown).
  • first 3D object 3D object that actually exists
  • second 3D objects 3D objects that do not exist in reality
  • the computer 2 first detects the position and orientation of the position sensor 8b in the real space, and acquires viewpoint information indicating the user's viewpoint based on the detection result.
  • the computer 2 When rendering the first 3D object, the computer 2 further detects the position and orientation of the position sensor (for example, the position sensors 8a and 8c) attached to the corresponding object in the real space, and stores the detection result in the memory 2b. To store. Then, the first 3D object is rendered in the virtual reality space based on the stored position and orientation, the viewpoint information described above, and the shape stored for the first 3D object. Further, the computer 2 detects the operation performed by the user in the virtual reality space by detecting the position of the position sensor 8c, and creates a new second 3D object based on the result. (That is, the 3D object information is newly stored in the memory 2b), or the second 3D object already held is moved or updated (that is, the 3D object information already stored in the memory 2b is updated). Process. This point will be described later in detail.
  • the position sensor for example, the position sensors 8a and 8c
  • the computer 2 when rendering the second 3D object, the computer 2 renders the second 3D object in the virtual reality space based on the 3D object information stored in the memory 2b and the viewpoint information described above. Composed.
  • the computer 2 further selects the electronic pen 5 based on the position of the pen tip of the electronic pen 5 in the virtual reality space (position in the virtual reality space) and the position in the virtual reality space of the 3D object being displayed in the virtual reality space. It is determined whether or not a force sense generating unit 56 (described later) of the pen 5 generates a force sense, and when it is determined that the force sense is generated, a control signal for starting the force sense generating unit 56 is sent to the electronic pen 5. Process to send. In a specific example, when the pen tip of the electronic pen 5 comes into contact with the touch surface of the virtual tablet in the virtual reality space, a control signal for starting the force sense generating unit 56 is transmitted to the electronic pen 5. It is configured as follows. This point will be described in detail again later.
  • the virtual reality display 3 is a VR display (head mounted display) used by being worn on a human head.
  • VR display head mounted display
  • various types of commercially available virtual reality displays such as “transmission type” or “non-transmission type”, “glasses type” or “hat type”, and any of them is used as the virtual reality display 3. Is also possible.
  • the virtual reality display 3 is connected to each of the position sensor 8a and the electronic pen 5 (including the position sensor 8c) by wire or wirelessly.
  • the position sensors 8a and 8c are configured to notify the virtual reality display 3 of light reception level information to be described later through this connection.
  • the virtual reality display 3 notifies the computer 2 of the light reception level information notified from each of the position sensors 8a and 8c together with the light reception level information of the position sensor 8b built therein.
  • the computer 2 detects the positions and orientations of the position sensors 8a to 8c in the real space based on the light reception level information thus notified.
  • Tablet 4 is a device having a tablet surface 4a.
  • the tablet surface 4a is preferably a flat surface and can be made of a material suitable for sliding the pen tip of the electronic pen 5.
  • the tablet 4 is a so-called digitizer, and includes a touch sensor that detects an instruction position of the electronic pen 5 in the touch surface and a communication function that notifies the computer 2 of the detected instruction position.
  • the tablet surface 4a is constituted by the touch surface of the digitizer.
  • the tablet 4 is a so-called tablet computer, a display, a touch sensor that detects the indicated position of the electronic pen 5 within the display surface of the display, and a communication function that notifies the computer 2 of the detected indicated position. It is comprised.
  • the tablet surface 4a in this case is constituted by a display surface of a display.
  • the position sensor 8a is fixedly installed on the surface of the tablet 4. Therefore, the position and orientation of the position sensor 8a detected by the computer 2 indicate the position and orientation of the tablet surface 4a in the virtual reality space coordinate system.
  • the electronic pen 5 is a stylus having a pen shape, and functions as an input device to the tablet 4 (hereinafter referred to as “tablet input function”) and a function as an input device to the computer 2 (hereinafter referred to as “ It is called “virtual reality space input function”).
  • the tablet input function includes a function for indicating a position in the touch surface of the tablet 4.
  • the virtual reality space input function includes a function for indicating a position in the virtual reality space. Details of each function will be described later.
  • the lightning houses 7a and 7b are base station devices that constitute a position detection system for detecting the positions of the position sensors 8a to 8c, and are configured to emit laser signals while changing directions according to control by the computer 2, respectively.
  • the Each of the position sensors 8a to 8c is composed of a plurality of light receiving sensors, and each of the light receiving sensors receives a laser signal emitted from each of the lightning houses 7a and 7b, and acquires light receiving level information including each light receiving level. It is configured as follows. The light reception level information acquired in this way is supplied to the computer 2 via the virtual reality display 3 as described above.
  • FIG. 2A is a perspective view showing the appearance of the electronic pen 5, and FIG. 2B is a schematic block diagram showing functional blocks of the electronic pen 5.
  • the electronic pen 5 includes a substantially cylindrical casing 5a and a pen tip 5b provided at the tip of the casing 5a.
  • various members for realizing a force generation unit 56 may be attached to the actual surface of the electronic pen 5, but drawing is omitted in FIG.
  • various switches may be provided on the side or end of the electronic pen 5.
  • the user When performing input using the tablet input function, the user holds the casing 5a with one hand and brings the pen tip 5b into contact with the touch surface of the tablet 4. Then, an input operation using the electronic pen 5 is performed by moving the pen tip 5b on the touch surface while maintaining the contact state.
  • the user when performing input using the virtual reality space input function, the user performs an input operation with the electronic pen 5 by holding the housing 5a with one hand and moving the electronic pen 5 in the air.
  • Input by the virtual reality space input function includes input to the virtual tablet described above.
  • the virtual tablet can be seen by the user wearing the virtual reality display 3, but in reality there is no tablet at that location. Therefore, the pen tip 5b cannot be brought into contact with the touch surface of the virtual tablet, but this makes it difficult to perform an input operation on the virtual tablet. Therefore, in the spatial position indication system 1, by generating a force sense when the pen tip 5b is at the position of the touch surface of the virtual tablet, a feeling as if the pen tip 5b is in contact with the touch surface of the virtual tablet. To the user. This point will be described later in detail.
  • the electronic pen 5 functionally includes a processing unit 50, communication units 51 and 53, a pen pressure detection unit 52, a position detection unit 54, a switch unit 55, and a force sense generation unit 56. Configured.
  • the processing unit 50 is connected to other units in the electronic pen 5 and is configured by a processor that controls these and performs various processes described below.
  • the processing unit 50 is arranged in the electronic pen 5, but the present invention is not limited to this, and the processing unit 50 may be arranged outside the electronic pen 5.
  • the communication unit 51 and the writing pressure detection unit 52 are functional units that realize a tablet input function.
  • the communication unit 51 has a function of transmitting and receiving signals to and from the touch sensor of the tablet 4 under the control of the processing unit 50.
  • This signal transmission / reception includes a case where a signal is unilaterally transmitted from the electronic pen 5 to the tablet 4 and a case where a signal is bidirectionally transmitted / received between the electronic pen 5 and the tablet 4.
  • an electromagnetic induction method or an active electrostatic method can be used as a specific method for signal transmission / reception.
  • the writing pressure detection unit 52 is a functional unit that detects the pressure (writing pressure) applied to the pen tip 5b.
  • the writing pressure detection unit 52 includes a capacitance sensor (not shown) whose capacitance value changes with writing pressure. Is done.
  • the tablet input function will be described in detail by taking as an example the case where the communication unit 51 transmits and receives signals by the active electrostatic method.
  • the touch sensor corresponding to the active electrostatic method is configured to transmit a beacon signal at a predetermined time interval from a sensor electrode (not shown) arranged in the touch surface.
  • the beacon signal includes a command for controlling the electronic pen 5 from the touch sensor.
  • the control content of the command causes the pen pressure data indicating the pen pressure detected by the pen pressure detection unit 52 to be transmitted, and the pressing state of various switches (not shown) provided in the electronic pen 5 to be transmitted. And transmitting a unique ID stored in advance in a memory (not shown) of the electronic pen 5.
  • the communication unit 51 detects the beacon signal via a pen tip electrode (not shown) provided at the pen tip of the electronic pen 5 and supplies the detected beacon signal to the processing unit 50.
  • the processing unit 50 generates a pen signal including a burst signal, which is an unmodulated carrier wave, and a data signal obtained by modulating the carrier wave with data according to a command in accordance with the supplied beacon signal, and performs communication. Supplied to the unit 51.
  • the communication unit 51 transmits the supplied pen signal to the touch sensor via the pen tip electrode.
  • the touch sensor tries to detect the burst signal by the sensor electrode, and detects the position of the electronic pen 5 in the touch surface based on the detection result. Further, by detecting and demodulating the data signal with the sensor electrode, the data transmitted by the electronic pen 5 in response to the command is received.
  • the tablet 4 is configured to sequentially transmit the acquired position of the electronic pen 5 and the data transmitted by the electronic pen 5 toward the computer 2.
  • a predetermined value for example, 0
  • the computer 2 causes the electronic pen 5 to touch the touch surface of the tablet 4. It is determined that Then, while the computer 2 determines that the electronic pen 5 is in contact with the touch surface of the tablet 4, ink data (a plurality of positions are interpolated based on a series of positions continuously received). Curve data interpolated with a curve) is generated and stored in the memory 2b shown in FIG. Thereby, a tablet input function is realized.
  • the computer 2 may sequentially render the ink data stored in the memory 2 b and display the result on the display of the tablet 4.
  • the communication unit 53, the position detection unit 54, the switch unit 55, and the force generation unit 56 are functional units that realize a virtual reality space input function.
  • the communication unit 53 has a function of transmitting and receiving signals to and from the computer 2 via the virtual reality display 3 under the control of the processing unit 50. As described above, transmission / reception of this signal is realized by wire or wireless.
  • the position detection unit 54 is a functional unit configured by the position sensor 8c shown in FIG. 1, and is a laser signal transmitted by the lightning houses 7a and 7b (position detection signal for detecting a position in the real space). ) And generates light reception level information (position information) corresponding to the detected laser signal.
  • the light reception level information generated by the position detection unit 54 is transmitted toward the computer 2 by the communication unit 53.
  • the switch unit 55 is a switch provided on the surface of the casing 5a of the electronic pen 5, and is configured to be pressed by the user. Switch information indicating the pressed state of the switch unit 55 is also transmitted to the computer 2 by the communication unit 53.
  • the force sense generator 56 has a function of generating a force sense according to a control signal supplied from the outside. This control signal is supplied from the computer 2 through the communication unit 53. The force sense generator 56 will be described later in more detail later.
  • the computer 2 sequentially detects the position and orientation of the position sensor 8c based on the received light reception level information, and determines whether or not the switch unit 55 is pressed based on the received switch information. And while it determines with the switch part 55 being pressed down, the process which produces
  • the 3D ink data generated in this way corresponds to the second 3D object described above, and is the rendering target described above. Thereby, a virtual reality space input function is realized.
  • the computer 2 is in contact with the touch surface of the virtual tablet and the pen tip 5b of the electronic pen 5 in the virtual reality space. Only in some cases, 3D ink data is generated. By doing so, the user can perform input to the virtual tablet in the same manner as input to the actual tablet 4. Note that the generation of 3D ink data in this case may be executed regardless of the pressed state of the switch unit 55.
  • FIGS. 3 to 9 are diagrams showing first to seventh examples of the configuration of the force generation unit 56, respectively.
  • FIGS. 3A to 5B are cross-sectional views of the electronic pen 5, and
  • FIG. 8A is a perspective view of the electronic pen 5.
  • FIG. 8B is an exploded perspective view of the portion D shown in FIG.
  • FIG. 9 is a perspective view showing a usage state of the electronic pen 5.
  • the force generation unit 56 includes a flat plate-like contact portion 56 a disposed in front of the pen tip 5 b and a cylindrical member disposed so as to cover the housing 5 a.
  • the sliding portion 56b and a bridge portion 56c fixed to each of the contact portion 56a and the sliding portion 56b.
  • the sliding portion 56b is configured to be slidable in the longitudinal direction of the housing 5a with respect to the housing 5a from the position shown in FIG. 3A to the position shown in FIG. .
  • the sliding portion 56b is fixed with respect to the user's hand in a state where the user holds the electronic pen 5, the casing 5a is actually moved by this sliding.
  • the sliding portion 56b is in the position shown in FIG. 3A, the pen tip 5b is not in contact with the contact portion 56a.
  • the sliding part 56b is in the position shown in FIG. 3B, the pen tip 5b comes into contact with the contact part 56a.
  • the processing unit 50 moves the housing 5a from the position shown in FIG. 3A to the position shown in FIG. 3B in accordance with the control signal received from the computer 2. Thereby, the nib 5b collides with the contact part 56a. Therefore, by configuring the computer 2 to transmit a control signal in response to the pen tip 5b of the electronic pen 5 touching the touch surface of the virtual tablet in the virtual reality space, the user can use the pen of the electronic pen 5 It can be felt as an actual impact that the tip 5b has touched the touch surface of the virtual tablet.
  • the force generation unit 56 includes a magnetic fluid.
  • the magnetic fluid is a material whose hardness can be controlled by the frequency of the applied pulse current.
  • the frequency of the pulse current applied to the magnetic fluid is changed and the transition is made continuously between a relatively hard state and a relatively soft state, vibration appears to occur in a person in contact with the magnetic fluid. felt.
  • Various objects can also be moved by changing the hardness of the magnetic fluid.
  • FIG. 10 is a diagram illustrating an example of a control signal generated by the computer 2 when the force generation unit 56 is configured to move the housing 5a using a change in hardness of the magnetic fluid.
  • the control signal in this case is constituted by a pulse current signal that repeats the burst period BU and the blank period BL at a constant duty ratio.
  • the magnetic fluid becomes harder as the proportion of the burst period BU occupying the entire section increases. Therefore, the computer 2 controls the hardness of the magnetic fluid by controlling the duty ratio of the control signal, and as a result, moves the housing 5a. In this way, it is realized that a force sense is generated by the magnetic fluid.
  • the force generation unit 56 includes a flat contact portion 56a disposed in front of the pen tip 5b, a bridge portion 56c fixed to the housing 5a, A hinge portion 56d provided between the contact portion 56a and the bridge portion 56c is included.
  • the contact portion 56a is configured to be rotatable over a range B shown in the figure from the position shown in FIG. 4A to the position shown in FIG. 4B, with one end connected to the hinge portion 56d as the center.
  • the contact portion 56a is in the position shown in FIG. 4A, the pen tip 5b is not in contact with the contact portion 56a.
  • the contact portion 56a is at the position shown in FIG. 4B, the pen tip 5b contacts the contact portion 56a.
  • the processing unit 50 moves the contact portion 56a from the position shown in FIG. 4A to the position shown in FIG. 4B in accordance with the control signal received from the computer 2.
  • the pen tip 5b collides with the contact portion 56a, so that the user feels that the pen tip 5b of the electronic pen 5 is in contact with the touch surface of the virtual tablet as an actual impact, as in the first example. It becomes possible.
  • the force generation unit 56 includes a flat contact portion 56a disposed in front of the pen tip 5b, a bridge portion 56c fixed to the housing 5a, The contact part 56a and the slide part 56e formed integrally are comprised.
  • the slide portion 56e has a tenon for accommodating the end portion of the bridge portion 56c, for example, and the bridge portion 56c slides in the tenon so that the slide portion 56c in FIG. It is configured to be movable in the longitudinal direction of the electronic pen 5 over the range C shown from the position shown to the position shown in FIG.
  • the slide part 56e is in the position shown in FIG. 5A, the pen tip 5b is not in contact with the contact part 56a.
  • the slide part 56e is in the position shown in FIG. 5B, the pen tip 5b comes into contact with the contact part 56a.
  • the movement of the slide part 56e is realized using a magnetic fluid.
  • the processing unit 50 moves the slide unit 56e from the position shown in FIG. 5A to the position shown in FIG. 5B in accordance with the control signal received from the computer 2.
  • the pen tip 5b collides with the abutment portion 56a, so that the user feels that the pen tip 5b of the electronic pen 5 has touched the touch surface of the virtual tablet, as in the first and second examples. It becomes possible to feel.
  • the force generation unit 56 is configured to include a hardness changing unit 56 f arranged so as to be exposed on the surface of the housing 5 a.
  • the hardness changing portion 56f is made of vinyl containing the magnetic fluid described above.
  • the processing unit 50 changes the hardness of the hardness changing unit 56f by giving the control signal received from the computer 2 to the hardness changing unit 56f.
  • the user feels as if the hardness of the hardness changing unit 56f is vibrating, so that the user can place the pen tip 5b of the electronic pen 5 on the touch surface of the virtual tablet, as in the first to third examples. It is possible to feel contact as a real shock.
  • the force generation unit 56 includes a base part 56g fixed to the housing 5a, a vibration part 56h disposed in the base part 56g, and one end of the vibration part 56h. And an actuator 56i that is a high-rigidity member arranged with the other end pressed against the inner wall of the housing 5a.
  • the processing unit 50 vibrates the vibration unit 56h by giving the control signal received from the computer 2 to the vibration unit 56h. Then, since the vibration is transmitted to the housing 5a through the actuator 56i, the housing 5a also vibrates. As a result, the user can feel that the pen tip 5b of the electronic pen 5 has touched the touch surface of the virtual tablet as an actual impact, as in the first to fourth examples.
  • the force generation unit 56 includes a groove portion 5c provided in the housing 5a and a vibrating portion 56j disposed inside the housing 5a. Is done. A part of the vibration part 56j is exposed to the outside through the groove part 5c. Moreover, the vibration part 56j is comprised including the magnetic fluid mentioned above.
  • FIG. 8B shows a specific structure of the groove 5c and the vibrating part 56j.
  • the vibrating portion 56j includes a base portion 56ja that is a cylindrical member disposed in the housing 5a and three protruding portions 56jb provided so as to protrude from the side surface of the base portion 56ja. It is configured.
  • the three protruding portions 56jb are formed integrally with the base body portion 56ja and are arranged at equal intervals in the circumferential direction of the base body portion 56ja.
  • the groove 5c is provided corresponding to each of the three protrusions 56jb.
  • the processing unit 50 vibrates the vibration unit 56j by giving the control signal received from the computer 2 to the vibration unit 56j. Since the user can directly sense this vibration through the three protrusions 56jb exposed through the groove 5c, the pen tip 5b of the electronic pen 5 is placed on the touch surface of the virtual tablet, as in the first to fifth examples. It is possible to feel contact as a real shock.
  • the force generation unit 56 is provided as a separate body from the main body of the electronic pen 5, and specifically, a flat plate-like contact disposed in front of the pen tip 5b.
  • the contact portion 56a and a bridge portion 56k fixed to the user's arm are included.
  • An opening 56ka is provided in the vicinity of one end of the bridge portion 56k, and the bridge portion 56k is fixed to the user's arm by the user inserting his / her own arm into the opening 56ka.
  • the contact portion 56a is configured to be movable over the range E shown in the vicinity of the other end of the bridge portion 56k.
  • the specific movement range of the contact portion 56a is determined so as to come into contact with the pen tip 5b when the contact portion 56a comes closest to the electronic pen 5.
  • the processing unit 50 applies the control signal received from the computer 2 to the force generation unit 56, thereby causing the contact portion 56a to collide with the pen tip 5b.
  • the user can feel as an actual shock that the pen tip 5b of the electronic pen 5 has touched the touch surface of the virtual tablet.
  • the configuration of the force generation unit 56 provided in the electronic pen 5 has been described with seven examples. Next, generation of the control signal of the force generation unit 56 by the computer 2 will be described in detail.
  • FIG. 11 is a process flow diagram showing a process performed by the control unit 2a (see FIG. 1) of the computer 2.
  • FIG. 12 is a diagram showing details of the pen point position acquisition processing in the virtual reality space executed in steps S2 and S6 of FIG.
  • FIG. 13 is an explanatory diagram of processing executed in FIG.
  • the generation of the control signal of the force generation unit 56 by the computer 2 will be described in detail with reference to these drawings.
  • the computer 2 first displays an object in the virtual reality space as a premise (step S1).
  • This object is the above-described second 3D object (for example, a virtual tablet).
  • FIG. 13A shows the surface S of the object displayed in this way on a three-dimensional coordinate space.
  • the computer 2 performs a process of acquiring the position VP 2 of the nib 5b of the electronic pen 5 in the virtual reality space (step S2). More specifically, as shown in FIG. 12, the computer 2 first acquires light reception level information (step S20).
  • the light reception level information is generated by the position detection unit 54 (see FIG. 2) of the electronic pen 5, and the computer 2 acquires the light reception level information by reception from the electronic pen 5.
  • the computer 2 that has acquired the light reception level information acquires (calculates) a physical space position P 1 (first physical space position) indicating the position of the electronic pen 5 in the physical space based on the acquired light reception level information (Ste S21).
  • Position P 1 acquired in this way is a position of the position sensor 8c shown in FIG. 1, not the position of the pen tip 5b. Therefore, the computer 2 converts the position of the position sensor 8c into the position of the pen tip 5b based on the shape of the electronic pen 5 stored in the memory 2b in advance, so that the pen tip 5b of the electronic pen 5 in the real space is converted.
  • a process of acquiring (calculating) the position P 2 in the real space (the second position in the real space) indicating the position is performed (step S22).
  • the computer 2 based on the position P 2 obtained, to acquire a virtual reality space position VP 2 indicating the position of the pen tip 5b of the electronic pen 5 in the virtual reality space (calculated) (step S23).
  • the pen point position acquisition process in the virtual reality space ends with the processes so far.
  • the computer 2 that acquires position VP 2, based on the position of the surface S of the object (as indicated by step S1) in the virtual reality space and position VP 2, the electronic pen 5 nib 5b It is determined whether or not has collided with the surface S (second determination step, steps S3 and S4). Specifically, it is determined that a collision when a is located VP 2 points included in the region constituting the surface S, it may be determined that no collision has taken place otherwise.
  • step S4 When it determines with having collided in determination of step S4 (affirmation determination of step S4), the computer 2 produces
  • This control signal is, for example, the pulse current signal shown in FIG.
  • the processing unit 50 of the electronic pen 5 causes the force generation unit 56 to generate a force sense in response to the control signal, so that the user can obtain a collision experience with the surface S (for example, the touch surface of the virtual tablet). It becomes possible.
  • the computer 2 performs the process of acquiring the virtual reality space position VP 2 again (step S6), and determines whether or not the distance between the surface S and the position VP 2 is equal to or smaller than a predetermined value L (first step). 1 determination step (steps S7, S8).
  • This process are that the normal line of the surface S passing through the position VP 2 intersects with the surface S, it may be performed by the distance between the position Vp 2 to determine whether it is less than the predetermined value L.
  • step S8 When it determines with it being below predetermined value L by step S8 (affirmation determination of step S8), the computer 2 produces
  • the computer 2 produces
  • step S9 the computer 2 returns to step S6 and continues processing.
  • the distance between the surface S and the position VP 2 is less than the predetermined value L, and continue to feel contact with the surface S to the user Is possible.
  • the computer 2 may (step as that with the implementation of steps S9, the position VP 2 to practice the process of moving the position of the object to be a position on the surface S S10). By doing so, it is possible to maintain the contact state not only by force sense but also visually.
  • step S4 If it is determined in step S4 that there is no collision (negative determination in step S4), and if it is determined in step S8 that it is not less than the predetermined value L (negative determination in step S8), the computer 2 proceeds to step S2. Return and continue processing. In this case, since the generation of the force by the force generating unit 56 does not occur, despite apart distance between the position VP 2 and the surface S, the force is prevented from being put away occur. Therefore, it is possible to generate a force sense in the force sense generator 56 without causing the user using the electronic pen 5 in the virtual reality space to feel uncomfortable.
  • the surface S and the position VP 2 are used as conditions for stopping the generation of the force sense after the pen tip 5 b of the electronic pen 5 once collides with the surface S (that is, the condition for returning to step S 2).
  • the distance between is no longer than the predetermined value L
  • other events may be used as conditions for stopping the generation of force sense.
  • the moving distance of the electronic pen 5 after colliding with the surface S exceeds a predetermined value
  • the moving speed of the electronic pen 5 exceeds a predetermined value
  • the acceleration of the electronic pen 5 exceeds a predetermined value
  • a pressure sensor for example, the user's electronic pen 5 is not shown.
  • the generation of the force sense may be stopped.
  • the electronic pen 5 itself has the position detection unit 54, and therefore the electronic pen 5 operates as a space position indicating device.
  • the electronic pen 5 can be used inside.
  • the force generation unit 56 generates a force sense based on the position of the pen tip 5b instead of the position of the electronic pen 5 indicated by the received light level information. Therefore, it is possible to generate a force sense without causing the user using the electronic pen 5 in the virtual reality space to feel uncomfortable.
  • FIG. 14 is a diagram showing a spatial position indicating device 6 used in the spatial position indicating system 1 according to the second embodiment of the present invention.
  • FIG. 14A is a perspective view showing a usage state of the spatial position indicating device 6, and
  • FIG. 14B is a schematic block diagram showing functional blocks of the spatial position indicating device 6.
  • the spatial position indicating device 6 is configured to be usable with the electronic pen 5 inserted.
  • This embodiment is different from the first embodiment in that a virtual reality space input function is provided on the space position indicating device 6 side among the functions of the electronic pen 5 described with reference to FIG. To do.
  • the electronic pen 5 according to the present embodiment is a general electronic pen that does not have a virtual reality space input function.
  • the same components as those in the first embodiment will be denoted by the same reference numerals, and will be described in detail focusing on differences from the first embodiment.
  • the spatial position indicating device 6 is functionally configured to include a processing unit 50, a communication unit 53, a position detection unit 54, a switch unit 55, and a force generation unit 56.
  • the These basic functions are the same as those described with reference to FIG.
  • the switch unit 55 is provided not on the electronic pen 5 but on the surface of the space position indicating device 6.
  • the spatial position indicating device 6 fixes the housing 6a, the handle 6b, the position sensor 8c shown in FIG. 1, and the position sensor 8c to the housing 6a. 6d, a direction indicator 6e, a flat contact portion 56a, and a bridge portion 56m fixed between the housings 6a.
  • the contact part 56 a and the bridge part 56 m constitute a force sense generating part 56 of the spatial position indicating device 6.
  • the housing 6a is a member that constitutes the main body of the space position indicating device 6, and is configured so that the electronic pen 5 can be mounted. More specifically, the housing 6 a has an insertion port for inserting the electronic pen 5.
  • the handle portion 6 b is a member for the user to hold the spatial position indicating device 6. As shown in FIG. 14, the user uses the space position indicating device 6 in a state where the electronic pen 5 is inserted into the insertion opening of the housing 6a and the handle 6b is held with one hand.
  • the direction indicator 6e is a member for improving the user's feeling of use, and is configured so that the right thumb can be placed when the user holds the handle 6b with the right hand.
  • the abutting portion 56a is arranged in front of the pen tip 5b via the bridge portion 56m.
  • the contact portion 56a is configured to be movable over the range F shown in the vicinity of one end of the bridge portion 56m.
  • the movement of the contact portion 56a is preferably realized using the magnetic fluid described above.
  • the specific position of the contact portion 56 a is determined so as to come into contact with the pen tip 5 b when the contact portion 56 a comes closest to the electronic pen 5.
  • the processing unit 50 moves the contact part 56a in the right direction in the drawing according to the control signal received from the computer 2, the pen tip 5b collides with the contact part 56a.
  • the user can feel as an actual shock that the pen tip 5b of the electronic pen 5 is in contact with the touch surface of the virtual tablet.
  • step S3 shown in FIG. 11 the position of the position sensor 8c is converted into the position of the pen tip 5b based on the shape of the electronic pen 5 stored in the memory 2b in advance.
  • the computer 2 stores the shape of the spatial position indicating device 6 in a state where the electronic pen 5 is inserted in the memory 2b in advance, and based on this, the position sensor 8c The position is converted to the position of the pen tip 5b.
  • the force sense generating unit 56 it is possible to cause the force sense generating unit 56 to generate a force sense based on the position of the pen tip 5b, not the position of the position sensor 8c.
  • the electronic pen 5 can be mounted on the space position indicating device 6. Therefore, the electronic pen 5 can be used in the virtual reality space.
  • the force generation unit 56 generates a force sense based on the position of the pen tip 5b instead of the position of the position sensor 8c indicated by the received light level information. Therefore, it is possible to generate a force sense without making the user who uses the space position indicating device 6 and the electronic pen 5 feel uncomfortable in the virtual reality space.
  • the computer 2 causes the force generation unit 56 to generate a force sense when the pen tip of the electronic pen 5 contacts the touch surface of the virtual tablet in the virtual reality space.
  • the force generation unit 56 may generate a force sense.
  • the force generation unit 56 may generate a force sense when input by the virtual reality space input function is started instead of contact (that is, when generation of a 3D object by the computer 2 is started.
  • the force generation unit 56 may generate a force sense when input to the virtual tablet is performed.
  • the example in which the force generation unit 56 includes the contact portion 56a has been described.
  • a mechanism similar to the example shown in FIGS. Or it is good also as comprising the force generation part 56 by providing in the handle part 6b.
  • control signal for activating the force generation unit 56 is generated in the computer 2
  • this control signal is generated in the electronic pen 5 or the spatial position indicating device 6. It may be generated.
  • processing performed by the processing unit 50 illustrated in FIG. 2 when the electronic pen 5 is configured as described above will be described with reference to the drawings. Note that the same applies to the case where the control signal is generated in the spatial position indicating device 6 except that the processing unit 50 shown in FIG. 14 instead of FIG. 2 performs the processing.
  • FIG. 15 is a processing flowchart showing processing performed by the processing unit 50 shown in FIG.
  • the processing unit 50 first acquires information on an object displayed in the virtual reality space as a premise (step S30).
  • This object is the above-described second 3D object (for example, a virtual tablet), and the processing unit 50 acquires information on the object by reception from the computer 2.
  • processor 50 performs processing for acquiring position VP 2 of the nib 5b of the electronic pen 5 in the virtual reality space (step S31).
  • the details of this process are the same as those described with reference to FIG. Note that the processing unit 50 acquires light reception level information from the position detection unit 54 illustrated in FIG.
  • Position VP 2 processing section 50 acquires, based on the position of the surface S of the object (that obtains information at step S1) in the virtual reality space and position VP 2, nib 5b surface of the electronic pen 5 It is determined whether or not it has collided with S (steps S32 and S33). This process is the same process as steps S3 and S4 in FIG.
  • the process part 50 When it determines with having collided in determination of step S33 (affirmation determination of step S33), the process part 50 produces
  • the user can obtain a collision experience with the surface S (for example, the touch surface of the virtual tablet).
  • the processing unit 50 performs the process of acquiring the virtual reality space position VP 2 again (step S35), and determines whether or not the distance between the surface S and the position VP 2 is equal to or less than a predetermined value L (step S35). Steps S36 and S37). This process is the same as steps S7 and S8 in FIG.
  • step S37 determines with it being below predetermined value L by step S37 (affirmation determination of step S37)
  • the process part 50 produces
  • step S38 the processing unit 50 returns to step S35 and continues processing.
  • the processing unit 50 determines whether the distance between the surface S and the position VP 2 is less than the predetermined value L, and continue to feel contact with the surface S to the user Is possible.
  • step S33 If it is determined in step S33 that there is no collision (negative determination in step S33), and if it is determined in step S37 that it is not less than the predetermined value L (negative determination in step S37), the processing unit 50 performs step S31. Return to and continue processing. In this case, since the generation of the force by the force generating unit 56 does not occur, despite apart distance between the position VP 2 and the surface S, the force is prevented from being put away occur. Therefore, it is possible to generate a force sense in the force sense generator 56 without causing the user using the electronic pen 5 in the virtual reality space to feel uncomfortable.
  • the processing unit 50 may transmit the acquired virtual reality space position VP 2 to the computer 2 when the virtual reality space position VP 2 is acquired. In this way, even when the computer 2 generates a control signal for the force generation unit 56 in the electronic pen 5, step S ⁇ b> 9 shown in FIG. 11 can be performed. Therefore, it is possible to maintain the contact state not only by force sense but also visually.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想現実空間内における電子ペンの使用を実現できる位置指示デバイスを提供する。 【解決手段】空間位置指示デバイス６は、ペン先を有する電子ペン５を搭載可能に構成される筐体６ａと、力覚を発生する力覚発生部５６と、仮想現実空間内におけるペン先５ｂの位置と仮想現実空間内における物体との間の距離が所定値以下である場合に力覚を発生させるように力覚発生部５６を制御する処理部５０とを有する。これによれば、空間位置指示デバイス６に電子ペン５を搭載することができるので、仮想現実空間内における電子ペン５の使用が可能になる。

Description

位置指示デバイス及び空間位置指示システム
　本発明は位置指示デバイス及び空間位置指示システムに関し、特に、ハプティクスに対応する位置指示デバイス及び空間位置指示システムに関する。
　仮想現実（ＶＲ：Virtual Reality、ＡＲ：Augmented Reality、ＭＲ：Mixed Realityを含む)空間内において、仮想平面に字を書いたり絵を描いたりするための技術が登場している。例えば、非特許文献１に記載の「Ｔｉｌｔ　Ｂｒｕｓｈ」は、専用コントローラを用いて、仮想現実空間の空中に絵を描くことを実現している。また、特許文献１には、仮想のマーカ、絵筆、塗料スプレー缶を使用して、仮想表面又は実際の表面に芸術作品又はグラフィティ作品を制作するゲームが開示されている。
　また、仮想現実に関して、ハプティクスという技術が注目されている。ハプティクスは、振動を仮想現実のユーザに与えるもので、例えば特許文献１には、マーカ型、絵筆型、塗料スプレー缶型の各コントローラにアクチュエータを設け、このアクチュエータに振動を与える技術が開示されている。また、非特許文献２には、ロボットアームに機械的に接続されたスタイラスの位置と方向に基づいて仮想カテーテル等の手術器具と３Ｄモデル間の干渉判定を行い、各部位に相当する感触（粘性、剛性、摩擦などといった力覚特性）を生成する技術が開示されている。
米国特許第８８８４８７０号明細書
「ＶＲお絵かきアプリ『Ｔｉｌｔ　Ｂｒｕｓｈ』とは？使い方・購入方法も紹介」、［online］、ＭｏｇｕｒａＶＲ、［平成３０年２月２８日検索］、インターネット＜URL：http://www.moguravr.com/vr-tilt-brush/＞ 「ＩｍｍｅｒｓｉｖｅＴｏｕｃｈ外科手術トレーニングシミュレータ」、［online］、日本バイナリー株式会社、［平成３０年２月２８日検索］、インターネット＜URL：http://www.nihonbinary.co.jp/Products/Medical/MedicalTraining/SurgicalSimulation/ImmersiveTouch.html＞
　ところで、タブレット（タブレットコンピュータ、デジタイザを含む）との間で信号の送受信を行うことにより、タブレットに対する入力を行えるように構成されたペン型のスタイラス（以下、「電子ペン」という）が知られている。従来、仮想現実空間内ではこの種の電子ペンを使用することができなかったが、近年、仮想現実空間内でも電子ペンを使用したいという要望が高まっている。
　したがって、本発明の目的の一つは、仮想現実空間内における電子ペンの使用を実現できる位置指示デバイスを提供することにある。
　また、電子ペンを仮想現実空間内で使用する場合には、現実のタブレットだけでなく、仮想のタブレットにも入力可能とすることが好ましいが、この場合、仮想現実空間内で物体の表面に電子ペンのペン先が当たった場合に、電子ペンに力覚を発生させることが望まれる。しかしながら、電子ペンの位置を検出するための位置センサはある程度の大きさを有しており、少なくとも現時点では、ペン先に設置できるような小型の位置センサは存在しない。その結果、検出した位置が物体の表面に当たった場合に力覚を発生させたとしても、その時点でペン先が物体の表面にあるとは限らないので、ユーザに違和感を感じさせてしまう。
　したがって、本発明の目的の他の一つは、ユーザが仮想現実空間内で電子ペンを使用する場合に、ユーザに違和感を感じさせることなく力覚を発生させることのできる空間位置指示システムを提供することにある。
　本発明の一側面による位置指示デバイスは、ペン先を有する電子ペンを搭載可能に構成される筐体と、力覚を発生する力覚発生部と、前記筐体に搭載される前記電子ペンの仮想現実空間内における前記ペン先の位置と前記仮想現実空間内における物体との間の距離が所定値以下である場合に力覚を発生させるように前記力覚発生部を制御するコントローラと、を有する位置指示デバイスである。
　本発明の他の一側面による位置指示デバイスは、位置指示部と、力覚を発生する力覚発生部と、仮想現実空間内における前記位置指示部の位置と前記仮想現実空間内における物体との間の距離が所定値以下である場合に力覚を発生させるように前記力覚発生部を制御するコントローラと、を有する位置指示デバイスである。
　本発明による空間位置指示システムは、現実空間における位置指示デバイスの位置指示部の位置を取得するステップと、前記現実空間における前記位置指示部の位置に基づき、仮想現実空間内における前記位置指示部の位置を取得するステップと、前記仮想現実空間内における前記位置指示部の位置と前記仮想現実空間内における物体との間の距離が所定値以下であるか否かを判定する判定ステップと、前記判定ステップの判定結果に応じて、力覚発生部を有する前記位置指示デバイスに前記力覚発生部を制御するための制御信号を送信する送信ステップと、を実行するコンピュータを含む空間位置指示システムである。
　本発明の一側面による位置指示デバイスによれば、空間位置指示デバイスに電子ペンを搭載することができるので、仮想現実空間内における電子ペンの使用が可能になる。
　本発明の他の一側面による位置指示デバイスによれば、電子ペン自体が空間位置指示デバイスとして動作するので、仮想現実空間内における電子ペンの使用が可能になる。
　本発明の位置指示デバイス及び空間位置指示システムによれば、位置情報により示される位置指示デバイス（又は電子ペン）の位置ではなく、ペン先の位置に基づいて位置指示デバイス（又は電子ペン）の力覚発生部に力覚を発生させることができるので、仮想現実空間内で電子ペンを使用するユーザに違和感を感じさせることなく、力覚を発生させることが可能になる。
本発明の第１の実施の形態による空間位置指示システム１の構成を示す図である。 （ａ）は、電子ペン５の外観を示す斜視図であり、図２（ｂ）は、電子ペン５の機能ブロックを示す略ブロック図である。 図２（ｂ）に示した力覚発生部５６の構成の第１の例を示す図である。 図２（ｂ）に示した力覚発生部５６の構成の第２の例を示す図である。 図２（ｂ）に示した力覚発生部５６の構成の第３の例を示す図である。 図２（ｂ）に示した力覚発生部５６の構成の第４の例を示す図である。 図２（ｂ）に示した力覚発生部５６の構成の第５の例を示す図である。 図２（ｂ）に示した力覚発生部５６の構成の第６の例を示す図である。 図２（ｂ）に示した力覚発生部５６の構成の第７の例を示す図である。 磁性流体の固さの変化を利用して筐体５ａを移動させるように力覚発生部５６を構成した場合に、コンピュータ２が生成する制御信号の一例を示す図である。 コンピュータ２の制御部２ａが行う処理を示す処理フロー図である。 図１１のステップＳ２，Ｓ６で実行される仮想現実空間内ペン先位置取得処理の詳細を示す図である。 図１１において実行される処理の説明図である。 本発明の第２の実施の形態による空間位置指示システム１で用いられる空間位置指示デバイス６を示す図である。 図２に示した処理部５０が行う処理を示す処理フロー図である。
　以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。
　図１は、本発明の第１の実施の形態による空間位置指示システム１の構成を示す図である。同図に示すように、本実施の形態による空間位置指示システム１は、コンピュータ２と、仮想現実ディスプレイ３と、タブレット４と、電子ペン５と、ライトニングハウス７ａ，７ｂと、位置センサ８ａ～８ｃとを含んで構成される。位置センサ８ａ～８ｃはそれぞれ、タブレット４、仮想現実ディスプレイ３、及び電子ペン５に設けられる。
　図１に示した各装置は、原則として部屋の中に配置される。空間位置指示システム１においては、この部屋のほぼ全体が仮想現実空間として利用され得る。
　コンピュータ２は、制御部２ａとメモリ２ｂとを含む。以下で説明するコンピュータ２が行う各処理は、制御部２ａがメモリ２ｂ内に記憶されるプログラムを読み出して実行することにより実現することができる。
　コンピュータ２は、仮想現実ディスプレイ３、ライトニングハウス７ａ，７ｂ、タブレット４のそれぞれと、有線又は無線により接続される。有線による場合、例えばＵＳＢ(Universal Serial Bus)などを用いることが好適である。無線による場合、例えばＷｉ－Ｆｉ（登録商標）などの無線ＬＡＮ、又は、ブルートゥース（登録商標）などの近距離無線通信を用いることが好適である。なお、タブレット４や仮想現実ディスプレイ３がコンピュータとしての機能を内蔵する場合には、そのコンピュータによりコンピュータ２を構成することとしてもよい。
　コンピュータ２は、仮想現実ディスプレイ３上に仮想現実空間を表示する機能を有して構成される。この仮想現実空間は、ＶＲ(Virtual Reality)空間であってもよいし、ＡＲ(Augmented Reality)空間であってもよいし、ＭＲ(Mixed Reality)空間であってもよい。ＶＲ空間を表示する場合、仮想現実ディスプレイ３を装着したユーザは、仮想現実を認識し、現実世界と切り離される。一方、ＡＲ空間又はＭＲ空間を表示する場合、仮想現実ディスプレイ３を装着したユーザは、仮想現実と現実世界とが混合した空間を認識することになる。
　コンピュータ２は、ライトニングハウス７ａ，７ｂの位置を基準として設定された仮想現実空間内において様々な３Ｄオブジェクト（物体）をレンダリングするレンダリング装置として機能するとともに、レンダリングの結果により、仮想現実ディスプレイ３の表示を更新するよう構成される。これにより、仮想現実ディスプレイ３上に表示される仮想現実空間内には、様々な３Ｄオブジェクトが現れることになる。コンピュータ２によるレンダリングは、メモリ２ｂ内に記憶される３Ｄオブジェクト情報に基づいて実行される。３Ｄオブジェクト情報は、コンピュータ２により設定された仮想現実空間を示す仮想現実空間における３Ｄオブジェクトの形状、位置、及び向きを示す情報であり、レンダリング対象の３Ｄオブジェクトごとにメモリ２ｂ内に記憶される。
　コンピュータ２によりレンダリングされる３Ｄオブジェクトには、図１に示したタブレット４、電子ペン５のように現実にも存在する３Ｄオブジェクト（以下、「第１の３Ｄオブジェクト」と称する）と、仮想タブレット（図示せず）のような現実には存在しない３Ｄオブジェクト（以下、「第２の３Ｄオブジェクト」と称する）とが含まれる。これらの３Ｄオブジェクトをレンダリングするにあたり、コンピュータ２はまず、現実空間における位置センサ８ｂの位置及び向きを検出し、検出結果に基づいて、ユーザの視点を示す視点情報を取得する。
　第１の３Ｄオブジェクトをレンダリングする場合、コンピュータ２はさらに、対応する物体に取り付けられている位置センサ（例えば、位置センサ８ａ，８ｃ）の現実空間における位置及び向きを検出し、検出結果をメモリ２ｂに格納する。そして、格納した位置及び向きと、上述した視点情報と、第１の３Ｄオブジェクトについて記憶している形状とに基づき、第１の３Ｄオブジェクトを仮想現実空間内にレンダリングする。また、コンピュータ２は、電子ペン５に関して特に、位置センサ８ｃの位置を検出することによって仮想現実空間内でユーザが行った操作を検出し、その結果に基づいて第２の３Ｄオブジェクトを新規に作成し（すなわち、メモリ２ｂに３Ｄオブジェクト情報を新規に格納し）、又は、既に保持している第２の３Ｄオブジェクトを移動ないし更新する（すなわち、メモリ２ｂに格納済みの３Ｄオブジェクト情報を更新する）処理を行う。この点については、後ほど別途詳しく説明する。
　一方、第２の３Ｄオブジェクトをレンダリングする場合、コンピュータ２は、メモリ２ｂに格納されている３Ｄオブジェクト情報と、上述した視点情報とに基づき、第２の３Ｄオブジェクトを仮想現実空間内にレンダリングするよう構成される。
　コンピュータ２はさらに、仮想現実空間内における電子ペン５のペン先の位置（仮想現実空間内位置）と、仮想現実空間内に表示中の３Ｄオブジェクトの仮想現実空間内における位置とに基づいて、電子ペン５の力覚発生部５６（後述）に力覚を発生させるか否かを判定し、発生させると判定した場合に、力覚発生部５６を起動するための制御信号を電子ペン５に対して送信する処理を行う。具体的な例では、仮想現実空間内において電子ペン５のペン先が仮想タブレットのタッチ面に接触した場合に、力覚発生部５６を起動するための制御信号を電子ペン５に対して送信するよう構成される。この点については、後ほど再度詳しく説明する。
　仮想現実ディスプレイ３は、人間の頭部に装着して用いるＶＲディスプレイ（ヘッドマウントディスプレイ）である。一般に市販される仮想現実ディスプレイには、「透過型」又は「非透過型」、「メガネ型」又は「帽子型」など各種のものがあるが、仮想現実ディスプレイ３としては、そのいずれを用いることも可能である。
　仮想現実ディスプレイ３は、位置センサ８ａ及び電子ペン５（位置センサ８ｃを含む）のそれぞれと有線又は無線により接続される。位置センサ８ａ，８ｃは、この接続を通じて、後述する受光レベル情報を仮想現実ディスプレイ３に通知するよう構成される。仮想現実ディスプレイ３は、位置センサ８ａ，８ｃのそれぞれから通知された受光レベル情報を、自身に内蔵している位置センサ８ｂの受光レベル情報とともにコンピュータ２に通知する。コンピュータ２は、こうして通知された受光レベル情報に基づき、現実空間内における位置センサ８ａ～８ｃそれぞれの位置及び向きを検出する。
　タブレット４は、タブレット面４ａを有する装置である。タブレット面４ａは平らな表面であることが好ましく、電子ペン５のペン先を滑らせるのに適した材料によって構成され得る。一例では、タブレット４はいわゆるデジタイザであり、タッチ面内における電子ペン５の指示位置を検出するタッチセンサと、検出した指示位置をコンピュータ２に通知する通信機能とを有して構成される。この場合のタブレット面４ａは、デジタイザのタッチ面によって構成される。他の一例では、タブレット４はいわゆるタブレットコンピュータであり、ディスプレイと、このディスプレイの表示面内における電子ペン５の指示位置を検出するタッチセンサと、検出した指示位置をコンピュータ２に通知する通信機能とを有して構成される。この場合のタブレット面４ａは、ディスプレイの表示面によって構成される。
　位置センサ８ａは、タブレット４の表面に固定設置される。したがって、コンピュータ２によって検出される位置センサ８ａの位置及び向きは、仮想現実空間座標系におけるタブレット面４ａの位置及び向きを示している。
　電子ペン５は、ペン型の形状を有するスタイラスであり、タブレット４への入力装置としての機能（以下、「タブレット入力機能」と称する）と、コンピュータ２への入力装置としての機能（以下、「仮想現実空間入力機能」と称する）とを有して構成される。タブレット入力機能には、タブレット４のタッチ面内の位置を指示する機能が含まれる。一方、仮想現実空間入力機能には、仮想現実空間内の位置を指示する機能が含まれる。各機能の詳細については、別途後述する。
　ライトニングハウス７ａ，７ｂは、位置センサ８ａ～８ｃの位置を検出するための位置検出システムを構成する基地局装置であり、それぞれ、コンピュータ２による制御に従って方向を変えながらレーザー信号を射出可能に構成される。位置センサ８ａ～８ｃは、それぞれ複数の受光センサによって構成されており、ライトニングハウス７ａ，７ｂのそれぞれが照射したレーザー信号を各受光センサによって受光し、それぞれの受光レベルを含む受光レベル情報を取得するよう構成される。こうして取得された受光レベル情報は、上述したように、仮想現実ディスプレイ３を介してコンピュータ２に供給される。
　図２（ａ）は、電子ペン５の外観を示す斜視図であり、図２（ｂ）は、電子ペン５の機能ブロックを示す略ブロック図である。図２（ａ）に示すように、電子ペン５は、略筒型の筐体５ａと、筐体５ａの先端に設けられたペン先５ｂとを有して構成される。なお、実際の電子ペン５の表面には、後述する力覚発生部５６を実現するための各種部材が取り付けられる場合があるが、図２（ａ）では描画を省略している。また、図示していないが、電子ペン５の側面又は端部に各種のスイッチを設けることとしてもよい。
　タブレット入力機能による入力を行う場合、ユーザは、片方の手によって筐体５ａを把持し、ペン先５ｂをタブレット４のタッチ面に当接させる。そして、当接状態を保ちながらタッチ面上でペン先５ｂを移動させることによって、電子ペン５による入力操作を行う。一方、仮想現実空間入力機能による入力を行う場合、ユーザは、片方の手によって筐体５ａを把持し、空中で電子ペン５を移動させることによって、電子ペン５による入力操作を行う。
　仮想現実空間入力機能による入力には、上述した仮想タブレットへの入力が含まれる。この場合、仮想現実ディスプレイ３を装着したユーザの目には仮想タブレットが見えているが、現実には、その場所にタブレットは存在しない。したがって、仮想タブレットのタッチ面にペン先５ｂを当接させることはできないが、それでは仮想タブレットへの入力操作が困難になる。そこで空間位置指示システム１では、ペン先５ｂが仮想タブレットのタッチ面の位置にある場合に力覚を発生させることで、あたかも仮想タブレットのタッチ面にペン先５ｂが当接しているかのような感覚をユーザに与える処理を行う。この点については、後ほど別途詳しく説明する。
　図２（ｂ）を参照すると、電子ペン５は機能的に、処理部５０、通信部５１，５３、筆圧検出部５２、位置検出部５４、スイッチ部５５、及び力覚発生部５６を有して構成される。
　処理部５０は、電子ペン５内の他の各部と接続され、これらを制御するとともに、後述する各種の処理を行うプロセッサにより構成される。なお、本実施の形態では電子ペン５内に処理部５０を配置しているが、これに限定されず、電子ペン５の外部に処理部５０を配置してもよい。
　通信部５１及び筆圧検出部５２は、タブレット入力機能を実現する機能部である。
　通信部５１は、処理部５０の制御に従い、タブレット４のタッチセンサとの間で信号の送受信を行う機能を有する。この信号の送受信には、電子ペン５からタブレット４に対して一方的に信号を送信する場合と、電子ペン５とタブレット４の間で双方向に信号の送受信を行う場合とが含まれる。また、信号送受信の具体的な方式としては、例えば電磁誘導方式又はアクティブ静電方式が用いられ得る。
　筆圧検出部５２は、ペン先５ｂに加えられた圧力（筆圧）を検出する機能部であり、具体的な例では、筆圧によって容量値が変化する容量センサ（図示せず）によって構成される。以下、通信部５１がアクティブ静電方式によって信号を送受信する場合を例に取り、タブレット入力機能について具体的に説明する。
　アクティブ静電方式に対応するタッチセンサは、タッチ面内に配置されるセンサ電極（図示せず）から、所定の時間間隔でビーコン信号を送出するよう構成される。ビーコン信号には、タッチセンサから電子ペン５を制御するためのコマンドが含まれる。コマンドによる制御の内容には、例えば、筆圧検出部５２によって検出された筆圧を示す筆圧データを送信させること、電子ペン５に設けられる各種スイッチ（図示せず）の押下状態を送信させること、電子ペン５のメモリ（図示せず）に予め格納されている固有ＩＤを送信させることなどが含まれる。
　通信部５１は、電子ペン５のペン先に設けられたペン先電極（図示せず）を介して上記ビーコン信号を検出し、検出したビーコン信号を処理部５０に供給する。処理部５０は、供給されたビーコン信号に応じて、無変調の搬送波であるバースト信号と、コマンドに応じたデータによって搬送波を変調することにより得られるデータ信号とを含むペン信号を生成し、通信部５１に供給する。通信部５１は、上記ペン先電極を介して、供給されたペン信号をタッチセンサに送信する。
　タッチセンサは、上記センサ電極によってバースト信号の検出を試み、検出結果に基づいて、タッチ面内における電子ペン５の位置を検出する。また、上記センサ電極によってデータ信号を検出して復調することにより、コマンドに応じて電子ペン５が送信したデータを受信する。
　タブレット４は、取得した電子ペン５の位置及び電子ペン５が送信したデータを、逐次、コンピュータ２に向けて送信するよう構成される。コンピュータ２は、タブレット４から受信したデータに含まれる筆圧データにより示される筆圧が所定値（例えば、０）より大きい値となっている場合に、電子ペン５がタブレット４のタッチ面に接触していると判定する。そしてコンピュータ２は、電子ペン５がタブレット４のタッチ面に接触していると判定している間、継続的に、順次受信される一連の位置に基づいてインクデータ（複数の位置を所定の補間曲線により補間してなる曲線データ）を生成し、図１に示したメモリ２ｂに格納する処理を実行する。これにより、タブレット入力機能が実現される。なお、タブレット４がディスプレイを有する場合には、コンピュータ２は、メモリ２ｂに格納したインクデータを逐次レンダリングし、その結果をタブレット４のディスプレイに表示することとしてもよい。
　通信部５３、位置検出部５４、スイッチ部５５、及び力覚発生部５６は、仮想現実空間入力機能を実現する機能部である。
　通信部５３は、処理部５０の制御に従い、仮想現実ディスプレイ３を介してコンピュータ２との間で信号の送受信を行う機能を有する。この信号の送受信は、上述したように、有線又は無線によって実現される。
　位置検出部５４は、図１に示した位置センサ８ｃによって構成される機能部であり、ライトニングハウス７ａ，７ｂが送信しているレーザー信号（現実空間内の位置を検出するための位置検出用信号）を検出し、検出したレーザー信号に応じた受光レベル情報（位置情報）を生成する機能を有する。位置検出部５４によって生成された受光レベル情報は、通信部５３により、コンピュータ２に向けて送信される。
　スイッチ部５５は、電子ペン５の筐体５ａの表面に設けられるスイッチであり、ユーザによって押下可能に構成される。スイッチ部５５の押下状態を示すスイッチ情報も、通信部５３により、コンピュータ２に向けて送信される。
　力覚発生部５６は、外部から供給される制御信号に応じて力覚を発生する機能を有する。この制御信号は、通信部５３を通じて、コンピュータ２から供給される。力覚発生部５６については、後ほど別途、より詳しく説明する。
　コンピュータ２は、受信した受光レベル情報に基づき、逐次、位置センサ８ｃの位置及び向きを検出するとともに、受信したスイッチ情報に基づき、スイッチ部５５が押下されているか否かの判定を行う。そして、スイッチ部５５が押下されていると判定している間、継続的に、順次検出される一連の位置に基づいて３Ｄのインクデータを生成し、図１に示したメモリ２ｂに格納する処理を実行する。こうして生成された３Ｄのインクデータは上述した第２の３Ｄオブジェクトに相当し、上述したレンダリングの対象となる。これにより、仮想現実空間入力機能が実現される。
　ここで、仮想現実空間内に上述した仮想タブレットを表示している場合には、コンピュータ２は、この仮想タブレットのタッチ面と電子ペン５のペン先５ｂとが仮想現実空間内で接触している場合に限り、３Ｄのインクデータを生成する。こうすることで、ユーザは、現実のタブレット４への入力と同様に仮想タブレットへの入力を行うことが可能になる。なお、この場合における３Ｄのインクデータの生成は、スイッチ部５５の押下状態にかかわらず実行されることとしてもよい。
　以上が空間位置指示システム１の全体概要である。次に、電子ペン５に設けられる力覚発生部５６の構成について詳しく説明するが、力覚発生部５６は様々な構成を取り得るので、以下では７つの例を挙げ、順に説明することとする。
　図３～図９はそれぞれ、力覚発生部５６の構成の第１～第７の例を示す図である。図３～図５それぞれの（ａ）（ｂ）、図６、及び図７は電子ペン５の断面図であり、図８（ａ）は電子ペン５の斜視図である。図８（ｂ）は、図８（ａ）に示した部分Ｄの分解斜視図である。図９は、電子ペン５の使用状態を示す斜視図である。
　第１の例による力覚発生部５６は、図３に示すように、ペン先５ｂの前方に配置された平板状の当接部５６ａと、筐体５ａを覆うように配置された筒状部材である摺動部５６ｂと、当接部５６ａ及び摺動部５６ｂのそれぞれに固定されたブリッジ部５６ｃとを含んで構成される。
　摺動部５６ｂは、図３（ａ）に示す位置から図３（ｂ）に示す位置まで、図示した範囲Ａにわたり筐体５ａに対して筐体５ａの長手方向に摺動可能に構成される。ただし、ユーザが電子ペン５を把持した状態では、摺動部５６ｂはユーザの手に対して固定されるので、この摺動によって実際に移動するのは筐体５ａの方である。摺動部５６ｂが図３（ａ）に示す位置にある場合、ペン先５ｂは当接部５６ａと接していない。一方、摺動部５６ｂが図３（ｂ）に示す位置にある場合、ペン先５ｂは当接部５６ａと当接する。
　処理部５０は、コンピュータ２から受信される制御信号に応じて、筐体５ａを図３（ａ）に示す位置から図３（ｂ）に示す位置に移動させる。これにより、ペン先５ｂが当接部５６ａに衝突する。したがって、仮想現実空間内において電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことに応じて制御信号を送信するようにコンピュータ２を構成することにより、ユーザは、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
　ここで、力覚発生部５６は、磁性流体を含んで構成されることが好ましい。磁性流体は、印加するパルス電流の周波数により固さを制御可能な材料である。磁性流体に与えるパルス電流の周波数を変化させ、相対的に固い状態と相対的に柔らかい状態との間を連続的に遷移させると、磁性流体に接触している人間には振動が発生したように感じられる。また、磁性流体の固さを変化させることによって、各種の物体を移動させることもできる。
　図１０は、磁性流体の固さの変化を利用して筐体５ａを移動させるように力覚発生部５６を構成した場合に、コンピュータ２が生成する制御信号の一例を示す図である。同図に示すように、この場合の制御信号は、バースト期間ＢＵとブランク期間ＢＬとを一定のデューティー比で繰り返すパルス電流信号によって構成される。この制御信号によれば、磁性流体は、全区間に占めるバースト期間ＢＵの割合が大きくなるほど固くなる。そこでコンピュータ２は、制御信号のデューティー比を制御することによって磁性流体の固さを制御し、その結果として筐体５ａを移動させる。こうして、磁性流体により力覚を発生させることが実現される。
　第２の例による力覚発生部５６は、図４に示すように、ペン先５ｂの前方に配置された平板状の当接部５６ａと、筐体５ａに固定されたブリッジ部５６ｃと、当接部５６ａとブリッジ部５６ｃの間に設けられたヒンジ部５６ｄとを含んで構成される。
　当接部５６ａは、ヒンジ部５６ｄと接続された一端を中心として、図４（ａ）に示す位置から図４（ｂ）に示す位置まで、図示した範囲Ｂにわたり回動可能に構成される。当接部５６ａが図４（ａ）に示す位置にある場合、ペン先５ｂは当接部５６ａと接していない。一方、当接部５６ａが図４（ｂ）に示す位置にある場合、ペン先５ｂは当接部５６ａと当接する。本例においても、当接部５６ａの移動は磁性流体を利用して実現することが好ましい。
　処理部５０は、コンピュータ２から受信される制御信号に応じて、当接部５６ａを図４（ａ）に示す位置から図４（ｂ）に示す位置に移動させる。これによりペン先５ｂが当接部５６ａに衝突するので、第１の例と同様、ユーザは、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
　第３の例による力覚発生部５６は、図５に示すように、ペン先５ｂの前方に配置された平板状の当接部５６ａと、筐体５ａに固定されたブリッジ部５６ｃと、当接部５６ａと一体に形成されたスライド部５６ｅとを含んで構成される。
　スライド部５６ｅは、図５に示すように、例えばブリッジ部５６ｃの端部を収容するほぞを有しており、ブリッジ部５６ｃがこのほぞの中を摺動することにより、図５（ａ）に示す位置から図５（ｂ）に示す位置まで、図示した範囲Ｃにわたり電子ペン５の長手方向に移動可能に構成される。スライド部５６ｅが図５（ａ）に示す位置にある場合、ペン先５ｂは当接部５６ａと接していない。一方、スライド部５６ｅが図５（ｂ）に示す位置にある場合、ペン先５ｂは当接部５６ａと当接する。本例においても、スライド部５６ｅの移動は磁性流体を利用して実現することが好ましい。
　処理部５０は、コンピュータ２から受信される制御信号に応じて、スライド部５６ｅを図５（ａ）に示す位置から図５（ｂ）に示す位置に移動させる。これによりペン先５ｂが当接部５６ａに衝突するので、第１及び第２の例と同様、ユーザは、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
　第４の例による力覚発生部５６は、図６に示すように、筐体５ａの表面に露出するように配置された固さ変化部５６ｆを含んで構成される。固さ変化部５６ｆは、上述した磁性流体を含むビニールなどで構成される。
　処理部５０は、コンピュータ２から受信された制御信号を固さ変化部５６ｆに与えることにより、固さ変化部５６ｆの固さを変化させる。これにより固さ変化部５６ｆの固さが振動しているかのように感じられることから、ユーザは、第１乃至第３の例と同様、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
　第５の例による力覚発生部５６は、図７に示すように、筐体５ａに固定された基体部５６ｇと、基体部５６ｇの中に配置された振動部５６ｈと、一端が振動部５６ｈに押し当てられ、他端が筐体５ａの内壁に押し当てられた状態で配置された高剛性部材であるアクチュエータ５６ｉと、を有して構成される。
　処理部５０は、コンピュータ２から受信された制御信号を振動部５６ｈに与えることにより、振動部５６ｈを振動させる。すると、その振動がアクチュエータ５６ｉを通じて筐体５ａに伝達されるので、筐体５ａも振動する。これによりユーザは、第１乃至第４の例と同様、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
　第６の例による力覚発生部５６は、図８（ａ）に示すように、筐体５ａに設けられた溝部５ｃと、筐体５ａの内部に配置された振動部５６ｊとを含んで構成される。振動部５６ｊの一部は、溝部５ｃを通じて外部に露出している。また、振動部５６ｊは、上述した磁性流体を含んで構成される。
　図８（ｂ）には、溝部５ｃ及び振動部５６ｊの具体的な構造を示している。同図に示すように、振動部５６ｊは、筐体５ａ内に配置された筒状部材である基体部５６ｊａと、基体部５６ｊａの側面から突出するように設けられた３つの突出部５６ｊｂとを有して構成される。３つの突出部５６ｊｂは、基体部５６ｊａと一体に形成されるもので、基体部５６ｊａの円周方向に等間隔で配置される。溝部５ｃは、これら３つの突出部５６ｊｂのそれぞれに対応して設けられる。
　処理部５０は、コンピュータ２から受信された制御信号を振動部５６ｊに与えることにより、振動部５６ｊを振動させる。ユーザは、溝部５ｃを通じて露出している３つの突出部５６ｊｂを通じてこの振動を直接感じ取ることができるので、第１乃至第５の例と同様、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
　第７の例による力覚発生部５６は、図９に示すように、電子ペン５の本体とは別体として設けられ、具体的には、ペン先５ｂの前方に配置された平板状の当接部５６ａと、ユーザの腕に固定されるブリッジ部５６ｋとを含んで構成される。ブリッジ部５６ｋの一端近傍には開口部５６ｋａが設けられており、ブリッジ部５６ｋは、この開口部５６ｋａにユーザが自身の腕を挿入することによって、ユーザの腕に固定される。
　当接部５６ａは、ブリッジ部５６ｋの他端近傍を、図示した範囲Ｅにわたって移動可能に構成される。当接部５６ａの具体的な移動範囲は、当接部５６ａが電子ペン５にもっとも近づいたときにペン先５ｂと接触するように決定される。なお、ユーザによって手の大きさが異なることを考慮すると、当接部５６ａの移動範囲は、予め行うキャリブーション処理によりユーザごとに調節することが好ましい。本例においても、当接部５６ａの移動は磁性流体を利用して実現することが好ましい。
　処理部５０は、コンピュータ２から受信された制御信号を力覚発生部５６に与えることにより、当接部５６ａをペン先５ｂに衝突させる。これによりユーザは、第１乃至第６の例と同様、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
　以上、電子ペン５に設けられる力覚発生部５６の構成について、７つの例を挙げて説明した。次に、コンピュータ２による力覚発生部５６の制御信号の生成について、詳しく説明する。
　図１１は、コンピュータ２の制御部２ａ（図１を参照）が行う処理を示す処理フロー図である。図１２は、図１１のステップＳ２，Ｓ６で実行される仮想現実空間内ペン先位置取得処理の詳細を示す図である。図１３は、図１１において実行される処理の説明図である。以下、これらの図を参照しながら、コンピュータ２による力覚発生部５６の制御信号の生成について詳細に説明する。
　初めに図１１を参照すると、コンピュータ２は、まず前提として、仮想現実空間内に物体を表示する（ステップＳ１）。この物体は、上述した第２の３Ｄオブジェクト（例えば、仮想タブレット）である。図１３（ａ）は、こうして表示される物体の表面Ｓを３次元座標空間上に示したものである。
　続いてコンピュータ２は、仮想現実空間内における電子ペン５のペン先５ｂの位置ＶＰ２を取得する処理を行う（ステップＳ２）。具体的に説明すると、図１２に示すように、コンピュータ２はまず、受光レベル情報を取得する（ステップＳ２０）。この受光レベル情報は電子ペン５の位置検出部５４（図２を参照）によって生成されるものであり、コンピュータ２は、電子ペン５からの受信によって受光レベル情報を取得する。
　受光レベル情報を取得したコンピュータ２は、取得した受光レベル情報に基づき、現実空間における電子ペン５の位置を示す現実空間内位置Ｐ１（第１の現実空間内位置）を取得（算出）する（ステップＳ２１）。こうして取得される位置Ｐ１は図１に示した位置センサ８ｃの位置であって、ペン先５ｂの位置ではない。そこでコンピュータ２は、予めメモリ２ｂ内に記憶している電子ペン５の形状に基づいて位置センサ８ｃの位置をペン先５ｂの位置に変換することにより、現実空間における電子ペン５のペン先５ｂの位置を示す現実空間内位置Ｐ２（第２の現実空間内位置）を取得（算出）する処理を行う（ステップＳ２２）。
　続いてコンピュータ２は、取得した位置Ｐ２に基づき、仮想現実空間内における電子ペン５のペン先５ｂの位置を示す仮想現実空間内位置ＶＰ２を取得（算出）する（ステップＳ２３）。仮想現実空間内ペン先位置取得処理は、ここまでの処理で終了する。
　図１１に戻り、位置ＶＰ２を取得したコンピュータ２は、位置ＶＰ２と仮想現実空間内における物体（ステップＳ１で表示したもの）の表面Ｓの位置とに基づいて、電子ペン５のペン先５ｂが表面Ｓに衝突したか否かを判定する（第２の判定ステップ。ステップＳ３，Ｓ４）。具体的には、点である位置ＶＰ２が表面Ｓを構成する領域の中に含まれる場合に衝突したと判定し、それ以外の場合に衝突していないと判定すればよい。
　ステップＳ４の判定において衝突したと判定した場合（ステップＳ４の肯定判定）、コンピュータ２は、力覚を発生させるための制御信号を生成し、電子ペン５に対して送信する（第２の力覚発生ステップ。ステップＳ５）。この制御信号は、例えば、図１０に示したパルス電流信号である。電子ペン５の処理部５０がこの制御信号に応じて力覚発生部５６に力覚を発生させることにより、ユーザは、表面Ｓ（例えば、仮想タブレットのタッチ面）への衝突体験を得ることが可能になる。
　続いてコンピュータ２は、再度仮想現実空間内位置ＶＰ２を取得する処理を行い（ステップＳ６）、表面Ｓと位置ＶＰ２の間の距離が所定値Ｌ以下であるか否かを判定する（第１の判定ステップ。ステップＳ７，Ｓ８）。この処理は、位置ＶＰ２を通る表面Ｓの法線が表面Ｓと交わる点と、位置Ｖｐ２との間の距離が所定値Ｌ以下であるか否かを判定することによって行えばよい。
　ステップＳ８で所定値Ｌ以下であると判定した場合（ステップＳ８の肯定判定）、コンピュータ２は、再度力覚を発生させるための制御信号を生成し、電子ペン５に対して送信する（第１の力覚発生ステップ。ステップＳ９）。これによりユーザは、手元がぶれて電子ペン５のペン先５ｂが表面Ｓから離れたとしても、あまり離れていない場合には、引き続き表面Ｓに接触している感覚を得ることができる。現実に存在していない表面Ｓに意図的にペン先５ｂを接触させ続けることは難しいので、仮想現実空間内においてはこの処理が非常に有効である。
　ステップＳ９を終了したコンピュータ２は、ステップＳ６に戻って処理を続ける。これにより、表面Ｓと位置ＶＰ２との間の距離が所定値Ｌ以下である間（すなわち、ステップＳ８の判定結果が肯定的である間）、表面Ｓとの接触をユーザに感じさせ続けることが可能になる。
　なお、図１１に破線で示したように、コンピュータ２は、ステップＳ９の実施とともに、位置ＶＰ２が表面Ｓ上の位置となるよう物体の位置を移動させる処理を実施することとしてもよい（ステップＳ１０）。こうすることで、力覚だけでなく視覚的にも接触状態を維持することが可能になる。
　ステップＳ４の判定において衝突していないと判定した場合（ステップＳ４の否定判定）、及び、ステップＳ８で所定値Ｌ以下でないと判定した場合（ステップＳ８の否定判定）、コンピュータ２は、ステップＳ２に戻って処理を続ける。この場合、力覚発生部５６による力覚の発生が生じないので、位置ＶＰ２と表面Ｓとの間の距離が離れているにも関わらず、力覚が発生しまうことが防止される。したがって、仮想現実空間内で電子ペン５を使用するユーザに違和感を感じさせることなく、力覚発生部５６に力覚を発生させることが可能になる。
　なお、図１１の例においては、電子ペン５のペン先５ｂが表面Ｓに一旦衝突した後、力覚の発生を中止する条件（すなわち、ステップＳ２に戻る条件）として、表面Ｓと位置ＶＰ２の間の距離が所定値Ｌ以下でなくなったことを使用したが、その他の事象を力覚の発生を中止する条件として用いることとしてもよい。例えば、表面Ｓに衝突してからの電子ペン５の移動距離が所定値を上回った場合、電子ペン５の移動速度が所定値を上回った場合、電子ペン５の加速度が所定値を上回った場合、ユーザが電子ペン５を用いて所定のジェスチャを行った場合、図示しないマイクによりユーザが所定の音声入力を行ったことが検出された場合、図示しない圧力センサ（例えば、ユーザによる電子ペン５の把持力を測定するために電子ペン５の側面に設けられる圧力センサ）によりユーザが所定の圧力を加えたことが検出された場合などに、力覚の発生を中止することとしてもよい。
　以上説明したように、本実施の形態による電子ペン５によれば、電子ペン５自体が位置検出部５４を有しており、したがって電子ペン５が空間位置指示デバイスとして動作するので、仮想現実空間内における電子ペン５の使用が可能になる。
　また、本実施の形態による空間位置指示システム１によれば、受光レベル情報により示される電子ペン５の位置ではなく、ペン先５ｂの位置に基づいて力覚発生部５６に力覚を発生させることができるので、仮想現実空間内で電子ペン５を使用するユーザに違和感を感じさせることなく、力覚を発生させることが可能になる。
　図１４は、本発明の第２の実施の形態による空間位置指示システム１で用いられる空間位置指示デバイス６を示す図である。図１４（ａ）は空間位置指示デバイス６の使用状態を示す斜視図を、図１４（ｂ）は空間位置指示デバイス６の機能ブロックを示す略ブロック図を、それぞれ表している。図１４（ａ）に示すように、空間位置指示デバイス６は、電子ペン５を差し込んで使用可能に構成される。本実施の形態は、図２（ｂ）を参照して説明した電子ペン５の機能のうち仮想現実空間入力機能が空間位置指示デバイス６側に設けられる点で、第１の実施の形態と相違する。本実施の形態による電子ペン５は、仮想現実空間入力機能を有しない一般的な電子ペンである。以下、第１の実施の形態と同一の構成については同一の符号を付し、第１の実施の形態との相違点に着目して詳しく説明する。
　初めに図１４（ｂ）を参照すると、空間位置指示デバイス６は機能的に、処理部５０、通信部５３、位置検出部５４、スイッチ部５５、及び力覚発生部５６を有して構成される。これらの基本的な機能は、図２（ｂ）を参照して説明したものと同様である。ただし、スイッチ部５５は、電子ペン５ではなく空間位置指示デバイス６の表面に設けられる。
　次に図１４（ａ）を参照すると、空間位置指示デバイス６は、筐体６ａと、持ち手部６ｂと、図１にも示した位置センサ８ｃと、位置センサ８ｃを筐体６ａに固定するためのブリッジ部６ｄと、方向指示器６ｅと、平板状の当接部５６ａと、筐体６ａの間に固定されたブリッジ部５６ｍと、を含んで構成される。このうち当接部５６ａ及びブリッジ部５６ｍは、空間位置指示デバイス６の力覚発生部５６を構成する。
　筐体６ａは、空間位置指示デバイス６の本体を構成する部材であり、電子ペン５を搭載可能に構成される。より具体的に言えば、筐体６ａは、電子ペン５を差し込むための差し込み口を有している。また、持ち手部６ｂは、ユーザが空間位置指示デバイス６を持つための部材である。図１４に示すように、ユーザは、筐体６ａの差し込み口に電子ペン５を差し込み、持ち手部６ｂを片手でつかんだ状態で、空間位置指示デバイス６を使用する。方向指示器６ｅは、ユーザの使用感を向上させるための部材であり、ユーザが右手で持ち手部６ｂをつかんだ場合に、右手親指を置けるように構成される。
　当接部５６ａは、ブリッジ部５６ｍを介して、ペン先５ｂの前方に配置される。当接部５６ａは、ブリッジ部５６ｍの一端近傍を、図示した範囲Ｆにわたって移動可能に構成される。当接部５６ａの移動は、上述した磁性流体を利用して実現することが好ましい。当接部５６ａの具体的な位置は、当接部５６ａが電子ペン５にもっとも近づいたときにペン先５ｂと接触するように決定される。処理部５０がコンピュータ２から受信される制御信号に応じて当接部５６ａを図面右方向に移動させると、ペン先５ｂが当接部５６ａに衝突する。これにより、第１の実施の形態と同様、ユーザは、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
　本実施の形態においてコンピュータ２が行う処理も、基本的には第１の実施の形態で説明したとおりである。ただし、図１１に示したステップＳ３において、第１の実施の形態では、予めメモリ２ｂ内に記憶している電子ペン５の形状に基づき、位置センサ８ｃの位置をペン先５ｂの位置に変換する処理を行うとしたが、本実施の形態によるコンピュータ２は、電子ペン５を差し込んだ状態の空間位置指示デバイス６の形状を予めメモリ２ｂ内に記憶しておき、それに基づいて、位置センサ８ｃの位置をペン先５ｂの位置に変換する処理を行うよう構成される。これにより、位置センサ８ｃの位置ではなく、ペン先５ｂの位置に基づいて力覚発生部５６に力覚を発生させることが可能になる。
　以上説明したように、本実施の形態による電子ペン５によれば、空間位置指示デバイス６に電子ペン５を搭載することができる。したがって、仮想現実空間内における電子ペン５の使用が可能になる。
　また、本実施の形態による空間位置指示システム１によれば、受光レベル情報により示される位置センサ８ｃの位置ではなく、ペン先５ｂの位置に基づいて力覚発生部５６に力覚を発生させることができるので、仮想現実空間内で空間位置指示デバイス６及び電子ペン５を使用するユーザに違和感を感じさせることなく、力覚を発生させることが可能になる。
　以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
　例えば、上記各実施の形態では、コンピュータ２は、仮想現実空間内において電子ペン５のペン先が仮想タブレットのタッチ面に接触した場合に、力覚発生部５６に力覚を発生させることとしたが、仮想タブレット以外の第２の３Ｄオブジェクトの表面に電子ペン５のペン先が接触した場合に、力覚発生部５６に力覚を発生させることとしてもよい。また、接触ではなく、仮想現実空間入力機能による入力が開始された場合（すなわち、コンピュータ２による３Ｄオブジェクトの生成が開始された場合。また、仮想タブレットへの入力を行っている場合には、３Ｄのインクデータの生成が開始された場合）に、力覚発生部５６に力覚を発生させることとしてもよい。
　また、上記第２の実施の形態では、力覚発生部５６が当接部５６ａを含んで構成される例を説明したが、図６～図８に示した例と同様の仕組みを筐体６又は持ち手部６ｂに設けることによって力覚発生部５６を構成することとしてもよい。
　また、上記各実施の形態では、力覚発生部５６を起動するための制御信号をコンピュータ２内で生成する例を説明したが、電子ペン５又は空間位置指示デバイス６の中でこの制御信号を生成することとしてもよい。以下、このように電子ペン５を構成する場合に図２に示した処理部５０が行う処理について、図面を参照しながら説明する。なお、空間位置指示デバイス６の中で制御信号を生成する場合についても、図２ではなく図１４に示した処理部５０が処理を行う他は、同様である。
　図１５は、図２に示した処理部５０が行う処理を示す処理フロー図である。同図に示すように、処理部５０は、まず前提として、仮想現実空間内に表示されている物体の情報を取得する（ステップＳ３０）。この物体は、上述した第２の３Ｄオブジェクト（例えば、仮想タブレット）であり、処理部５０は、コンピュータ２からの受信によって物体の情報を取得する。
　続いて処理部５０は、仮想現実空間内における電子ペン５のペン先５ｂの位置ＶＰ２を取得する処理を行う（ステップＳ３１）。この処理の詳細は図１２を参照した説明したものと同様であるので、詳しい説明は省略する。なお、処理部５０は、図２に示した位置検出部５４から受光レベル情報を取得する。
　位置ＶＰ２を取得した処理部５０は、位置ＶＰ２と仮想現実空間内における物体（ステップＳ１で情報を取得したもの）の表面Ｓの位置とに基づいて、電子ペン５のペン先５ｂが表面Ｓに衝突したか否かを判定する（ステップＳ３２，Ｓ３３）。この処理は、図１１のステップＳ３，Ｓ４と同様の処理である。
　ステップＳ３３の判定において衝突したと判定した場合（ステップＳ３３の肯定判定）、処理部５０は、力覚を発生させるための制御信号を生成し、図２に示した力覚発生部５６に供給する（ステップＳ３４）。これによりユーザは、表面Ｓ（例えば、仮想タブレットのタッチ面）への衝突体験を得ることが可能になる。
　続いて処理部５０は、再度仮想現実空間内位置ＶＰ２を取得する処理を行い（ステップＳ３５）、表面Ｓと位置ＶＰ２の間の距離が所定値Ｌ以下であるか否かを判定する（ステップＳ３６，Ｓ３７）。この処理は、図１１のステップＳ７，Ｓ８と同様の処理である。
　ステップＳ３７で所定値Ｌ以下であると判定した場合（ステップＳ３７の肯定判定）、処理部５０は、再度力覚を発生させるための制御信号を生成し、図２に示した力覚発生部５６に供給する（ステップＳ３８）。これによりユーザは、手元がぶれて電子ペン５のペン先５ｂが表面Ｓから離れたとしても、あまり離れていない場合には、引き続き表面Ｓに接触している感覚を得ることができる。
　ステップＳ３８を終了した処理部５０は、ステップＳ３５に戻って処理を続ける。これにより、表面Ｓと位置ＶＰ２との間の距離が所定値Ｌ以下である間（すなわち、ステップＳ８の判定結果が肯定的である間）、表面Ｓとの接触をユーザに感じさせ続けることが可能になる。
　ステップＳ３３の判定において衝突していないと判定した場合（ステップＳ３３の否定判定）、及び、ステップＳ３７で所定値Ｌ以下でないと判定した場合（ステップＳ３７の否定判定）、処理部５０は、ステップＳ３１に戻って処理を続ける。この場合、力覚発生部５６による力覚の発生が生じないので、位置ＶＰ２と表面Ｓとの間の距離が離れているにも関わらず、力覚が発生しまうことが防止される。したがって、仮想現実空間内で電子ペン５を使用するユーザに違和感を感じさせることなく、力覚発生部５６に力覚を発生させることが可能になる。
　なお、処理部５０は、仮想現実空間内位置ＶＰ２を取得した場合に、取得した仮想現実空間内位置ＶＰ２をコンピュータ２に対して送信することとしてもよい。こうすれば、コンピュータ２は、電子ペン５の中で力覚発生部５６の制御信号を生成する場合であっても、図１１に示したステップＳ９を実施することができる。したがって、力覚だけでなく視覚的にも接触状態を維持することが可能になる。
　また、図１１の説明の中で、力覚の発生を中止する条件として、表面Ｓと位置ＶＰ２の間の距離が所定値Ｌ以下でなくなったこと以外の各種事象を用いることができる点を説明したが、この点は図１５の例においても同様に適用可能である。
１　　　　　空間位置指示システム
２　　　　　コンピュータ
２ａ　　　　制御部
２ｂ　　　　メモリ
３　　　　　仮想現実ディスプレイ
４　　　　　タブレット
４ａ　　　　タブレット面
５　　　　　電子ペン
５ａ　　　　筐体
５ｂ　　　　ペン先
５ｃ　　　　溝部
６　　　　　空間位置指示デバイス
６ａ　　　　筐体
６ｂ　　　　持ち手部
６ｄ，５６ｃ，５６ｋ，５６ｍ　ブリッジ部
６ｅ　　　　方向指示器
７ａ，７ｂ　ライトニングハウス
８ａ～８ｃ　位置センサ
５０　　　　処理部
５１，５３　通信部
５２　　　　筆圧検出部
５４　　　　位置検出部
５５　　　　スイッチ部
５６　　　　力覚発生部
５６ａ　　　当接部
５６ｂ　　　摺動部
５６ｄ　　　ヒンジ部
５６ｅ　　　スライド部
５６ｆ　　　固さ変化部
５６ｈ，５６ｊ　振動部
５６ｇ，５６ｊａ　基体部
５６ｉ　　　アクチュエータ
５６ｊｂ　　突出部
５６ｋａ　　開口部
ＢＬ　　　　ブランク期間
ＢＵ　　　　バースト期間
Ｐ１　　　　現実空間における電子ペン５の位置
Ｐ２　　　　現実空間における電子ペン５のペン先５ｂの位置
ＶＰ２　　　仮想現実空間内における電子ペン５のペン先５ｂの位置
Ｓ　　　　　仮想現実空間内に表示した物体の表面

Claims (20)

  1. 　ペン先を有する電子ペンを搭載可能に構成される筐体と、
    　力覚を発生する力覚発生部と、
    　前記筐体に搭載される前記電子ペンの仮想現実空間内における前記ペン先の位置と前記仮想現実空間内における物体との間の距離が所定値以下である場合に力覚を発生させるように前記力覚発生部を制御するコントローラと、
    　を有する位置指示デバイス。
  2. 　前記コントローラは、前記仮想現実空間内における前記ペン先の位置が前記仮想現実空間内における前記物体の表面内に位置する場合に力覚を発生させるように前記力覚発生部を制御する、
    　請求項１に記載の位置指示デバイス。
  3. 　前記コントローラは、前記仮想現実空間内における前記ペン先の位置が前記仮想現実空間内における前記物体の表面内に位置する場合に力覚を発生させるように前記力覚発生部を制御した後、前記仮想現実空間内における前記ペン先の位置と前記仮想現実空間内における前記物体との間の距離が所定値以下である場合に力覚を発生させるように前記力覚発生部を制御する
    　請求項２に記載の位置指示デバイス。
  4. 　前記コントローラは、所定の事象が発生した場合に、前記力覚発生部に力覚を発生させることを中止する、
    　請求項３に記載の位置指示デバイス。
  5. 　前記所定の事象は、現実空間内における当該空間位置指示デバイスの位置の情報を示す位置情報に基づいて算出された前記ペン先の位置と前記仮想現実空間内における前記物体との間の距離が所定値以下ではない事象である
    　請求項４に記載の位置指示デバイス。
  6. 　前記力覚発生部は磁性流体を含み、
    　前記コントローラは、前記磁性流体の固さを制御する制御信号に応じて力覚を発生させるように前記力覚発生部を制御する
    　請求項１乃至５のいずれか一項に記載の位置指示デバイス。
  7. 　前記力覚発生部は前記ペン先と当接する当接部を含み、
    　前記コントローラは、前記制御信号に応じて前記ペン先を前記当接部に衝突させる、
    　請求項６に記載の位置指示デバイス。
  8. 　前記力覚発生部は振動部を含み、
    　前記コントローラは、前記制御信号に応じて前記振動部を振動させる、
    　請求項６に記載の位置指示デバイス。
  9. 　位置指示部と、
    　力覚を発生する力覚発生部と、
    　仮想現実空間内における前記位置指示部の位置と前記仮想現実空間内における物体との間の距離が所定値以下である場合に力覚を発生させるように前記力覚発生部を制御するコントローラと、
    　を有する位置指示デバイス。
  10. 　前記コントローラは、前記仮想現実空間内における前記位置指示部の位置が前記仮想現実空間内における前記物体の表面内に位置する場合に力覚を発生させるように前記力覚発生部を制御する、
    　請求項９に記載の位置指示デバイス。
  11. 　前記コントローラは、前記仮想現実空間内における前記位置指示部の位置が前記仮想現実空間内における前記物体の表面内に位置する場合に力覚を発生させるように前記力覚発生部を制御した後、前記仮想現実空間内における前記位置指示部の位置と前記仮想現実空間内における前記物体との間の距離が所定値以下である場合に力覚を発生させるように前記力覚発生部を制御する
    　請求項１０に記載の位置指示デバイス。
  12. 　前記コントローラは、所定の事象が発生した場合に、前記力覚発生部に力覚を発生させることを中止する、
    　請求項１１に記載の位置指示デバイス。
  13. 　前記所定の事象は、現実空間内における当該位置指示デバイスの位置の情報を示す位置情報に基づいて算出された前記位置指示部の位置と前記仮想現実空間内における前記物体との間の距離が所定値以下ではない事象である
    　請求項１２に記載の位置指示デバイス。
  14. 　前記力覚発生部は磁性流体を含み、
    　前記コントローラは、前記磁性流体の固さを制御する制御信号に応じて力覚を発生させるように前記力覚発生部を制御する
    　請求項９乃至１２のいずれか一項に記載の位置指示デバイス。
  15. 　前記力覚発生部は前記位置指示部と当接する当接部を含み、
    　前記コントローラは、前記制御信号に応じて前記ペン先を前記当接部に衝突させる、
    　請求項１４に記載の位置指示デバイス。
  16. 　前記力覚発生部は振動部を含み、
    　前記コントローラは、前記制御信号に応じて前記振動部を振動させる、
    　請求項１４に記載の位置指示デバイス。
  17. 　現実空間における位置指示デバイスの位置指示部の位置を取得するステップと、
    　前記現実空間における前記位置指示部の位置に基づき、仮想現実空間内における前記位置指示部の位置を取得するステップと、
    　前記仮想現実空間内における前記位置指示部の位置と前記仮想現実空間内における物体との間の距離が所定値以下であるか否かを判定する判定ステップと、
    　前記判定ステップの判定結果に応じて、力覚発生部を有する前記位置指示デバイスに前記力覚発生部を制御するための制御信号を送信する送信ステップと、
    　を実行するコンピュータを含む空間位置指示システム。
  18. 　前記判定ステップは、さらに、前記仮想現実空間内における前記位置指示部の位置と前記仮想現実空間内における物体との間の距離に基づいて、前記位置指示部が前記物体に衝突したか否かを判定し、
    　前記送信ステップは、さらに、前記位置指示部が前記物体に衝突したか否かの判定結果に応じて、前記空間位置指示デバイスに前記力覚発生部を制御するための制御信号を送信する
    　請求項１７に記載の空間位置指示システム。
  19. 　前記力覚発生部は磁性流体を含み、
    　前記制御信号は、前記磁性流体の固さを制御する信号である、
    　請求項１７に記載の空間位置指示システム。
  20. 　前記力覚発生部は振動部を含み、
    　前記制御信号は、前記磁性流体の固さを制御することにより、前記振動部を振動させる、
    　請求項１９に記載の空間位置指示システム。
PCT/JP2019/015043 2018-05-21 2019-04-04 位置指示デバイス及び空間位置指示システム WO2019225170A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202410576053.1A CN118567473A (zh) 2018-05-21 2019-04-04 位置指示设备、计算机及空间位置指示系统
CN201980029213.8A CN112041789B (zh) 2018-05-21 2019-04-04 位置指示设备及空间位置指示系统
JP2020521071A JP7401427B2 (ja) 2018-05-21 2019-04-04 位置指示デバイス及び空間位置指示システム
US16/951,713 US11604520B2 (en) 2018-05-21 2020-11-18 Position indicating device and spatial position indicating system
US18/167,006 US12073032B2 (en) 2018-05-21 2023-02-09 Position indicating device and spatial position indicating system
JP2023194216A JP2024012599A (ja) 2018-05-21 2023-11-15 位置指示デバイス及びコンピュータ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-096936 2018-05-21
JP2018096936 2018-05-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/951,713 Continuation US11604520B2 (en) 2018-05-21 2020-11-18 Position indicating device and spatial position indicating system

Publications (1)

Publication Number Publication Date
WO2019225170A1 true WO2019225170A1 (ja) 2019-11-28

Family

ID=68616765

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/015043 WO2019225170A1 (ja) 2018-05-21 2019-04-04 位置指示デバイス及び空間位置指示システム

Country Status (4)

Country Link
US (2) US11604520B2 (ja)
JP (2) JP7401427B2 (ja)
CN (2) CN112041789B (ja)
WO (1) WO2019225170A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11294478B2 (en) * 2018-03-23 2022-04-05 Wacom Co., Ltd. Three-dimensional position indicator and three-dimensional position detection system
WO2022201693A1 (ja) 2021-03-22 2022-09-29 株式会社ワコム コントローラ及びトラッキングシステム
WO2023286191A1 (ja) * 2021-07-14 2023-01-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および駆動データ生成方法
WO2023157653A1 (ja) * 2022-02-18 2023-08-24 ソニーグループ株式会社 情報処理装置及び情報処理方法
JP7544952B2 (ja) 2021-03-02 2024-09-03 株式会社ソニー・インタラクティブエンタテインメント 力覚提示装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112433628B (zh) * 2021-01-28 2021-06-08 深圳市瑞立视多媒体科技有限公司 双光球交互笔的刚体位姿确定方法、装置和计算机设备
EP4328717A1 (en) * 2021-04-23 2024-02-28 Wacom Co., Ltd. Controller and computer

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010225335A (ja) * 2009-03-20 2010-10-07 Victor Co Of Japan Ltd 入力装置および入力方法
WO2016181469A1 (ja) * 2015-05-11 2016-11-17 富士通株式会社 シミュレーションシステム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629594A (en) * 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US5694013A (en) * 1996-09-06 1997-12-02 Ford Global Technologies, Inc. Force feedback haptic interface for a three-dimensional CAD surface
US6281651B1 (en) * 1997-11-03 2001-08-28 Immersion Corporation Haptic pointing devices
US8884870B2 (en) 2008-12-19 2014-11-11 Immersion Corporation Interactive painting game and associated controller
JP2010287221A (ja) * 2009-05-11 2010-12-24 Univ Of Tokyo 力覚提示装置
JP2012022639A (ja) * 2010-07-16 2012-02-02 Ntt Docomo Inc 表示装置、映像表示システムおよび映像表示方法
JP5664301B2 (ja) * 2011-02-08 2015-02-04 大日本印刷株式会社 コンピュータ装置、電子ペン入力システム、及びプログラム
US9563266B2 (en) * 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
US10108266B2 (en) * 2012-09-27 2018-10-23 The Board Of Trustees Of The University Of Illinois Haptic augmented and virtual reality system for simulation of surgical procedures
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
JP6651297B2 (ja) * 2015-03-27 2020-02-19 ユニバーシティ・オブ・タンペレＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｔａｍｐｅｒｅ ハプティック・スタイラス
KR20170055135A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 가상현실 단말기 및 그 제어방법
CN106371604B (zh) * 2016-09-18 2020-03-20 Tcl集团股份有限公司 交互控制手套、虚拟现实系统及其应用方法
WO2019220803A1 (ja) * 2018-05-18 2019-11-21 株式会社ワコム 位置指示装置及び情報処理装置
US11009955B2 (en) * 2018-07-30 2021-05-18 Apple Inc. Stylus with shear force feedback
US20200310561A1 (en) * 2019-03-29 2020-10-01 Logitech Europe S.A. Input device for use in 2d and 3d environments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010225335A (ja) * 2009-03-20 2010-10-07 Victor Co Of Japan Ltd 入力装置および入力方法
WO2016181469A1 (ja) * 2015-05-11 2016-11-17 富士通株式会社 シミュレーションシステム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11294478B2 (en) * 2018-03-23 2022-04-05 Wacom Co., Ltd. Three-dimensional position indicator and three-dimensional position detection system
US11934592B2 (en) 2018-03-23 2024-03-19 Wacom Co., Ltd. Three-dimensional position indicator and three-dimensional position detection system including grip part orthogonal to electronic pen casing
US20240192788A1 (en) * 2018-03-23 2024-06-13 Wacom Co., Ltd. Three-dimensional position indicator and three-dimensional position detection system including grip part and tracker
JP7544952B2 (ja) 2021-03-02 2024-09-03 株式会社ソニー・インタラクティブエンタテインメント 力覚提示装置
US12105882B2 (en) 2021-03-02 2024-10-01 Sony Interactive Entertainment Inc. Force sense presentation device
WO2022201693A1 (ja) 2021-03-22 2022-09-29 株式会社ワコム コントローラ及びトラッキングシステム
WO2023286191A1 (ja) * 2021-07-14 2023-01-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および駆動データ生成方法
WO2023157653A1 (ja) * 2022-02-18 2023-08-24 ソニーグループ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
US20230185389A1 (en) 2023-06-15
JP7401427B2 (ja) 2023-12-19
US20210072847A1 (en) 2021-03-11
US12073032B2 (en) 2024-08-27
JPWO2019225170A1 (ja) 2021-06-24
JP2024012599A (ja) 2024-01-30
CN112041789B (zh) 2024-05-31
CN112041789A (zh) 2020-12-04
US11604520B2 (en) 2023-03-14
CN118567473A (zh) 2024-08-30

Similar Documents

Publication Publication Date Title
WO2019225170A1 (ja) 位置指示デバイス及び空間位置指示システム
US10564730B2 (en) Non-collocated haptic cues in immersive environments
JP5969626B2 (ja) 高められたジェスチャ・ベースの対話のためのシステム及び方法
JP4044114B2 (ja) 把持式コンピュータインタラクティブデバイス
JP6626576B2 (ja) 操作デバイス、及び制御システム
KR101548156B1 (ko) 촉감과 관절 저항감을 동시에 전달하는 무선 외골격 햅틱 인터페이스 장치 및 그 구성 방법
KR100812624B1 (ko) 입체영상 기반 가상현실장치
CN104714687A (zh) 用于触觉显示参数的光学传输的系统和方法
US20120135803A1 (en) Game device utilizing stereoscopic display, method of providing game, recording medium storing game program, and game system
JP2010287221A (ja) 力覚提示装置
KR101578345B1 (ko) 역감을 재생하는 장치
JPWO2017043610A1 (ja) 情報処理装置、方法およびコンピュータプログラム
CN102426486B (zh) 一种立体交互方法及被操作设备
KR20080034291A (ko) 범용 입력장치
CN111344663B (zh) 渲染装置及渲染方法
KR101518727B1 (ko) 입체 인터랙션 시스템 및 입체 인터랙션 방법
EP3470960A1 (en) Haptic effects with multiple peripheral devices
CN102508562A (zh) 一种立体交互系统
KR20190059234A (ko) 햅틱 액세서리 장치
JP2003337962A (ja) 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
CN102508561A (zh) 一种操作棒
JP2021162876A (ja) 画像生成システム、画像生成装置及び画像生成方法
KR102337816B1 (ko) 입력장치 및 이를 이용한 데이터 입력방법
KR20170124199A (ko) 인체의 움직임을 이용한 전자기기 제어장치
KR20160089982A (ko) 동작인식센서를 이용한 입력장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19806766

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020521071

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19806766

Country of ref document: EP

Kind code of ref document: A1