WO2019102825A1 - レンダリング装置及びレンダリング方法 - Google Patents

レンダリング装置及びレンダリング方法 Download PDF

Info

Publication number
WO2019102825A1
WO2019102825A1 PCT/JP2018/040918 JP2018040918W WO2019102825A1 WO 2019102825 A1 WO2019102825 A1 WO 2019102825A1 JP 2018040918 W JP2018040918 W JP 2018040918W WO 2019102825 A1 WO2019102825 A1 WO 2019102825A1
Authority
WO
WIPO (PCT)
Prior art keywords
rendering
display
virtual reality
coordinate system
reality space
Prior art date
Application number
PCT/JP2018/040918
Other languages
English (en)
French (fr)
Inventor
博史 宗像
浩 玉野
元昊 陳
Original Assignee
株式会社ワコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ワコム filed Critical 株式会社ワコム
Priority to JP2019556165A priority Critical patent/JP7345396B2/ja
Priority to EP18882151.6A priority patent/EP3716031B1/en
Priority to CN201880069512.XA priority patent/CN111344663B/zh
Priority to CN202311265341.7A priority patent/CN117348743A/zh
Publication of WO2019102825A1 publication Critical patent/WO2019102825A1/ja
Priority to US16/879,414 priority patent/US11262857B2/en
Priority to US17/588,058 priority patent/US11681383B2/en
Priority to US18/316,887 priority patent/US20230288998A1/en
Priority to US18/317,811 priority patent/US20230288999A1/en
Priority to JP2023143459A priority patent/JP2023164499A/ja
Priority to JP2023143460A priority patent/JP2023166504A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • the present invention relates to a rendering apparatus and rendering method for rendering 3D objects in a virtual reality (VR: Virtual Reality, AR: Augmented Reality, MR: Mixed Reality) space.
  • VR Virtual Reality
  • AR Augmented Reality
  • MR Mixed Reality
  • Patent Document 1 discloses a technology for generating a 3D object based on a 2D object input to a tablet terminal using an electronic pen in an AR space.
  • 2D input the method of input performed by moving the electronic pen on a plane.
  • Non-Patent Document 1 discloses a technique for inputting a 3D object by moving a controller for 3D input in VR space.
  • 3D input a method of input using such a controller for 3D input.
  • 3D input enables intuitive operation.
  • the accuracy is insufficient as a technique used for design applications because the degree of freedom of the position of the controller is high.
  • one of the objects of the present invention is to provide a rendering device and a rendering method capable of realizing intuitive and accurate rendering in a virtual reality space.
  • a first aspect of the present invention relates to a rendering apparatus for rendering a 3D object in a virtual reality space displayed on a virtual reality display, wherein the 3D object is rendered as a 3D object in a virtual reality space coordinate system.
  • a display updating step having a 2D display mode for updating the display of the virtual reality display according to the rendering result of the rendering step.
  • a second aspect of the present invention relates to a rendering method for causing a computer to function as a rendering device for rendering a 3D object in a virtual reality space displayed on a virtual reality display, wherein the computer is configured to execute the 3D object.
  • the 3D rendering step of rendering as a 3D object in 3D display in a virtual reality space coordinate system 2D rendering step of rendering the 3D object as a 3D object of 2D display in a plane coordinate system, and the virtual result according to the rendering result of the 3D rendering step 3D display mode for updating the display of the real display, and 2D display mode for updating the display of the virtual reality display according to the rendering result of the 2D rendering step
  • the display method (3D display or 2D display) of the 3D object in the virtual reality space can be switched according to the user's selection, an intuitive and accurate drawing can be realized in the virtual reality space. It becomes possible.
  • FIG. 1 is a diagram showing a configuration of a 3D object rendering system 1 according to a first embodiment of the present invention. It is a figure explaining the relationship between a tablet surface coordinate system and a virtual reality space coordinate system. It is a flowchart which shows the process which the control part 2a shown in FIG. 1 performs. It is a flowchart which shows the detail of a positional information etc. acquisition process shown in FIG. It is a flowchart which shows the detail of the tablet terminal display process shown in FIG. It is a figure which shows the state which 2D-inputs 3D object in virtual reality space by the 1st Embodiment of this invention.
  • FIG. 1 is a diagram showing the configuration of a 3D object rendering system 1 according to a first embodiment of the present invention.
  • the 3D object rendering system 1 includes a computer 2, a virtual reality display 3, a tablet 4, an electronic pen 5, a glove unit 6, and lightning houses 7a and 7b.
  • position sensors 8a to 8d are attached to the tablet 4, the electronic pen 5 and the glove unit 6, respectively, and the position sensor 8b is provided on the virtual reality display 3.
  • the electronic pen 5 functions as a stylus and also as a controller.
  • the position sensor 8 c may be incorporated in the electronic pen 5.
  • Each device shown in FIG. 1 is basically disposed in a room.
  • substantially the entire room can be used as a virtual reality space.
  • the computer 2 includes a control unit 2a (controller) and a memory 2b that cooperates with the control unit 2a. Each process performed by the computer 2 described later can be realized by the control unit 2a cooperating with the memory 2b (more specifically, by reading and executing a program stored in the memory 2b).
  • the computer 2 is connected to each of the virtual reality display 3 and the lightning houses 7a and 7b in a wired or wireless manner.
  • FIG. 1 shows an example in which the computer 2 and each of the virtual reality display 3 and the lightning houses 7a and 7b are connected according to a wired communication standard such as USB.
  • the tablet 4 is a device having a communication function
  • the computer 2 is also connected to the tablet 4 by wire or wireless.
  • FIG. 1 shows an example in which the computer 2 and the tablet 4 are connected by a short distance wireless communication standard such as Bluetooth (registered trademark).
  • the computer 2 may be configured by the computer.
  • the computer 2 is configured to have a function of displaying a virtual reality space on the virtual reality display 3.
  • the virtual reality space may be a VR (Virtual Reality) space, an AR (Augmented Reality) space, or an MR (Mixed Reality) space.
  • VR Virtual Reality
  • AR Augmented Reality
  • MR Magnetic Reality
  • the user wearing the virtual reality display 3 recognizes the virtual reality and is separated from the real world.
  • the user wearing the virtual reality display 3 recognizes a space in which the virtual reality and the real world are mixed.
  • the computer 2 is configured to set a virtual reality space based on the positions of the lightning houses 7a and 7b, and to function as a rendering device that renders various 3D objects in the set virtual reality space.
  • the computer 2 updates the display of the virtual reality display 3 according to the rendering result. As a result, various 3D objects appear in the virtual reality space displayed on the virtual reality display 3.
  • the rendering by the computer 2 is performed based on 3D objects stored in the memory 2b.
  • the 3D object is information indicating the shape, position, and orientation of the 3D object in the virtual reality space coordinate system indicating the virtual reality space set by the computer 2, and is stored in the memory 2b for each 3D object to be rendered .
  • the 3D objects rendered by the computer 2 include 3D objects representing each of the tablet 4, the electronic pen 5, and the glove unit 6 shown in FIG. 1.
  • the computer 2 first detects the position and orientation of each of the position sensors 8a to 8d in the virtual reality space coordinate system. Then, viewpoint information indicating the viewpoint of the user is acquired based on the detected position and orientation of the position sensor 8b, and the acquired viewpoint information, the shape of each stored 3D object, and the detected position sensors 8a, 8c, A 3D object representing each of the tablet 4, the electronic pen 5, and the glove unit 6 is configured to be rendered in the virtual reality space based on the position and orientation of each 8 d.
  • the computer 2 further detects the operation performed by the user in the virtual reality space by detecting the positions of the position sensors 8c and 8d, and newly creates or already holds a 3D object based on the result. It is configured to be able to update existing 3D objects.
  • the virtual reality display 3 is a VR display (head mounted display) used by being attached to a human head.
  • VR display head mounted display
  • the virtual reality display 3 is connected to each of the position sensor 8a, the electronic pen 5 (including the position sensor 8c), and the glove unit 6 (including the position sensor 8d) in a wired or wireless manner.
  • the position sensors 8a, 8c, 8d are configured to notify the virtual reality display 3 of light reception level information to be described later through this connection.
  • the virtual reality display 3 is configured to notify the computer 2 of the light reception level information notified from each of the position sensors 8a, 8c and 8d, together with the light reception level information of the position sensor 8b incorporated therein.
  • the computer 2 detects the position and orientation of each of the position sensors 8a to 8d in the virtual reality space coordinate system based on the received light reception level information notified in this way.
  • the electronic pen 5 and the glove unit 6 are configured to notify the virtual reality display 3 of operation information to be described later through the connection.
  • the virtual reality display 3 is configured to transfer the operation information thus notified to the computer 2.
  • the tablet 4 has a tablet surface 4a.
  • the tablet surface 4 a is preferably a flat surface and may be made of a material suitable for sliding the pen tip of the electronic pen 5.
  • the tablet 4 is a so-called digitizer, and is configured to have a touch sensor that detects the designated position of the electronic pen 5 in the touch surface, and a communication function that notifies the computer 2 of the detected designated position.
  • the tablet surface 4a in this case is constituted by the touch surface of the digitizer.
  • the tablet 4 is a so-called tablet computer, and includes a display, a touch sensor that detects an indicated position of the electronic pen 5 in the display surface of the display, and a communication function that notifies the computer 2 of the detected indicated position.
  • the tablet surface 4a in this case is constituted by the display surface of the display.
  • the tablet 4 is a physical object that does not have the function of detecting the indicated position of the electronic pen 5 (a simple plate, a table, a display or a computer that does not have the function of detecting the indicated position of the electronic pen 5, etc. Inclusive).
  • the tablet surface 4 a in this case is constituted by a plane provided on the surface of the tablet 4.
  • the position sensor 8 a is fixed to the surface of the tablet 4. Therefore, the position and orientation of the position sensor 8a detected by the computer 2 indicate the position and orientation of the tablet surface 4a in the virtual reality space coordinate system.
  • the electronic pen 5 and the glove unit 6 are for the user to indicate the position in the virtual reality space.
  • the electronic pen 5 is configured to have a pen-like shape.
  • the glove unit 6 has a shape as a glove worn on the user's hand.
  • the sensing device referred to here includes a sensor configured to be able to detect an arbitrary physical quantity, in addition to a changeover switch which takes either on or off state.
  • Examples of the switch provided on the electronic pen 5 include a side switch or a tail switch configured to be able to receive an on / off operation by the user.
  • a capacitance sensor that detects a pressure (writing pressure) applied to the pen tip of the electronic pen 5 may be mentioned.
  • the electronic pen 5 is configured to detect an output (a pressed state or a detected physical amount) of a switch provided to itself, and notify the virtual reality display 3 of all or a part of the detection result as its own operation information. .
  • the sensing device provided in the electronic pen 5 may include a force sensor (load sensor) that detects the gripping force of the electronic pen 5 by the user.
  • a force sensor load sensor
  • the computer 2 receiving the output of the force sensor may handle this as data indicating the writing pressure (writing pressure data). By this, even when the user operates the electronic pen 5 in the air, it is possible to reflect the writing pressure on the drawing result.
  • the position of the electronic pen 5 is also detected by the touch sensor.
  • the position detected by the touch sensor is not a position in the virtual reality space coordinate system but a position in the tablet surface coordinate system defined on the tablet surface 4a.
  • the touch sensor is configured to notify the computer 2 of the detected position of the electronic pen 5.
  • the position detected by the touch sensor is more accurate than the position detected using the position sensor 8c. Therefore, when the position of the electronic pen 5 is notified from the touch sensor, the computer 2 acquires not the position detected through the position sensor 8 c but the position notified from the touch sensor as the position of the electronic pen 5. Is preferred. In this case, the computer 2 associates the tablet surface coordinate system with the virtual reality space coordinate system based on the position and orientation of the tablet surface 4a detected using the position sensor 8a, whereby the position notified from the touch sensor It is preferable to convert to a position in the virtual reality space coordinate system.
  • FIG. 2 is a diagram for explaining the relationship between the tablet surface coordinate system and the virtual reality space coordinate system.
  • the figure shows a state in which the tablet surface 4 a is located in the virtual reality space 10.
  • the virtual reality space coordinate system is defined by three axes VRX, VRY, VRZ, and the tablet plane coordinate system is defined by three axes TRX, TRY, TRZ.
  • the axis TRZ is the normal direction of the tablet surface 4a.
  • the illustrated position P is detected by the touch sensor as a position (x, y, z) in the tablet surface coordinate system (z indicates, for example, a hover position)
  • the computer 2 performs this conversion (x, y) by a predetermined conversion process. Transform y, z) into positions (X, Y, Z) in the virtual reality space coordinate system. This makes it possible to convert the position notified from the touch sensor into a position in the virtual reality space coordinate system.
  • the position detection of the electronic pen 5 by the touch sensor may use an electromagnetic induction method or an active electrostatic method.
  • the touch sensor is configured to transmit beacon signals at predetermined time intervals from sensor electrodes (not shown) disposed in the touch surface.
  • the beacon signal includes a command for controlling the electronic pen 5 from the touch sensor. For example, writing pressure data (detected by a capacitance sensor) indicating the pressure applied to the pen tip of the electronic pen 5 is transmitted as the content of control by the command, and various switches (not shown) provided on the electronic pen 5 And the transmission of the unique ID stored in advance in the electronic pen 5 and the like.
  • the electronic pen 5 corresponding to the active electrostatic system detects the beacon signal, it sends a pen signal as a response signal.
  • the pen signal is a signal including a burst signal which is a non-modulated carrier wave, and a data signal obtained by modulating the carrier wave with data according to the command.
  • the touch sensor attempts to detect a burst signal by the sensor electrode, and detects the position of the electronic pen 5 based on the detection result. Further, by detecting and demodulating the data signal by the sensor electrode, the data transmitted by the electronic pen 5 according to the command is received.
  • the tablet 4 is configured to transmit the position of the electronic pen 5 thus acquired and the data transmitted by the electronic pen 5 to the computer 2.
  • the computer 2 is configured to convert the notified position into the position in the virtual reality space coordinate system as described above, and to obtain the notified data as part of the above-described operation information.
  • the lightning houses 7a and 7b are signal transmitters for position detection used in the 3D object rendering system 1, and can emit signals, laser light in this example, while changing the direction according to the control by the computer 2.
  • the position sensors 8a to 8d are respectively constituted by a plurality of light receiving sensors, and the light receiving sensors receive the signals (laser light) emitted by the lightning houses 7a and 7b by the respective light receiving sensors, and light reception level information including the respective light reception levels Configured to get.
  • the acquired light reception level information is notified from the position sensors 8a to 8d to the computer 2 as described above, and is used to detect the position and the orientation of these.
  • 3D input is performed using the electronic pen 5 and the glove unit 6, or the tablet 4 is used as a tablet computer, Either 2D input was performed on the tablet computer using the electronic pen 5.
  • 3D input has the advantage of being able to operate intuitively, but has the disadvantage of insufficient accuracy, and 2D input is required to obtain high accuracy. While it can be done, it has the disadvantage that intuitive operation is difficult.
  • the 3D object rendering system 1 can switch the display method (3D display or 2D display) in the virtual reality space of the 3D object in accordance with the user's selection, in view of the problems with such a conventional input method. By doing this, it is possible to realize intuitive and accurate drawing in a virtual reality space.
  • this point will be described in detail with reference to the flowchart of the process performed by the control unit 2a of the computer 2.
  • FIG. 3 is a flowchart showing processing performed by the control unit 2 a of the computer 2. This process is executed when the user inputs a 3D object using at least one of the electronic pen 5 and the glove unit 6, and the user performs a predetermined operation using the electronic pen 5 and the glove unit 6. , Is started by the control unit 2a detecting it.
  • the control unit 2a secures in the memory 2b a storage area of a 3D object indicating the shape, position, and orientation of the object being input in the virtual reality space coordinate system (step S1).
  • a 3D object indicating the shape, position, and orientation of the object being input in the virtual reality space coordinate system
  • the specific format of the 3D object is not particularly limited, for example, data of VRML format or X3D format is preferable.
  • control unit 2a executes position information etc. acquisition processing (step S2).
  • FIG. 4 is a flowchart showing the details of the position information etc. acquisition process executed in step S2.
  • the control unit 2a acquires the viewpoint information (step S20), acquires the tablet surface information (step S21), and acquires the controller information (first information) (step S22).
  • Controller information acquisition step first information acquisition process
  • step S23 electronic pen information acquisition step, second information acquisition process
  • Execute location information acquisition processing The order of execution of steps S20 to S23 is not particularly limited.
  • the viewpoint information is information representing the viewpoint of the user in the virtual reality space coordinate system, and more specifically, is indicated by the position and orientation of the virtual reality display 3.
  • the control unit 2a is configured to acquire viewpoint information based on the position and the orientation detected for the position sensor 8b.
  • Specific viewpoint information is constituted by, for example, vector information having one three-dimensional coordinate as a start point.
  • the tablet surface information is information indicating the shape, position, and orientation of the tablet surface 4a in the virtual reality space coordinate system, and is stored in the memory 2b as one of 3D objects.
  • the control unit 2a acquires tablet surface information based on the position and orientation detected for the position sensor 8a and the shape of the tablet 4 stored in advance.
  • the controller information is information indicating the position and orientation of the 3D controller (including the electronic pen 5 and the glove unit 6) in the virtual reality space coordinate system, and operation information of the 3D controller.
  • the control unit 2a acquires controller information based on the positions and orientations detected for the position sensors 8c and 8d and the operation information of each of the electronic pen 5 and the glove unit 6 received via the virtual reality display 3.
  • the electronic pen information is information indicating the designated position of the electronic pen 5 in the tablet surface coordinate system and the operation information of the electronic pen 5.
  • the control unit 2a acquires the designated position of the electronic pen 5 in the tablet surface coordinate system from the touch sensor.
  • the control unit 2a converts the position (the position in the virtual reality space coordinate system) acquired from the position sensor 8c (the conversion process described with reference to FIG. 2) By performing reverse processing, the designated position of the electronic pen 5 in the tablet surface coordinate system is acquired.
  • control unit 2a can obtain the operation information of the electronic pen 5 from the touch sensor (for example, when the electronic pen 5 corresponds to the active electrostatic method), the operation information of the electronic pen 5 from the touch sensor Get (including the output of the capacitive sensor).
  • the control unit 2a acquires the operation information (including the output of the force sensor) of the electronic pen 5 via the virtual reality display 3.
  • step S3 This process is a process for displaying in a virtual reality space a tablet surface image showing a tablet surface and a display surface image showing a display surface for 2D display of a 3D object being input.
  • FIG. 5 is a flowchart showing the details of the tablet surface etc. display process executed in step S3.
  • the control unit 2a first performs rendering of the display surface image based on the position selected by the user or the position in contact with the 3D object being input in the virtual reality space (step S30: display). Plane image rendering step (processing)).
  • the selection of the position by the user is executed, for example, by the user pressing a switch provided on the electronic pen 5 and notifying the control unit 2a of operation information indicating that.
  • the display surface image may imitate a display or may be a simple rectangular frame.
  • the control unit 2a renders the display surface image based on the viewpoint information acquired in step S20 of FIG. 4 so that the normal direction of the display surface image matches the user's gaze direction.
  • the control unit 2a acquires first correspondence information indicating the correspondence between the virtual reality space coordinate system and the display surface coordinate system (first plane coordinate system) defined on the display surface (step S31).
  • the first correspondence information is a conversion rule for mutually converting the virtual reality space coordinate system and the display surface coordinate system.
  • the control unit 2a acquires second correspondence information indicating the correspondence between the virtual reality space coordinate system and the tablet surface coordinate system (second plane coordinate system) (step S32).
  • the second correspondence information is a conversion rule for mutually converting the virtual reality space coordinate system and the tablet surface coordinate system.
  • control unit 2a performs rendering of the tablet surface image indicating the tablet surface 4a based on the tablet surface information and the viewpoint information (step S33: tablet surface image rendering step (processing)).
  • the tablet surface image may imitate the touch surface of the tablet terminal or may be a simple rectangular frame.
  • the control unit 2a renders the tablet surface image based on the viewpoint information acquired in step S20 of FIG. 4 so that the angle (depression angle) between the user's gaze direction and the tablet surface 4a is a predetermined value. Is preferred.
  • the control unit 2a that has executed the tablet surface etc. display process subsequently receives an operation mode selection operation by the user (step S4).
  • This selection may be performed by, for example, the user pressing a switch provided on the electronic pen 5 or by the user changing the distance between the tablet surface 4 a and the electronic pen 5. It may be For example, when the distance between the tablet surface 4a and the electronic pen 5 is closer than a predetermined distance, the display is switched to 2D display, and when the distance between the tablet surface 4a and the electronic pen 5 is longer than the predetermined distance, 3D display is performed. It may be switched automatically.
  • the distance between the tablet surface 4a and the electronic pen 5 may be detected by a touch sensor, or the display position of the tablet surface image and the position of the electronic pen 5 detected using the position sensor 8c.
  • the control unit 2a may detect based on the position.
  • the control unit 2a that has received the selection operation in step S4 performs processing to enter either the 3D display mode or the 2D display mode according to the selection content (that is, a display for selecting either the 3D display or the 2D display) Selection processing is performed (step S5: mode selection step).
  • step S5 the control unit 2a executes a 3D rendering step (process) of rendering a 3D object in the virtual reality space coordinate system on the virtual reality display 3. Specifically, the control unit 2a first renders the input object and other 3D objects based on the 3D object stored in the memory 2b and the viewpoint information acquired in step S20 of FIG. It carries out (Step S6). Then, the output (display) to the virtual reality display 3 is updated according to the result (step S7: display update step (process)). At this time, other displays in the virtual reality space, such as the display surface image rendered in step S30 of FIG. 5 and the tablet surface image rendered in step S33 of FIG. 5, are simultaneously updated. This allows the user to edit the object being input by 3D input.
  • a 3D rendering step process of rendering a 3D object in the virtual reality space coordinate system on the virtual reality display 3. Specifically, the control unit 2a first renders the input object and other 3D objects based on the 3D object stored in the memory 2b and the viewpoint information acquired in step
  • control unit 2a further updates the 3D object of the currently-input object stored in the memory 2b based on the controller information acquired in step S22 of FIG. 4 (step S8: 3D object update step (process)). Thereafter, the process returns to step S2 and continues.
  • the update of the 3D object in step S8 and step S14 described later is executed also based on the operation information notified from the electronic pen 5. For example, when data indicating the output of a capacitance sensor or the output of a force sensor is notified from the electronic pen 5, the computer 2 acquires this data as pen pressure data, and an object being input based on the acquired pen pressure data Determine the line width and transparency of the Then, the determination result is reflected on the 3D object.
  • the control unit 2a executes a 2D rendering step (process) of rendering the 3D object on the virtual reality display 3 as a 2D display 3D object in the display surface coordinate system.
  • a 2D rendering step process of rendering the 3D object on the virtual reality display 3 as a 2D display 3D object in the display surface coordinate system.
  • the 3D object of the currently-input object stored in the memory 2b is the shape of the currently-input object in the display surface coordinate system, Convert into a 2D object indicating position and orientation (step S10: first conversion step).
  • rendering of the object being input is performed based on the obtained 2D object and the viewpoint information acquired in step S20 of FIG. 4 (step S11), and the output (display) to the virtual reality display 3 is made according to the result.
  • step S12 display update step (process)).
  • other displays in the virtual reality space such as the display surface image rendered in step S30 of FIG. 5 and the tablet surface image rendered in step S33 of FIG. 5, are simultaneously updated. This allows the user to edit the object being input by 2D input.
  • Step S13 second conversion step
  • step S14 3D object update step
  • FIG. 6 is a view showing a state in which a 3D object is 2D input in a virtual reality space (a state in which a user selects a 2D display mode in step S4 of FIG. 3).
  • FIG. 7 is a view in virtual reality space It is a figure which shows the state (The state which the user has selected 3D display mode by step S4 of FIG. 3) of 3D input of 3D object.
  • the in-input object 13 is 2D displayed in the rectangular display surface image 11 displayed in the virtual reality space 10.
  • the three axes DRX, DRY, DRZ shown in the display surface image 11 represent a display surface coordinate system.
  • the axis DRZ of the three axes is the normal direction of the display surface image 11.
  • a rectangular tablet surface image 12 is displayed, and the user moves the electronic pen 5 in the tablet surface image 12 to edit the object 13 being input. Since this editing is performed by moving the electronic pen 5 on a plane, it is a 2D input.
  • the tablet surface 4a is actually present at the position where the tablet surface image 12 is displayed, the user feels the touch of the tablet surface 4a While the electronic pen 5 can be moved within the tablet surface image 12.
  • the in-input object 13 is 3D displayed in the virtual reality space 10.
  • the user moves the electronic pen 5 and the glove unit 6 in the virtual reality space 10 to edit the object 13 during input. Since this editing is performed using a controller for 3D input, it is a 3D input.
  • the display method (3D display or 2D display) of the 3D object in the virtual reality space can be switched by the user's selection. It becomes possible to realize intuitive and accurate drawing in space. Moreover, while 2D display is performed, editing of 3D objects by 2D input is possible, and editing of 3D objects by 3D input is possible while 3D display is performed, so an input suitable for the display method It is possible to edit 3D objects in a way.
  • the 3D object rendering system 1 it is possible to input a 3D object by the electronic pen 5 in the virtual reality space.
  • the 3D object rendering system 1 according to the present embodiment is a 3D object according to the first embodiment in which the display surface coordinate system and the tablet surface coordinate system are different from each other in that they are the same coordinate system. It differs from the rendering system 1.
  • the other points are the same as those of the 3D object rendering system 1 according to the first embodiment, so the same reference numerals are given to the same components as those of the first embodiment, and in the following, the first embodiment The description will focus on the differences between
  • FIG. 8 is a diagram showing a state in which a 3D object is 2D input in the virtual reality space according to the present embodiment.
  • the control unit 2a uses the tablet terminal image 14 showing the tablet 4 (tablet terminal) shown in FIG. Configured to render inside.
  • the tablet surface image 14a included in the tablet terminal image 14 corresponds to both the tablet surface image and the display surface image described in the first embodiment, and accordingly, in the present embodiment, the tablet surface coordinate system ( The axes TRX, TRY, TRZ) double as the display surface coordinate system.
  • the object 13 being input is 2D displayed in the tablet surface image 14a.
  • FIG. 9 is a flowchart showing a part of the process performed by the control unit 2a according to the present embodiment.
  • FIG. 9 (a) replaces the flow diagram shown in FIG.
  • FIG. 9 (b) replaces step S10 shown in FIG.
  • step S33a rendering of a tablet terminal image showing the tablet 4 (tablet terminal) shown in FIG. 1 is performed based on the tablet surface information and the viewpoint information (tablet terminal image rendering step (process)).
  • step S33a rendering of a tablet terminal image showing the tablet 4 (tablet terminal) shown in FIG. 1 is performed based on the tablet surface information and the viewpoint information (tablet terminal image rendering step (process)).
  • a tablet terminal (tablet terminal image 14) similar to that of the real tablet 4 (tablet terminal) appears in the virtual reality space 10.
  • the control unit 2a uses the first correspondence information in order to obtain 2D object information to be used when rendering an object being input in the 2D display mode.
  • the 3D object of the in-input object stored in the memory 2b is a 2D object indicating the shape, position, and orientation of the in-input object in the display surface coordinate system.
  • a conversion process is performed (step S10a).
  • the in-input object 13 ie, the position of the electronic pen 5 in the virtual reality space coordinate system acquired by the controller information acquisition step (step S22)
  • the tablet surface image 14a is displayed in the tablet surface image 14a. It will be done.
  • the display method (3D display or 2D display) of the 3D object in the virtual reality space can be switched by the user's selection, so intuitive and accurate in the virtual reality space It becomes possible to realize high drawing.
  • 2D display is performed, editing of 3D objects by 2D input is possible, and editing of 3D objects by 3D input is possible while 3D display is performed, so an input suitable for the display method It is possible to edit 3D objects in a way.
  • the user can obtain an input experience to the tablet terminal in the virtual reality space. Therefore, it becomes possible to perform the input operation of the 3D object as if the input operation was performed on a normal tablet terminal.
  • Reference Signs List 1 3D object rendering system 2 computer 2a control unit 2b memory 3 virtual reality display 4 tablet 4a tablet surface 5 electronic pen 6 glove units 7a and 7b lightning house 8a to 8d position sensor 10 virtual reality space 11 display surface 12 tablet surface image 13 input Inside object 14 Tablet terminal image 14a Tablet surface image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】仮想現実空間において直感的で精度の高い描画を実現する。 【解決手段】レンダリング装置は、制御部及びメモリを備えており、仮想現実ディスプレイ上に表示される仮想現実空間内において３Ｄオブジェクトをレンダリングするレンダリング装置である。制御部は、メモリと協働して、前記３Ｄオブジェクトを仮想現実空間座標系における３Ｄ表示の３Ｄオブジェクトとしてレンダリングする３ＤレンダリングステップＳ６と、この３Ｄオブジェクトを平面座標系における２Ｄ表示の３Ｄオブジェクトとしてレンダリングする２ＤレンダリングステップＳ１１と、３ＤレンダリングステップＳ６のレンダリング結果に基づく仮想現実ディスプレイの表示と、２Ｄレンダリングステップのレンダリング結果に基づく仮想現実ディスプレイの表示とを更新する表示更新ステップＳ７，Ｓ１２と、を実行する。

Description

レンダリング装置及びレンダリング方法
　本発明は、仮想現実（ＶＲ：Virtual Reality、ＡＲ：Augmented Reality、ＭＲ：Mixed Realityを含む)空間内において３Ｄオブジェクトをレンダリングするレンダリング装置及びレンダリング方法に関する。
　近年、仮想現実空間の中で立体視しながら各種製品をデザインしたい、というニーズが高まっている。
　特許文献１は、ＡＲ空間において、電子ペンを用いてタブレット端末に入力した２Ｄオブジェクトをベースにして３Ｄオブジェクトを生成する技術を開示している。以下、平面上で電子ペンを移動させることによって行う入力の方法を「２Ｄ入力」と称する。
　非特許文献１は、３Ｄ入力用のコントローラをＶＲ空間中で動かすことによって３Ｄオブジェクトを入力する技術を開示している。以下、このような３Ｄ入力用のコントローラを利用する入力の方法を「３Ｄ入力」と称する。
米国特許出願公開第２０１６／０３４３１７４号明細書
Google、「Tilt Brush: Painting from a new perspective」、［ｏｎｌｉｎｅ］、平成２８年５月３日、［平成２９年１０月５日検索］、インターネット〈ＵＲＬ：https://www.youtube.com/watch?v=TckqNdrdbgk〉
　上述した２Ｄ入力によれば、電子ペンの位置が既知の平面内に固定されることから、３Ｄ入力に比して高い精度を得ることができる。しかしながら一方で、２Ｄ入力には、平面内での描画に限られるため、３Ｄ入力に比べて直感的な操作が難しいという問題がある。
　これに対し、３Ｄ入力によれば、直感的な操作が可能になる。一方で、コントローラの位置の自由度が高いことから、デザインの用途に用いる技術としては精度が不十分であるという問題がある。
　したがって、本発明の目的の一つは、仮想現実空間において直感的で精度の高い描画を実現できるレンダリング装置及びレンダリング方法を提供することにある。
　本発明の第１の側面は、仮想現実ディスプレイ上に表示される仮想現実空間内において３Ｄオブジェクトをレンダリングするレンダリング装置に係り、前記３Ｄオブジェクトを仮想現実空間座標系における３Ｄ表示の３Ｄオブジェクトとしてレンダリングする３Ｄレンダリングステップと、前記３Ｄオブジェクトを平面座標系における２Ｄ表示の３Ｄオブジェクトとしてレンダリングする２Ｄレンダリングステップと、前記３Ｄレンダリングステップのレンダリング結果により前記仮想現実ディスプレイの表示を更新する３Ｄ表示モードと、前記２Ｄレンダリングステップのレンダリング結果により前記仮想現実ディスプレイの表示を更新する２Ｄ表示モードとを有する表示更新ステップと、を実行するレンダリング装置である。
　本発明の第２の側面は、コンピュータを、仮想現実ディスプレイ上に表示される仮想現実空間内において３Ｄオブジェクトをレンダリングするレンダリング装置として機能させるためのレンダリング方法に係り、前記コンピュータに、前記３Ｄオブジェクトを仮想現実空間座標系における３Ｄ表示の３Ｄオブジェクトとしてレンダリングする３Ｄレンダリングステップと、前記３Ｄオブジェクトを平面座標系における２Ｄ表示の３Ｄオブジェクトとしてレンダリングする２Ｄレンダリングステップと、前記３Ｄレンダリングステップのレンダリング結果により前記仮想現実ディスプレイの表示を更新する３Ｄ表示モードと、前記２Ｄレンダリングステップのレンダリング結果により前記仮想現実ディスプレイの表示を更新する２Ｄ表示モードとを有する表示更新ステップと、を実行させるレンダリング方法である。
　本発明によれば、３Ｄオブジェクトの仮想現実空間内における表示方法（３Ｄ表示又は２Ｄ表示）をユーザの選択に応じて切り替えることができるので、仮想現実空間において直感的で精度の高い描画を実現することが可能になる。
本発明の第１の実施の形態による３Ｄオブジェクトレンダリングシステム１の構成を示す図である。 タブレット面座標系と仮想現実空間座標系の関係を説明する図である。 図１に示した制御部２ａが行う処理を示すフロー図である。 図２に示した位置情報等取得処理の詳細を示すフロー図である。 図２に示したタブレット端末表示処理の詳細を示すフロー図である。 本発明の第１の実施の形態による仮想現実空間において３Ｄオブジェクトを２Ｄ入力している状態を示す図である。 本発明の第１の実施の形態による仮想現実空間において３Ｄオブジェクトを３Ｄ入力している状態を示す図である。 本発明の第２の実施の形態による仮想現実空間において３Ｄオブジェクトを２Ｄ入力している状態を示す図である。 本発明の第２の実施の形態による制御部２ａが行う処理の一部を示すフロー図である。
　以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。
　図１は、本発明の第１の実施の形態による３Ｄオブジェクトレンダリングシステム１の構成を示す図である。同図に示すように、本実施の形態による３Ｄオブジェクトレンダリングシステム１は、コンピュータ２と、仮想現実ディスプレイ３と、タブレット４と、電子ペン５と、グローブユニット６と、ライトニングハウス７ａ，７ｂと、位置センサ８ａ～８ｄとを含んで構成される。なお、位置センサ８ａ，８ｃ，８ｄはそれぞれ、タブレット４、電子ペン５、及びグローブユニット６に取り付けられ、位置センサ８ｂは仮想現実ディスプレイ３に設けられる。位置センサ８ｃが取り付けられることにより、電子ペン５は、スタイラスとして機能するとともにコントローラとしても機能する。なお、位置センサ８ｃを電子ペン５に内蔵することとしてもよい。
　図１に示した各装置は、原則として部屋の中に配置される。３Ｄオブジェクトレンダリングシステム１においては、この部屋のほぼ全体が仮想現実空間として利用されうる。
　コンピュータ２は、制御部２ａ（コントローラ）と、制御部２ａと協働するメモリ２ｂとを含む。後述するコンピュータ２が行う各処理は、制御部２ａがメモリ２ｂと協働することにより（より具体的には、メモリ２ｂ内に記憶されるプログラムを読み出して実行することにより）実現され得る。
　コンピュータ２は、仮想現実ディスプレイ３及びライトニングハウス７ａ，７ｂのそれぞれと、有線又は無線により接続される。図１には、コンピュータ２と仮想現実ディスプレイ３及びライトニングハウス７ａ，７ｂのそれぞれとがＵＳＢなどの有線通信規格により接続される例を示している。また、詳しくは後述するが、タブレット４が通信機能を有する装置である場合、コンピュータ２は、タブレット４とも有線又は無線により接続される。図１には、コンピュータ２とタブレット４とが例えばブルートゥース（登録商標）などの近距離無線通信規格により接続される例を示している。なお、タブレット４や仮想現実ディスプレイ３がコンピュータとしての機能を内蔵する場合には、そのコンピュータによりコンピュータ２を構成することとしてもよい。
　コンピュータ２は、仮想現実ディスプレイ３上に仮想現実空間を表示する機能を有して構成される。この仮想現実空間は、ＶＲ(Virtual Reality)空間であってもよいし、ＡＲ(Augmented Reality)空間であってもよいし、ＭＲ(Mixed Reality)空間であってもよい。ＶＲ空間を表示する場合、仮想現実ディスプレイ３を装着したユーザは、仮想現実を認識し、現実世界と切り離される。一方、ＡＲ空間又はＭＲ空間を表示する場合、仮想現実ディスプレイ３を装着したユーザは、仮想現実と現実世界とが混合した空間を認識することになる。
　コンピュータ２は、ライトニングハウス７ａ，７ｂの位置を基準として仮想現実空間を設定し、設定した仮想現実空間内において様々な３Ｄオブジェクトをレンダリングするレンダリング装置として機能するよう構成される。コンピュータ２は、レンダリングの結果により、仮想現実ディスプレイ３の表示を更新する。これにより、仮想現実ディスプレイ３上に表示される仮想現実空間内には、様々な３Ｄオブジェクトが現れることになる。
　コンピュータ２によるレンダリングは、メモリ２ｂ内に記憶される３Ｄオブジェクトに基づいて実行される。３Ｄオブジェクトは、コンピュータ２により設定された仮想現実空間を示す仮想現実空間座標系における３Ｄオブジェクトの形状、位置、及び向きを示す情報であり、レンダリング対象の３Ｄオブジェクトごとにメモリ２ｂ内に記憶される。
　コンピュータ２によりレンダリングされる３Ｄオブジェクトには、図１に示したタブレット４、電子ペン５、及びグローブユニット６のそれぞれを表す３Ｄオブジェクトが含まれる。これらの３Ｄオブジェクトをレンダリングするにあたり、コンピュータ２はまず、仮想現実空間座標系における位置センサ８ａ～８ｄそれぞれの位置及び向きを検出する。そして、検出した位置センサ８ｂの位置及び向きに基づいてユーザの視点を示す視点情報を取得し、取得した視点情報と、記憶している各３Ｄオブジェクトの形状と、検出した位置センサ８ａ，８ｃ，８ｄそれぞれの位置及び向きに基づき、タブレット４、電子ペン５、及びグローブユニット６のそれぞれを示す３Ｄオブジェクトを仮想現実空間内にレンダリングするよう構成される。
　コンピュータ２はさらに、位置センサ８ｃ，８ｄの位置を検出することによって仮想現実空間内でユーザが行った操作を検出し、その結果に基づいて３Ｄオブジェクトを新規に作成し、又は、既に保持している３Ｄオブジェクトを更新可能に構成される。
　仮想現実ディスプレイ３は、人間の頭部に装着して用いるＶＲディスプレイ（ヘッドマウントディスプレイ）である。一般に市販される仮想現実ディスプレイには、「透過型」又は「非透過型」、「メガネ型」又は「帽子型」など各種のものがあるが、仮想現実ディスプレイ３としては、そのいずれを用いることも可能である。
　仮想現実ディスプレイ３は、位置センサ８ａ，電子ペン５（位置センサ８ｃを含む）、及びグローブユニット６（位置センサ８ｄを含む）のそれぞれと有線又は無線により接続される。位置センサ８ａ，８ｃ，８ｄは、この接続を通じて、後述する受光レベル情報を仮想現実ディスプレイ３に通知するよう構成される。仮想現実ディスプレイ３は、位置センサ８ａ，８ｃ，８ｄのそれぞれから通知された受光レベル情報を、自身に内蔵している位置センサ８ｂの受光レベル情報とともにコンピュータ２に通知するよう構成される。コンピュータ２は、こうして通知された受光レベル情報に基づき、仮想現実空間座標系における位置センサ８ａ～８ｄそれぞれの位置及び向きを検出する。また、電子ペン５及びグローブユニット６は、上記接続を通じて、後述する操作情報を仮想現実ディスプレイ３に通知するよう構成される。仮想現実ディスプレイ３は、こうして通知された操作情報をコンピュータ２に転送するよう構成される。
　タブレット４は、タブレット面４ａを有する。タブレット面４ａは平らな表面であることが好ましく、電子ペン５のペン先を滑らせるのに適した材料によって構成されうる。一例では、タブレット４はいわゆるデジタイザであり、タッチ面内における電子ペン５の指示位置を検出するタッチセンサと、検出した指示位置をコンピュータ２に通知する通信機能とを有して構成される。この場合のタブレット面４ａは、デジタイザのタッチ面によって構成される。他の一例では、タブレット４はいわゆるタブレットコンピュータであり、ディスプレイと、このディスプレイの表示面内における電子ペン５の指示位置を検出するタッチセンサと、検出した指示位置をコンピュータ２に通知する通信機能とを有して構成される。この場合のタブレット面４ａは、ディスプレイの表示面によって構成される。さらに他の一例では、タブレット４は、電子ペン５の指示位置を検出する機能を有しない物理的物体（単なる板、テーブル、電子ペン５の指示位置を検出する機能を有しないディスプレイ又はコンピュータなどを含む）である。この場合のタブレット面４ａは、タブレット４の表面に設けられた平面によって構成される。
　位置センサ８ａは、タブレット４の表面に固定設置される。したがって、コンピュータ２によって検出される位置センサ８ａの位置及び向きは、仮想現実空間座標系におけるタブレット面４ａの位置及び向きを示している。
　電子ペン５及びグローブユニット６は、ユーザが仮想現実空間内の位置を指示するためのものである。電子ペン５は、ペン型の形状を有して構成される。グローブユニット６は、ユーザの手に装着される手袋としての形状を有している。
　電子ペン５の表面又は内部には、スイッチ等の各種センシングデバイスが設けられる。ここでいうセンシングデバイスとしては、オンオフいずれかの状態を取る切り替えスイッチの他、任意の物理量を検出可能に構成されたセンサを含む。電子ペン５に設けられるスイッチの例としては、ユーザによるオンオフ操作を受け付け可能に構成されたサイドスイッチ又はテールスイッチが挙げられる。また、電子ペン５に設けられる他のスイッチの例として、電子ペン５のペン先に加わる圧力（筆圧）を検出する容量センサなども挙げられる。電子ペン５は、自身に設けられたスイッチの出力（押下状態又は検出された物理量）を検出し、検出結果の全部又は一部を自身の操作情報として仮想現実ディスプレイ３に通知するよう構成される。
　電子ペン５に設けられるセンシングデバイスとしては、ユーザによる電子ペン５の把持力を検出するフォースセンサ（荷重センサ）を含むこととしてもよい。この場合、フォースセンサの出力は本来筆圧を示すものではないが、フォースセンサの出力の通知を受けたコンピュータ２は、これを筆圧を示すデータ（筆圧データ）として取り扱うこととしてもよい。こうすることで、ユーザが電子ペン５を空中で操作する場合においても、筆圧を描画結果に反映させることが可能になる。
　タブレット４がタッチセンサを有している場合、電子ペン５の位置はこのタッチセンサによっても検出される。タッチセンサによって検出される位置は、仮想現実空間座標系における位置ではなく、タブレット面４ａ上に規定されるタブレット面座標系における位置となる。タッチセンサは、検出した電子ペン５の位置をコンピュータ２に通知するよう構成される。
　一般に、タッチセンサによって検出される位置は位置センサ８ｃを用いて検出される位置よりも高精度である。したがって、コンピュータ２は、タッチセンサから電子ペン５の位置が通知されている場合には、位置センサ８ｃを通じて検出された位置ではなく、タッチセンサから通知された位置を電子ペン５の位置として取得することが好ましい。この場合、コンピュータ２は、位置センサ８ａを用いて検出しているタブレット面４ａの位置及び向きに基づいてタブレット面座標系を仮想現実空間座標系に対応付けることにより、タッチセンサから通知された位置を仮想現実空間座標系における位置に変換することが好ましい。
　図２は、タブレット面座標系と仮想現実空間座標系の関係を説明する図である。同図には、仮想現実空間１０の中にタブレット面４ａが位置している状態を示している。仮想現実空間座標系は３つの軸ＶＲＸ，ＶＲＹ，ＶＲＺによって規定され、タブレット面座標系は３つの軸ＴＲＸ，ＴＲＹ，ＴＲＺによって規定される。ただし、軸ＴＲＺはタブレット面４ａの法線方向である。図示した位置Ｐがタブレット面座標系における位置（ｘ，ｙ，ｚ）としてタッチセンサにより検出された場合（ｚは、例えばホバー位置を示す）、コンピュータ２は所定の変換処理により、この（ｘ，ｙ，ｚ）を仮想現実空間座標系における位置（Ｘ，Ｙ，Ｚ）に変換する。これにより、タッチセンサから通知された位置を仮想現実空間座標系における位置に変換することが可能になる。
　ここで、タッチセンサによる電子ペン５の位置検出は、電磁誘導方式を用いてもよいし、アクティブ静電方式を用いてもよい。アクティブ静電方式を用いる場合、タッチセンサは、タッチ面内に配置されるセンサ電極（図示せず）から所定の時間間隔でビーコン信号を送出するよう構成される。ビーコン信号には、タッチセンサから電子ペン５を制御するためのコマンドが含まれる。コマンドによる制御の内容には、例えば、電子ペン５のペン先に加わる圧力を示す筆圧データ（容量センサによって検出されたもの）を送信させること、電子ペン５に設けられる各種スイッチ（図示せず）の押下状態を送信させること、電子ペン５に予め格納されている固有ＩＤを送信させることなどが含まれる。
　アクティブ静電方式に対応する電子ペン５は、上記ビーコン信号を検出すると、応答信号としてペン信号を送出する。ペン信号は、無変調の搬送波であるバースト信号と、上記コマンドに応じたデータによって搬送波を変調することにより得られるデータ信号とを含む信号である。タッチセンサは、上記センサ電極によってバースト信号の検出を試み、検出結果に基づいて電子ペン５の位置を検出する。また、上記センサ電極によってデータ信号を検出して復調することにより、コマンドに応じて電子ペン５が送信したデータを受信する。タブレット４は、こうして取得した電子ペン５の位置及び電子ペン５が送信したデータを、コンピュータ２に対して送信するよう構成される。コンピュータ２は、こうして通知された位置を上述したようにして仮想現実空間座標系における位置に変換するとともに、通知されたデータを上述した操作情報の一部として取得するよう構成される。
　ライトニングハウス７ａ，７ｂは、３Ｄオブジェクトレンダリングシステム１で使用される位置検出のための信号送信装置であり、それぞれ、コンピュータ２による制御に従って方向を変えながら信号、この例ではレーザー光、を射出可能に構成される。位置センサ８ａ～８ｄはそれぞれ複数の受光センサによって構成されており、ライトニングハウス７ａ，７ｂのそれぞれが照射した信号（レーザー光）を各受光センサによって受光し、それぞれの受光レベルを含む受光レベル情報を取得するよう構成される。取得された受光レベル情報は、上述したように、各位置センサ８ａ～８ｄからコンピュータ２に通知され、これらの位置及び向きを検出するために用いられる。
　以上、３Ｄオブジェクトレンダリングシステム１の全体概要について説明した。このような３Ｄオブジェクトレンダリングシステム１においてユーザが新たな３Ｄオブジェクトの入力を行う場合、これまでは、電子ペン５及びグローブユニット６を用いて３Ｄ入力を行うか、或いは、タブレット４をタブレットコンピュータとし、このタブレットコンピュータに対して電子ペン５を用いて２Ｄ入力を行うか、のいずれかであった。しかしながら、上述したように、３Ｄ入力には、直感的な操作が可能になるという長所がある一方で精度が不十分であるという短所があり、また、２Ｄ入力には、高い精度を得ることができる一方で直感的な操作が難しいという短所があった。
　本実施の形態による３Ｄオブジェクトレンダリングシステム１は、このような従来の入力方法の問題点に鑑み、３Ｄオブジェクトの仮想現実空間内における表示方法（３Ｄ表示又は２Ｄ表示）をユーザの選択により切り替えられるようにすることで、仮想現実空間において直感的で精度の高い描画を実現することを可能にしたものである。以下、この点について、コンピュータ２の制御部２ａが行う処理のフロー図を参照しながら詳しく説明する。
　図３は、コンピュータ２の制御部２ａが行う処理を示すフロー図である。この処理は、ユーザが電子ペン５及びグローブユニット６の少なくとも一方を用いて３Ｄオブジェクトの入力を行うときに実行されるもので、ユーザが電子ペン５及びグローブユニット６を用いて所定の操作を行い、それを制御部２ａが検出することによって開始される。
　図３に示すように、制御部２ａはまず、仮想現実空間座標系における入力中オブジェクトの形状、位置、及び向きを示す３Ｄオブジェクトの記憶領域をメモリ２ｂ内に確保する（ステップＳ１）。３Ｄオブジェクトの具体的な形式は特に限定されないが、例えばＶＲＭＬ形式やＸ３Ｄ形式のデータとすることが好適である。
　次に制御部２ａは、位置情報等取得処理を実行する（ステップＳ２）。
　図４は、ステップＳ２で実行される位置情報等取得処理の詳細を示すフロー図である。同図に示すように、制御部２ａは、視点情報を取得するステップ（ステップＳ２０）、タブレット面情報を取得するステップ（ステップＳ２１）、コントローラ情報（第１の情報）を取得するステップ（ステップＳ２２。コントローラ情報取得ステップ。第１情報取得処理）、電子ペン情報（第２の情報）を取得するステップ（ステップＳ２３。電子ペン情報取得ステップ。第２情報取得処理）のそれぞれを実行することにより、位置情報等取得処理を実行する。なお、ステップＳ２０～Ｓ２３の実行順は特に限定されない。
　視点情報は、仮想現実空間座標系におけるユーザの視点を表す情報であり、具体的には仮想現実ディスプレイ３の位置及び向きによって示される。制御部２ａは、位置センサ８ｂについて検出した位置及び向きに基づき、視点情報を取得するよう構成される。具体的な視点情報は、例えば、１つの３次元座標を始点とするベクトル情報によって構成される。
　タブレット面情報は、仮想現実空間座標系におけるタブレット面４ａの形状、位置、及び向きを示す情報であり、３Ｄオブジェクトの１つとしてメモリ２ｂ内に記憶される。制御部２ａは、位置センサ８ａについて検出した位置及び向きと、予め記憶しているタブレット４の形状とに基づき、タブレット面情報を取得する。
　コントローラ情報は、仮想現実空間座標系における３Ｄコントローラ（電子ペン５及びグローブユニット６を含む）の位置及び向き、並びに該３Ｄコントローラの操作情報を示す情報である。制御部２ａは、位置センサ８ｃ，８ｄについて検出した位置及び向きと、仮想現実ディスプレイ３を介して受信した電子ペン５及びグローブユニット６それぞれの操作情報とに基づき、コントローラ情報を取得する。
　電子ペン情報は、タブレット面座標系における電子ペン５の指示位置、及び、電子ペン５の操作情報を示す情報である。タブレット４がタッチセンサを有している場合、制御部２ａは、タッチセンサからタブレット面座標系における電子ペン５の指示位置を取得する。一方、タブレット４がタッチセンサを有していない場合、制御部２ａは、位置センサ８ｃから取得した位置（仮想現実空間座標系における位置）に変換処理（図２を参照して説明した変換処理の逆処理）を施すことによって、タブレット面座標系における電子ペン５の指示位置を取得する。また、制御部２ａは、タッチセンサから電子ペン５の操作情報を取得できる場合（例えば、電子ペン５がアクティブ静電方式に対応している場合）には、タッチセンサから電子ペン５の操作情報（容量センサの出力を含む）を取得する。一方、タッチセンサから電子ペン５の操作情報を取得できない場合、制御部２ａは、仮想現実ディスプレイ３経由で電子ペン５の操作情報（フォースセンサの出力を含む）を取得する。
　図３に戻り、位置情報等取得処理を実行した制御部２ａは、続いてタブレット面等表示処理を実行する（ステップＳ３）。この処理は、タブレット面を示すタブレット面画像と、入力中の３Ｄオブジェクトを２Ｄ表示するための表示面を示す表示面画像とを仮想現実空間内に表示するための処理である。
　図５は、ステップＳ３で実行されるタブレット面等表示処理の詳細を示すフロー図である。同図に示すように、制御部２ａはまず、仮想現実空間内においてユーザが選択した位置又は入力中の３Ｄオブジェクトと接触する位置に基づいて、表示面画像のレンダリングを実施する（ステップＳ３０。表示面画像レンダリングステップ（処理））。ユーザによる位置の選択は、例えば、ユーザが電子ペン５に設けられたスイッチを押下し、そのことを示す操作情報が制御部２ａに通知されることによって実行される。表示面画像は、ディスプレイを模したものであってもよいし、単なる矩形の枠であってもよい。なお、制御部２ａは、図４のステップＳ２０で取得した視点情報に基づき、表示面画像の法線方向がユーザの視線方向と一致するように表示面画像をレンダリングすることが好ましい。
　次に制御部２ａは、仮想現実空間座標系と、表示面上に規定される表示面座標系（第１の平面座標系）との対応関係を示す第１の対応情報を取得する（ステップＳ３１）。第１の対応情報は、具体的には、仮想現実空間座標系と表示面座標系とを相互に変換するための変換規則である。
　続いて制御部２ａは、仮想現実空間座標系と、タブレット面座標系（第２の平面座標系）との対応関係を示す第２の対応情報を取得する（ステップＳ３２）。第２の対応情報は、具体的には、仮想現実空間座標系とタブレット面座標系とを相互に変換するための変換規則である。
　最後に制御部２ａは、タブレット面情報及び視点情報に基づいて、タブレット面４ａを示すタブレット面画像のレンダリングを実施する（ステップＳ３３。タブレット面画像レンダリングステップ（処理））。タブレット面画像は、タブレット端末のタッチ面を模したものであってもよいし、単なる矩形の枠であってもよい。なお、制御部２ａは、図４のステップＳ２０で取得した視点情報に基づき、ユーザの視線方向とタブレット面４ａとのなす角度（俯角）が所定の値となるようにタブレット面画像をレンダリングすることが好ましい。
　図３に戻り、タブレット面等表示処理を実行した制御部２ａは、続いてユーザによる動作モードの選択操作を受け付ける（ステップＳ４）。この選択は、例えば、ユーザが電子ペン５に設けられたスイッチを押下することによって実行されてもよいし、ユーザがタブレット面４ａと電子ペン５の間の距離を変化させることによって実行されることとしてもよい。例えば、タブレット面４ａと電子ペン５の間の距離が所定距離よりも近づいた場合に２Ｄ表示に切り替え、タブレット面４ａと電子ペン５の間の距離が所定距離以上に遠ざかった場合に３Ｄ表示に自動的に切り替えてもよい。後者の場合において、タブレット面４ａと電子ペン５の間の距離は、タッチセンサが検出することとしてもよいし、タブレット面画像の表示位置と位置センサ８ｃを用いて検出されている電子ペン５の位置とに基づいて制御部２ａが検出することとしてもよい。ステップＳ４で選択操作を受け付けた制御部２ａは、選択内容に応じて、３Ｄ表示モード又は２Ｄ表示モードのいずれか一方にエントリする処理（すなわち、３Ｄ表示又は２Ｄ表示のいずれか一方を選択する表示選択処理）を行う（ステップＳ５。モード選択ステップ）。
　ステップＳ５で３Ｄ表示モードにエントリした場合、制御部２ａは、仮想現実空間座標系における３Ｄオブジェクトを仮想現実ディスプレイ３上にレンダリングする３Ｄレンダリングステップ（処理）を実行する。具体的に説明すると、制御部２ａはまず、メモリ２ｂ内に記憶している３Ｄオブジェクトと、図４のステップＳ２０で取得した視点情報とに基づいて、入力中オブジェクト及び他の３Ｄオブジェクトのレンダリングを実施する（ステップＳ６）。そして、その結果により仮想現実ディスプレイ３への出力（表示）を更新する（ステップＳ７。表示更新ステップ（処理））。このとき、図５のステップＳ３０でレンダリングした表示面画像、図５のステップＳ３３でレンダリングしたタブレット面画像など、仮想現実空間内における他の表示も同時に更新される。これによりユーザは、３Ｄ入力により入力中オブジェクトを編集することが可能になる。
　制御部２ａはさらに、図４のステップＳ２２で取得したコントローラ情報に基づき、メモリ２ｂ内に記憶している入力中オブジェクトの３Ｄオブジェクトを更新する（ステップＳ８。３Ｄオブジェクト更新ステップ（処理））。その後、ステップＳ２に戻って処理を継続する。
　ここで、ステップＳ８及び後述するステップＳ１４における３Ｄオブジェクトの更新は、電子ペン５から通知されている操作情報にも基づいて実行される。例えば、電子ペン５から容量センサの出力又はフォースセンサの出力を示すデータが通知されている場合、コンピュータ２は、このデータを筆圧データとして取得し、取得した筆圧データに基づいて入力中オブジェクトの線幅や透明度を決定する。そして、その決定結果を３Ｄオブジェクトに反映させる。
　ステップＳ５で２Ｄ表示モードにエントリした場合の制御部２ａは、３Ｄオブジェクトを表示面座標系における２Ｄ表示の３Ｄオブジェクトとして仮想現実ディスプレイ３上にレンダリングする２Ｄレンダリングステップ（処理）を実行する。具体的には、まず、図５のステップＳ３１で取得した第１の対応情報に基づき、メモリ２ｂ内に記憶している入力中オブジェクトの３Ｄオブジェクトを、表示面座標系における入力中オブジェクトの形状、位置、及び向きを示す２Ｄオブジェクトに変換する（ステップＳ１０。第１の変換ステップ）。そして、得られた２Ｄオブジェクトと、図４のステップＳ２０で取得した視点情報とに基づき、入力中オブジェクトのレンダリングを実施し（ステップＳ１１）、その結果により仮想現実ディスプレイ３への出力（表示）を更新する（ステップＳ１２。表示更新ステップ（処理））。このときにも、ステップＳ７と同様、図５のステップＳ３０でレンダリングした表示面画像、図５のステップＳ３３でレンダリングしたタブレット面画像など、仮想現実空間内における他の表示が同時に更新される。これによりユーザは、２Ｄ入力により入力中オブジェクトを編集することが可能になる。
　続いて制御部２ａは、図５のステップＳ３２で取得した第２の対応情報に基づき、図４のステップＳ２３で取得した電子ペン情報により示される指示位置を仮想現実空間座標系における位置に変換する（ステップＳ１３。第２の変換ステップ）。そして、得られた指示位置を含む電子ペン情報に基づき、メモリ２ｂ内に記憶している入力中オブジェクトの３Ｄオブジェクトを更新する（ステップＳ１４。３Ｄオブジェクト更新ステップ）。上述したように、この更新は、電子ペン５から通知されている操作情報にも基づいて実行される。制御部２ａは、その後、ステップＳ２に戻って処理を継続する。
　図６は、仮想現実空間において３Ｄオブジェクトを２Ｄ入力している状態（図３のステップＳ４でユーザが２Ｄ表示モードを選択している状態）を示す図であり、図７は、仮想現実空間において３Ｄオブジェクトを３Ｄ入力している状態（図３のステップＳ４でユーザが３Ｄ表示モードを選択している状態）を示す図である。
　図６に示すように、２Ｄ表示モードにおいては、仮想現実空間１０内に表示された矩形の表示面画像１１の中に入力中オブジェクト１３が２Ｄ表示される。なお、表示面画像１１に示した３つの軸ＤＲＸ，ＤＲＹ，ＤＲＺは、表示面座標系を表している。３軸のうちの軸ＤＲＺは、表示面画像１１の法線方向である。また、矩形のタブレット面画像１２が表示され、ユーザは、このタブレット面画像１２内で電子ペン５を動かすことにより、入力中オブジェクト１３の編集を行う。この編集は、平面上で電子ペン５を移動させることによって行われるので、２Ｄ入力である。仮想現実ディスプレイ３を装着しているユーザには見えないが、タブレット面画像１２が表示されている位置には実際にタブレット面４ａが存在しているので、ユーザは、タブレット面４ａの手応えを感じながら、タブレット面画像１２内で電子ペン５を動かすことができる。
　一方、図７に示すように、３Ｄ表示モードにおいては、入力中オブジェクト１３が仮想現実空間１０内に３Ｄ表示される。ユーザは、この仮想現実空間１０内で電子ペン５及びグローブユニット６を動かすことにより、入力中オブジェクト１３の編集を行う。この編集は、３Ｄ入力用のコントローラを利用して行われるので、３Ｄ入力である。
　以上説明したように、本実施の形態による３Ｄオブジェクトレンダリングシステム１によれば、３Ｄオブジェクトの仮想現実空間内における表示方法（３Ｄ表示又は２Ｄ表示）をユーザの選択により切り替えることができるので、仮想現実空間において直感的で精度の高い描画を実現することが可能になる。また、２Ｄ表示を行っている間には２Ｄ入力による３Ｄオブジェクトの編集が可能となり、３Ｄ表示を行っている間には３Ｄ入力による３Ｄオブジェクトの編集が可能となるので、表示方法に適した入力方法で３Ｄオブジェクトの編集を行うことが可能になる。
　また、本実施の形態による３Ｄオブジェクトレンダリングシステム１によれば、仮想現実空間中で電子ペン５により３Ｄオブジェクトを入力することが可能になる。
　次に、本発明の第２の実施の形態による３Ｄオブジェクトレンダリングシステム１について、説明する。本実施の形態による３Ｄオブジェクトレンダリングシステム１は、表示面座標系とタブレット面座標系とを同一の座標系とする点で、これらが互いに異なる座標系であった第１の実施の形態による３Ｄオブジェクトレンダリングシステム１と相違する。その他の点では第１の実施の形態による３Ｄオブジェクトレンダリングシステム１と同一であるので、第１の実施の形態と同一の構成には同一の符号を付し、以下では第１の実施の形態との相違点に着目して説明する。
　図８は、本実施の形態による仮想現実空間において３Ｄオブジェクトを２Ｄ入力している状態を示す図である。初めにこの図８を参照して本実施の形態の概要を説明すると、本実施の形態による制御部２ａは、図１に示したタブレット４（タブレット端末）を示すタブレット端末画像１４を仮想現実空間内にレンダリングするよう構成される。タブレット端末画像１４に含まれるタブレット面画像１４ａは、第１の実施の形態で説明したタブレット面画像及び表示面画像の両方に対応しており、したがって、本実施の形態においてはタブレット面座標系（軸ＴＲＸ，ＴＲＹ，ＴＲＺ）が表示面座標系を兼ねている。結果として、２Ｄ表示モードにおいては、図８に示すように、タブレット面画像１４ａ内に入力中オブジェクト１３が２Ｄ表示されることになる。
　図９は、本実施の形態による制御部２ａが行う処理の一部を示すフロー図である。図９（ａ）は、図５に示したフロー図を置き換えるものである。一方、図９（ｂ）は、図３に示したステップＳ１０を置き換えるものである。
　図９（ａ）に示すように、本実施の形態による制御部２ａは、図５に示したステップＳ３０，Ｓ３１を実行せず、ステップＳ３３に代えてステップＳ３３ａを実行するよう構成される。ステップＳ３３ａでは、タブレット面情報及び視点情報に基づいて、図１に示したタブレット４（タブレット端末）を示すタブレット端末画像のレンダリングを実施する（タブレット端末画像レンダリングステップ（処理））。これにより、図８に示したように、現実のタブレット４（タブレット端末）と同様のタブレット端末（タブレット端末画像１４）が仮想現実空間１０内に現れることになる。
　また、本実施の形態による制御部２ａは、図９（ｂ）に示すように、２Ｄ表示モードにおいて入力中オブジェクトをレンダリングする際に使用する２Ｄオブジェクト情報を得るために、第１の対応情報ではなくステップＳ３２で取得した第２の対応情報に基づき、メモリ２ｂ内に記憶している入力中オブジェクトの３Ｄオブジェクトを、表示面座標系における入力中オブジェクトの形状、位置、及び向きを示す２Ｄオブジェクトに変換する処理を行う（ステップＳ１０ａ）。その結果、図８に示したように、入力中オブジェクト１３（すなわち、コントローラ情報取得ステップ（ステップＳ２２）によって取得された仮想現実空間座標系における電子ペン５の位置）がタブレット面画像１４ａ内に表示されることになる。
　本実施の形態による３Ｄオブジェクトレンダリングシステム１によっても、３Ｄオブジェクトの仮想現実空間内における表示方法（３Ｄ表示又は２Ｄ表示）をユーザの選択により切り替えることができるので、仮想現実空間において直感的で精度の高い描画を実現することが可能になる。また、２Ｄ表示を行っている間には２Ｄ入力による３Ｄオブジェクトの編集が可能となり、３Ｄ表示を行っている間には３Ｄ入力による３Ｄオブジェクトの編集が可能となるので、表示方法に適した入力方法で３Ｄオブジェクトの編集を行うことが可能になる。
　加えて本実施の形態によれば、ユーザは、仮想現実空間内においてタブレット端末への入力体験を得ることが可能になる。したがって、あたかも通常のタブレット端末で入力操作を行うかのように、３Ｄオブジェクトの入力操作を行うことが可能になる。
　以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
１　　　　　３Ｄオブジェクトレンダリングシステム
２　　　　　コンピュータ
２ａ　　　　制御部
２ｂ　　　　メモリ
３　　　　　仮想現実ディスプレイ
４　　　　　タブレット
４ａ　　　　タブレット面
５　　　　　電子ペン
６　　　　　グローブユニット
７ａ，７ｂ　ライトニングハウス
８ａ～８ｄ　位置センサ
１０　　　　仮想現実空間
１１　　　　表示面
１２　　　　タブレット面画像
１３　　　　入力中オブジェクト
１４　　　　タブレット端末画像
１４ａ　　　タブレット面画像

Claims (11)

  1. 　コントローラと、前記コントローラと協働するメモリを備えており、ディスプレイ上の仮想現実空間に表示される３Ｄオブジェクトをレンダリングするレンダリング装置であって、前記コントローラは、前記メモリと協働して、
    　前記３Ｄオブジェクトを、仮想現実空間座標系における３Ｄ表示の３Ｄオブジェクトとしてレンダリングする３Ｄレンダリング処理と、
    　前記３Ｄオブジェクトを、平面座標系における２Ｄ表示の３Ｄオブジェクトとしてレンダリングする２Ｄレンダリング処理と、
    　前記３Ｄレンダリング処理のレンダリング結果に基づく前記ディスプレイの表示と、前記２Ｄレンダリング処理のレンダリング結果に基づく前記ディスプレイの表示とを更新する表示更新処理とを実行するように構成されているレンダリング装置。
  2. 　前記コントローラは、前記メモリと協働して、
    　前記仮想現実空間座標系における電子ペンの位置を示す第１の情報を取得する第１情報取得処理と、
    　前記平面座標系における前記電子ペンの指示位置を示す第２の情報を取得する第２情報取得処理と、
    　前記３Ｄ表示においては前記第１の情報に基づいて前記仮想現実空間座標系における前記３Ｄオブジェクトを更新し、前記２Ｄ表示においては前記第２の情報に基づいて前記３Ｄオブジェクトを更新する３Ｄオブジェクト更新処理と、をさらに実行するように構成されている請求項１に記載のレンダリング装置。
  3. 　前記コントローラは、前記メモリと協働して、タブレット端末を示すタブレット端末画像をレンダリングするタブレット端末画像レンダリング処理をさらに実行し、
    　前記タブレット端末画像レンダリング処理は、前記仮想現実空間座標系における前記タブレット端末の位置に基づいて実行されるように構成されており、
    　前記平面座標系は、前記仮想現実空間内における前記タブレット端末の位置によって規定される座標系である請求項２に記載のレンダリング装置。
  4. 　前記コントローラは、前記メモリと協働して、
    　入力中の３Ｄオブジェクトを２Ｄ表示するための表示面を示す表示面画像をレンダリングする表示面画像レンダリング処理と、
    　前記仮想現実空間座標系におけるタブレット面の位置に基づいて、前記タブレット面を示すタブレット面画像をレンダリングするタブレット面画像レンダリング処理と、をさらに実行する請求項２に記載のレンダリング装置。
  5. 　前記表示面画像レンダリング処理は、前記仮想現実空間内において選択された位置又は前記仮想現実空間内で前記３Ｄオブジェクトと接触する位置に画像をレンダリングする請求項４に記載のレンダリング装置。
  6. 　ユーザによる選択操作に応じて、前記３Ｄ表示又は前記２Ｄ表示のいずれか一方を選択する表示選択処理を含む請求項３乃至５のいずれか一項に記載のレンダリング装置。
  7. 　前記２Ｄレンダリング処理は、前記第１情報取得処理によって取得された前記仮想現実空間座標系における前記電子ペンの位置が前記タブレット端末画像内に表示されるようにレンダリングを行う請求項３に記載のレンダリング装置。
  8. 　前記タブレット面は、前記電子ペンが指示する位置を検出する機能を有しないように構成されている請求項４又は５に記載のレンダリング装置。
  9. 　前記電子ペンにはセンシングデバイスが設けられており、前記センシングデバイスの操作に応じて筆圧データを取得する処理が実行されるとともに、取得された前記筆圧データにも基づいて前記３Ｄオブジェクトが更新される請求項２乃至８のいずれか一項に記載のレンダリング装置。
  10. 　前記センシングデバイスは、ユーザによる前記電子ペンの把持力を検出するフォースセンサである請求項９に記載のレンダリング装置。
  11. 　ディスプレイ上の仮想現実空間内に３Ｄオブジェクトをレンダリングするレンダリング方法であって、
    　前記３Ｄオブジェクトを仮想現実空間座標系における３Ｄ表示の３Ｄオブジェクトとしてレンダリングする３Ｄレンダリングステップと、
    　前記３Ｄオブジェクトを平面座標系における２Ｄ表示の３Ｄオブジェクトとしてレンダリングする２Ｄレンダリングステップと、
    　前記３Ｄレンダリングステップのレンダリング結果に基づく前記ディスプレイの表示と、前記２Ｄレンダリングステップのレンダリング結果に基づく前記ディスプレイの表示とを更新する表示更新ステップとを実行させるレンダリング方法。
PCT/JP2018/040918 2017-11-21 2018-11-02 レンダリング装置及びレンダリング方法 WO2019102825A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2019556165A JP7345396B2 (ja) 2017-11-21 2018-11-02 レンダリング装置及びレンダリング方法
EP18882151.6A EP3716031B1 (en) 2017-11-21 2018-11-02 Rendering device and rendering method
CN201880069512.XA CN111344663B (zh) 2017-11-21 2018-11-02 渲染装置及渲染方法
CN202311265341.7A CN117348743A (zh) 2017-11-21 2018-11-02 计算机、渲染方法以及位置指示装置
US16/879,414 US11262857B2 (en) 2017-11-21 2020-05-20 Rendering device and rendering method
US17/588,058 US11681383B2 (en) 2017-11-21 2022-01-28 Rendering device and rendering method
US18/316,887 US20230288998A1 (en) 2017-11-21 2023-05-12 Rendering device and rendering method
US18/317,811 US20230288999A1 (en) 2017-11-21 2023-05-15 Rendering device and rendering method
JP2023143459A JP2023164499A (ja) 2017-11-21 2023-09-05 コンピュータ、レンダリング方法、及びプログラム
JP2023143460A JP2023166504A (ja) 2017-11-21 2023-09-05 位置指示装置及びコンピュータ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-223497 2017-11-21
JP2017223497 2017-11-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/879,414 Continuation US11262857B2 (en) 2017-11-21 2020-05-20 Rendering device and rendering method

Publications (1)

Publication Number Publication Date
WO2019102825A1 true WO2019102825A1 (ja) 2019-05-31

Family

ID=66631759

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040918 WO2019102825A1 (ja) 2017-11-21 2018-11-02 レンダリング装置及びレンダリング方法

Country Status (5)

Country Link
US (4) US11262857B2 (ja)
EP (1) EP3716031B1 (ja)
JP (3) JP7345396B2 (ja)
CN (2) CN111344663B (ja)
WO (1) WO2019102825A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022025027A1 (ja) 2020-07-27 2022-02-03 株式会社ワコム コンピュータによって実行される方法、コンピュータ、及びプログラム
CN114740997A (zh) * 2022-04-08 2022-07-12 北京字跳网络技术有限公司 交互控制装置及交互控制方法
JPWO2022224578A1 (ja) * 2021-04-23 2022-10-27
WO2023139630A1 (ja) * 2022-01-18 2023-07-27 日本電気株式会社 出力制御システム、出力制御方法、および記録媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019203848A1 (en) * 2018-04-20 2019-10-24 Hewlett-Packard Development Company, L.P. Tracking stylus in a virtual reality system
US11422530B2 (en) * 2018-08-20 2022-08-23 Dell Products, L.P. Systems and methods for prototyping a virtual model
CN112150602A (zh) * 2020-09-24 2020-12-29 苏州幻塔网络科技有限公司 模型图像的渲染方法和装置、存储介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09305306A (ja) * 1996-03-12 1997-11-28 Toho Business Kanri Center:Kk 位置入力装置、位置入力処理装置およびその方法
JP2012064010A (ja) * 2010-09-16 2012-03-29 Nintendo Co Ltd 情報処理装置、情報処理プログラム、情報処理システムおよび情報処理方法
JP2013084096A (ja) * 2011-10-07 2013-05-09 Sharp Corp 情報処理装置
US20160343174A1 (en) 2014-02-05 2016-11-24 Royal College Of Art Three dimensional image generation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55160916A (en) 1979-05-30 1980-12-15 Showa Electric Wire & Cable Co Power supply device
JP4449183B2 (ja) * 2000-07-11 2010-04-14 ソニー株式会社 画像編集システム及び画像編集方法、並びに記憶媒体
JP2005148844A (ja) * 2003-11-11 2005-06-09 Fukuda Gakuen 表示システム
US9812096B2 (en) * 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
US8392218B2 (en) * 2009-03-18 2013-03-05 Siemens Aktiengesellschaft Sequential control and execution of medical applications at different workstations
JP5930618B2 (ja) * 2011-06-20 2016-06-08 コニカミノルタ株式会社 空間手書きシステム及び電子ペン
CN102915232B (zh) * 2011-08-01 2016-08-10 华为技术有限公司 一种3d控件的交互方法及通信终端
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN102945116A (zh) * 2012-10-19 2013-02-27 广东欧珀移动通信有限公司 一种界面切换显示方法、装置及移动终端
US9952042B2 (en) * 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US10509865B2 (en) * 2014-09-18 2019-12-17 Google Llc Dress form for three-dimensional drawing inside virtual reality environment
JP6122537B1 (ja) * 2016-09-08 2017-04-26 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US10536691B2 (en) * 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
US20210012492A1 (en) * 2018-03-21 2021-01-14 Vikas KARADE Systems and methods for obtaining 3-d images from x-ray information for deformed elongate bones
CN113143313A (zh) * 2020-01-07 2021-07-23 通用电气精准医疗有限责任公司 可按压触摸面板以及超声成像系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09305306A (ja) * 1996-03-12 1997-11-28 Toho Business Kanri Center:Kk 位置入力装置、位置入力処理装置およびその方法
JP2012064010A (ja) * 2010-09-16 2012-03-29 Nintendo Co Ltd 情報処理装置、情報処理プログラム、情報処理システムおよび情報処理方法
JP2013084096A (ja) * 2011-10-07 2013-05-09 Sharp Corp 情報処理装置
US20160343174A1 (en) 2014-02-05 2016-11-24 Royal College Of Art Three dimensional image generation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GOOGLE, TILT BRUSH: PAINTING FROM A NEW PERSPECTIVE, 3 May 2016 (2016-05-03), Retrieved from the Internet <URL:https://www.youtube.com/watch?v=TckqNdrdbgk>

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022025027A1 (ja) 2020-07-27 2022-02-03 株式会社ワコム コンピュータによって実行される方法、コンピュータ、及びプログラム
EP4156113A4 (en) * 2020-07-27 2023-11-29 Wacom Co., Ltd. METHOD EXECUTED BY COMPUTER, COMPUTER AND PROGRAM
US12001646B2 (en) 2020-07-27 2024-06-04 Wacom Co., Ltd. Computer-implemented method, computer, and program for rendering a three-dimensional object in a virtual reality space
JPWO2022224578A1 (ja) * 2021-04-23 2022-10-27
JP7339470B2 (ja) 2021-04-23 2023-09-05 株式会社ワコム コントローラ及びコンピュータ
WO2023139630A1 (ja) * 2022-01-18 2023-07-27 日本電気株式会社 出力制御システム、出力制御方法、および記録媒体
CN114740997A (zh) * 2022-04-08 2022-07-12 北京字跳网络技术有限公司 交互控制装置及交互控制方法

Also Published As

Publication number Publication date
EP3716031B1 (en) 2024-09-18
CN117348743A (zh) 2024-01-05
EP3716031A1 (en) 2020-09-30
US20200278763A1 (en) 2020-09-03
EP3716031A4 (en) 2021-05-05
JP2023166504A (ja) 2023-11-21
US11681383B2 (en) 2023-06-20
US20220155884A1 (en) 2022-05-19
JP7345396B2 (ja) 2023-09-15
JPWO2019102825A1 (ja) 2020-12-03
JP2023164499A (ja) 2023-11-10
US20230288999A1 (en) 2023-09-14
US11262857B2 (en) 2022-03-01
CN111344663A (zh) 2020-06-26
US20230288998A1 (en) 2023-09-14
CN111344663B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
WO2019102825A1 (ja) レンダリング装置及びレンダリング方法
US11924055B2 (en) Electronic device with intuitive control interface
US20190129607A1 (en) Method and device for performing remote control
EP4342196A1 (en) Beacons for localization and content delivery to wearable devices
CN103970265B (zh) 具有触觉反馈的增强现实用户接口
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
US11954268B2 (en) Augmented reality eyewear 3D painting
CN110362231B (zh) 抬头触控设备、图像显示的方法及装置
CN105339870A (zh) 用于提供虚拟输入界面的方法和可穿戴装置
JP2016110522A (ja) 電子黒板、情報処理プログラムおよび情報処理方法
CN111913674B (zh) 虚拟内容的显示方法、装置、系统、终端设备及存储介质
KR20200066962A (ko) 사용자의 움직임에 기반하여 콘텐트를 제공하기 위한 전자 장치 및 방법
CN103713387A (zh) 电子设备和采集方法
KR102322968B1 (ko) 사용자의 손동작에 따른 명령 입력 장치 및 이를 이용한 명령 입력 방법
KR102288431B1 (ko) 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법
JP2023531302A (ja) 動的な形状スケッチングのためのシステム及び方法
WO2022025027A1 (ja) コンピュータによって実行される方法、コンピュータ、及びプログラム
CN113220110A (zh) 显示系统及方法
CN118466741A (zh) 一种虚拟场景的交互方法和相关装置
KR20240036543A (ko) 혼합 현실 입출력 확장 시스템
JP2023184238A (ja) 情報処理装置、情報処理方法、プログラム
CN110647243A (zh) 一种辅助控制装置、方法及设备
JP2017146647A (ja) 表示装置、入力装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18882151

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019556165

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018882151

Country of ref document: EP

Effective date: 20200622