WO2022201693A1 - コントローラ及びトラッキングシステム - Google Patents

コントローラ及びトラッキングシステム Download PDF

Info

Publication number
WO2022201693A1
WO2022201693A1 PCT/JP2021/047473 JP2021047473W WO2022201693A1 WO 2022201693 A1 WO2022201693 A1 WO 2022201693A1 JP 2021047473 W JP2021047473 W JP 2021047473W WO 2022201693 A1 WO2022201693 A1 WO 2022201693A1
Authority
WO
WIPO (PCT)
Prior art keywords
controller
pen
light emitting
cameras
axial direction
Prior art date
Application number
PCT/JP2021/047473
Other languages
English (en)
French (fr)
Inventor
博史 宗像
潤 長谷川
風太 井股
潤吏 藤岡
雄太 佐藤
清一 坂井
亮一 菊池
Original Assignee
株式会社ワコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ワコム filed Critical 株式会社ワコム
Priority to EP21933283.0A priority Critical patent/EP4318185A4/en
Priority to JP2023508632A priority patent/JPWO2022201693A1/ja
Priority to CN202180090279.5A priority patent/CN116848494A/zh
Publication of WO2022201693A1 publication Critical patent/WO2022201693A1/ja
Priority to US18/472,067 priority patent/US20240012492A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention relates to a controller and tracking system, and in particular, a space configured by XR technology such as VR (Virtual Reality), AR (Augmented Reality), MR (Mixed Reality), SR (Substitutional Reality) (hereinafter referred to as "XR space”). ) and tracking systems for tracking movement of such controllers.
  • XR space a space configured by XR technology
  • VR Virtual Reality
  • AR Augmented Reality
  • MR Magnetic Reality
  • SR Substitutional Reality
  • a handheld controller In XR technology, a handheld controller is used for the user to indicate a position in XR space. Tracking of the controller is performed by a tracking system that includes a camera and a computer connected to the camera. When the user moves the controller within the shooting range of the camera, the computer detects the position and orientation of the controller based on the image captured by the camera, and tracks the movement of the controller based on the detection results. .
  • Patent Document 1 discloses an example of a pen-type controller, which is a type of handheld controller.
  • a plurality of light emitting diodes are provided on the surface of the controller disclosed in Patent Document 1.
  • a computer that tracks the movement of the controller is configured to detect the position and orientation of the controller by detecting these LEDs in the image captured by the camera.
  • one of the objects of the present invention is to provide a pen-type controller that can detect the position and orientation with high accuracy.
  • one of the objects of the present invention is to provide a tracking system that can detect the position and orientation of a controller with high accuracy while using a camera with a rolling shutter.
  • the controller according to the present invention includes a pen portion formed in a pen shape, a grip portion intersecting with the axial direction of the pen portion, and an end portion of the grip portion near the axial direction of the pen portion. and a first light emitting unit arranged.
  • a tracking system is a tracking system for tracking the movement of the controller, comprising one or more roller shutters each having a rolling shutter and arranged so that the sub-scanning direction of the rolling shutter coincides with the vertical direction.
  • a tracking system including a camera and a computer for tracking movement of the controller based on images captured by the one or more cameras.
  • the controller of the present invention it is possible to detect the position and orientation of the controller with high accuracy.
  • the tracking system of the present invention it is possible to detect the position and orientation of the controller with high accuracy using the rolling shutter.
  • FIG. 4A and 4B are perspective views of the controller 6 viewed from various angles; 4A and 4B are perspective views of the controller 6 viewed from various angles; 4 is a diagram showing rotation of the controller 6 around the pen axis; FIG. 4 is a diagram showing rotation of the controller 6 around the pen axis; FIG. It is a figure which shows the image
  • FIG. 4 is a diagram for explaining the arrangement of cameras 4a to 4c; (a) is a diagram showing an image sensor 40 built in each of the cameras 4a to 4c, and (b) is a diagram for explaining the operation of the rolling shutter.
  • FIG. 4 is a diagram showing the structure of cameras 4a to 4c employed for arranging the cameras 4a to 4c so that the sub-scanning direction of the rolling shutter coincides with the vertical direction; It is a figure which shows the usage condition of the tracking system 1 by the modification of embodiment of this invention. It is a figure which shows the controller 6 by the modification of embodiment of this invention.
  • FIG. 1 is a diagram showing a usage state of a tracking system 1 according to this embodiment.
  • the tracking system 1 includes a computer 2, a position detection device 3, three cameras 4a to 4c, a head-mounted display 5, and a pen-type controller 6. .
  • the computer 2, the position detection device 3, the cameras 4a to 4c, the head-mounted display 5, and the controller 6 are configured to communicate with each other by wire or wirelessly.
  • the user uses the tracking system 1 while sitting on the desk chair 101, wearing the head mounted display 5 on the head, and holding the controller 6 in the right hand.
  • An XR space rendered by the computer 2 is displayed on the display surface of the head-mounted display 5, and the user operates the controller 6 above the desk 100 while viewing this XR space.
  • the controller 6 is a pen-shaped device having a pen with a grip, and controls 3D objects displayed in the XR space (specifically, drawing 3D objects, moving 3D objects, etc.). .
  • the controller 6 is used to perform 2D input using the position detection device 3 .
  • the computer 2 is configured by a notebook personal computer placed in the center of the desk 100 .
  • the computer 2 does not necessarily have to be placed in the center of the desk 100, and may be placed at a position where it can communicate with the position detection device 3, the cameras 4a to 4c, the head-mounted display 5, and the controller 6.
  • FIG. the computer 2 may be configured by various types of computers such as a desktop personal computer, a tablet personal computer, a smart phone, a server computer, etc., in addition to the notebook personal computer.
  • the computer 2 periodically detects the positions and tilts of the head mounted display 5, the controller 6, and the position detection device 3 based on the images captured by the cameras 4a to 4c, thereby tracking their movements. fulfill The computer 2 generated and generated the XR space and the 3D objects to be displayed therein based on the movement of each device being tracked and the operation state of each operation button and dial button provided on the controller 6, which will be described later. Processing for rendering the XR space and 3D objects and transmitting them to the head-mounted display 5 is performed.
  • the head-mounted display 5 plays a role of displaying the XR space including one or more 3D objects by displaying the rendered image transmitted from the computer 2 .
  • the position detection device 3 is composed of a tablet arranged on the upper surface of the desk 100 at a position corresponding to the front side of the computer 2 when viewed from the user.
  • the position detection device 3 does not necessarily need to be placed at this position, and may be placed within reach of the user sitting on the desk chair 101 .
  • the position detection device 3 and the computer 2 may be configured by an integrated device such as a tablet terminal.
  • the position detection device 3 has a function of periodically detecting the position of the pen tip of the controller 6 on the touch surface and sequentially transmitting the detected position to the computer 2 .
  • the computer 2 generates and renders stroke data that constitutes a 2D object or a 3D object based on the transmitted positions.
  • a specific method of position detection by the position detection device 3 is not particularly limited, it is preferable to use, for example, an active electrostatic method or an electrostatic induction method.
  • the cameras 4a to 4c are image capturing devices for capturing still images or moving images, respectively, and are configured to sequentially supply images obtained by capturing to the computer 2.
  • the camera 4a is positioned facing the user with the desk 100 interposed therebetween, the camera 4b is positioned above the user's left side, and the camera 4c is positioned above the user's right side so that the upper surface of the desk 100 can be photographed.
  • Each of the cameras 4a-4c has a rolling shutter, and is arranged so that the sub-scanning direction of the rolling shutter coincides with the vertical direction in order to minimize distortion of the controller 6 in the image. Details of this point will be described later.
  • FIG. 2 is a diagram showing a state in which the user holds the controller 6 with his or her right hand.
  • 3(a), 3(b), 4(a), and 4(c) are perspective views of the controller 6 viewed from various angles.
  • the controller 6 has a pen portion 6p formed in a pen shape and a grip portion 6g fixed to the pen portion 6p so that the longitudinal direction intersects the axial direction of the pen portion 6p.
  • the axial direction of the pen portion 6p will be referred to as the x direction
  • the direction in the plane formed by the x direction and the longitudinal direction of the grip portion 6g and perpendicular to the x direction will be referred to as the z direction
  • a direction orthogonal to each of the x-direction and the z-direction is called a y-direction.
  • pressure pads 6pa and 6pb and shift buttons 6pc and 6pd are provided on the surface of the pen portion 6p.
  • the pressure pads 6pa and 6pb are members each including a pressure sensor and a touch sensor, and are arranged symmetrically with respect to the xz plane at a position near the pen tip on the side surface of the pen part 6p.
  • the pressure detected by the pressure sensor is used for selection or drawing on the application.
  • the information indicating whether or not there is a touch detected by the touch sensor is used to determine whether the pressure sensor output is on or off, and to realize a light double-tap.
  • Shift buttons 6pc and 6pd are switches assigned to application menus, respectively, and are arranged symmetrically with respect to the xz plane between the pressure pads 6pa and 6pb and the grip portion 6g.
  • a user holding the controller 6 with the right hand can operate the pressure pad 6pa and the shift button 6pc with the thumb, and operate the pressure pad 6pb and the shift button 6pd with the index finger, as can be seen from FIG. become.
  • the tact top button 6ga is a switch that functions as a power button when pressed for a long time, and is arranged on the surface of the end closer to the pen part 6p among the longitudinal ends of the grip part 6g.
  • this end portion will be referred to as the "upper end portion”
  • the end portion of the grip portion 6g that is farther from the pen portion 6p in the longitudinal direction will be referred to as the "lower end portion”.
  • the dial button 6ge is a rotatable ring-shaped member configured to output the amount of rotation. This rotation amount is used, for example, to rotate the selected object.
  • a dial button 6ge is also arranged on the upper end of the grip portion 6g so as to surround the tact top button 6ga.
  • the grab button 6ga is a switch used to grab and move an object, and is located near the lower end of the pen tip side surface of the grip portion 6g.
  • the tactile buttons 6gc and 6gd are switches used for button assistance such as the right button of a mouse. placed in The tact button 6gc is arranged on the thumb side when the controller 6 is held by the right hand, and the tact button 6gd is arranged on the index finger side when the controller 6 is held by the right hand.
  • the user holding the controller 6 with the right hand presses the grab button 6ga with the middle finger. Also, the thumb presses the tact button 6gc, and the index finger presses the tact button 6gd.
  • a rotation operation of the dial button 6ge and a pressing operation of the tact top button 6ga are performed by the user's thumb.
  • the tact top button 6ga and the dial button 6ge are positioned so that they cannot be operated unless the user intentionally lifts the thumb up to the upper end of the grip portion 6g, they are exposed without being hidden by the user's hand in a normal state. ing.
  • the concave portion 6gf is a portion configured so that when the user grips the controller 6, the portion from the base of the index finger to the base of the thumb fits just right. By providing the recess 6gf in the controller 6, fatigue of the user using the controller 6 is reduced.
  • each LED is composed of a so-called point light source LED.
  • the computer 2 is configured to detect the position and orientation of the controller 6 by detecting these LEDs in the images captured by the cameras 4a-4c.
  • one or more LEDs are arranged in each of the three portions PT1 to PT3 of the controller 6 shown in FIG. 3(b).
  • the portion PT1 is a portion of the pen portion 6p located on the pen tip side when viewed from the grip portion 6g
  • the portion PT2 is a portion of the pen portion 6p located on the pen rear side when viewed from the grip portion 6g.
  • PT3 is the grip portion 6g.
  • two LEDs 10a-1 and 10a-2 are arranged in the portion PT1
  • four LEDs 10b-1 to 10b-4 are arranged in the portion PT2
  • one LED 10c is arranged in the portion PT3.
  • the two LEDs 10a-1 and 10a-2 corresponding to the portion PT1 are arranged side by side in the same position when viewed in the x direction, at a position slightly closer to the grip part 6g than the pen tip. Also, among the four LEDs 10b-1 to 10b-4 corresponding to the portion PT2, the LED 10b-4 is arranged at the distal end of the pen. On the other hand, the other three LEDs 10b-1 to 10b-3 are arranged in a zigzag pattern from the grip portion 6g to the end of the pen. That is, the LED 10b-1 and the LED 10b-3 are provided at a position closer to the right side of the portion PT2, and the LED 10b-2 is provided at a position closer to the left side of the portion PT2.
  • the LED 10c corresponding to the portion PT3 is arranged on the surface of the upper end of the grip portion 6g (more specifically, the surface of the tact top button 6ga).
  • the tact top button 6ga is exposed without being hidden by the user's hand. Therefore, by providing the LED 10c on the surface of the tact top button 6ga, the computer 2 can constantly detect the controller 6 with a high probability, and thus the position and orientation of the controller 6 can be detected with high accuracy. Become. Also, by not arranging the LEDs in the lower part of the grip portion 6g, the pattern of the LEDs in the image is simplified, and the shape recognition by the computer 2 is facilitated.
  • FIGS. 5(b)(d) and 6(b)(d) are perspective views of the controller 6 seen from the left side. Yes.
  • the image from the camera 4b on the left side of the controller 6 reflects the LED 10b-2 in the portion PT2 of the pen part 6p, while the tact top button
  • the LED 10c on the surface of 6ga is not reflected, but as the controller 6 rotates around the pen axis, the LED 10c is also reflected.
  • the distance Lz in the z direction between the LED 10c and the LED 10b-2 reflected in the image is as shown in FIGS. It becomes shorter as the controller 6 rotates.
  • the x-direction distance Lx between the LED 10c and the LED 10b-2 remains unchanged. Therefore, the computer 2 can derive the rotation angle of the controller 6 around the pen axis based on Lz, Lx, and other information such as the distance and angle from the LED.
  • the controller 6 has LEDs 10a-1 and 10a-2 in the portion PT1 on the pen tip side.
  • the center of gravity of the coordinates derived by the computer 2 can be brought closer to the pen tip side than when the LED is not provided in the portion PT1. Therefore, also from this point, it can be said that the position and orientation of the controller 6 can be detected with high accuracy by using the controller 6 according to the present embodiment.
  • the LED 10a-1 and the LED 10a-2 provided in the portion PT1 are provided asymmetrically with respect to the xz plane including the axial direction of the pen portion 6p and the longitudinal direction of the grip portion 6g.
  • the LEDs 10b-1, 10b-2, and 10b-3 provided in the portion PT2 are also provided asymmetrically with respect to the xz plane including the axial direction of the pen portion 6p and the longitudinal direction of the grip portion 6g. That is, as described above, the three LEDs 10b1, 10b-2, 10b-3 are arranged in a zigzag pattern from the grip portion 6g to the end of the pen. By doing so, the computer 2 can distinguish between the left and right sides of the controller 6 .
  • FIG. 7 is a diagram showing images of the cameras 4b and 4c capturing the controller 6 according to the present embodiment. Each bright spot in the image corresponds to an LED provided on the surface of controller 6 . As shown in the figure, if the controller 6 according to the present embodiment is used, the arrangement of the LEDs can be clearly seen from the image of the camera 4b photographing the controller 6 from the left side and the image of the camera 4c photographing the controller 6 from the right side. difference. Therefore, the computer 2 can determine the left and right sides of the controller 6 from the images of the cameras 4b and 4c.
  • the left side of the controller 6 tends to be a blind spot from the cameras 4a to 4c.
  • the LEDs can be easily reflected in the images captured by the cameras 4a to 4c.
  • FIGS. 8A and 8C are diagrams for explaining the arrangement of the cameras 4a to 4c.
  • the desk 100 and desk chair 101 shown in FIGS. 8A and 8C are the same as those shown in FIG. Use tracking system 1.
  • FIG. 8(b) is a sectional view of the cameras 4b and 4c corresponding to line AA in FIG. 8(a).
  • the direction from the camera 4b to the camera 4c is called the X direction
  • the direction from the user to the camera 4a is called the Y direction
  • the vertical direction is called the Z direction.
  • the illustrated position P1 is the position of the head mounted display 5 shown in FIG. 1, and the two positions P2 are the positions of the user's shoulders.
  • the cameras 4a to 4c are arranged so as to be able to photograph the entire portion located on the desk 100 in the substantially fan-shaped area E extending from these positions toward the computer 2 side.
  • the distance Y2 from the rear end to the camera 4a in the Y direction, the distance Z1 from the floor to the cameras 4b and 4c, the distance Z2 from the floor to the camera 4a, and the shooting directions of the cameras 4c and 4b are X in the XY plane.
  • the arrangement of the cameras 4a to 4c is determined by obtaining the angle ⁇ 1 formed with the direction and the angle ⁇ 2 formed by the photographing directions of the cameras 4c and 4b with the X direction in the XZ plane.
  • the computer 2 can determine the respective positions and tilts of the head mounted display 5, the controller 6, and the position detection device 3 based on the images captured by the cameras 4a to 4c. can be suitably detected.
  • FIG. 9 the rolling shutter will be described below with reference to FIG. 9, and then the structures of the cameras 4a to 4c according to the present embodiment will be specifically described with reference to FIGS. 10 and 11.
  • FIG. 10 the rolling shutter will be described below with reference to FIG. 9, and then the structures of the cameras 4a to 4c according to the present embodiment will be specifically described with reference to FIGS. 10 and 11.
  • FIG. 10 the rolling shutter will be described below with reference to FIG. 9, and then the structures of the cameras 4a to 4c according to the present embodiment will be specifically described with reference to FIGS. 10 and 11.
  • FIG. 9(a) is a diagram showing the image sensor 40 built into each of the cameras 4a to 4c.
  • Each square shown in the figure represents a pixel, and as shown in the figure, the image sensor 40 is composed of a pixel matrix in which a plurality of pixels are arranged in a matrix. The number of rows of this pixel matrix is assumed to be N below. Also, the row direction of the pixel matrix is called the “main scanning direction”, and the column direction is called the "sub-scanning direction”.
  • FIG. 9(b) is a diagram explaining the operation of the rolling shutter.
  • the horizontal axis represents time
  • the vertical axis represents the main scanning direction of the pixel matrix.
  • the horizontally long rectangles shown in the figure represent the time during which a plurality of pixels included in one row are scanned along the sub-scanning direction.
  • cameras 4a to 4c having rolling shutters scan (expose and read) a plurality of pixels in each row along the sub-scanning direction. It is configured to be performed while moving.
  • the structures of the cameras 4a to 4c are devised so that the cameras 4a to 4c can be installed so that the sub-scanning direction of the rolling shutter coincides with the vertical direction. This can minimize distortion of the controller 6 in the video, as the user typically moves the controller 6 frequently in the horizontal direction and not much in the vertical direction.
  • FIG. 10 is a diagram showing the structure of the cameras 4a to 4c used for arranging the cameras 4a to 4c so that the sub-scanning direction of the rolling shutter is aligned with the vertical direction.
  • the cameras 4a to 4c each have a shutter 41 and a screw hole 42 for fixing a tripod.
  • the screw holes 42 are provided in the cameras 4a to 4c such that the axial direction is parallel to the sub-scanning direction of the shutter 41.
  • the cameras 4a to 4c can be arranged so that the sub-scanning direction of the rolling shutter coincides with the vertical direction. Therefore, it becomes possible to minimize the distortion of the controller 6 in the image.
  • the LED 10c is provided at the upper end of the grip portion 6g, which is a portion that is less likely to be hidden by the user's hand. It is possible to detect the position and orientation of the controller 6 with high accuracy.
  • the tracking system 1 while using the cameras 4a to 4c having rolling shutters as the shutters 41, it is possible to minimize the distortion of the controller 6 in the image. 6 position and orientation can be detected.
  • the controller 6 is provided with seven LEDs (two LEDs 10a-1 and 10a-2, four LEDs 10b-1 to 10b-4, and one LED 10c).
  • the number of seven is an example, and it goes without saying that other numbers of LEDs may be arranged.
  • the LEDs overlap in the images captured by the cameras 4a to 4c, making it difficult to distinguish between individual LEDs. inappropriate.
  • the number of LEDs, which is seven, used in this embodiment is the number optimized in consideration of this point.
  • FIG. 11 is a diagram showing a usage state of the tracking system 1 according to the modified example of the present embodiment.
  • the tracking system 1 according to this modification is the same as the tracking system 1 according to this embodiment except that it has four cameras 4a to 4d.
  • the cameras 4 a to 4 d are arranged so as to photograph the desk 100 from above the four corners of the desk 100 .
  • the computer 2 can preferably detect the respective positions and tilts of the head mounted display 5, the controller 6, and the position detection device 3 based on the images captured by the cameras 4a to 4c.
  • the specific positions of the cameras 4a to 4d are, as in the present embodiment, so that they can capture the entire portion of the area E shown in FIGS. You just have to decide.
  • each LED arranged on the surface of the controller 6 is configured as a so-called point light source, but at least some of the LEDs may be LEDs having a wider light emitting area than a so-called point light source.
  • FIGS. 12(a) and 12(b) are diagrams showing a controller 6 according to a modification of the present embodiment.
  • the LED 10c provided on the surface of the upper end of the grip portion 6g and the LED 10b-4 provided at the end of the pen are composed of LEDs having a wider light emitting area than so-called point light sources.
  • the LED 10c and the LED 10b-4 are arranged in a hemispherical shape by arranging them along the shape of the installation site. By doing so, the computer 2 can obtain the center and radius of the hemisphere from the circles appearing in the images of the cameras 4a to 4c, and can obtain the coordinates only from the images of the LEDs 10c and 10b-4. Therefore, it becomes possible to detect the position and orientation of the controller 6 with higher accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】位置及び向きを高い精度で検出できるコントローラを提供する。 【解決手段】コントローラは、ペン形状に形成されたペン部と、ペン部の軸方向と交差するグリップ部と、グリップ部の端部であり前記ペン部の軸方向から近い端部の表面に配置される第１の発光部と、を有する。

Description

コントローラ及びトラッキングシステム
　本発明はコントローラ及びトラッキングシステムに関し、特に、ＶＲ（Virtual Reality）、ＡＲ（Augmented Reality）、ＭＲ（Mixed Reality）、ＳＲ（Substitutional Reality）などのＸＲ技術により構成された空間（以下「ＸＲ空間」という）内において使用されるコントローラと、そのようなコントローラの動きをトラッキングするためのトラッキングシステムとに関する。
　ＸＲ技術においては、ユーザがＸＲ空間内の位置を指示するために、ハンドヘルド型のコントローラが用いられる。コントローラのトラッキングは、カメラと、カメラに接続されたコンピュータとを含むトラッキングシステムによって実行される。ユーザがカメラの撮影可能な範囲内でコントローラを動かすと、コンピュータは、カメラによって撮像された映像をもとにコントローラの位置及び向きを検出し、検出の結果に基づいて、コントローラの動きをトラッキングする。
　特許文献１には、ハンドヘルド型のコントローラの一種であるペン型のコントローラの例が開示されている。
国際公開第２０１９／２２５１７０号明細書
　特許文献１に開示されているコントローラの表面には、複数の発光ダイオード（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ。以下「ＬＥＤ」という）が設けられる。コントローラの動きをトラッキングするコンピュータは、カメラによって撮像された映像の中からこれらのＬＥＤを検出することにより、コントローラの位置及び向きを検出するよう構成される。
　しかしながら、ユーザの手などによってＬＥＤが隠れると、コントローラの位置及び向きを高い精度で検出することが難しくなる。
　したがって、本発明の目的の一つは、位置及び向きを高い精度で検出可能となるペン型のコントローラを提供することにある。
　また、上記従来のトラッキングシステムにおいては、カメラによって撮影された映像に歪みがあるとコントローラの位置及び向きの検出精度が低下してしまうので、歪みの少ない映像を撮影できるカメラを用いていた。具体的には、イメージセンサーの各行を一度にスキャンできるグローバルシャッターを有するカメラを用いていた。
　しかしながら、グローバルシャッターを有するカメラは一般に高価であるため、トラッキングシステム全体の価格が高くなってしまう。そこで、グローバルシャッターよりも安価なローリングシャッターを有するカメラを用いつつも、高い精度でコントローラの位置及び向きを検出可能とする技術が必要とされていた。
　したがって、本発明の目的の一つは、ローリングシャッターを有するカメラを用いつつも、高い精度でコントローラの位置及び向きを検出することを可能にするトラッキングシステムを提供することにある。
　本発明によるコントローラは、ペン形状に形成されたペン部と、前記ペン部の軸方向と交差するグリップ部と、前記グリップ部の端部であり前記ペン部の軸方向から近い端部の表面に配置される第１の発光部と、を有するコントローラである。
　本発明によるトラッキングシステムは、上記コントローラの動きをトラッキングするためのトラッキングシステムであって、それぞれローリングシャッターを有し、該ローリングシャッターの副走査方向が垂直方向と一致するように配置された１以上のカメラと、前記１以上のカメラによって撮影された映像に基づいて前記コントローラの動きをトラッキングするコンピュータと、を含むトラッキングシステムである。
　本発明によるコントローラによれば、コントローラの位置及び向きを高い精度で検出することが可能になる。
　本発明によるトラッキングシステムによれば、ローリングシャッターを用いて、高い精度でコントローラの位置及び向きを検出することが可能になる。
本発明の実施の形態によるトラッキングシステム１の使用状態を示す図である。 本発明の実施の形態によるペン型コントローラの使用状態を示す図である。 様々な角度から見たコントローラ６の斜視図である。 様々な角度から見たコントローラ６の斜視図である。 コントローラ６のペン軸周りの回転を示す図である。 コントローラ６のペン軸周りの回転を示す図である。 本発明の実施の形態によるコントローラ６を捉えたカメラ４ｂ，４ｃの映像を示す図である。 カメラ４ａ～４ｃの配置について説明する図である。 （ａ）は、カメラ４ａ～４ｃのそれぞれが内蔵するイメージセンサー４０を示す図であり、（ｂ）は、ローリングシャッターの動作を説明する図である。 ローリングシャッターの副走査方向が垂直方向と一致するようにカメラ４ａ～４ｃを配置するために採用するカメラ４ａ～４ｃの構造を示す図である。 本発明の実施の形態の変形例によるトラッキングシステム１の使用状態を示す図である。 本発明の実施の形態の変形例によるコントローラ６を示す図である。
　以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。
　図１は、本実施の形態によるトラッキングシステム１の使用状態を示す図である。同図に示すように、トラッキングシステム１は、コンピュータ２と、位置検出装置３と、３台のカメラ４ａ～４ｃと、ヘッドマウントディスプレイ５と、ペン型のコントローラ６とを有して構成される。コンピュータ２と、位置検出装置３、カメラ４ａ～４ｃ、ヘッドマウントディスプレイ５、コントローラ６のそれぞれとは、有線又は無線により通信可能に構成される。
　図１に示すように、ユーザは、デスクチェア１０１に腰掛け、頭部にヘッドマウントディスプレイ５を装着し、コントローラ６を右手に持った状態で、トラッキングシステム１を使用する。ヘッドマウントディスプレイ５の表示面にはコンピュータ２によってレンダリングされたＸＲ空間が表示されており、ユーザは、このＸＲ空間を見ながら、デスク１００の上方でコントローラ６を操作することになる。コントローラ６は、ペンにグリップが付いた形状を有するペン型のデバイスであり、ＸＲ空間内に表示される３Ｄオブジェクトの制御（具体的には、３Ｄオブジェクトの描画、３Ｄオブジェクトの移動など）を行う。さらに、コントローラ６は、位置検出装置３を用いて２Ｄ入力を行うために用いられる。
　コンピュータ２は、図１の例では、デスク１００の中央に配置されたノート型のパーソナルコンピュータにより構成される。ただし、コンピュータ２を必ずしもデスク１００中央に配置する必要はなく、位置検出装置３、カメラ４ａ～４ｃ、ヘッドマウントディスプレイ５、及び、コントローラ６と通信可能な位置に配置すればよい。また、コンピュータ２は、ノート型のパーソナルコンピュータの他にも、デスクトップ型のパーソナルコンピュータ、タブレット型のパーソナルコンピュータ、スマートフォン、サーバコンピュータなど、様々なタイプのコンピュータにより構成され得る。
　コンピュータ２は、カメラ４ａ～４ｃによって撮影された映像に基づいてヘッドマウントディスプレイ５、コントローラ６、及び位置検出装置３それぞれの位置及び傾きを周期的に検出することにより、これらの動きをトラッキングする役割を果たす。コンピュータ２は、トラッキングしている各装置の動きと、コントローラ６に設けられる後述の各操作ボタン及びダイヤルボタンの操作状態とに基づいてＸＲ空間及びその中に表示する３Ｄオブジェクトを生成し、生成したＸＲ空間及び３Ｄオブジェクトをレンダリングして、ヘッドマウントディスプレイ５に送信する処理を行う。ヘッドマウントディスプレイ５は、コンピュータ２から送信されたレンダリング画像を表示することにより、１以上の３Ｄオブジェクトを含むＸＲ空間を表示する役割を果たす。
　位置検出装置３は、図１の例では、デスク１００の上面のうちユーザから見てコンピュータ２の手前側に相当する位置に配置されたタブレットにより構成される。ただし、位置検出装置３を必ずしもこの位置に配置する必要はなく、デスクチェア１０１に腰掛けたユーザの手の届く範囲に配置すればよい。また、位置検出装置３及びコンピュータ２を、例えばタブレット端末などの一体の装置により構成することとしてもよい。
　位置検出装置３は、タッチ面上におけるコントローラ６のペン先の位置を周期的に検出し、検出した位置を逐次コンピュータ２に送信する機能を有する。コンピュータ２は、送信された位置に基づき、２Ｄオブジェクト又は３Ｄオブジェクトを構成するストロークデータの生成及びレンダリングを行う。位置検出装置３による位置検出の具体的な方式は特に限定されないが、例えばアクティブ静電方式又は静電誘導方式を用いることが好適である。
　カメラ４ａ～４ｃはそれぞれ静止画又は動画を撮影するための撮像装置であり、撮影によって得られた映像を逐次コンピュータ２に供給するよう構成される。カメラ４ａはデスク１００を挟んでユーザと相対する位置に、カメラ４ｂはユーザの左側上方に、カメラ４ｃはユーザの右側上方に、それぞれデスク１００の上面を撮影できる向きで配置される。カメラ４ａ～４ｃはそれぞれ、ローリングシャッターを有するカメラであり、映像内におけるコントローラ６の歪みを最小化するために、ローリングシャッターの副走査方向が垂直方向と一致するように配置される。この点の詳細については、後述する。
　図２は、ユーザがコントローラ６を右手で把持している状態を示す図である。また、図３（ａ）、図３（ｂ）、図４（ａ）、図４（ｃ）は、様々な角度から見たコントローラ６の斜視図である。これらの図に示すように、コントローラ６は、ペン形状に形成されたペン部６ｐと、長手方向がペン部６ｐの軸方向と交差するようにペン部６ｐに固定されたグリップ部６ｇとを有して構成される。以下、ペン部６ｐの軸方向をｘ方向と称し、ｘ方向とグリップ部６ｇの長手方向とにより構成される平面内の方向であって、かつ、ｘ方向に直交する方向をｚ方向と称し、ｘ方向及びｚ方向のそれぞれに直交する方向をｙ方向と称する。
　図３（ａ）に示すように、ペン部６ｐの表面には、プレッシャーパッド６ｐａ，６ｐｂと、シフトボタン６ｐｃ，６ｐｄとが設けられる。プレッシャーパッド６ｐａ，６ｐｂはそれぞれ圧力センサ及びタッチセンサを含む部材であり、ペン部６ｐの側面のうちペン先近傍の位置に、ｘｚ平面に対して対称に配置される。圧力センサによって検出された圧力は、アプリケーション上での選択または描画のために用いられる。一方、タッチセンサによって検出されたタッチの有無を示す情報は、圧力センサ出力のオンオフ判定、及び、軽いダブルタップを実現するために用いられる。シフトボタン６ｐｃ，６ｐｄはそれぞれアプリケーションのメニューに割り当てられるスイッチであり、プレッシャーパッド６ｐａ，６ｐｂとグリップ部６ｇの間の位置に、ｘｚ平面に対して対称に配置される。右手でコントローラ６を把持しているユーザは、図２から理解されるように、親指によりプレッシャーパッド６ｐａ及びシフトボタン６ｐｃの操作を、人差し指によりプレッシャーパッド６ｐｂ及びシフトボタン６ｐｄの操作を、それぞれ行うことになる。
　グリップ部６ｇの表面には、図３（ａ）（ｂ）及び図４（ａ）（ｂ）に示すように、タクトトップボタン６ｇａと、グラブボタン６ｇｂと、タクトボタン６ｇｃ，６ｇｄと、ダイヤルボタン６ｇｅと、凹部６ｇｆとが設けられる。タクトトップボタン６ｇａは長押しにより電源ボタンとして機能するスイッチであり、グリップ部６ｇの長手方向の両端部のうちペン部６ｐから近い方の端部の表面に配置される。以下、この端部を「上側端部」と称し、グリップ部６ｇの長手方向の両端部のうちペン部６ｐから遠い方の端部を「下側端部」と称する。ダイヤルボタン６ｇｅは回転可能に構成されたリング状の部材であり、回転量を出力するように構成される。この回転量は、例えば選択中のオブジェクトを回転させるために使用される。ダイヤルボタン６ｇｅもグリップ部６ｇの上側端部に、タクトトップボタン６ｇａを囲むように配置される。
　グラブボタン６ｇａはオブジェクトを掴んで移動するために用いられるスイッチであり、グリップ部６ｇのペン先側側面のうち下側端部近傍の位置に配置される。また、タクトボタン６ｇｃ，６ｇｄはそれぞれマウスの右ボタンのようなボタン補助のために用いられるスイッチであり、グリップ部６ｇのペン先側側面のうちｚ方向に見てペン部６ｐの近傍となる位置に配置される。タクトボタン６ｇｃは、コントローラ６を右手で把持する場合の親指側に配置され、タクトボタン６ｇｄは、コントローラ６を右手で把持する場合の人差し指側に配置される。
　図２から理解されるように、右手でコントローラ６を把持しているユーザは、中指によりグラブボタン６ｇａの押下操作を行うことになる。また、親指によりタクトボタン６ｇｃの押下操作を、人差し指によりタクトボタン６ｇｄの押下操作を、それぞれ行うことになる。ダイヤルボタン６ｇｅの回転操作及びタクトトップボタン６ｇａの押下操作は、ユーザの親指により実行される。ただし、タクトトップボタン６ｇａ及びダイヤルボタン６ｇｅはユーザが親指を意図的にグリップ部６ｇの上側端部まで持ち上げなければ操作できない位置にあるため、通常状態では、ユーザの手によって隠されることなく露出している。
　凹部６ｇｆは、図２に示すように、ユーザがコントローラ６を把持した場合に人差し指の付け根から親指の付け根にかけての部分がちょうど嵌まるように構成された部分である。コントローラ６にこの凹部６ｇｆを設けたことにより、コントローラ６を使用するユーザの疲れが軽減される。
　ここで、ペン部６ｐ及びグリップ部６ｇの表面には、１以上のＬＥＤが配置される。本実施の形態においては、各ＬＥＤはいわゆる点光源ＬＥＤによって構成される。コンピュータ２は、カメラ４ａ～４ｃによって撮影された映像の中からこれらのＬＥＤを検出することにより、コントローラ６の位置及び向きを検出するよう構成される。
　ＬＥＤの配置について具体的に説明すると、１以上のＬＥＤは、図３（ｂ）に示したコントローラ６の３つの部分ＰＴ１～ＰＴ３のそれぞれに１以上ずつ配置される。部分ＰＴ１は、ペン部６ｐのうちグリップ部６ｇから見てペン先側に位置する部分であり、部分ＰＴ２は、ペン部６ｐのうちグリップ部６ｇから見てペンリア側に位置する部分であり、部分ＰＴ３は、グリップ部６ｇである。図示した例では、部分ＰＴ１に２つのＬＥＤ１０ａ－１，１０ａ－２、部分ＰＴ２に４つのＬＥＤ１０ｂ－１～１０ｂ－４、部分ＰＴ３に１つのＬＥＤ１０ｃがそれぞれ配置される。
　部分ＰＴ１に対応する２つのＬＥＤ１０ａ－１，１０ａ－２は、ペン先よりも少しグリップ部６ｇ寄りの位置に、ｘ方向に見て同じ位置に並べて配置される。また、部分ＰＴ２に対応する４つのＬＥＤ１０ｂ－１～１０ｂ－４のうちＬＥＤ１０ｂ－４は、ペンの末端に配置される。一方、他の３つのＬＥＤ１０ｂ－１～１０ｂ－３は、グリップ部６ｇからペンの末端にかけて、ジグザグに配置される。すなわち、ＬＥＤ１０ｂ－１及びＬＥＤ１０ｂ－３は、部分ＰＴ２の右側面寄りの位置に設けられ、ＬＥＤ１０ｂ－２は、部分ＰＴ２の左側面寄りの位置に設けられる。
　部分ＰＴ３に対応するＬＥＤ１０ｃは、グリップ部６ｇの上側端部の表面（より具体的には、タクトトップボタン６ｇａの表面）に配置される。上述したように、ユーザがタクトトップボタン６ｇａを操作していない状態では、タクトトップボタン６ｇａはユーザの手によって隠されることなく露出している。したがって、このタクトトップボタン６ｇａの表面にＬＥＤ１０ｃを設けることで、コンピュータ２はコントローラ６を高い確率で常時検出することができ、したがって、コントローラ６の位置及び向きを高い精度で検出することが可能になる。また、グリップ部６ｇの下部にＬＥＤを配置しないことで、映像内におけるＬＥＤのパターンが単純化され、コンピュータ２による形状認識が容易になる。
　また、グリップ部６ｇの上側端部の表面にＬＥＤ１０ｃを設けることで、コントローラ６のペン軸周りの回転を精度よく捉えることが可能になるという効果も得られる。以下、この点について、図５及び図６を参照して詳しく説明する。
　図５及び図６は、コントローラ６のペン軸周りの回転を示す図である。図５（ａ）（ｃ）、図６（ａ）（ｃ）はそれぞれ、ペン先側から見たコントローラ６の斜視図であり、図５（ａ）、図５（ｃ）、図６（ａ）、図６（ｃ）の順でペン軸（ｘ方向）を中心としてコントローラ６を回転させた状態を示している。図５（ｂ）（ｄ）及び図６（ｂ）（ｄ）は左側面から見たコントローラ６の斜視図であり、それぞれ図５（ａ）（ｃ）及び図６（ａ）（ｃ）に対応している。
　コントローラ６が図５（ａ）（ｂ）の状態にあるとき、コントローラ６の左側にあるカメラ４ｂからの映像には、ペン部６ｐの部分ＰＴ２にあるＬＥＤ１０ｂ－２は映り込む一方でタクトトップボタン６ｇａの表面にあるＬＥＤ１０ｃは写らないが、コントローラ６がペン軸を中心として回転するに従い、ＬＥＤ１０ｃも映り込むようになる。そして、映像内に映り込んだＬＥＤ１０ｃとＬＥＤ１０ｂ－２の間のｚ方向の距離Ｌｚは、図５（ｃ）（ｄ）、図６（ａ）（ｂ）、図６（ｃ）（ｄ）とコントローラ６が回転するに従い、短くなっていく。一方、ＬＥＤ１０ｃとＬＥＤ１０ｂ－２の間のｘ方向の距離Ｌｘは変わらない。したがってコンピュータ２は、Ｌｚ、Ｌｘ、及び、その他のＬＥＤとの距離、角度などの情報に基づいて、コントローラ６のペン軸周りの回転角度を導出することができる。
　図３に戻る。本実施の形態によるコントローラ６は、ペン先側の部分ＰＴ１にＬＥＤ１０ａ－１，１０ａ－２を有している。これにより、部分ＰＴ１にＬＥＤを設けない場合に比べ、コンピュータ２によって導出される座標の重心をペン先側に近づけることができる。したがって、この点からも、本実施の形態によるコントローラ６を用いれば、コントローラ６の位置及び向きを高い精度で検出することが可能になると言える。
　また、部分ＰＴ１に設けられるＬＥＤ１０ａ－１とＬＥＤ１０ａ－２は、ペン部６ｐの軸方向及びグリップ部６ｇの長手方向を含むｘｚ平面に対して非対称に設けられる。同様に、部分ＰＴ２に設けられるＬＥＤ１０ｂ－１，１０ｂ－２、１０ｂ－３も、ペン部６ｐの軸方向及びグリップ部６ｇの長手方向を含むｘｚ平面に対して非対称に設けられる。すなわち、前述したように、３つのＬＥＤ１０ｂ１、１０ｂ－２、１０ｂ－３は、グリップ部６ｇからペンの末端にかけて、ジグザグに配置される。こうすることで、コンピュータ２は、コントローラ６の左右を判別することが可能になる。
　図７は、本実施の形態によるコントローラ６を捉えたカメラ４ｂ，４ｃの映像を示す図である。映像内の各輝点は、コントローラ６の表面に設けられたＬＥＤに対応している。同図に示すように、本実施の形態によるコントローラ６を用いれば、コントローラ６を左側から撮影しているカメラ４ｂの映像と右側から撮影しているカメラ４ｃの映像とで、ＬＥＤの配置に明らかな違いが生ずる。したがってコンピュータ２は、カメラ４ｂ，４ｃの映像から、コントローラ６の左右を判別することが可能になる。
　また、図３（ａ）を見ると理解されるように、特にコントローラ６の右側にＬＥＤを集中的に配置している。コントローラ６は右手に持って使用されることが多く、その場合にはコントローラ６の左側がカメラ４ａ～４ｃからの死角になりがちであることから、こうすることで、コントローラ６を右手に持って使用する場合に、カメラ４ａ～４ｃが撮影した映像内にＬＥＤが映り込みやすくすることができる。
　次に、カメラ４ａ～４ｃの好ましい配置について、説明する。図８（ａ）～（ｃ）は、カメラ４ａ～４ｃの配置について説明する図である。図８（ａ）（ｃ）に示すデスク１００及びデスクチェア１０１は図１に示したものと同じものであり、ユーザは、デスク１００上のコンピュータ２に向かってデスクチェア１０１に腰掛けた状態で、トラッキングシステム１を使用する。図８（ｂ）は、図８（ａ）のＡ－Ａ線に対応するカメラ４ｂ，４ｃの断面図となっている。以下、カメラ４ｂからカメラ４ｃに向かう方向をＸ方向と称し、ユーザからカメラ４ａに向かう方向をＹ方向と称し、垂直方向をＺ方向と称する。
　図示した位置Ｐ１は図１に示したヘッドマウントディスプレイ５の位置であり、２つの位置Ｐ２はユーザの両肩の位置である。カメラ４ａ～４ｃは、これらの位置からコンピュータ２側に向かって展開する略扇形の領域Ｅのうち、デスク１００上に位置する部分の全体を写すことができるように配置される。具体的には、図８（ａ）に示した長さＤ１～Ｄ４及び角度θ１、並びに、図８（ｃ）に示した長さＤ６～Ｄ１１及び角度θ２，θ３などによって定義される領域Ｅのサイズ、形状、及び位置と、図８（ａ）に示した長さＤ５によって定義される領域Ｅの後端からデスク１００の前端までの距離と、図８（ｃ）に示した長さＤ１２によって定義されるデスク１００の高さと、に基づいて、領域Ｅからカメラ４ｂ，４ｃそれぞれまでのＸ方向の距離Ｘ１、領域Ｅの後端からカメラ４ｂ，４ｃそれぞれまでのＹ方向の距離Ｙ１、領域Ｅの後端からカメラ４ａまでのＹ方向の距離Ｙ２、床面からカメラ４ｂ，４ｃまでの距離Ｚ１、床面からカメラ４ａまでの距離Ｚ２、カメラ４ｃ，４ｂそれぞれの撮影方向がＸＹ平面内においてＸ方向となす角φ１、カメラ４ｃ，４ｂそれぞれの撮影方向がＸＺ平面内においてＸ方向となす角φ２を求めることによって、カメラ４ａ～４ｃの配置が決定される。このようにしてカメラ４ａ～４ｃの配置を決定することで、コンピュータ２は、カメラ４ａ～４ｃによって撮影された映像に基づいてヘッドマウントディスプレイ５、コントローラ６、及び位置検出装置３それぞれの位置及び傾きを好適に検出することが可能になる。
　次に、ローリングシャッターの副走査方向が垂直方向と一致するようにカメラ４ａ～４ｃを配置するために採用するカメラ４ａ～４ｃの構造について、説明する。以下では、初めに図９を参照してローリングシャッターについて説明し、その後、図１０及び図１１を参照して、本実施の形態によるカメラ４ａ～４ｃの構造について具体的に説明する。
　図９（ａ）は、カメラ４ａ～４ｃのそれぞれに内蔵されるイメージセンサー４０を示す図である。同図に示す四角形は１つ１つが画素を表しており、同図に示すように、イメージセンサー４０は複数の画素がマトリクス状に配置されてなる画素マトリクスにより構成される。以下では、この画素マトリクスの行数をＮとする。また、画素マトリクスの行方向を「主走査方向」といい、列方向を「副走査方向」という。
　図９（ｂ）は、ローリングシャッターの動作を説明する図である。同図の横軸は時間を表し、縦軸は画素マトリクスの主走査方向を表している。また、同図に示す横長の長方形は、１つの行内に含まれる複数の画素を副走査方向に沿ってスキャンしている時間を表している。
　図９（ｂ）に示すように、ローリングシャッターを有するカメラ４ａ～４ｃは、各行内の複数の画素を副走査方向に沿ってスキャンする（露光して読み取る）処理を、主走査方向に行を移動しながら行うよう構成される。このようなカメラ４ａ～４ｃの動作の結果として、ｎ番目（ｎ＝２～Ｎ）の行のスキャン開始は、ｎ－１番目の行のスキャン開始に比べて時間ｔＲｏｗの分だけ遅延する。また、Ｎ番目の行のスキャン開始は、１番目の行のスキャン開始に比べて時間ｔＴｏｔａｌ＝ｔＲｏｗ×（Ｎ－１）の分だけ遅延する。
　こうして遅延が発生するため、ローリングシャッターを有するカメラ４ａ～４ｃにおいては、物体の主走査方向の一端と他端との間で撮影タイミングに時間差が生じ、その結果として、この物体が副走査方向に素早く動くと映像に歪みが生ずることになる。そこで本実施の形態においては、ローリングシャッターの副走査方向が垂直方向に一致するようにカメラ４ａ～４ｃを設置できるよう、カメラ４ａ～４ｃの構造に工夫を施している。ユーザは、コントローラ６を水平方向には頻繁に動かす一方で垂直方向にはあまり動かさないことが通常であるので、こうすることで、映像内におけるコントローラ６の歪みを最小化することができる。
　図１０は、ローリングシャッターの副走査方向が垂直方向と一致するようにカメラ４ａ～４ｃを配置するために採用するカメラ４ａ～４ｃの構造を示す図である。同図に示すように、カメラ４ａ～４ｃはそれぞれシャッター４１及び三脚固定用のネジ穴４２を有しており、このネジ穴４２により、上向きにカメラ取付ネジが設けられた三脚５０に固定される。そしてネジ穴４２は、軸方向がシャッター４１の副走査方向と並行になるように、カメラ４ａ～４ｃに設けられる。こうすることで、三脚５０にカメラ４ａ～４ｃを取り付けた場合に、ローリングシャッターの副走査方向が垂直方向と一致するようにカメラ４ａ～４ｃを配置することが可能になる。したがって、映像内におけるコントローラ６の歪みを最小化することが可能になる。
　以上説明したように、本実施の形態によるペン型のコントローラ６によれば、グリップ部６ｇの上側端部というユーザの手によって隠れることの少ない部分にＬＥＤ１０ｃを設けているので、コンピュータ２によりペン型のコントローラ６の位置及び向きを高い精度で検出することが可能になる。
　また、本実施の形態によるトラッキングシステム１によれば、シャッター４１としてローリングシャッターを有するカメラ４ａ～４ｃを用いつつも、映像内におけるコントローラ６の歪みを最小化することができるので、高い精度でコントローラ６の位置及び向きを検出することが可能になる。
　以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
　例えば、上記実施の形態では、コントローラ６に７個のＬＥＤ（２つのＬＥＤ１０ａ－１，１０ａ－２、４つのＬＥＤ１０ｂ－１～１０ｂ－４、及び１つのＬＥＤ１０ｃ）を設ける例を説明したが、この７個という数は一例であり、他の個数のＬＥＤを配置してもよいことは勿論である。ただし、コントローラ６の表面に大量のＬＥＤを配置すると、カメラ４ａ～４ｃによって撮影された映像の中においてＬＥＤの重なりが生じ、個々のＬＥＤの判別が難しくなるので、ＬＥＤの数が多すぎることも不適切である。本実施の形態で採用した７個というＬＥＤの数は、この点を考慮して最適化した数となっている。
　また、上記実施の形態では３台のカメラ４ａ～４ｃを用いる例を説明したが、４台以上のカメラを用いることとしてもよい。
　図１１は、本実施の形態の変形例によるトラッキングシステム１の使用状態を示す図である。本変形例によるトラッキングシステム１は、４台のカメラ４ａ～４ｄを有する他は、本実施の形態によるトラッキングシステム１と同様である。カメラ４ａ～４ｄは、デスク１００の４隅の上方からデスク１００上を撮影できるように配置される。こうすることで、コンピュータ２は、カメラ４ａ～４ｃによって撮影された映像に基づいてヘッドマウントディスプレイ５、コントローラ６、及び位置検出装置３それぞれの位置及び傾きを好適に検出することが可能になる。カメラ４ａ～４ｄそれぞれの具体的な位置は、本実施の形態と同様、図８（ａ）（ｃ）に示した領域Ｅのうちデスク１００上に位置する部分の全体を写すことができるように決定すればよい。
　また、上記実施の形態では、コントローラ６の表面に配置する各ＬＥＤをいわゆる点光源によって構成したが、少なくとも一部のＬＥＤについて、いわゆる点光源によりも発光面積の広いＬＥＤを用いることとしてもよい。
　図１２（ａ）（ｂ）は、本実施の形態の変形例によるコントローラ６を示す図である。本変形例においては、グリップ部６ｇの上側端部の表面に設けられるＬＥＤ１０ｃと、ペンの末端に設けられるＬＥＤ１０ｂ－４とを、いわゆる点光源によりも発光面積の広いＬＥＤにより構成している。また、本変形例では、設置部位の形状に沿ってＬＥＤ１０ｃ及びＬＥＤ１０ｂ－４を配置することにより、これらを半球状に構成している。こうすることで、コンピュータ２は、カメラ４ａ～４ｃの映像内に現れる円から半球の中心及び半径を求めることができ、ＬＥＤ１０ｃ及びＬＥＤ１０ｂ－４それぞれの映像のみから座標を取得することができる。したがって、コントローラ６の位置及び向きをさらに高い精度で検出することが可能になる。
１　　　　　トラッキングシステム
２　　　　　コンピュータ
３　　　　　位置検出装置
４ａ～４ｄ　カメラ
５　　　　　ヘッドマウントディスプレイ
６　　　　　コントローラ
６ｇ　　　　グリップ部
６ｇａ　　　タクトトップボタン
６ｇｂ　　　グラブボタン
６ｇｃ，６ｇｄ　タクトボタン
６ｇｅ　　　ダイヤルボタン
６ｇｆ　　　凹部
６ｐ　　　　ペン部
６ｐａ，６ｐｂ　プレッシャーパッド
６ｐｃ，６ｐｄ　シフトボタン
１０ａ－１，１０ａ－２，１０ｂ－１～１０ｂ－４，１０ｃ　ＬＥＤ
４０　　　　イメージセンサー
４１　　　　シャッター
４２　　　　ネジ穴
５０　　　　三脚
１００　　　デスク
１０１　　　デスクチェア
ＰＴ１～ＰＴ３　コントローラ６の部分

Claims (11)

  1. 　ペン形状に形成されたペン部と、
    　前記ペン部の軸方向と交差するグリップ部と、
    　前記グリップ部の端部であり前記ペン部の軸方向から近い端部に配置される第１の発光部と、
    　を有するコントローラ。
  2. 　前記グリップ部の端部であり前記ペン部の軸方向から近い端部に設けられる第１の操作部を有し、
    　前記第１の発光部は、前記第１の操作部に配置される、
    　請求項１に記載のコントローラ。
  3. 　前記第１の操作部を囲むように設けられる第２の操作部を有する、
    　請求項２に記載のコントローラ。
  4. 　前記ペン部に配置される１以上の第２の発光部、
    　を有する請求項１に記載のコントローラ。
  5. 　前記１以上の第２の発光部は、ペン先側の前記ペン部に配置された１以上の第３の発光部と、前記ペン先側と対向するペンリア側の前記ペン部に配置される１以上の第４の発光部と、を含む、
    　請求項４に記載のコントローラ。
  6. 　前記１以上の第３の発光部は、前記ペン部の軸方向及び前記グリップ部の長手方向を含む平面に対して非対称に設けられる、
    　請求項５に記載のコントローラ。
  7. 　前記１以上の第４の発光部は、前記ペン部の軸方向及び前記グリップ部の長手方向を含む平面に対して非対称に設けられる、
    　請求項５又は６に記載のコントローラ。
  8. 　前記ペン部は、第１の側面及び第２の側面を有し、
    　前記１以上の第３の発光部は前記第１の側面及び前記第２の側面に設けられ、前記第１の側面に設けられる前記第３の発光部の個数は前記第２の側面に設けられる前記第３の発光部の個数と同じである、
    　請求項６に記載のコントローラ。
  9. 　前記ペン部は、第１の側面及び第２の側面を有し、
    　前記１以上の第４の発光部は前記第１の側面及び前記第２の側面に設けられ、前記第１の側面に設けられる発光部の個数は前記第２の側面に設けられる発光部の個数と異なる、
    　請求項７に記載のコントローラ。
  10. 　請求項１乃至９のいずれか一項に記載のコントローラの動きをトラッキングするためのトラッキングシステムであって、
    　ローリングシャッターを有し、該ローリングシャッターの副走査方向が垂直方向と一致するように配置された１以上のカメラと、
    　前記１以上のカメラによって撮影された映像に基づいて前記コントローラの動きをトラッキングするコンピュータと、
    　を含むトラッキングシステム。
  11. 　前記１以上のカメラは、
    　　上向きにカメラ取付ネジが設けられた三脚に固定された状態で用いられ、
    　　軸方向が前記ローリングシャッターの副走査方向と平行になるように設けられた三脚固定用のネジ穴を有する、
    　請求項１０に記載のトラッキングシステム。
PCT/JP2021/047473 2021-03-22 2021-12-22 コントローラ及びトラッキングシステム WO2022201693A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21933283.0A EP4318185A4 (en) 2021-03-22 2021-12-22 CONTROL UNIT AND TRACKING SYSTEM
JP2023508632A JPWO2022201693A1 (ja) 2021-03-22 2021-12-22
CN202180090279.5A CN116848494A (zh) 2021-03-22 2021-12-22 控制器及追踪系统
US18/472,067 US20240012492A1 (en) 2021-03-22 2023-09-21 Controller and tracking system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021047265 2021-03-22
JP2021-047265 2021-03-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/472,067 Continuation US20240012492A1 (en) 2021-03-22 2023-09-21 Controller and tracking system

Publications (1)

Publication Number Publication Date
WO2022201693A1 true WO2022201693A1 (ja) 2022-09-29

Family

ID=83396735

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047473 WO2022201693A1 (ja) 2021-03-22 2021-12-22 コントローラ及びトラッキングシステム

Country Status (6)

Country Link
US (1) US20240012492A1 (ja)
EP (1) EP4318185A4 (ja)
JP (1) JPWO2022201693A1 (ja)
CN (1) CN116848494A (ja)
TW (1) TW202240354A (ja)
WO (1) WO2022201693A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11143629A (ja) * 1997-11-07 1999-05-28 Seiko Epson Corp 遠隔座標入力装置および遠隔座標入力方法
WO2005024616A1 (ja) * 2003-09-04 2005-03-17 Matsushita Electric Industrial Co., Ltd. 電子機器、入力装置およびこれを備えた携帯電子機器
JP2017010314A (ja) * 2015-06-23 2017-01-12 株式会社リコー 画像投影システム、画像投影装置、ポインティングデバイス、および映像供給装置
JP2017097696A (ja) * 2015-11-26 2017-06-01 株式会社コロプラ 仮想空間内オブジェクトへの動作指示方法、及びプログラム
WO2019044003A1 (ja) * 2017-09-04 2019-03-07 株式会社ワコム 空間位置指示システム
WO2019181118A1 (ja) * 2018-03-23 2019-09-26 株式会社ワコム ３次元位置指示器及び３次元位置検出システム
WO2019225170A1 (ja) 2018-05-21 2019-11-28 株式会社ワコム 位置指示デバイス及び空間位置指示システム
US20200042111A1 (en) * 2018-08-03 2020-02-06 Logitech Europe S.A. Input device for use in an augmented/virtual reality environment
US20200333891A1 (en) * 2019-04-19 2020-10-22 Apple Inc. Stylus-based input system for a head-mounted device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
WO2015031456A1 (en) * 2013-08-29 2015-03-05 Interphase Corporation Rolling shutter synchronization of a pointing device in an interactive display system
JP7258482B2 (ja) * 2018-07-05 2023-04-17 キヤノン株式会社 電子機器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11143629A (ja) * 1997-11-07 1999-05-28 Seiko Epson Corp 遠隔座標入力装置および遠隔座標入力方法
WO2005024616A1 (ja) * 2003-09-04 2005-03-17 Matsushita Electric Industrial Co., Ltd. 電子機器、入力装置およびこれを備えた携帯電子機器
JP2017010314A (ja) * 2015-06-23 2017-01-12 株式会社リコー 画像投影システム、画像投影装置、ポインティングデバイス、および映像供給装置
JP2017097696A (ja) * 2015-11-26 2017-06-01 株式会社コロプラ 仮想空間内オブジェクトへの動作指示方法、及びプログラム
WO2019044003A1 (ja) * 2017-09-04 2019-03-07 株式会社ワコム 空間位置指示システム
WO2019181118A1 (ja) * 2018-03-23 2019-09-26 株式会社ワコム ３次元位置指示器及び３次元位置検出システム
WO2019225170A1 (ja) 2018-05-21 2019-11-28 株式会社ワコム 位置指示デバイス及び空間位置指示システム
US20200042111A1 (en) * 2018-08-03 2020-02-06 Logitech Europe S.A. Input device for use in an augmented/virtual reality environment
US20200333891A1 (en) * 2019-04-19 2020-10-22 Apple Inc. Stylus-based input system for a head-mounted device

Also Published As

Publication number Publication date
CN116848494A (zh) 2023-10-03
JPWO2022201693A1 (ja) 2022-09-29
US20240012492A1 (en) 2024-01-11
EP4318185A1 (en) 2024-02-07
EP4318185A4 (en) 2024-10-23
TW202240354A (zh) 2022-10-16

Similar Documents

Publication Publication Date Title
US7295329B2 (en) Position detection system
JP6153564B2 (ja) カメラとマーク出力とによるポインティング装置
US8022928B2 (en) Free-space pointing and handwriting
KR100465969B1 (ko) 손가락 표면을 이용한 소형 포인팅 장치
US8941620B2 (en) System and method for a virtual multi-touch mouse and stylus apparatus
US7313255B2 (en) System and method for optically detecting a click event
US8013838B2 (en) Generating position information using a video camera
EP2418567B1 (en) Optical position input system and method
US20090009469A1 (en) Multi-Axis Motion-Based Remote Control
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
US7825898B2 (en) Inertial sensing input apparatus
JP4054847B2 (ja) 光デジタイザ
JPH08240407A (ja) 位置検出入力装置
KR100532525B1 (ko) 카메라를 이용한 삼차원 포인팅장치
US20080055275A1 (en) Optical sensing in displacement type input apparatus and methods
US20110193969A1 (en) Object-detecting system and method by use of non-coincident fields of light
JP5401645B2 (ja) ヒューマンインターフェイス装置
JP2018018308A (ja) 情報処理装置、及びその制御方法ならびにコンピュータプログラム
WO2022201693A1 (ja) コントローラ及びトラッキングシステム
US20070241262A1 (en) Optical sensing unit for an optical input device
WO2008130145A1 (en) Touch-screen apparatus and method using laser and optical fiber
JP6643825B2 (ja) 装置及び方法
JP6315127B2 (ja) 入力装置、空中像インタラクションシステム、及び入力方法
WO2024219004A1 (ja) Ｘｒコントローラ
EP1775656A1 (en) Inertial sensing input apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21933283

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023508632

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180090279.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2021933283

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021933283

Country of ref document: EP

Effective date: 20231023