WO2020209088A1 - 複数のマーカを備えたデバイス - Google Patents

複数のマーカを備えたデバイス Download PDF

Info

Publication number
WO2020209088A1
WO2020209088A1 PCT/JP2020/013746 JP2020013746W WO2020209088A1 WO 2020209088 A1 WO2020209088 A1 WO 2020209088A1 JP 2020013746 W JP2020013746 W JP 2020013746W WO 2020209088 A1 WO2020209088 A1 WO 2020209088A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
control unit
markers
input device
marker
Prior art date
Application number
PCT/JP2020/013746
Other languages
English (en)
French (fr)
Inventor
憲三 西川
孝範 南野
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to CN202080026778.3A priority Critical patent/CN113660986A/zh
Priority to US17/440,858 priority patent/US20220143495A1/en
Priority to EP20787365.4A priority patent/EP3954443A4/en
Publication of WO2020209088A1 publication Critical patent/WO2020209088A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Definitions

  • the present invention relates to a device having a plurality of markers.
  • Patent Document 1 acquires a frame image of the front of a game device, estimates the position information and attitude information of the game controller in real space from the position of the LED image of the game controller in the frame image, and estimates the position information and the position information. / Or disclose a game device that reflects attitude information in the processing of a game application.
  • the head-mounted display is attached to the user's head to provide the user with a virtual reality (VR) video space.
  • VR virtual reality
  • the user wearing the HMD can operate the operation buttons of the input device to input various inputs to the video space.
  • an object of the present invention is to prevent a lighting portion other than the marker in a device having a plurality of markers from being included in the captured image.
  • the device may be an input device having an operation button, but may be simply a device to be tracked without an operation member.
  • the device of a certain aspect of the present invention includes a case body and a plurality of markers that emit light to the outside of the case body.
  • the device includes a control unit that lights a plurality of markers at a predetermined cycle, and the control unit lights an indicator indicating the state of the device during a period in which the plurality of markers are turned off.
  • FIG. 1 shows a configuration example of the information processing system 1 in the embodiment.
  • the information processing system 1 includes an information processing device 10, a recording device 11, a head-mounted display (HMD) 100, an input device 16 operated by a user's fingers, and an output device 15 that outputs images and sounds.
  • the output device 15 may be a television.
  • the information processing device 10 is connected to an external network 2 such as the Internet via an access point (AP) 17.
  • the AP 17 has the functions of a wireless access point and a router, and the information processing device 10 may be connected to the AP 17 by a cable or by a known wireless communication protocol.
  • the recording device 11 records applications such as system software and game software.
  • the information processing device 10 may download the game software from the content server to the recording device 11 via the network 2.
  • the information processing device 10 executes game software and supplies image data and audio data of the game to the HMD 100.
  • the information processing device 10 and the HMD 100 may be connected by a known wireless communication protocol, or may be connected by a cable.
  • the HMD100 is a display device that displays an image on a display panel located in front of the user when the user wears it on the head.
  • the HMD 100 separately displays an image for the left eye on the display panel for the left eye and an image for the right eye on the display panel for the right eye. These images constitute parallax images viewed from the left and right viewpoints, and realize stereoscopic vision. Since the user sees the display panel through the optical lens, the information processing device 10 supplies the parallax image data corrected for the optical distortion caused by the lens to the HMD 100.
  • the output device 15 is not necessary for the user wearing the HMD 100, but by preparing the output device 15, another user can see the display image of the output device 15.
  • the information processing device 10 may display the same image as the image viewed by the user wearing the HMD 100 on the output device 15, but may display another image. For example, when a user wearing an HMD and another user play a game together, the output device 15 may display a game image from the character viewpoint of the other user.
  • the information processing device 10 and the input device 16 may be connected by a known wireless communication protocol, or may be connected by a cable.
  • the input device 16 includes a plurality of operation members such as operation buttons, and the user operates the operation members with his / her fingers while holding the input device 16.
  • the input device 16 is used as a game controller.
  • the input device 16 includes an attitude sensor including a 3-axis acceleration sensor and a 3-axis gyro sensor, and transmits sensor data to the information processing device 10 at a predetermined cycle (for example, 1600 Hz).
  • the operation information of the operation member of the input device 16 are treated as operation information and reflected in the movement of the player character in the virtual three-dimensional space.
  • the operation information of the operation member may be used as information for moving the player character
  • the operation information such as the position, posture, and movement of the input device 16 may be used as information for moving the arm of the player character.
  • the movement of the input device 16 is reflected in the movement of the player character holding the weapon, so that the user's intuitive operation is realized and the immersive feeling in the game is enhanced.
  • the input device 16 In order to track the position and orientation of the input device 16, the input device 16 is provided with a plurality of markers (light emitting units) that can be photographed by the image pickup device 14 mounted on the HMD 100.
  • the information processing device 10 analyzes the image taken by the input device 16 to estimate the position information and the posture information of the input device 16 in the real space, and provides the estimated position information and the posture information to the game.
  • the HMD 100 is equipped with a plurality of imaging devices 14.
  • the plurality of imaging devices 14 are attached to different positions on the front surface of the HMD 100 in different postures so that the entire imaging range obtained by adding the respective imaging ranges includes the entire field of view of the user.
  • the image pickup device 14 may be an image sensor capable of acquiring images of a plurality of markers of the input device 16.
  • the imaging device 14 has a visible light sensor used in a general digital video camera such as a CCD (Charge Coupled Device) sensor and a CMOS (Complementary Metal Oxide Semiconductor) sensor.
  • the imaging device 14 has an invisible light sensor.
  • the plurality of image pickup devices 14 photograph the front of the user at a predetermined cycle (for example, 60 frames / second) at synchronized timings, and transmit the image data obtained by photographing the input device 16 to the information processing device 10.
  • the information processing device 10 specifies the positions of a plurality of marker images of the input device 16 included in the captured image. Although one input device 16 may be imaged by a plurality of image pickup devices 14 at the same timing, since the mounting position and mounting posture of the image pickup device 14 are known, the information processing device 10 synthesizes a plurality of captured images. Then, the position of the marker image is specified.
  • the three-dimensional shape of the input device 16 and the position coordinates of the plurality of markers arranged on the surface thereof are known, and the information processing device 10 has the position coordinates of the input device 16 based on the distribution of the marker images in the captured image. And estimate the posture.
  • the position coordinates of the input device 16 may be position coordinates in a three-dimensional space with the reference position as the origin, and the reference position may be position coordinates (latitude, longitude) set before the start of the game.
  • the information processing device 10 can also estimate the position coordinates and the posture of the input device 16 by using the sensor data detected by the posture sensor of the input device 16. Therefore, the information processing device 10 of the embodiment performs the tracking process of the input device 16 with high accuracy by using the estimation result based on the captured image taken by the image pickup device 14 and the estimation result based on the sensor data.
  • FIG. 2 shows an example of the appearance shape of the HMD100.
  • the HMD 100 is composed of an output mechanism unit 102 and a mounting mechanism unit 104.
  • the mounting mechanism unit 104 includes a mounting band 106 that goes around the head and fixes the HMD 100 to the head when the user wears it.
  • the wearing band 106 has a material or structure whose length can be adjusted according to the user's head circumference.
  • the output mechanism unit 102 includes a housing 108 having a shape that covers the left and right eyes when the HMD 100 is worn by the user, and internally includes a display panel that faces the eyes when worn.
  • the display panel may be a liquid crystal panel, an organic EL panel, or the like.
  • the inside of the housing 108 is further provided with a pair of left and right optical lenses located between the display panel and the user's eyes to expand the user's viewing angle.
  • the HMD 100 may further include a speaker or earphone at a position corresponding to the user's ear, and may be configured to be connected to external headphones.
  • a plurality of image pickup devices 14a, 14b, 14c, 14d are provided on the front outer surface of the housing 108.
  • the image pickup device 14a is attached to the upper right corner of the front outer surface so that the camera optical axis faces diagonally upward to the right with reference to the user's line-of-sight direction, and the image pickup device 14b has the camera optical axis pointing diagonally upward to the left.
  • Attached to the upper left corner of the front outer surface the image pickup device 14c is attached to the lower right corner of the front side outer surface so that the camera optical axis faces diagonally downward to the right, and the image pickup device 14d has the camera optical axis pointing diagonally downward to the left. It is attached to the lower left corner of the front outer surface.
  • the HMD 100 transmits the sensor data detected by the attitude sensor and the image data captured by the imaging device 14 to the information processing device 10, and also receives the game image data and the game audio data generated by the information processing device 10.
  • FIG. 3 shows a functional block of HMD100.
  • the control unit 120 is a main processor that processes and outputs various data such as image data, audio data, and sensor data, as well as instructions.
  • the storage unit 122 temporarily stores data, instructions, and the like processed by the control unit 120.
  • the attitude sensor 124 acquires sensor data regarding the movement of the HMD 100.
  • the attitude sensor 124 includes at least a 3-axis acceleration sensor and a 3-axis gyro sensor.
  • the communication control unit 128 transmits the data output from the control unit 120 to the external information processing device 10 via a network adapter or an antenna by wired or wireless communication. Further, the communication control unit 128 receives data from the information processing device 10 and outputs the data to the control unit 120.
  • control unit 120 When the control unit 120 receives the game image data and the game audio data from the information processing device 10, the control unit 120 supplies the game image data and the game audio data to the display panel 130 for display, and supplies the game image data and the game audio data to the audio output unit 132 for audio output.
  • the display panel 130 is composed of a left-eye display panel 130a and a right-eye display panel 130b, and a pair of parallax images are displayed on each display panel.
  • the control unit 120 causes the communication control unit 128 to transmit the sensor data from the attitude sensor 124, the voice data from the microphone 126, and the captured image data from the image pickup device 14 to the information processing device 10.
  • FIG. 4 shows the external shape of the input device 16.
  • FIG. 4A shows the front shape of the input device 16, and
  • FIG. 4B shows the back shape of the input device 16.
  • the input device 16 includes a case body 20, a plurality of operating members 22a, 22b, 22c, 22d (hereinafter, referred to as “operating member 22" unless otherwise specified) operated by the user, and light outside the case body 20.
  • a plurality of markers 30a to 30t (hereinafter, referred to as “marker 30” when not particularly distinguished) are provided.
  • the operation member 22 is arranged on the head of the case body 20, and includes an analog stick for tilting operation, a push-type button, a trigger button for inputting a pull amount, and the like.
  • An indicator 32 indicating the state of the input device 16 is arranged on the head of the case body 20.
  • the indicator 32 may be configured by an LED device that indicates the charge status of the battery of the input device 16.
  • the case body 20 has a grip portion 21 and a curved portion 23 that connects the case body head and the case body bottom, and the user passes a finger from the index finger to the little finger between the grip portion 21 and the curved portion 23.
  • the grip portion 21 is gripped.
  • the user operates the operating members 22a, 22b, and 22c with the thumb and the operating member 22d with the index finger while gripping the grip portion 21.
  • the markers 30h, 30i, and 30j are provided on the grip portion 21, but are arranged at positions that are not hidden by the hand even when the user grips the grip portion 21. By providing one or more markers 30 on the grip portion 21, tracking accuracy can be improved.
  • the marker 30 is a light emitting portion that emits light to the outside of the case body 20, and includes a resin portion that diffuses and emits light from a light source such as an LED (Light Emitting Diode) element on the surface of the case body 20. ..
  • the marker 30 is photographed by the imaging device 14 and used for estimating the position information and the posture information of the input device 16. Since the image pickup device 14 shoots the input device 16 at a predetermined cycle (for example, 60 frames / second), the marker 30 emits light in synchronization with the periodic shooting timing of the image pickup device 14, and the image pickup device 14 does not emit light. It is preferable to turn off the light during the exposure period to suppress unnecessary power consumption.
  • the image pickup device 14 and the input device 16 operate based on their respective clocks, and in the embodiment, the synchronization process of the exposure period and the lighting period of the marker 30 by the image pickup device 14 is performed as follows.
  • FIG. 5 shows an example of a light emission pattern for synchronous processing that specifies the shooting timing of the imaging device 14.
  • the length in the horizontal direction represents a shooting cycle (16.7 ms) for one frame, and lighting control of the marker 30 is performed in units of a time grid obtained by dividing the shooting cycle.
  • the shooting cycle is divided into 32, and one time grid is 521 ⁇ s.
  • the colored time grid shows the lighting period at the first luminance
  • the uncolored time grid shows the lighting period at the second luminance.
  • the first brightness is different from the second brightness, and the first brightness may be higher than the second brightness.
  • the captured image contains a high-luminance marker image
  • the photographed image has a low brightness.
  • a marker image is included.
  • the light emission pattern is determined so that the order of light emission at the first luminance and light emission at the second luminance is different for each time grid when six images are continuously photographed in a shooting cycle for one frame.
  • the first captured image (Frame 0) is “first brightness”
  • the second captured image (Frame 1) is “second brightness”
  • the fourth shot image (Frame 3) is the “second brightness”
  • the fifth shot image (Frame 4) is the "second brightness”
  • the sixth shot image (Frame) It is assumed that the marker 30 whose lighting is controlled is photographed at the "first brightness” in 5).
  • the combination of the first luminance and the second luminance in the six consecutive captured images corresponds to the time grid of grid number 14.
  • the input device 16 periodically lights the marker 30 at the timing of the grid number 14, thereby synchronizing the lighting period of the marker 30 with the exposure period of the image pickup device 14 and setting the non-exposure period of the image pickup device 14. It can be controlled so that the marker 30 is not turned on.
  • FIG. 6 shows a functional block of the input device 16.
  • the control unit 50 receives the operation information input to the operation member 22, and also receives the sensor data acquired by the attitude sensor 52.
  • the attitude sensor 52 acquires sensor data regarding the movement of the input device 16 and includes at least a 3-axis acceleration sensor and a 3-axis gyro sensor.
  • the control unit 50 supplies the received operation information and sensor data to the communication control unit 54.
  • the communication control unit 54 transmits the operation information and the sensor data output from the control unit 50 to the information processing device 10 via a network adapter or an antenna by wired or wireless communication. Further, the communication control unit 54 acquires a light emission pattern and / or a light emission instruction for synchronization processing from the information processing device 10.
  • the input device 16 includes a light source 56 for lighting the indicator 32 and a light source 58 for lighting the marker 30. Both the light source 56 and the light source 58 may be LED elements.
  • the marker 30 includes a resin portion that diffuses and emits light to the outside on the surface of the case body 20, and the resin portion of the marker 30 that is lit by the light source 58 may be a sealing resin for the LED element. At this time, the marker 30 and the light source 58 may have the form of one LED device.
  • the indicator 32 has a role of notifying the user of the charge status of the battery in the input device 16.
  • the light source 56 can emit light in a plurality of colors, and the indicator 32 may express the charging state by the lighting color. For example, when the indicator 32 is lit in green, the state of charge is good, and when the indicator 32 is lit in red, it indicates that the battery level is low. The user can know the charge status of the battery from the lighting color of the indicator 32.
  • FIG. 7 shows a part of an image of the input device 16.
  • the captured image includes an image of a marker 30 that emits light.
  • the communication control unit 128 transmits the image data captured by the imaging device 14 to the information processing device 10, and the information processing device 10 extracts the image of the marker 30 from the image data.
  • the information processing apparatus 10 can distinguish whether the marker 30 is emitting light at the first luminance or the second luminance.
  • the synchronization process of the exposure period by the image pickup apparatus 14 and the lighting period of the marker 30 is performed before the start of the game, but may also be performed during the execution of the game. If the synchronization is lost, the image pickup apparatus 14 cannot take an image of the marker 30, so that if the synchronization is lost, the synchronization process needs to be performed immediately.
  • the control unit 50 causes one or more light sources 58 to emit light in a light emission pattern (see FIG. 5) for the synchronization process provided by the information processing device 10.
  • the light emission pattern defines a lighting period at the first luminance and a lighting period at the second luminance in a plurality of frame periods.
  • the information processing device 10 specifies the time grid number included in the exposure period by the imaging device 14 by specifying the pattern of change in the brightness value of the marker 30 included in a plurality of consecutive captured images.
  • the exposure period may be set to, for example, about twice the length of the time grid.
  • FIG. 8 shows the lighting period of the marker 30 set within the exposure period by the imaging device 14.
  • the information processing device 10 specifies the time grid number, it generates a light emission instruction at the timing of the time grid number and transmits it to the input device 16.
  • the control unit 50 periodically emits light of all the markers 30 at the time position of the grid number 14 based on the light emission instruction. After the synchronization is established, the control unit 50 turns on the light source for the length of one time grid (521 ⁇ sec) in one frame period and turns off the light source in the other period, so that wasteful power consumption can be suppressed. it can.
  • the indicator 32 notifies the user of the charging state of the battery by the lighting color, but since it is not the marker 30, it is not preferable that the image of the indicator 32 is included in the captured image. Therefore, the control unit 50 lights the indicators 32 during the extinguishing period of the plurality of markers 30 while lighting the plurality of markers 30 at a predetermined cycle after the synchronization is established.
  • FIG. 9 shows the relationship between the marker lighting period and the indicator lighting period.
  • the control unit 50 sets the lighting period of the marker 30 within the exposure period by the image pickup apparatus 14.
  • the control unit 50 controls the light emission of the light source 56 so that the lighting period of the indicator 32 does not overlap with the lighting period of the marker 30.
  • the control unit 50 causes the light source 56 to emit light during the extinguishing period of the plurality of markers 30 to light the indicator 32. In other words, the control unit 50 does not light the indicator 32 during the lighting period of the plurality of markers 30.
  • the control unit 50 Based on the exposure period by the image pickup device 14, the control unit 50 does not turn on the indicator 32 during the exposure period in which the image pickup device 14 shoots the input device 16. As a result, the image pickup apparatus 14 does not photograph the lit indicator 32. Since the image pickup device 14 and the input device 16 operate based on their respective clocks, the control unit 50 does not know the exact start timing of the exposure by the image pickup device 14. However, since the control unit 50 knows the length of the exposure period, it is possible to add a predetermined time before and after the lighting period of the marker 30 to set the indicator lighting non-lighting period including the exposure period without fail. The control unit 50 may determine the lighting period of the indicator 32 within a period other than the indicator lighting disabled period. The predetermined time may be set with reference to the time grid, and the control unit 50 sets the indicator lighting non-lighting period by adding the time for two or more time grids before and after the lighting period of the marker 30, and lights the indicator 32. You may set a period.
  • the information processing device 10 when the communication control unit 128 transmits the image data captured by the image pickup device 14 to the information processing device 10, the information processing device 10 extracts the image of the marker 30 from the image data. Since the three-dimensional shape of the input device 16 and the position coordinates of the plurality of markers 30 arranged on the surface thereof are known, the information processing device 10 determines PnP (Perspective n) from the distribution of the images of the markers 30 in the captured image. -Point) By solving the problem, the position and orientation of the input device 16 with respect to the image pickup device 14 are estimated.
  • PnP Perspective n
  • the arrangement of the plurality of markers 30 in the input device 16 provided with the operating member 22 has been described, but the device to be tracked does not necessarily have to include the operating member 22.
  • the image pickup device 14 is attached to the HMD 100, but the image pickup device 14 may be attached to a position other than the HMD 100 as long as it can capture a marker image.
  • the present invention can be used for a device having a plurality of markers.
  • Information processing system 10 ... Information processing device, 14 ... Imaging device, 16 ... Input device, 30 ... Marker, 32 ... Indicator, 50 ... Control unit, 56 , 58 ... Light source.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

入力デバイス１６は、ケース体と、当該ケース体の外部に光を出射する複数のマーカ３０と、入力デバイス１６の状態を示すインジケータ３２を備える。制御部５０は、複数のマーカ３０を所定の周期で点灯させ、インジケータ３２を複数のマーカ３０の消灯期間に点灯させる。

Description

複数のマーカを備えたデバイス
　本発明は、複数のマーカを備えたデバイスに関する。
　特許文献１は、ゲーム装置の前方を撮影したフレーム画像を取得して、フレーム画像におけるゲームコントローラのＬＥＤ像の位置から実空間におけるゲームコントローラの位置情報および姿勢情報を推定し、推定した位置情報および／または姿勢情報をゲームアプリケーションの処理に反映するゲーム装置を開示する。
特開２００７－２９６２４８号公報
　ヘッドマウントディスプレイ（ＨＭＤ）はユーザの頭部に装着されて、仮想現実（ＶＲ）の映像空間をユーザに提供する。ＨＭＤを装着したユーザは入力デバイスの操作ボタンを操作して、映像空間に対して様々な入力を行える。
　近年、デバイスの位置や姿勢をトラッキングし、ＶＲ空間の３Ｄモデルに反映させる技術が普及している。ゲーム空間のプレイヤキャラクタやゲームオブジェクトの動きを、トラッキング対象となるデバイスの位置や姿勢の変化に連動させることで、ユーザによる直観的な操作が実現される。デバイスのトラッキングには点灯する複数のマーカが利用され、複数のマーカを撮影した画像を解析して画像内の各マーカ像の位置を特定することで、実空間におけるデバイスの位置および姿勢が推定される。
　デバイスの位置および姿勢を高精度に推定するためには、デバイスを撮影した画像内で各マーカ像の位置が正確に特定される必要がある。マーカではない像が撮影画像に含まれると、デバイスの位置および姿勢の推定精度に悪影響を及ぼす可能性があるため、そのような像は撮影画像に含まれないようにすることが好ましい。
　そこで本発明は、複数のマーカを備えたデバイスにおけるマーカ以外の点灯部が撮影画像に含まれないようにすることを目的とする。なおデバイスは操作ボタンを有する入力デバイスであってよいが、操作部材を有しない単にトラッキングの対象となるデバイスであってよい。
　上記課題を解決するために、本発明のある態様のデバイスは、ケース体と、当該ケース体の外部に光を出射する複数のマーカとを備える。当該デバイスは、複数のマーカを所定の周期で点灯させる制御部を備え、制御部は当該デバイスの状態を示すインジケータを、複数のマーカの消灯期間に点灯させる。
実施例における情報処理システムの構成例を示す図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの機能ブロックを示す図である。 入力デバイスの外観形状を示す図である。 撮像装置の撮影タイミングを特定する同期処理用の発光パターンの例を示す図である。 入力デバイスの機能ブロックを示す図である。 入力デバイスを撮影した画像の一部の例を示す図である。 撮像装置による露光期間内に設定されたマーカの点灯期間を示す図である。 マーカ点灯期間とインジケータ点灯期間の関係を示す図である。
　図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、記録装置１１と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザが手指で操作する入力デバイス１６と、画像および音声を出力する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。
　記録装置１１は、システムソフトウェアや、ゲームソフトウェアなどのアプリケーションを記録する。情報処理装置１０は、コンテンツサーバからネットワーク２経由で、ゲームソフトウェアを記録装置１１にダウンロードしてよい。情報処理装置１０はゲームソフトウェアを実行して、ゲームの画像データおよび音声データをＨＭＤ１００に供給する。情報処理装置１０とＨＭＤ１００とは既知の無線通信プロトコルで接続されてもよく、またケーブルで接続されてもよい。
　ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。ユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。
　ＨＭＤ１００を装着したユーザにとって出力装置１５は必要ないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。情報処理装置１０は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。たとえばＨＭＤを装着したユーザと、別のユーザとが一緒にゲームをプレイするような場合、出力装置１５からは、当該別のユーザのキャラクタ視点からのゲーム画像が表示されてもよい。
　情報処理装置１０と入力デバイス１６とは既知の無線通信プロトコルで接続されてよく、またケーブルで接続されてもよい。入力デバイス１６は操作ボタンなどの複数の操作部材を備え、ユーザは入力デバイス１６を把持しながら、手指で操作部材を操作する。情報処理装置１０がゲームを実行する際、入力デバイス１６はゲームコントローラとして利用される。入力デバイス１６は、３軸の加速度センサおよび３軸のジャイロセンサを含む姿勢センサを備え、所定の周期（たとえば１６００Ｈｚ）でセンサデータを情報処理装置１０に送信する。
　実施例のゲームは、入力デバイス１６の操作部材の操作情報だけでなく、入力デバイス１６の位置、姿勢、動きなどを操作情報として取り扱って、仮想３次元空間内におけるプレイヤキャラクタの動きに反映する。たとえば操作部材の操作情報は、プレイヤキャラクタを移動させるための情報として利用され、入力デバイス１６の位置、姿勢、動きなどの操作情報は、プレイヤキャラクタの腕を動かすための情報として利用されてよい。ゲーム内の戦闘シーンにおいて、入力デバイス１６の動きが、武器をもつプレイヤキャラクタの動きに反映されることで、ユーザの直観的な操作が実現され、ゲームへの没入感が高められる。
　入力デバイス１６の位置および姿勢をトラッキングするために、入力デバイス１６には、ＨＭＤ１００に搭載された撮像装置１４によって撮影可能な複数のマーカ（光出射部）が設けられる。情報処理装置１０は、入力デバイス１６を撮影した画像を解析して、実空間における入力デバイス１６の位置情報および姿勢情報を推定し、推定した位置情報および姿勢情報をゲームに提供する。
　ＨＭＤ１００には、複数の撮像装置１４が搭載される。複数の撮像装置１４は、それぞれの撮影範囲を足し合わせた全体の撮影範囲がユーザの視野の全てを含むように、ＨＭＤ１００の前面の異なる位置に異なる姿勢で取り付けられる。撮像装置１４は、入力デバイス１６の複数のマーカの像を取得できる画像センサであればよい。たとえばマーカが可視光を出射する場合、撮像装置１４はＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルビデオカメラで利用されている可視光センサを有する。マーカが非可視光を出射する場合、撮像装置１４は非可視光センサを有する。複数の撮像装置１４は同期したタイミングで、ユーザの前方を所定の周期（たとえば６０フレーム／秒）で撮影し、入力デバイス１６を撮影した画像データを情報処理装置１０に送信する。
　情報処理装置１０は、撮影画像に含まれる入力デバイス１６の複数のマーカ像の位置を特定する。なお１つの入力デバイス１６が同じタイミングで複数の撮像装置１４に撮影されることもあるが、撮像装置１４の取付位置および取付姿勢は既知であるため、情報処理装置１０は複数の撮影画像を合成して、マーカ像の位置を特定する。
　入力デバイス１６の３次元形状と、その表面に配置された複数のマーカの位置座標は既知であり、情報処理装置１０は、撮影画像内のマーカ像の分布にもとづいて、入力デバイス１６の位置座標および姿勢を推定する。入力デバイス１６の位置座標は、基準位置を原点とした３次元空間における位置座標であってよく、基準位置はゲーム開始前に設定した位置座標（緯度、経度）であってよい。
　なお情報処理装置１０は、入力デバイス１６の姿勢センサが検出したセンサデータを用いることでも、入力デバイス１６の位置座標および姿勢を推定できる。そこで実施例の情報処理装置１０は、撮像装置１４で撮影した撮影画像にもとづく推定結果と、センサデータにもとづく推定結果を用いて、高精度に入力デバイス１６のトラッキング処理を実施する。
　図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。
　出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。
　筐体１０８の前方側外面には、複数の撮像装置１４ａ、１４ｂ、１４ｃ、１４ｄが備えられる。ユーザの視線方向を基準として、撮像装置１４ａは、カメラ光軸が右斜め上を向くように前方側外面の右上隅に取り付けられ、撮像装置１４ｂは、カメラ光軸が左斜め上を向くように前方側外面の左上隅に取り付けられ、撮像装置１４ｃは、カメラ光軸が右斜め下を向くように前方側外面の右下隅に取り付けられ、撮像装置１４ｄは、カメラ光軸が左斜め下を向くように前方側外面の左下隅に取り付けられる。このように複数の撮像装置１４が設置されることで、それぞれの撮影範囲を足し合わせた全体の撮影範囲がユーザの視野の全てを含む。このユーザの視野は、３次元仮想空間におけるユーザの視野であってよい。
　ＨＭＤ１００は、姿勢センサが検出したセンサデータおよび撮像装置１４が撮影した画像データを情報処理装置１０に送信し、また情報処理装置１０で生成されたゲーム画像データおよびゲーム音声データを受信する。
　図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の動きに関するセンサデータを取得する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。
　通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、情報処理装置１０からデータを受信し、制御部１２０に出力する。
　制御部１２０は、ゲーム画像データやゲーム音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータ、マイク１２６からの音声データ、撮像装置１４からの撮影画像データを、通信制御部１２８から情報処理装置１０に送信させる。
　図４は、入力デバイス１６の外観形状を示す。図４（ａ）は、入力デバイス１６の正面形状を示し、図４（ｂ）は、入力デバイス１６の背面形状を示す。入力デバイス１６は、ケース体２０と、ユーザが操作する複数の操作部材２２ａ、２２ｂ、２２ｃ、２２ｄ（以下、特に区別しない場合は「操作部材２２」と呼ぶ）と、ケース体２０の外部に光を出射する複数のマーカ３０ａ～３０ｔ（以下、特に区別しない場合には「マーカ３０」と呼ぶ）とを備える。操作部材２２は、ケース体２０の頭部に配置され、傾動操作するアナログスティック、押下式ボタン、引き量を入力するトリガーボタンなどを含む。ケース体２０の頭部には、入力デバイス１６の状態を示すインジケータ３２が配置される。インジケータ３２は、入力デバイス１６のバッテリの充電状態を表示するＬＥＤデバイスにより構成されてよい。
　ケース体２０は、把持部２１と、ケース体頭部とケース体底部とを連結する湾曲部２３を有し、ユーザは人差し指から小指までの指を把持部２１と湾曲部２３の間に通し、把持部２１を把持する。ユーザは把持部２１を把持した状態で、操作部材２２ａ、２２ｂ、２２ｃを親指で操作し、操作部材２２ｄを人差し指で操作する。マーカ３０ｈ、３０ｉ、３０ｊは把持部２１に設けられるが、ユーザが把持部２１を把持した状態であっても、手によって隠れない位置に配置される。１以上のマーカ３０を把持部２１に設けることで、トラッキング精度を高められる。
　マーカ３０は、ケース体２０の外部に光を出射する光出射部であり、ケース体２０の表面において、ＬＥＤ（Light Emitting Diode）素子などの光源からの光を外部に拡散出射する樹脂部を含む。マーカ３０は撮像装置１４により撮影されて、入力デバイス１６の位置情報および姿勢情報の推定処理に利用される。撮像装置１４は所定の周期（たとえば６０フレーム／秒）で入力デバイス１６を撮影するため、マーカ３０は、撮像装置１４の周期的な撮影タイミングに同期して光を出射し、撮像装置１４による非露光期間には消灯して無用な電力消費を抑えることが好ましい。撮像装置１４と入力デバイス１６は、それぞれのクロックにもとづいて動作しており、実施例では、撮像装置１４による露光期間とマーカ３０の点灯期間の同期処理を以下のように実施する。
　図５は、撮像装置１４の撮影タイミングを特定する同期処理用の発光パターンの例を示す。横方向の長さは１フレーム分の撮影周期（１６．７ｍ秒）を表現し、この撮影周期を分割したタイムグリッドの単位でマーカ３０の点灯制御を実施する。この例では撮影周期を３２分割し、１つのタイムグリッドは５２１μ秒である。図５において色づけされたタイムグリッドは第１輝度での点灯期間を示し、色づけされていないタイムグリッドは第２輝度での点灯期間を示す。なお第１輝度は第２輝度と異なり、第１輝度は第２輝度より高くてよい。第１輝度での発光時にマーカ３０が撮影されると、撮影画像には高輝度のマーカ像が含まれ、第２輝度での発光時にマーカ３０が撮影されると、撮影画像には低輝度のマーカ像が含まれる。発光パターンは、１フレーム分の撮影周期で連続して６枚を撮影したときに、第１輝度での発光と第２輝度での発光との順番が、タイムグリッドごとに異なるように定められる。
　同期処理では、撮像装置１４により撮影される１つ以上のマーカ３０が、図５に示す発光パターンで点灯制御される。同期処理を開始してから１枚目の撮影画像（Frame 0）で「第１輝度」、２枚目の撮影画像（Frame 1）で「第２輝度」、３枚目の撮影画像（Frame 2）で「第１輝度」、４枚目の撮影画像（Frame 3）で「第２輝度」、５枚目の撮影画像（Frame 4）で「第２輝度」、６枚目の撮影画像（Frame 5）で「第１輝度」で、点灯制御されたマーカ３０が撮影されたとする。連続する６枚の撮影画像における第１輝度と第２輝度の組合せで該当するのは、グリッド番号１４のタイムグリッドである。そこで入力デバイス１６は、以後、グリッド番号１４のタイミングで周期的にマーカ３０を点灯することで、撮像装置１４の露光期間に、マーカ３０の点灯期間を同期させ、撮像装置１４の非露光期間にマーカ３０を点灯させないように制御できる。
　図６は、入力デバイス１６の機能ブロックを示す。制御部５０は、操作部材２２に入力された操作情報を受け付け、また姿勢センサ５２により取得されたセンサデータを受け付ける。姿勢センサ５２は、入力デバイス１６の動きに関するセンサデータを取得し、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。制御部５０は、受け付けた操作情報およびセンサデータを通信制御部５４に供給する。通信制御部５４は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部５０から出力される操作情報およびセンサデータを情報処理装置１０に送信する。また通信制御部５４は、情報処理装置１０から同期処理用の発光パターンおよび／または発光指示を取得する。
　入力デバイス１６は、インジケータ３２を点灯するための光源５６と、マーカ３０を点灯するための光源５８を備える。光源５６および光源５８ともにＬＥＤ素子であってよい。マーカ３０は、ケース体２０の表面において光を外部に拡散出射する樹脂部を含むが、光源５８により点灯されるマーカ３０の樹脂部は、ＬＥＤ素子の封止樹脂であってよい。このときマーカ３０および光源５８は、１つのＬＥＤデバイスの形態を有してよい。
　インジケータ３２は、入力デバイス１６におけるバッテリの充電状態をユーザに通知する役割をもつ。光源５６は複数色で発光可能であり、インジケータ３２は点灯色によって充電状態を表現してよい。たとえばインジケータ３２が緑色で点灯しているときは、充電状態が良好であり、赤色で点灯しているときは、バッテリ残量が少ないことを示す。ユーザはインジケータ３２の点灯色から、バッテリの充電状態を知ることができる。
　図７は、入力デバイス１６を撮影した画像の一部の例を示す。図示されるように撮影画像には、光を出射するマーカ３０の像が含まれる。ＨＭＤ１００において、通信制御部１２８は、撮像装置１４が撮影した画像データを情報処理装置１０に送信し、情報処理装置１０は、画像データからマーカ３０の像を抽出する。同期処理において、情報処理装置１０は、マーカ３０が第１輝度で発光しているのか、または第２輝度で発光しているのかを区別できる。
　撮像装置１４による露光期間とマーカ３０の点灯期間の同期処理は、ゲーム開始前に実施されるが、ゲーム実行中にも実施されてよい。同期が外れると、撮像装置１４は、マーカ３０の像を撮影できなくなるため、同期が外れた場合は、ただちに同期処理が実施される必要がある。
　同期処理において、制御部５０は、１つ以上の光源５８を情報処理装置１０から提供される同期処理用の発光パターン（図５参照）で発光させる。図５に示したように、発光パターンは、複数フレーム期間における第１輝度での点灯期間と第２輝度での点灯期間を定めたものである。情報処理装置１０は、連続する複数の撮影画像に含まれるマーカ３０の輝度値の変化のパターンを特定することで、撮像装置１４による露光期間に含まれるタイムグリッド番号を特定する。露光期間は、たとえばタイムグリッドの２倍程度の長さに設定されていてよい。
　図８は、撮像装置１４による露光期間内に設定されたマーカ３０の点灯期間を示す。情報処理装置１０は、タイムグリッド番号を特定すると、そのタイムグリッド番号のタイミングでの発光指示を生成し、入力デバイス１６に送信する。入力デバイス１６において、制御部５０は、発光指示にもとづいて、グリッド番号１４の時間位置で、全てのマーカ３０を周期的に発光する。同期確立後、制御部５０は、１フレーム期間に１つのタイムグリッド（５２１μ秒）の長さだけ光源をオンし、それ以外の期間は光源をオフにするため、無駄な電力消費を抑えることができる。
　実施例でインジケータ３２は、バッテリの充電状態を点灯色によってユーザに通知するが、マーカ３０ではないため、インジケータ３２の像が撮影画像に含まれることは好ましくない。そこで制御部５０は、同期確立後に複数のマーカ３０を所定の周期で点灯させつつ、インジケータ３２を、複数のマーカ３０の消灯期間に点灯させる。
　図９は、マーカ点灯期間とインジケータ点灯期間の関係を示す。図８にも示したように、制御部５０は、撮像装置１４による露光期間内に、マーカ３０の点灯期間を設定する。一方で制御部５０は、インジケータ３２の点灯期間をマーカ３０の点灯期間と重ならないように光源５６の発光を制御する。具体的に制御部５０は、複数のマーカ３０の消灯期間に光源５６を発光させて、インジケータ３２を点灯させる。換言すると、制御部５０は、複数のマーカ３０の点灯期間に、インジケータ３２を点灯させない。
　撮像装置１４による露光期間を基準にすれば、制御部５０は、撮像装置１４が入力デバイス１６を撮影する露光期間に、インジケータ３２を点灯させない。これにより撮像装置１４は、点灯したインジケータ３２を撮影しない。なお撮像装置１４と入力デバイス１６は、それぞれのクロックにもとづいて動作しているため、制御部５０は、撮像装置１４による正確な露光の開始タイミングは分からない。しかしながら制御部５０は、露光期間の長さを把握しているため、マーカ３０の点灯期間の前後に所定の時間を付け加えて、露光期間を必ず含むインジケータ点灯不可期間を設定できる。制御部５０は、インジケータ点灯不可期間以外の期間内に、インジケータ３２の点灯期間を定めてよい。所定の時間はタイムグリッドを基準に定められてよく、制御部５０は、マーカ３０の点灯期間の前後にタイムグリッド２つ以上分の時間を付け加えてインジケータ点灯不可期間を設定し、インジケータ３２の点灯期間を定めてよい。
　ＨＭＤ１００において、通信制御部１２８が、撮像装置１４が撮影した画像データを情報処理装置１０に送信すると、情報処理装置１０は、画像データからマーカ３０の像を抽出する。入力デバイス１６の３次元形状と、その表面に配置された複数のマーカ３０の位置座標は既知であるため、情報処理装置１０は、撮影画像内のマーカ３０の像の分布から、ＰｎＰ（Perspective n-Point）問題を解くことで、撮像装置１４に対する入力デバイス１６の位置と姿勢を推定する。
　以上、本発明を実施例をもとに説明した。上記実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　実施例では、操作部材２２を備えた入力デバイス１６における複数マーカ３０の配置について説明したが、トラッキングの対象となるデバイスは、必ずしも操作部材２２を備えていなくてよい。また実施例では撮像装置１４がＨＭＤ１００に取り付けられているが、撮像装置１４は、マーカ像を撮影できればよく、ＨＭＤ１００以外の別の位置に取り付けられてもよい。
　本発明は、複数のマーカを備えたデバイスに利用できる。
１・・・情報処理システム、１０・・・情報処理装置、１４・・・撮像装置、１６・・・入力デバイス、３０・・・マーカ、３２・・・インジケータ、５０・・・制御部、５６，５８・・・光源。

Claims (5)

  1. 　ケース体と、当該ケース体の外部に光を出射する複数のマーカと、を備えたデバイスであって、
    　複数のマーカを所定の周期で点灯させる制御部を備え、
    　前記制御部は、当該デバイスの状態を示すインジケータを、前記複数のマーカの消灯期間に点灯させる、
    　ことを特徴とするデバイス。
  2. 　前記制御部は、前記複数のマーカの点灯期間に、前記インジケータを点灯させない、
    　ことを特徴とする請求項１に記載のデバイス。
  3. 　前記制御部は、撮像装置が当該デバイスを撮影する露光期間に、前記インジケータを点灯させない、
    　ことを特徴とする請求項１または２に記載のデバイス。
  4. 　前記デバイスは、ユーザが操作する操作部材を有する入力デバイスである、
    　ことを特徴とする請求項１から３のいずれかに記載のデバイス。
  5. 　前記デバイスは、ヘッドマウントディスプレイに取り付けられた撮像装置により撮影される、
    　ことを特徴とする請求項１から４のいずれかに記載のデバイス。
PCT/JP2020/013746 2019-04-11 2020-03-26 複数のマーカを備えたデバイス WO2020209088A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080026778.3A CN113660986A (zh) 2019-04-11 2020-03-26 包括多个标记的设备
US17/440,858 US20220143495A1 (en) 2019-04-11 2020-03-26 Device including plurality of markers
EP20787365.4A EP3954443A4 (en) 2019-04-11 2020-03-26 DEVICE COMPRISING A PLURALITY OF MARKERS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-075855 2019-04-11
JP2019075855A JP7283958B2 (ja) 2019-04-11 2019-04-11 複数のマーカを備えたデバイス

Publications (1)

Publication Number Publication Date
WO2020209088A1 true WO2020209088A1 (ja) 2020-10-15

Family

ID=72751074

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/013746 WO2020209088A1 (ja) 2019-04-11 2020-03-26 複数のマーカを備えたデバイス

Country Status (5)

Country Link
US (1) US20220143495A1 (ja)
EP (1) EP3954443A4 (ja)
JP (1) JP7283958B2 (ja)
CN (1) CN113660986A (ja)
WO (1) WO2020209088A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7202156B2 (ja) * 2018-11-30 2023-01-11 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、位置姿勢取得用デバイス、およびデバイス情報取得方法
JP7237049B2 (ja) 2020-10-15 2023-03-10 プライムプラネットエナジー＆ソリューションズ株式会社 樹脂多孔質体の製造方法
JP1686895S (ja) * 2020-10-30 2021-05-31

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116578A1 (ja) * 2006-04-11 2007-10-18 Sony Computer Entertainment Inc. エンタテインメントシステムおよび処理装置
WO2007129432A1 (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc. ゲーム装置
WO2009093461A1 (ja) * 2008-01-22 2009-07-30 Ssd Company Limited 撮像装置、オンラインゲームシステム、操作物、入力方法、画像解析装置、画像解析方法、及び記録媒体
WO2010055737A1 (ja) * 2008-11-14 2010-05-20 株式会社ソニー・コンピュータエンタテインメント 操作デバイス
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5089060B2 (ja) * 2006-03-14 2012-12-05 株式会社ソニー・コンピュータエンタテインメント エンタテインメントシステムおよびゲームコントローラ
JP5200196B1 (ja) * 2012-04-20 2013-05-15 任天堂株式会社 ゲームシステムおよびゲームコントローラ
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
JP6650739B2 (ja) 2015-11-30 2020-02-19 株式会社ソニー・インタラクティブエンタテインメント 発光デバイス調整装置および駆動電流調整方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116578A1 (ja) * 2006-04-11 2007-10-18 Sony Computer Entertainment Inc. エンタテインメントシステムおよび処理装置
WO2007129432A1 (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc. ゲーム装置
JP2007296248A (ja) 2006-05-02 2007-11-15 Sony Computer Entertainment Inc ゲーム装置
WO2009093461A1 (ja) * 2008-01-22 2009-07-30 Ssd Company Limited 撮像装置、オンラインゲームシステム、操作物、入力方法、画像解析装置、画像解析方法、及び記録媒体
WO2010055737A1 (ja) * 2008-11-14 2010-05-20 株式会社ソニー・コンピュータエンタテインメント 操作デバイス
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3954443A4

Also Published As

Publication number Publication date
EP3954443A4 (en) 2023-01-04
US20220143495A1 (en) 2022-05-12
EP3954443A1 (en) 2022-02-16
CN113660986A (zh) 2021-11-16
JP2020173670A (ja) 2020-10-22
JP7283958B2 (ja) 2023-05-30

Similar Documents

Publication Publication Date Title
CN108292489B (zh) 信息处理装置和图像生成方法
WO2020209088A1 (ja) 複数のマーカを備えたデバイス
US20180253897A1 (en) Method executed on computer for communication via virtual space, program for executing the method on computer, and information processing apparatus therefor
JP7248490B2 (ja) 情報処理装置、デバイスの位置および姿勢の推定方法
US10432679B2 (en) Method of communicating via virtual space and system for executing the method
WO2017094606A1 (ja) 表示制御装置及び表示制御方法
JP2017220032A (ja) 情報処理装置、情報処理方法、およびコンピュータプログラム
WO2019039378A1 (ja) 情報処理装置および画像表示方法
US10515481B2 (en) Method for assisting movement in virtual space and system executing the method
US11335071B2 (en) Image generation apparatus and image generation method for augmented reality images based on object interaction
WO2020189450A1 (ja) 複数のマーカを備えたデバイス
US11232588B2 (en) Information processing apparatus and device information derivation method
JP7193539B2 (ja) データ処理
WO2020218182A1 (ja) 情報処理装置およびデバイス情報導出方法
WO2020213363A1 (ja) 複数のマーカを備えたデバイス
JP7496460B2 (ja) 画像生成装置および画像生成方法
JP6683862B2 (ja) 表示制御装置及び表示制御方法
WO2022255058A1 (ja) 情報処理装置および画像生成方法
JP6705929B2 (ja) 表示制御装置及び表示制御方法
JP2024031113A (ja) 情報処理装置および画像生成方法
JP2021068296A (ja) 情報処理装置、ヘッドマウントディスプレイ、およびユーザ操作処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20787365

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020787365

Country of ref document: EP

Effective date: 20211111