WO2019171827A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2019171827A1
WO2019171827A1 PCT/JP2019/002840 JP2019002840W WO2019171827A1 WO 2019171827 A1 WO2019171827 A1 WO 2019171827A1 JP 2019002840 W JP2019002840 W JP 2019002840W WO 2019171827 A1 WO2019171827 A1 WO 2019171827A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
position detection
light
processing apparatus
algorithm
Prior art date
Application number
PCT/JP2019/002840
Other languages
English (en)
French (fr)
Inventor
文彦 飯田
健太郎 井田
拓也 池田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/976,998 priority Critical patent/US11944887B2/en
Priority to JP2020504851A priority patent/JP7222391B2/ja
Publication of WO2019171827A1 publication Critical patent/WO2019171827A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/0048—Training appliances or apparatus for special sports for mountaineering, e.g. climbing-walls, grip elements for climbing-walls
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F7/00—Indoor games using small moving playing bodies, e.g. balls, discs or blocks
    • A63F7/06—Games simulating outdoor ball games, e.g. hockey or football
    • A63F7/0604—Type of ball game
    • A63F7/0632—Hockey
    • A63F7/0636—Ice-hockey
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0025—Tracking the path or location of one or more users, e.g. players of a game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2209/00—Characteristics of used materials
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/805—Optical or opto-electronic sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/20—Miscellaneous features of sport apparatus, devices or equipment with means for remote communication, e.g. internet or the like
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/74—Miscellaneous features of sport apparatus, devices or equipment with powered illuminating means, e.g. lights
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401—Detail of input, input devices
    • A63F2009/2436—Characteristics of the input
    • A63F2009/2442—Sensors or detectors
    • A63F2009/2444—Light detector
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401—Detail of input, input devices
    • A63F2009/2436—Characteristics of the input
    • A63F2009/2442—Sensors or detectors
    • A63F2009/2444—Light detector
    • A63F2009/2445—Light detector detecting reflected light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F7/00—Indoor games using small moving playing bodies, e.g. balls, discs or blocks
    • A63F7/22—Accessories; Details
    • A63F7/36—Constructional details not covered by groups A63F7/24 - A63F7/34, i.e. constructional details of rolling boards, rims or play tables, e.g. frame, game boards, guide tracks
    • A63F7/3603—Rolling boards with special surface, e.g. air cushion boards

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 in a coordinate input system that provides a coordinate input function on a transmissive screen for image display such as a rear projection display device, a light reflection type indicator that is smaller and lighter than a light pen is used. It is disclosed.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program capable of performing stable position detection even in an environment where a detection wavelength is included in external light.
  • a controller for detecting the position of the object based on a captured image obtained by imaging light emission or reflected light of the object from a direction facing the light emitting part or the side on which the reflective material is provided of the object provided with the light emitting part or the reflective material. And a controller for detecting the position of the object, wherein the controller has an algorithm for detecting the position of the object according to an illuminance detection result of external light including at least a wavelength of the light emission or the reflected light.
  • An information processing apparatus to be adjusted is proposed.
  • the processor captures an image of light emission or reflected light of the object from a direction facing the light emitting unit or the side on which the reflective material is provided of the object on which the light emitting unit or the reflective material is provided. Performing position detection of the object based on an image, adjusting an algorithm for position detection of the object according to an illuminance detection result of external light including at least a wavelength of the light emission or the reflected light, An information processing method is proposed.
  • the computer captures an image of light emission or reflected light of the object from a direction facing the light emitting part or the side on which the reflecting material is provided of the object on which the light emitting part or the reflecting material is provided. Based on the image, it functions as a control unit that detects the position of the object, and the control unit determines the position of the object according to an illuminance detection result of external light including at least the wavelength of the light emission or the reflected light.
  • a program that adjusts the detection algorithm is proposed.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing system 1 includes an external sensor 20 that measures a surrounding environment, an information processing apparatus 10 that detects the position of an object 40 provided with a light emitting element 42, and an object. And imaging device 30 that images 40 from the side where light emitting element 42 is provided.
  • the information processing apparatus 10 detects the position of the object 40 based on the captured image captured by the imaging apparatus 30.
  • the illuminance of an object is detected to be sufficiently higher than the illuminance of the bright spot, and it is difficult to detect the bright spot and determine the position of the detection target.
  • a light emitting element 42 is provided on a part of the bottom surface of the target object 40 (preferably at a position where the target object 40 is not grounded), and the plate-like member on which the target object 40 is placed.
  • the image pickup device 30 is arranged so as to pick up an image from below, that is, from the direction facing the bottom surface where the light emitting element 42 is provided, and a captured image is acquired, and the position of the object 40 is detected from the captured image To do.
  • the information processing apparatus 10 adjusts an algorithm used when detecting the position of the object 40 in accordance with the external light environment detected by the external sensor 20, so that the detected wavelength is included in the external light. Can also perform stable position detection.
  • the object 40 shown in FIG. 1 may be fixed, or the position may be changed by a user or a self-supporting operation.
  • the light emitting element 42 provided on the object 40 emits light of a specific wavelength, and may be self-luminous, such as an LED or an organic EL, or a recursive material or mirror using fine particles or prisms. Alternatively, a reflective material that reflects another light source may be used.
  • the light emitting element 42 may be single or plural with respect to the object 40. Further, the light emitting element 42 may be arranged by combining elements having different light emission characteristics.
  • the casing that forms the object 40 may be one for fixing the light emitting element or for another function.
  • the external sensor 20 is used for grasping the surrounding environment of the object 40 and the imaging device 30, particularly the illuminance environment that affects the detection of the object 40.
  • the external sensor 20 is realized by a camera that acquires an image at a specific wavelength or an illuminance sensor. Multiple or single wavelengths may be acquired. Moreover, the external sensor 20 may be single or plural. Note that the imaging device 30 may also function as the external sensor 20.
  • the plate-like member 50 on which the object 40 is placed is a member that transmits the emission wavelength of the light emitting element 42.
  • the plate member 50 is located between the object 40 and the imaging device 30.
  • the information processing apparatus 10 detects the position of the object 40 based on the image captured by the imaging apparatus 30. Specifically, the information processing apparatus 10 can adjust the algorithm used for position detection based on the detection result by the external sensor 20. More specifically, the information processing apparatus 10 switches the position detection algorithm to be used or changes the parameter to be used in the position detection algorithm to be used according to, for example, the ambient light illuminance environment with respect to the light emission intensity of the light emitting element 42.
  • the information processing system according to an embodiment of the present disclosure has been described above. Subsequently, the configuration and operation processing of the information processing system according to the present embodiment will be specifically described. In the present embodiment, an example of adaptation to air hockey will be described as an example.
  • FIG. 2 is a diagram illustrating an arrangement configuration when the information processing system 1 according to the present disclosure is applied to air hockey.
  • Air hockey is a game in which a user holds a device called a mallet (hereinafter referred to as a mallet 401) and hits a disk called a plastic pack (hereinafter referred to as a pack 431) on the board. The air has surfaced.
  • a mallet hereinafter referred to as a mallet 401
  • a plastic pack hereinafter referred to as a pack 431
  • FIG. 2 in the case of a battle between a plurality of users, each user (user A, user B) holds and operates the mallet 401 ⁇ / b> A and the mallet 401 ⁇ / b> B and hits the pack 431.
  • the mallet 401 held by the user corresponds to the object 40, and the light emitting element 421 is installed on the bottom surface of the mallet 401 as shown in FIG.
  • an infrared (IR) LED is used for the light emitting element 421.
  • the board surface 501 is formed of a material (such as white PMMA (Polymethyl methacrylate) or cloth) that does not transmit the visible light region but transmits IR.
  • the installation jigs such as the detection camera (imaging device 30) from being visually observed by the user, and it is possible to prevent the appearance of the air hockey game device from being impaired.
  • an image or the like can be projected on the board surface 501 by the projector 52.
  • the information processing apparatus 10 can appropriately project an image or the like on the panel surface 501 by the projector 52 in accordance with the position information of the mallet 401 detected by the present system.
  • the angle of view of the imaging device 30 installed facing the board surface 501 below the board surface 501 on which the mallet 401 is placed is an angle at which the entire board surface 501 can be photographed.
  • the imaging wavelength of the imaging device 30 may be limited by a bandpass filter that detects only the emission wavelength of the light emitting element 421.
  • FIG. 3 is a block diagram illustrating an example of the configuration of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 includes a control unit 100, a communication unit 110, an operation input unit 120, a display unit 130, and a storage unit 140.
  • the control unit 100 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 10 according to various programs.
  • the control unit 100 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 100 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • control unit 100 also functions as the position detection unit 101 and the position detection algorithm adjustment unit 102.
  • the position detection unit 101 detects the position of the mallet 401 using the position detection algorithm adjusted by the position detection algorithm adjustment unit 102 based on the captured image acquired by the imaging device 30.
  • the position detection algorithm adjustment unit 102 adjusts the position detection algorithm based on the external light illuminance detection result of the external sensor 20. Adjustment of the position detection algorithm is assumed to be performed by switching a plurality of position detection algorithms and changing parameters of the position detection algorithm.
  • “external light illuminance” means illuminance at a wavelength detected by the imaging device 30 (detection wavelength, corresponding to the emission wavelength of the light emitting element 421).
  • detection wavelength corresponding to the emission wavelength of the light emitting element 421.
  • the illuminance of outside light is sufficiently low, for example, a case where there is no illumination or a case where illumination does not include infrared rays is assumed.
  • the bright spot of the IR LED (light emitting element 421) is in the state of highest brightness in the captured image acquired by the imaging device 30.
  • the position detection algorithm adjustment unit 102 may determine that the external light illuminance is sufficiently small, for example, when the external light illuminance falls below a predetermined threshold set according to the luminance of the light emitting element 421.
  • the captured image acquired by the imaging device 30 is a captured image 60 that can detect the bright spots 601 and 602 corresponding to the mallets 401A and 401B, for example, as illustrated in FIG. It is possible to detect bright spots 601 and 602 with high luminance, and calculate the positions of the mallet 401A and 401B from the positions of the detected bright spots.
  • the detection of the illuminance environment is not limited to the external sensor 20, but can also be determined from the captured image acquired by the imaging device 30 (that is, the imaging device 30 also functions as the external sensor 20).
  • the position detection algorithm adjustment unit 102 determines the illuminance of outside light. Is sufficiently smaller than the luminance (illuminance) of the light emitting element 421, and the first position detection algorithm is selected.
  • the illuminance of outside light is larger than the luminance of the light emitting element 421
  • an environment in which sunlight is directly irradiated or an illumination environment that generates infrared rays such as a mercury lamp is assumed.
  • the external light illuminance is sufficiently high, the illuminance due to the external light is detected sufficiently higher than the illuminance of the bright spot of the IR LED (light emitting element 421) in the captured image acquired by the imaging device 30.
  • the algorithm cannot detect bright spots.
  • the position detection algorithm adjustment unit 102 determines that the ambient light illuminance is greater than the brightness of the light emitting element 421 when the ambient light illuminance exceeds a predetermined threshold set according to the brightness of the light emitting element 421, for example. Also good.
  • the position detection algorithm adjustment unit 102 uses the luminance information acquired from the captured image as a second position detection algorithm, a low-luminance area (a portion shaded by the mallet 401), and the luminance in the area.
  • a means for determining the position of the mallet 401 (target object) is selected by combining with a higher position (bright spot). Specifically, for example, as shown in FIG. 5, when the positional relationship that the bright spots 601 and 602 are located in the shadow areas 611 and 612 in the captured image 61 is obtained, the bright spots 601 and 602 are mallet. It is possible to calculate the positions of the mallets 401A and 401B by determining that they correspond to 401A and 401B.
  • the position of the shadow area having the shape of the mallet 401 may be detected and the position may be directly output as the position of the mallet 401.
  • Such a captured image 61 including the shadow of the mallet 401 is obtained by the imaging device 30 capturing an image of the mallet 401 from a direction facing the surface on which the light emitting element 421 is provided.
  • the position detection algorithm adjustment unit 102 may select different position detection algorithms for different regions in the captured image acquired by the imaging device 30 based on the luminance information of the captured image. For example, as illustrated in FIG. 6, when a first area 621 whose luminance is lower than a predetermined value and a second area 623 whose luminance is higher than a predetermined value are detected in the captured image 62, position detection is performed.
  • the algorithm adjustment unit 102 can detect the position of the first region 621 based only on the bright spot 622, the algorithm adjustment unit 102 uses the first position detection algorithm described above, and uses the first region detection algorithm 623 for the shadow region 624. Since the position can be detected based on the positional relationship between the brightness point 625 and the bright spot 625, the second position detection algorithm may be used. Thus, in the present embodiment, the position detection algorithm can be selected for each area according to the illuminance condition.
  • the position detection algorithm adjustment unit 102 can change parameters of a predetermined position detection algorithm as adjustment of the position detection algorithm according to the external light illuminance detection result.
  • the position detection algorithm adjustment unit 102 may multiply the shadow position parameter used in the algorithm by a weighting factor according to illuminance. .
  • the shadow position parameter multiplied by the illuminance is also 0, and as a result, detection is based only on the bright spot position.
  • the ambient light illuminance is not uniform within the area, areas having different luminance are set based on the luminance information of the captured image, and different parameters are applied to each area in the captured image acquired by the imaging device 30. You may do it.
  • the functions of the information processing apparatus 10 have been described above.
  • the information processing apparatus 10 generates a projection control signal for controlling the projection of a predetermined image onto the plate-like member 50 based on the position information of the mallet 401 detected by the position detection unit 101, and passes through the communication unit 110. You may control to transmit to the projector 52.
  • FIG. 1 A projection control signal for controlling the projection of a predetermined image onto the plate-like member 50 based on the position information of the mallet 401 detected by the position detection unit 101, and passes through the communication unit 110. You may control to transmit to the projector 52.
  • the communication unit 110 transmits and receives information to and from other devices.
  • the communication unit 110 receives an external light illuminance detection result from the external sensor 20 or receives a captured image from the imaging device 30.
  • the communication unit 110 can also transmit the position information detected by the position detection unit 101 and a projection control signal corresponding to the position information to the projector 52.
  • the communication unit 110 is, for example, a wired / wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), short-range wireless communication, a mobile communication network (LTE (Long Term Evolution), or 3G ( The third generation mobile communication system)) etc. is used for communication connection with other devices.
  • a wired / wireless LAN Local Area Network
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • short-range wireless communication a mobile communication network
  • LTE Long Term Evolution
  • 3G The third generation mobile communication system
  • the operation input unit 120 receives an operation instruction from the user and outputs the operation content to the control unit 100.
  • the operation input unit 120 may be a touch sensor, a pressure sensor, or a proximity sensor.
  • the operation input unit 120 may have a physical configuration such as a keyboard, a mouse, a button, a switch, and a lever.
  • the display unit 130 is a display device that outputs various display screens.
  • the display unit 130 may display perceived position information (including a movement route) and the generated tactile presentation signal.
  • the display unit 130 may be a display device such as a liquid crystal display (LCD) or an organic EL (Electro Luminescence) display.
  • the storage unit 140 is realized by a ROM (Read Only Memory) that stores programs used in the processing of the control unit 100, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the configuration of the information processing apparatus 10 according to the present embodiment has been specifically described above.
  • the configuration of the information processing apparatus 10 is not limited to the example illustrated in FIG.
  • the information processing apparatus 10 may be configured by a plurality of apparatuses.
  • the information processing apparatus 10 may further include a voice input unit and a voice output unit.
  • the information processing apparatus 10 may be realized by a PC, a smartphone, a mobile phone terminal, a tablet terminal, a dedicated terminal, or the like.
  • at least a part of the control unit 100 of the information processing apparatus 10 may be realized by a server on the network.
  • FIG. 7 is a flowchart showing an example of the flow of position detection processing according to the present embodiment.
  • the information processing apparatus 10 acquires a captured image from the imaging apparatus 30 (step S103).
  • the information processing apparatus 10 acquires external light illuminance from the external sensor 20 (step S106).
  • the position detection algorithm adjustment unit 102 determines whether or not the external light illuminance is greater than or equal to a threshold value (step S109).
  • the information processing apparatus 10 uses the position detection algorithm adjustment unit 102 to combine the bright spot position of the LED (light emitting element 421) and the shadow position (positional relationship). ) Based position detection algorithm is selected, and the position detection unit 101 detects the position of the mallet 401 using the selected position detection algorithm (step S112).
  • the information processing apparatus 10 uses the position detection algorithm adjustment unit 102 to select a position detection algorithm based only on the bright spot position of the LED (light emitting element 421).
  • the position detection unit 101 detects the position of the mallet 401 using the selected position detection algorithm (step S115).
  • step S103 and the process of step S106 may be processed in parallel, or may be performed in the reverse order.
  • step S109 the external light illuminance is compared with the threshold value.
  • This process mainly evaluates the relationship between the external light illuminance and the illuminance of the light emitting element 421.
  • other evaluation methods include the following examples. ⁇ Comparing the estimated value derived from the input current to the light emitting element 421 and the light emission characteristics and the detected external light illuminance ⁇ Evaluating the detected external light illuminance based on the illuminance information of the light emitting element 421 acquired at the initial setting
  • the position detection algorithm adjustment unit 102 is equal to or greater than the threshold when the observation area with high luminance is larger than the size corresponding to the light emitting element 42 in the captured image. It may be determined that the external light illuminance is higher than the threshold (that is, the second position detection algorithm is selected). In addition, the position detection algorithm adjustment unit 102 may determine that the shadow area is detected from the captured image based on the luminance information acquired from the captured image, and is greater than or equal to the threshold (the ambient light illuminance is higher than the threshold). (That is, the second position detection algorithm is selected).
  • the shadow by the mallet 401 may be more emphasized by interlocking the illumination device.
  • the material of the casing (mallet 401) to which the IR LED (light emitting element 421) is attached is a material that transmits the detection wavelength
  • the imaging device 30 is used for imaging with a wavelength body that does not transmit through the housing, and the shadow data obtained from the captured image is combined with the imaging wavelength (corresponding to the bright spot position) at the detection wavelength (of the light emitting element 421). The position may be detected.
  • FIG. 8 is a diagram illustrating an example (information processing system 1b) in which the information processing system 1 according to the present embodiment is applied to sports climbing.
  • sports climbing is a competition in which a player grabs a protrusion (holds 701 to 703) attached to a wall 70 called a wall and climbs.
  • a protrusion holds 701 to 703 attached to a wall 70 called a wall and climbs.
  • the position of the user (competitor) on the wall 70 is detected.
  • the light emitting element 71 is attached to the user and used to detect the user's limbs.
  • One or more light emitting elements 71 may be attached to the user's body.
  • the wall 70 has a characteristic of transmitting the wavelength of the light emitting element 71.
  • the wall 70 may be a porous material.
  • the imaging device 30 performs imaging from the back side of the wall 70 where the user climbs, that is, from the direction facing the user via the wall 70.
  • the user's body corresponds to the case of the mallet 401 in the information processing system 1a, and when the user's shadow can be extracted from the captured image, the bright spot corresponding to the light emitting element 71 attached to the user's body is It will be located in the user's shadow.
  • the position detection algorithm adjustment unit 102 selects the first position detection algorithm for performing position detection only by the bright spot of the light emitting element 71 when the external light illuminance is sufficiently low (for example, below a predetermined threshold), When the external light illuminance is higher than a predetermined threshold, the second position detection algorithm that combines the shadow of the user and the bright spot position of the light emitting element is selected.
  • the position detection unit 101 can also identify the user individually based on the attachment position of the light emitting element 71 to the user.
  • FIG. 9 is a diagram illustrating an example (information processing system 1c) in which the information processing system 1 according to the present embodiment is applied to a living environment.
  • a plurality of detection cameras are detected in order to detect an object 80 (object or person) on which a plurality of IR LEDs (light emitting elements 801 and 802) are mounted in a living environment. Is installed. Since the living environment is assumed to have a lot of blind spots as compared with the above-described examples of air hockey and sports climbing, it is preferable to use a plurality of detection cameras. Further, since a plurality of detection cameras are used to capture images from multiple directions, it is preferable to mount a plurality of IR LEDs (light emitting elements) on the object 80.
  • each of the imaging devices 30A to 30C performs imaging from a direction facing the object 80 without using a member or the like, unlike the above-described example.
  • the object 80 when the object 80 is sufficiently exposed to external light, the object 80 can be imaged by the imaging device 30A and the imaging device 30B.
  • FIG. 10 An example of a captured image acquired from the imaging device 30A and the imaging device 30B is shown in FIG.
  • a captured image 820 illustrated in FIG. 10 is an image acquired from the angle of view of the imaging device 30A illustrated in FIG. 9, and a captured image 830 is an image acquired from the angle of view of the imaging device 30B.
  • the imaging device 30B since the external light is stronger than the luminance of the light emitting elements 801 and 802, the bright spots of the light emitting elements 801 and 802 cannot be detected as shown in the captured image 830. Moreover, the shadow of the target object 80 does not arise in the captured image 830 from the relationship between the target object 80, the imaging device 30B, and the incident direction of external light shown in FIG.
  • the captured image 830 shadows the object 80.
  • position detection is possible by a combination (positional relationship) of a shadow and a bright spot.
  • a captured image 840 as shown in FIG. 12 can be acquired from the imaging device 30C.
  • the information processing apparatus 10 can perform position detection by detecting only the bright spot using the first position detection algorithm.
  • the information processing apparatus 10 can be used not only for the illuminance of external light but also for the environment such as the incident direction of external light (for example, can be specified from the position of the window 81), the position of each imaging device 30, and the position of the installation. Accordingly, it is possible to perform stable position detection by appropriately selecting a position detection algorithm.
  • the information processing system 1 is not limited to the above-described example.
  • the information processing apparatus 10 may perform individual recognition of each object based on the shape of the shadow of the object.
  • the information processing apparatus 10 may perform individual recognition of each object based on the shape, number, and arrangement of bright spots.
  • visible light may be used for the detection wavelength.
  • the light-emitting element 42 when detecting through the plate-shaped member 50 which permeate
  • a computer program for causing hardware such as a CPU, a ROM, and a RAM built in the information processing apparatus 10 described above to exhibit the functions of the information processing apparatus 10.
  • a computer-readable storage medium storing the computer program is also provided.
  • this technique can also take the following structures.
  • a control unit that performs position detection is provided.
  • the information processing apparatus wherein the control unit adjusts an algorithm for detecting the position of the object according to an illuminance detection result of external light including at least a wavelength of the light emission or the reflected light.
  • the controller is The information processing apparatus according to (1), wherein a plurality of algorithms are switched according to the illuminance detection result as adjustment of the algorithm.
  • the information processing apparatus wherein the plurality of algorithms include a first position detection algorithm based on a position of a bright spot detected from the captured image.
  • the plurality of algorithms include a second position detection algorithm based on a position of a bright spot with respect to a shadow area detected from the captured image.
  • the second position detection algorithm is an algorithm that estimates that the bright spot is the position of the object when the bright spot is located inside the shadow region. apparatus.
  • the controller is When the illuminance detection result does not exceed a predetermined threshold, using the first position detection algorithm, The information processing apparatus according to (4) or (5), wherein when the illuminance detection result exceeds a predetermined threshold, the second position detection algorithm is used.
  • the controller is In the captured image, the first position detection algorithm is used for a region where the illuminance detection result is lower than a predetermined value, and the second position detection algorithm is used for a region where the illuminance detection result is higher than a predetermined value.
  • the information processing apparatus according to (4) or (5) which is used.
  • the information processing apparatus includes: The information processing apparatus according to any one of (1) to (7), wherein the illuminance detection result of the external light is acquired from an external light illuminance sensor. (9) The information processing apparatus according to (4) or (5), wherein the illuminance detection result of the external light is acquired from the captured image. (10) The controller is In the captured image, when a region having a brightness exceeding a predetermined threshold is equal to or larger than a predetermined size corresponding to the light emitting unit or the reflective material, the second position detection algorithm is used. The information processing apparatus described. (11) The controller is The information processing apparatus according to (9), wherein the second position detection algorithm is used when a predetermined shadow area can be detected based on luminance information extracted from the captured image.
  • the controller is The information processing apparatus according to (1), wherein a parameter used in the algorithm is changed according to the illuminance detection result as adjustment of the algorithm.
  • the captured image is an image captured from a side of the object on which the light emitting unit or the reflective material is provided through a member that transmits the wavelength of the light emission or the reflected light.
  • the information processing apparatus according to any one of (12).
  • the said control part is a program which adjusts the algorithm of the position detection of the said target object according to the illumination intensity detection result of the external light which contains the wavelength of the said light emission or the said reflected light at least.
  • Information processing system 10 Information processing device 100 Control unit 101 Position detection unit 102 Position detection algorithm adjustment unit 110 Communication unit 120 Operation input unit 130 Display unit 140 Storage unit 20 External sensor 30 Imaging device 30A Imaging device 30B Imaging device 30C Imaging device 40 Object 42 Light emitting element 50 Plate member 52 Projector 60, 61, 62 Captured image 70 Wall 71 Light emitting element 80 Object 401, 401A, 401B Mallet 421 Light emitting element 431 Pack 501 Board surface 601, 602 Bright spot 611, 612 Shadow region 622, 625 Bright spot 624 Shadow region 801, 802 Light emitting element 820, 830, 840 Captured image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】検出波長が外光に含まれる環境においても安定した位置検出を行うことが可能な情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行う制御部を備え、前記制御部は、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整する、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　従来、赤外光等の特定の波長の発光を用いて位置を検出する手法が、ペン入力装置などに導入されてきた。
　例えば下記特許文献１では、背面投写型表示装置などの画像表示用の透過型スクリーン上に座標入力機能を与える座標入力システムにおいて、ライトペンよりも小型軽量である光反射型指示具を用いることが開示されている。
特開平１１－２２４１６０号公報
　しかしながら、外光などの検出波長を含む環境においては、環境光と検出対象の位置を判別することが困難な場合があった。
　そこで、本開示では、検出波長が外光に含まれる環境においても安定した位置検出を行うことが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行う制御部を備え、前記制御部は、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整する、情報処理装置を提案する。
　本開示によれば、プロセッサが、発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行うこと、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整すること、を含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行う制御部として機能させ、前記制御部は、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整する、プログラムを提案する。
　以上説明したように本開示によれば、検出波長が外光に含まれる環境においても安定した位置検出を行うことが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本開示による情報処理システムをエアホッケーに適応した場合の配置構成について説明する図である。 本実施形態による情報処理装置の構成の一例を示すブロック図である。 本実施形態による輝点に基づく位置検出アルゴリズムの一例について説明する図である。 本実施形態による影と輝点の位置関係に基づく位置検出アルゴリズムの一例について説明する図である。 本実施形態による領域毎に異なる位置検出アルゴリズムを用いる場合について説明する図である。 本実施形態による位置検出処理の流れの一例を示すフローチャートである。 本実施形態による情報処理システムをスポーツクライミングに適用した例について説明する図である。 本実施形態による情報処理システムを生活環境に適用した例について説明する図である。 図９に示す配置構成における各カメラから取得される撮像画像の一例を示す図である。 図９に示す生活環境への適用例における対象物の配置が設置物の陰に位置する場合について説明する図である。 図１１に示す場合における撮像装置から取得した撮像画像の一例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．情報処理装置１０の構成例
　３．動作処理
　４．応用例
　　４－１．スポーツクライミングへの適応例
　　４－２．ホームユースへの適応例
　　４－３．その他
　５．まとめ
　＜１．本開示の一実施形態による情報処理システムの概要＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システム１は、周辺環境を測定する外部センサ２０と、発光素子４２が設けられた対象物４０の位置を検出する情報処理装置１０と、対象物４０を発光素子４２が設けられた側から撮像する撮像装置３０と、を含む。
　情報処理装置１０は、撮像装置３０により撮像された撮像画像に基づいて、対象物４０の位置を検出する。
　ここで、外光などの検出波長を含む環境では、環境光と検出対象の位置を判別することが困難な場合があった。すなわち、対象物に設けた発光素子を撮像した撮像画像から発光素子の輝点を検出して対象物の位置を検出する手法を用いる場合、発光素子の発光波長（検出波長）を含む外光の照度が高いと、輝点の照度に比べて周囲の外光の照度が十分に高く検出されてしまい、輝点の検出や検出対象の位置の判別を行うことが難しい。
　そこで、本実施形態では、図１に示すように、対象物４０の底面の一部（好ましくは底面の外郭に接地しない位置）に発光素子４２を設け、対象物４０が置かれた板状部材５０を介して下側から、すなわち、発光素子４２が設けられた底面に対向する方向から撮像するよう撮像装置３０を配置して撮像画像を取得し、当該撮像画像から対象物４０の位置を検出する。この際、情報処理装置１０は、外部センサ２０により検知した外光環境に応じて、対象物４０の位置を検出する際に用いるアルゴリズムを調整することで、検出波長が外光に含まれる環境においても安定した位置検出を行うことを可能とする。
　なお、図１に示す対象物４０は、固定されていてもよいし、ユーザや自立動作によって位置を変更してもよい。対象物４０に設けられる発光素子４２は、特定の波長を発光するものであり、例えばＬＥＤや有機ＥＬなど自発光するものであってもよいし、微粒子やプリズムを用いた再帰性材料やミラーなど、別光源を反射させる反射材であってもよい。また、発光素子４２は、対象物４０に対して、単一でも複数個であってもよい。また、発光素子４２は、発光特性の異なる素子を組み合わせて配置されてもよい。対象物４０を形成する筐体は、発光素子を固定することや別の機能を目的にしたものであってもよい。
　外部センサ２０は、対象物４０と撮像装置３０の周辺環境、特に対象物４０の検出に影響する照度環境を把握するために用いられる。外部センサ２０は、特定の波長での画像を取得するカメラや、照度センサにより実現される。取得する波長は、複数でも単一でもよい。また、外部センサ２０は、単一でも複数であってもよい。なお、撮像装置３０が、外部センサ２０の機能を兼ねてもよい。
　対象物４０が載置される板状部材５０は、発光素子４２の発光波長を透過する部材である。また、板状部材５０は、対象物４０と撮像装置３０の間に位置する。
　情報処理装置１０は、上述したように、撮像装置３０による撮像画像に基づいて対象物４０の位置を検出する。具体的には、情報処理装置１０は、外部センサ２０による検知結果に基づいて、位置検出に用いるアルゴリズムを調整し得る。より具体的には、情報処理装置１０は、例えば発光素子４２の発光強度に対する外光照度環境に応じて、利用する位置検出アルゴリズムを切り替えたり、利用する位置検出アルゴリズムで用いるパラメータを変更したりする。
　以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムの構成および動作処理について具体的に説明するが、本実施形態では、一例としてエアホッケーへの適応例を用いて説明する。
　図２は、本開示による情報処理システム１をエアホッケーに適応した場合の配置構成について説明する図である。エアホッケーは、マレットと呼ばれる器具（以下、マレット４０１）をユーザが把持し、盤上でプラスチック製等のパックと呼ばれる円盤（以下、パック４３１）を打ち合う遊戯であり、パック４３１は盤面上に噴出したエアーによって浮上している。図２に示すように、複数ユーザで対戦する場合、各ユーザ（ユーザＡ、ユーザＢ）が、マレット４０１Ａ、マレット４０１Ｂをそれぞれ把持して操作し、パック４３１を打ち合う。
　また、本実施例においては、ユーザの把持するマレット４０１が対象物４０に該当し、図２に示すように、マレット４０１の底面部に発光素子４２１を設置する。本実施形態では、例えば発光素子４２１には、赤外線（ＩＲ）　ＬＥＤを用いる。この際、盤面５０１は、可視光領域を透過せず、ＩＲを透過する材質（白ＰＭＭＡ（Polymethyl　methacrylate）や布など）により形成する。これにより、ユーザからは検出用のカメラ（撮像装置３０）などの設置治具類を目視されないようにすることができ、エアホッケー遊戯装置の見栄えを損なわないようにすることができる。また、可視光を透過しない盤面５０１にすることで、盤面５０１上に、プロジェクタ５２により映像等を投影することが可能となる。情報処理装置１０は、本システムにより検出したマレット４０１の位置情報に合わせて、プロジェクタ５２により適宜盤面５０１に映像等を投影することが可能である。
　また、マレット４０１が載置される盤面５０１の下側において、盤面５０１に対向して設置される撮像装置３０の画角は、盤面５０１の全体が撮影可能な画角になっていることが好ましい。また、撮像装置３０は、発光素子４２１の発光波長のみを検出するバンドパスフィルタなどによって、撮影波長が制限されていてもよい。
　続いて、本実施形態による情報処理装置１０の具体的な構成について説明する。
　＜２．情報処理装置１０の構成例＞
　図３は、本実施形態による情報処理装置１０の構成の一例を示すブロック図である。図３に示すように、情報処理装置１０は、制御部１００、通信部１１０、操作入力部１２０、表示部１３０、および記憶部１４０を有する。
　制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、本実施形態による制御部１００は、位置検出部１０１、および、位置検出アルゴリズム調整部１０２としても機能する。
　位置検出部１０１は、撮像装置３０により取得された撮像画像に基づいて、位置検出アルゴリズム調整部１０２により調整された位置検出アルゴリズムを用いて、マレット４０１の位置検出を行う。
　位置検出アルゴリズム調整部１０２は、外部センサ２０の外光照度検知結果に基づいて、位置検出アルゴリズムを調整する。位置検出アルゴリズムの調整は、複数の位置検出アルゴリズムの切り替えと、位置検出アルゴリズムのパラメータ変更が想定される。
　ここで、外光照度検知結果に応じた複数の位置検出アルゴリズムの切り替えについて説明する。
　まず、第１の位置検出アルゴリズムとして、外光照度が発光素子４２１の輝度（照度）に対して十分小さい場合に用いるアルゴリズムについて説明する。
　本実施形態において、「外光照度」とは、撮像装置３０が検出する波長（検出波長であって、発光素子４２１の発光波長に対応する）の照度を意味する。外光照度が十分低い場合の例としては、例えば、照明がない場合や照明類が赤外線を含まない場合などが想定される。この場合、外光照度が十分低いため、撮像装置３０で取得した撮像画像において、ＩＲ　ＬＥＤ（発光素子４２１）の輝点が最も輝度が高い状態となる。
　位置検出アルゴリズム調整部１０２は、例えば、発光素子４２１の輝度に応じて設定された所定の閾値を外光照度が下回る場合に、外光照度が十分小さいと判断してもよい。
　この場合、撮像装置３０により取得される撮像画像は、例えば図４に示すように、マレット４０１Ａ、４０１Ｂに対応する各輝点６０１、６０２を検出できる撮像画像６０となるため、位置検出部１０１は、輝度の高い輝点６０１、６０２を検出し、検出された輝点の位置からマレット４０１Ａ、４０１Ｂの位置を算出することが可能となる。
　なお、照度環境の検知は、外部センサ２０に限定されず、撮像装置３０により取得された撮像画像から判断することも可能である（すなわち、撮像装置３０が外部センサ２０の機能を兼ねる）。例えば、撮像装置３０により取得された撮像画像から、所定サイズの輝点（発光素子４２１に対応する輝点の大きさが既知とする）が検出できる場合、位置検出アルゴリズム調整部１０２は、外光照度が発光素子４２１の輝度（照度）に対して十分小さいと判断し、上記第１の位置検出アルゴリズムを選択する。
　次に、第２の位置検出アルゴリズムとして、外光照度が発光素子４２１の輝度（照度）に対して大きい場合に用いるアルゴリズムについて説明する。
　外光照度が発光素子４２１の輝度に対して大きい場合の例としては、例えば、太陽光が直接照射している環境や水銀ランプなど赤外線を発生する照明環境の場合が想定される。この場合、外光照度が十分高いため、撮像装置３０で取得した撮像画像において、ＩＲ　ＬＥＤ（発光素子４２１）の輝点の照度に比べて、外光による照度が十分高く検出され、上記第１のアルゴリズムでは輝点検出を行うことができない。なお、位置検出アルゴリズム調整部１０２は、例えば、発光素子４２１の輝度に応じて設定された所定の閾値を外光照度が上回る場合に、発光素子４２１の輝度に対して外光照度が大きいと判断してもよい。
　この場合、位置検出アルゴリズム調整部１０２は、第２の位置検出アルゴリズムとして、撮像画像から取得した輝度情報に基づいて輝度の低いエリア（マレット４０１によって影になっている部分）と、その中の輝度の高い位置（輝点）とを組み合わせることで、マレット４０１（対象物）の位置を判断する手段を選択する。具体的には、例えば図５に示すように、撮像画像６１において、影領域６１１、６１２の中に輝点６０１、６０２が位置するという位置関係が得られた場合、輝点６０１、６０２はマレット４０１Ａ、４０１Ｂに対応するものであると判断し、マレット４０１Ａ、４０１Ｂの位置算出を行うことが可能となる。また、マレット４０１の形状をした影領域の位置を検出し、その位置を直接マレット４０１の位置として出力してもよい。このようなマレット４０１の影を含む撮像画像６１は、撮像装置３０が、マレット４０１を発光素子４２１が設けられた面と対向する方向から撮像することで得られるものである。
　以上、複数の位置検出アルゴリズムと、その選択について説明した。
　なお、外光照度がエリア内（撮像装置３０による検出範囲内）で均一ではない場合も想定される。例えば、庇などによって一部の領域に外光が当たらなくなっている場合などが考え得る。そこで、位置検出アルゴリズム調整部１０２は、撮像画像の輝度情報に基づいて、撮像装置３０により取得した撮像画像内の輝度が異なる領域毎に異なる位置検出アルゴリズムを選択するようにしてもよい。例えば、図６に示すように、撮像画像６２のうち、輝度が所定値よりも低い第１の領域６２１と、輝度が所定値よりも高い第２の領域６２３とが検出された場合、位置検出アルゴリズム調整部１０２は、第１の領域６２１については、輝点６２２のみに基づいて位置検出が可能であるため、上記第１の位置検出アルゴリズムを用い、第２の領域６２３については、影領域６２４と輝点６２５の位置関係に基づいて位置検出が可能であるため、上記第２の位置検出アルゴリズムを用いるよう設定してもよい。このように、本実施形態では、位置検出アルゴリズムを照度条件によってエリアごとに選択することが可能である。
　さらに、本実施形態による位置検出アルゴリズム調整部１０２は、外光照度検知結果に応じた位置検出アルゴリズムの調整として、所定の位置検出アルゴリズムのパラメータを変更することも可能である。
　例えば、上記第２の位置検出アルゴリズムを常に使用している状況において、位置検出アルゴリズム調整部１０２は、当該アルゴリズム内で使用する影位置パラメータに照度に応じた重み係数を乗算するようにしてもよい。これにより、例えば、照度が０であれば、照度を乗算した影位置のパラメータも０になり、結果として輝点位置のみに基づく検出となる。また上述したように外光照度がエリア内で均一でない場合には、撮像画像の輝度情報に基づいて輝度が異なる領域を設定し、撮像装置３０により取得した撮像画像内の領域毎に異なるパラメータを適用しても良い。
　以上、情報処理装置１０の各機能について説明した。なお、情報処理装置１０は、位置検出部１０１により検出したマレット４０１の位置情報に基づいて板状部材５０への所定の映像の投影を制御する投影制御信号を生成し、通信部１１０を介してプロジェクタ５２に送信するよう制御してもよい。
　（通信部１１０）
　通信部１１０は、他の装置との間で情報の送受信を行う。例えば、通信部１１０は、外部センサ２０から外光照度の検知結果を受信したり、撮像装置３０から撮像画像を受信したりする。また、通信部１１０は、位置検出部１０１により検出された位置情報や、当該位置情報に応じた投影制御信号をプロジェクタ５２に送信することも可能である。
　通信部１１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、またはＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信、携帯通信網（ＬＴＥ（Long　Term　Evolution）、または３Ｇ（第３世代の移動体通信方式））等により他の装置と通信接続する。
　（操作入力部１２０）
　操作入力部１２０は、ユーザによる操作指示を受付け、その操作内容を制御部１００に出力する。操作入力部１２０は、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部１２０は、キーボード、マウス、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
　（表示部１３０）
　表示部１３０は、各種表示画面を出力する表示装置である。例えば表示部１３０は、知覚位置情報（移動経路を含む）や、生成した触覚提示信号を表示してもよい。この表示部１３０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）、有機ＥＬ（Electro　Luminescence）ディスプレイなどの表示装置であってもよい。
　（記憶部１４０）
　記憶部１４０は、制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。
　以上、本実施形態による情報処理装置１０の構成について具体的に説明した。なお情報処理装置１０の構成は、図３に示す例に限定されない。例えば、情報処理装置１０は、複数の装置により構成されていてもよい。また、情報処理装置１０は、音声入力部および音声出力部をさらに有していてもよい。
　また、情報処理装置１０は、ＰＣ、スマートフォン、携帯電話端末、タブレット端末、または専用端末等により実現されてもよい。また、情報処理装置１０の制御部１００の少なくとも一部が、ネットワーク上のサーバにより実現されていてもよい。
　＜３．動作処理＞
　続いて、本実施形態による情報処理システムの動作処理について図７を用いて具体的に説明する。図７は、本実施形態による位置検出処理の流れの一例を示すフローチャートである。
　図７に示すように、まず、情報処理装置１０は、撮像装置３０から撮像画像を取得する（ステップＳ１０３）。
　次いで、情報処理装置１０は、外部センサ２０から外光照度を取得する（ステップＳ１０６）。
　次に、位置検出アルゴリズム調整部１０２は、外光照度が閾値以上であるか否かを判断する（ステップＳ１０９）。
　次いで、外光照度が閾値以上である場合（ステップＳ１０９／Ｙｅｓ）、情報処理装置１０は、位置検出アルゴリズム調整部１０２により、ＬＥＤ（発光素子４２１）の輝点位置と影の位置の組み合わせ（位置関係）に基づく位置検出アルゴリズムを選択し、位置検出部１０１により、当該選択した位置検出アルゴリズムを用いてマレット４０１の位置検出を行う（ステップＳ１１２）。
　一方、外光照度が閾値以上ではない場合（ステップＳ１０９／Ｎｏ）、情報処理装置１０は、位置検出アルゴリズム調整部１０２により、ＬＥＤ（発光素子４２１）の輝点位置のみに基づく位置検出アルゴリズムを選択し、位置検出部１０１により、当該選択した位置検出アルゴリズムを用いてマレット４０１の位置検出を行う（ステップＳ１１５）。
　以上、本実施形態による動作処理の一例を説明した。なお図７に示す動作処理は一例であって、本開示は図７に示す例に限定されない。例えば、本開示は、図７に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば、ステップＳ１０３の処理とステップＳ１０６の処理は並列に処理されてもよいし、逆の順番で処理されてもよい。
　（補足）
　上記ステップＳ１０９において、外光照度と閾値との比較を行っているが、かかる処理は、主に外光照度と発光素子４２１の照度との関係を評価するものである。ここで、他の評価方法（位置検出アルゴリズムを選択する判断基準）としては、以下のような例も挙げられる。
　・発光素子４２１への投入電流や発光特性から導き出された推定値と、検知された外光照度とを比較
　・初期設定時に取得した発光素子４２１の照度情報に基づいて、検知された外光照度を評価
　また、撮像装置３０が外部センサ２０の機能を兼ねる場合、位置検出アルゴリズム調整部１０２は、撮像画像において、発光素子４２に対応するサイズに比べて輝度の高い観測エリアが大きい場合、閾値以上である（外光照度が閾値より高い）と判断してもよい（すなわち、上記第２の位置検出アルゴリズムを選択する）。また、位置検出アルゴリズム調整部１０２は、撮像画像から取得した輝度情報に基づいて、撮像画像から影領域が検出できた場合、閾値以上である（外光照度が閾値より高い）と判断してもよい（すなわち、上記第２の位置検出アルゴリズムを選択する）。
　また、外部にＩＲ投光器など、別途照明装置がある場合には、当該照明装置を連動させることで、マレット４０１による影をより強調するようにしてもよい。
　また、ＩＲ　ＬＥＤ（発光素子４２１）を取り付けた筐体（マレット４０１）の材質が、検出波長を透過する材質であった場合、筐体によって影が発生しないことが想定されるため、筐体内部に、検出波長を透過しない材質部品を取り付けるようにしてもよい。若しくは、筐体を透過しない波長体により撮像装置３０による撮影を行い、撮像画像から得た影のデータと、（発光素子４２１の）検出波長での撮影波長（輝点位置に相当）とを組み合わせて位置検出を行ってもよい。
　＜４．適用例＞
　以上、本実施形態による情報処理システム１をエアホッケーに適用する例（情報処理システム１ａ）について説明したが、本実施形態はこれに限定されず、例えば以下のような適用例も可能である。
　（４－１．スポーツクライミングへの適応例）
　図８は、本実施形態による情報処理システム１をスポーツクライミングに適用した例（情報処理システム１ｂ）について説明する図である。
　スポーツクライミングは、図８に示すように、ウォールと称される壁７０に取り付けられた突起物（ホールド７０１～７０３）を競技者が掴み、登っていく競技である。情報処理システム１ｂでは、壁７０におけるユーザ（競技者）の位置を検出する。
　具体的には、発光素子７１がユーザに取り付けられ、ユーザの手足などの検出に使用される。発光素子７１はユーザの身体に１以上取り付けられていてもよい。
　また、壁７０は、発光素子７１の波長を透過する特性を有している。また、壁７０は、多孔質素材であってもよい。
　撮像装置３０は、ユーザが登る壁７０の裏側から、すなわち、壁７０を介してユーザに対向する方向から撮像を行う。ここでは、ユーザの身体は、情報処理システム１ａにおけるマレット４０１の筐体に該当し、撮像画像からユーザの影が抽出できる場合、ユーザの身体に取り付けられた発光素子７１に対応する輝点が、ユーザの影の中に位置することとなる。
　位置検出アルゴリズム調整部１０２は、外光照度が十分低い場合（例えば所定の閾値を下回る場合）には、発光素子７１の輝点のみにより位置検出を行う上記第１の位置検出アルゴリズムを選択し、一方、外光照度が所定の閾値より高い場合には、ユーザの影と発光素子の輝点位置を組み合わせる上記第２の位置検出アルゴリズムを選択する。
　また、ユーザの影情報からユーザの骨格推定ができる場合には、位置検出部１０１は、ユーザへの発光素子７１の取り付け位置によってユーザの個別識別を行うことも可能である。
　また、発光素子の波長を透過する床の上をユーザが歩いている際に、ユーザの足裏や靴裏などに発光素子を設けて、裏面から検出して人位置検出などを行うことも可能である。
　（４－２．ホームユースへの適応例）
　続いて、図９～図１２を参照して、生活環境への適応例について説明する。
　図９は、本実施形態による情報処理システム１を生活環境に適用した例（情報処理システム１ｃ）について説明する図である。
　図９に示す例では、生活環境において、複数のＩＲ　ＬＥＤ（発光素子８０１、８０２）を実装した対象物８０（物体または人）を検出するため、複数の検出用カメラ（撮像装置３０Ａ～３０Ｃ）が設置される。生活環境は、上述したエアホッケーやスポーツクライミングの例に比べて死角になる場所が多く想定されるため、複数の検出用カメラを用いることが好ましい。また、複数の検出用カメラにより多方向から撮影されるため、対象物８０には複数のＩＲ　ＬＥＤ（発光素子）を実装することが好ましい。
　なお、本実施例では、各撮像装置３０Ａ～３０Ｃは、上述した例と異なり、部材等を介さずに対象物８０に対向する方向から撮像を行っている。
　図９に示すような配置構成において対象物８０に十分に外光が当たっている場合、対象物８０は撮像装置３０Ａおよび撮像装置３０Ｂにより撮像可能である。ここで、かかる撮像装置３０Ａおよび撮像装置３０Ｂから取得される撮像画像の一例を図１０に示す。図１０に示す撮像画像８２０は、図９に示す撮像装置３０Ａの画角から取得された画像、撮像画像８３０は撮像装置３０Ｂの画角から取得された画像である。
　撮像装置３０Ｂの画角では、発光素子８０１、８０２の輝度に比べて外光が強いため、撮像画像８３０に示すように発光素子８０１、８０２の輝点を検出することができない。また、図９に示す対象物８０と撮像装置３０Ｂと外光の入射方向の関係から、撮像画像８３０では、対象物８０の影も生じない。
　一方、撮像装置３０Ａの画角では、発光素子８０１、８０２の輝度に比べて外光が強い場合であっても、撮像画像８３０では、対象物８０の影が生じるため、情報処理装置１０は、上記第２の位置検出アルゴリズムを用いて、影と輝点との組み合わせ（位置関係）により位置検出が可能である。
　また、図１１に示すように、対象物８０が、テーブル等の設置物の影に位置している場合には、撮像装置３０Ｃから、図１２に示すような撮像画像８４０が取得され得る。この場合、情報処理装置１０は、上記第１の位置検出アルゴリズムを用いて、輝点のみの検出によって位置検出を行うことが可能である。
　以上説明したように、情報処理装置１０は、外光照度の他、外光の入射方向（例えば窓８１の位置から特定可能）や各撮像装置３０の位置、および設置物の位置等の環境などに応じて、位置検出アルゴリズムを適宜選択して安定した位置検出を行うことを可能とする。
　（４－３．その他）
　以上、本開示による情報処理システム１について具体例を用いて説明した。
　なお、本開示による情報処理システム１は上述した例に限定されず、例えば、情報処理装置１０は、対象物の影の形状によって各対象物の個別認識を行ってもよい。
　また、情報処理装置１０は、輝点の形状や数、配置等によって各対象物の個別認識を行ってもよい。
　または、検出波長に可視光を用いてもよい。
　＜５．まとめ＞
　上述したように、本開示の実施形態による情報処理システムでは、検出波長が外光に含まれる環境においても安定した位置検出を行うことが可能となる。
　また、影の形状を識別することで、複数の対象物を固体識別することが可能である。
　また、発光素子４２の発光波長を透過する板状部材５０を介して検出する場合、板状部材５０上に載置された対象物４０の底面に発光素子４２を設け、検出エリアの裏側から板状部材５０を介して検出することで、オクルージョンのない検出が可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行う制御部を備え、
　前記制御部は、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整する、情報処理装置。
（２）
　前記制御部は、
　　前記アルゴリズムの調整として、前記照度検知結果に応じて、複数のアルゴリズムを切り替える、前記（１）に記載の情報処理装置。
（３）
　前記複数のアルゴリズムは、前記撮像画像から検出した輝点の位置に基づく第１の位置検出アルゴリズムを含む、前記（２）に記載の情報処理装置。
（４）
　前記複数のアルゴリズムは、前記撮像画像から検出した影領域に対する輝点の位置に基づく第２の位置検出アルゴリズムを含む、前記（３）に記載の情報処理装置。
（５）
　前記第２の位置検出アルゴリズムは、前記影領域の内側に前記輝点が位置する場合、当該輝点が前記対象物の位置であると推定するアルゴリズムである、前記（４）に記載の情報処理装置。
（６）
　前記制御部は、
　　前記照度検知結果が所定の閾値を超えない場合、前記第１の位置検出アルゴリズムを用い、
　　前記照度検知結果が所定の閾値を超える場合、前記第２の位置検出アルゴリズムを用いる、前記（４）または（５）に記載の情報処理装置。
（７）
　前記制御部は、
　　前記撮像画像のうち、前記照度検知結果が所定値より低い領域については、前記第１の位置検出アルゴリズムを用い、前記照度検知結果が所定値より高い領域については、前記第２の位置検出アルゴリズムを用いる、前記（４）または（５）に記載の情報処理装置。
（８）
　前記情報処理装置は、
　　前記外光の前記照度検知結果を外光照度センサから取得する、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記外光の前記照度検知結果は、前記撮像画像から取得される、前記（４）または（５）に記載の情報処理装置。
（１０）
　前記制御部は、
　　前記撮像画像のうち、所定の閾値を超える輝度の領域が、前記発光部または前記反射材に対応する所定の大きさ以上である場合、前記第２の位置検出アルゴリズムを用いる、前記（９）に記載の情報処理装置。
（１１）
　前記制御部は、
　　前記撮像画像から抽出した輝度情報に基づいて、所定の影領域が検出できた場合、前記第２の位置検出アルゴリズムを用いる、前記（９）に記載の情報処理装置。
（１２）
　前記制御部は、
　　前記アルゴリズムの調整として、前記照度検知結果に応じて、前記アルゴリズムで用いるパラメータを変更する、前記（１）に記載の情報処理装置。
（１３）
　前記撮像画像は、前記発光または前記反射光の波長を透過する部材を介して、前記対象物の前記発光部または前記反射材が設けられた側から撮像された画像である、前記（１）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
　プロセッサが、
　発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行うこと、
　前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整すること、
を含む、情報処理方法。
（１５）
　コンピュータを、
　発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行う制御部として機能させ、
　前記制御部は、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整する、プログラム。
　１、１ａ、１ｂ、１ｃ　情報処理システム
　１０　情報処理装置
　　１００　制御部
　　１０１　位置検出部
　　１０２　位置検出アルゴリズム調整部
　　１１０　通信部
　　１２０　操作入力部
　　１３０　表示部
　　１４０　記憶部
　２０　外部センサ
　３０　撮像装置
　３０Ａ　撮像装置
　３０Ｂ　撮像装置
　３０Ｃ　撮像装置
　４０　対象物
　４２　発光素子
　５０　板状部材
　５２　プロジェクタ
　６０、６１、６２　撮像画像
　７０　壁
　７１　発光素子
　８０　対象物
　４０１、４０１Ａ、４０１Ｂ　マレット
　４２１　発光素子
　４３１　パック
　５０１　盤面
　６０１、６０２　輝点
　６１１、６１２　影領域
　６２２、６２５　輝点
　６２４　影領域
　８０１、８０２　発光素子
　８２０、８３０、８４０　撮像画像

Claims (15)

  1. 　発光部または反射材
    が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行う制御部を備え、
    　前記制御部は、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整する、情報処理装置。
  2. 　前記制御部は、
    　　前記アルゴリズムの調整として、前記照度検知結果に応じて、複数のアルゴリズムを切り替える、請求項１に記載の情報処理装置。
  3. 　前記複数のアルゴリズムは、前記撮像画像から検出した輝点の位置に基づく第１の位置検出アルゴリズムを含む、請求項２に記載の情報処理装置。
  4. 　前記複数のアルゴリズムは、前記撮像画像から検出した影領域に対する輝点の位置に基づく第２の位置検出アルゴリズムを含む、請求項３に記載の情報処理装置。
  5. 　前記第２の位置検出アルゴリズムは、前記影領域の内側に前記輝点が位置する場合、当該輝点が前記対象物の位置であると推定するアルゴリズムである、請求項４に記載の情報処理装置。
  6. 　前記制御部は、
    　　前記照度検知結果が所定の閾値を超えない場合、前記第１の位置検出アルゴリズムを用い、
    　　前記照度検知結果が所定の閾値を超える場合、前記第２の位置検出アルゴリズムを用いる、請求項４に記載の情報処理装置。
  7. 　前記制御部は、
    　　前記撮像画像のうち、前記照度検知結果が所定値より低い領域については、前記第１の位置検出アルゴリズムを用い、前記照度検知結果が所定値より高い領域については、前記第２の位置検出アルゴリズムを用いる、請求項４に記載の情報処理装置。
  8. 　前記情報処理装置は、
    　　前記外光の前記照度検知結果を外光照度センサから取得する、請求項１に記載の情報処理装置。
  9. 　前記外光の前記照度検知結果は、前記撮像画像から取得される、請求項４に記載の情報処理装置。
  10. 　前記制御部は、
    　　前記撮像画像のうち、所定の閾値を超える輝度の領域が、前記発光部または前記反射材に対応する所定の大きさ以上である場合、前記第２の位置検出アルゴリズムを用いる、請求項９に記載の情報処理装置。
  11. 　前記制御部は、
    　　前記撮像画像から抽出した輝度情報に基づいて、所定の影領域が検出できた場合、前記第２の位置検出アルゴリズムを用いる、請求項９に記載の情報処理装置。
  12. 　前記制御部は、
    　　前記アルゴリズムの調整として、前記照度検知結果に応じて、前記アルゴリズムで用いるパラメータを変更する、請求項１に記載の情報処理装置。
  13. 　前記撮像画像は、前記発光または前記反射光の波長を透過する部材を介して、前記対象物の前記発光部または前記反射材が設けられた側から撮像された画像である、請求項１に記載の情報処理装置。
  14. 　プロセッサが、
    　発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行うこと、
    　前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整すること、
    を含む、情報処理方法。
  15. 　コンピュータを、
    　発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行う制御部として機能させ、
    　前記制御部は、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整する、プログラム。
PCT/JP2019/002840 2018-03-08 2019-01-29 情報処理装置、情報処理方法、およびプログラム WO2019171827A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/976,998 US11944887B2 (en) 2018-03-08 2019-01-29 Information processing device and information processing method
JP2020504851A JP7222391B2 (ja) 2018-03-08 2019-01-29 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018041393 2018-03-08
JP2018-041393 2018-03-08

Publications (1)

Publication Number Publication Date
WO2019171827A1 true WO2019171827A1 (ja) 2019-09-12

Family

ID=67847186

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/002840 WO2019171827A1 (ja) 2018-03-08 2019-01-29 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US11944887B2 (ja)
JP (1) JP7222391B2 (ja)
WO (1) WO2019171827A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075885A1 (en) * 2020-10-05 2022-04-14 Limited Liability Company "Universal Terminal Systems" Device for playing air hockey

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03125905A (ja) * 1989-10-11 1991-05-29 Toshiba Corp 輝点位置測定装置
JPH09166411A (ja) * 1995-12-14 1997-06-24 Toshiba Corp 位置計測用マーカ
JPH11248422A (ja) * 1998-03-05 1999-09-17 Mitsubishi Heavy Ind Ltd セグメント位置検知装置
JP2007155370A (ja) * 2005-12-01 2007-06-21 Shimadzu Corp ヘッドモーショントラッカ
JP2008026236A (ja) * 2006-07-24 2008-02-07 Olympus Corp 位置姿勢測定装置および位置姿勢測定方法
JP2013195626A (ja) * 2012-03-19 2013-09-30 Casio Comput Co Ltd 楽音発生装置
JP2016091423A (ja) * 2014-11-07 2016-05-23 ソニー株式会社 情報処理装置、情報処理システム、実物体システム、および情報処理方法
US20170274275A1 (en) * 2016-03-25 2017-09-28 Zero Latency PTY LTD Interference damping for continuous game play

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069967A (en) * 1997-11-04 2000-05-30 Sensar, Inc. Method and apparatus for illuminating and imaging eyes through eyeglasses
JP3794180B2 (ja) 1997-11-11 2006-07-05 セイコーエプソン株式会社 座標入力システム及び座標入力装置
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
US7744480B2 (en) * 2004-01-20 2010-06-29 Acushnet Company One camera club monitor
US8872914B2 (en) * 2004-02-04 2014-10-28 Acushnet Company One camera stereo system
US20060141433A1 (en) * 2004-12-28 2006-06-29 Hing Cheung C Method of detecting position of rectangular object and object detector
US8016688B2 (en) * 2005-08-15 2011-09-13 Acushnet Company Method and apparatus for measuring ball launch conditions
US8610670B2 (en) * 2006-08-31 2013-12-17 Japan Display West Inc. Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
JP2010244484A (ja) * 2009-04-10 2010-10-28 Funai Electric Co Ltd 画像表示装置、画像表示方法および画像表示プログラム
JP5423222B2 (ja) * 2009-08-07 2014-02-19 ソニー株式会社 位置検出装置および位置検出方法
JP2012208926A (ja) * 2011-03-15 2012-10-25 Nikon Corp 検出装置、入力装置、プロジェクタ、及び電子機器
TWI450150B (zh) * 2011-12-21 2014-08-21 Wistron Corp 觸控方法及觸控系統
CA2862470C (en) * 2012-01-11 2018-10-23 Smart Technologies Ulc Calibration of an interactive light curtain
JP6135239B2 (ja) * 2012-05-18 2017-05-31 株式会社リコー 画像処理装置、画像処理プログラム、画像処理方法
US20140111479A1 (en) * 2012-10-24 2014-04-24 Apple Inc. Interactive Three-Dimensional Display System
JP6075122B2 (ja) * 2013-03-05 2017-02-08 株式会社リコー システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
JP6044403B2 (ja) * 2013-03-18 2016-12-14 富士通株式会社 撮像装置、撮像方法、および撮像プログラム
JP6128008B2 (ja) * 2013-08-26 2017-05-17 ソニー株式会社 投射型表示装置
EP3031386B1 (en) * 2013-09-10 2021-12-29 Sony Group Corporation Image processing device and program
CN105723303B (zh) * 2013-10-08 2019-01-22 麦克赛尔株式会社 投影型影像显示装置、操作检测装置及投影型影像显示方法
TWI534687B (zh) * 2014-01-24 2016-05-21 原相科技股份有限公司 光學觸控系統及其物件分析方法
US20150362989A1 (en) * 2014-06-17 2015-12-17 Amazon Technologies, Inc. Dynamic template selection for object detection and tracking
GB2528446B (en) * 2014-07-21 2021-08-04 Tobii Tech Ab Method and apparatus for detecting and following an eye and/or the gaze direction thereof
JP6392044B2 (ja) * 2014-09-12 2018-09-19 株式会社ミツトヨ 位置計測装置
TWI521413B (zh) * 2014-11-14 2016-02-11 廣達電腦股份有限公司 光學式觸控裝置
JP2016186674A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
US20160335492A1 (en) * 2015-05-15 2016-11-17 Everready Precision Ind. Corp. Optical apparatus and lighting device thereof
US10614291B2 (en) * 2015-06-08 2020-04-07 Beijing Kuangshi Technology Co., Ltd. Living body detection method, living body detection system and computer program product
US20180239979A1 (en) * 2015-09-03 2018-08-23 Nec Corporation Living body recognition device, living body recognition method, and living body recognition program
US9928441B2 (en) * 2015-11-20 2018-03-27 Infinity Augmented Reality Israel Ltd. Method and a system for determining radiation sources characteristics in a scene based on shadowing analysis
US10421012B2 (en) 2016-03-25 2019-09-24 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
US10717001B2 (en) 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
US9916496B2 (en) 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
WO2018002698A1 (en) 2016-06-30 2018-01-04 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
JP2018044828A (ja) * 2016-09-13 2018-03-22 株式会社東芝 物体認識方法、プログラム、および光学システム
WO2018224870A1 (en) 2017-06-05 2018-12-13 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
WO2019107150A1 (ja) * 2017-11-30 2019-06-06 株式会社ニコン 検出装置、処理装置、装着物、検出方法、及び検出プログラム
CN107944422B (zh) * 2017-12-08 2020-05-12 业成科技（成都）有限公司 三维摄像装置、三维摄像方法及人脸识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03125905A (ja) * 1989-10-11 1991-05-29 Toshiba Corp 輝点位置測定装置
JPH09166411A (ja) * 1995-12-14 1997-06-24 Toshiba Corp 位置計測用マーカ
JPH11248422A (ja) * 1998-03-05 1999-09-17 Mitsubishi Heavy Ind Ltd セグメント位置検知装置
JP2007155370A (ja) * 2005-12-01 2007-06-21 Shimadzu Corp ヘッドモーショントラッカ
JP2008026236A (ja) * 2006-07-24 2008-02-07 Olympus Corp 位置姿勢測定装置および位置姿勢測定方法
JP2013195626A (ja) * 2012-03-19 2013-09-30 Casio Comput Co Ltd 楽音発生装置
JP2016091423A (ja) * 2014-11-07 2016-05-23 ソニー株式会社 情報処理装置、情報処理システム、実物体システム、および情報処理方法
US20170274275A1 (en) * 2016-03-25 2017-09-28 Zero Latency PTY LTD Interference damping for continuous game play

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075885A1 (en) * 2020-10-05 2022-04-14 Limited Liability Company "Universal Terminal Systems" Device for playing air hockey

Also Published As

Publication number Publication date
US20210004632A1 (en) 2021-01-07
JP7222391B2 (ja) 2023-02-15
JPWO2019171827A1 (ja) 2021-04-22
US11944887B2 (en) 2024-04-02

Similar Documents

Publication Publication Date Title
JP6139017B2 (ja) 光源の特性を決定する方法及びモバイルデバイス
EP3192330B1 (en) Lighting preference arbitration.
JP4764832B2 (ja) 光入力デバイス用の装置及びその方法
US7652236B2 (en) Lighting system for color control
CN110067972B (zh) 照明装置
JP5047025B2 (ja) 照明システム
JP2009283183A (ja) 照明制御システム
JP2010522922A (ja) 電子機器を追跡するためのシステム及び方法
JP2014086420A (ja) Ｌｅｄライトの照明制御システム及びその方法
JP2011221672A (ja) 画像処理装置、画像処理方法、プログラム、および電子装置
WO2019171827A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN105938410A (zh) 显示装置以及显示装置的控制方法
CN104950555B (zh) 一种控制方法及电子设备
JP3625349B2 (ja) 画像入力装置および画像入力方法
JP2019174917A (ja) 検出装置、及び、検出装置の制御方法
JP3785148B2 (ja) 画像抽出装置
JP2006127539A (ja) 画像抽出装置
JP6709954B2 (ja) 照明制御システム
JP2015088252A (ja) 照明システムおよび照明制御装置
WO2024043036A1 (ja) 推定方法、照明制御方法、推定プログラム、制御装置、及び照明制御システム
TW201715207A (zh) 光學編碼器的工作模式控制方法及使用其的光學編碼器
JP6197163B1 (ja) 入出力システム、入力処理装置、入出力方法、及び、プログラム
JP2011254202A (ja) 撮像装置
JP2021072486A (ja) 撮影システム
KR20120121863A (ko) 광학 내비게이션 시스템, 광학 내비게이션 방법 및 광학 내비게이션 디바이스

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19763253

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020504851

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19763253

Country of ref document: EP

Kind code of ref document: A1