WO2018135095A1 - 情報処理装置、情報処理方法、および情報処理システム - Google Patents

情報処理装置、情報処理方法、および情報処理システム Download PDF

Info

Publication number
WO2018135095A1
WO2018135095A1 PCT/JP2017/040054 JP2017040054W WO2018135095A1 WO 2018135095 A1 WO2018135095 A1 WO 2018135095A1 JP 2017040054 W JP2017040054 W JP 2017040054W WO 2018135095 A1 WO2018135095 A1 WO 2018135095A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
information processing
sensor
processing apparatus
information
Prior art date
Application number
PCT/JP2017/040054
Other languages
English (en)
French (fr)
Inventor
広志 池田
靖二郎 稲葉
伸穂 池田
優太 中尾
秀幸 佐藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17893139.0A priority Critical patent/EP3573326A4/en
Priority to JP2018562891A priority patent/JP7036036B2/ja
Priority to CN201780083243.8A priority patent/CN110169045A/zh
Priority to US16/477,603 priority patent/US11721026B2/en
Publication of WO2018135095A1 publication Critical patent/WO2018135095A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and an information processing system.
  • captured images moving images or still images
  • captured images are used for various purposes such as analysis of sports matches and crime prevention.
  • captured image an example in which the position of the tracking target is superimposed and displayed on the competition area image obtained by capturing the competition area as in the example described in Patent Document 1, for example.
  • target a target to be tracked
  • the target to be tracked is dense, such as when the players are crowded or when the player and the ball are crowded, erroneous detection of the target, false tracking May occur. Therefore, when the target is simply tracked based on the captured image, it is not always possible to track the target with high accuracy.
  • This disclosure proposes a new and improved information processing apparatus, information processing method, and information processing system capable of improving accuracy in tracking an object based on a captured image.
  • an information processing apparatus including a processing unit that tracks the target based on a captured image captured by the imaging device and sensor information acquired by communication from a sensor that senses the target. Is done.
  • an information processing apparatus including a processing unit that identifies the target based on a captured image captured by the imaging device and sensor information acquired by communication from a sensor that senses the target. Provided.
  • the information processing apparatus includes a step of tracking the target based on a captured image captured by the imaging device and sensor information acquired by communication from a sensor that senses the target. An information processing method is provided.
  • the information processing apparatus includes a step of identifying the target based on a captured image captured by the imaging device and sensor information acquired by communication from a sensor that senses the target. An information processing method is provided.
  • the target is tracked based on an imaging device, a sensor that senses the target, a captured image captured by the imaging device, and sensor information acquired from the sensor through communication.
  • An information processing system including an information processing apparatus including a processing unit is provided.
  • FIGS. 1 and 2 are explanatory diagrams for explaining an example of a case where the target cannot be accurately tracked when the target is simply tracked based on the captured image.
  • FIG. 1 shows an example of a captured image in which a soccer game (an example of a sport) is captured.
  • a of FIG. 2 has shown an example of each locus
  • B of FIG. 2 has shown the other example of each locus
  • the object when players (an example of an object; the same applies hereinafter) are dense, that is, when the objects overlap in the captured image, the object may not be detected. It can happen.
  • the target cannot be detected as described above, the tracking accuracy of the target is deteriorated, such as being unable to track the target or performing incorrect tracking.
  • the resolution of the captured image may specify the target. If the resolution is not as high as possible, the target cannot be identified. If the target cannot be identified as described above, the tracking accuracy of the target may be reduced, such as erroneous tracking.
  • a method using the detection result of the inertial sensor can be considered.
  • the inertial sensor include one or more of an acceleration sensor, an angular velocity sensor, and a geomagnetic sensor.
  • the movement amount of the target and the position of the target are calculated without being affected by factors that may affect tracking of the target based on the captured image, such as occlusion and the distance between the targets.
  • Each can be estimated.
  • the amount of movement of the target can be estimated by integrating the acceleration obtained from the inertial sensor twice, and the target number of steps can be estimated by estimating the number of steps of the target from the acceleration obtained from the inertial sensor. Can be estimated. Further, by estimating the amount of movement of the target, it is possible to estimate the position of the target that has been recognized as existing at a certain position.
  • the information processing apparatus improves accuracy in tracking an object based on a captured image by performing any one of the processes (1) to (3) shown below. Plan.
  • Process related to first information processing method includes a captured image captured by an imaging device and a sensor acquired by communication from a sensor that senses the target. The target is tracked based on the information.
  • the imaging device according to the present embodiment may be an imaging device outside the information processing apparatus according to the present embodiment, or may be an imaging device included in the information processing apparatus according to the present embodiment.
  • the imaging device according to the present embodiment is an external imaging device
  • the information processing apparatus according to the present embodiment acquires a captured image generated by the imaging device by performing communication with the imaging device.
  • the imaging device for example, captures images of objects such as “court and ground (examples when sports games are analyzed)” and “space for security measures (examples when crimes are aimed)”
  • the area that can be captured is imaged.
  • an arbitrary sensor capable of sensing one or both of the movement and position of an object such as one or both of an inertial sensor and a position sensor
  • a position sensor for example, a “sensor that detects an absolute position such as a GNSS (Global Navigation Satellite System) device” or a device that estimates a position using a wireless communication method such as “UWB (Ultra Wide Band)” And a device that estimates the position using communication of an arbitrary communication method.
  • GNSS Global Navigation Satellite System
  • UWB Ultra Wide Band
  • the sensor according to the present embodiment is provided, for example, on an object worn by a person who is a target such as a player (for example, an accessory such as shoes, clothes, a wristwatch, or any wearable device), or a ball It is provided in the target object.
  • a target such as a player
  • an accessory such as shoes, clothes, a wristwatch, or any wearable device
  • the sensor according to the present embodiment may be provided by any method capable of sensing a target, for example, embedded in a target object (including a living body).
  • the object according to the present embodiment is identified by, for example, providing identification information.
  • identification information for example, data in an arbitrary format that can identify an object such as an ID can be cited.
  • the information processing apparatus tracks a target by detecting, for example, a trajectory of movement of the target to which identification information is given (hereinafter, referred to as “target trajectory”).
  • the information processing apparatus detects a target locus by, for example, detecting a target to which identification information is given from a captured image and obtaining a movement locus of the detected target.
  • the method for detecting the trajectory of the target is not limited to the example shown above, and the information processing apparatus according to the present embodiment detects the trajectory of the target using an arbitrary method capable of obtaining the trajectory. Is possible.
  • identification of the object is performed by, for example, the process (2) described later.
  • identification of a target may be performed by a predetermined operation such as an operation of giving identification information by a user of the information processing apparatus according to the present embodiment.
  • the information processing apparatus tracks the target based on the captured image.
  • the information processing apparatus tracks a target by detecting the target from the captured image.
  • the information processing apparatus detects, for example, a predetermined region in a target such as a face or a spine number from a captured image, detects a specific color pattern (for example, a uniform) from the captured image, Alternatively, the target is detected by performing arbitrary processing that can detect the target from the captured image, such as a combination thereof.
  • the information processing apparatus tracks a target based on sensor information when tracking based on a captured image cannot be performed.
  • the information processing apparatus according to the present embodiment may track the target based on both the captured image and the sensor information.
  • examples of cases where tracking cannot be performed based on the captured image include a non-detection state and a non-specific state.
  • the non-detection state according to the present embodiment is a state in which an object identified based on the captured image cannot be detected.
  • the information processing apparatus according to the present embodiment determines that the information processing apparatus is in a non-detection state when, for example, a state in which a state in which an object identified based on a captured image cannot be detected is exceeded.
  • the non-specific state according to the present embodiment is a state in which the identification information given to the target cannot be specified based on the captured image.
  • the non-specific state for example, as in the example illustrated in FIG. 2, a “state in which the target is detected but the detected target cannot be uniquely specified” is exemplified.
  • the information processing apparatus determines whether or not the information processing apparatus is in a non-specific state based on, for example, the distance between the target to which identification information is assigned and another target. In the information processing apparatus according to the present embodiment, for example, when the distance between a target to which identification information is given and another target is equal to or less than a set threshold value, or the distance is smaller than the threshold value. When it becomes, it determines with it being a non-specific state.
  • the threshold relating to the determination of the non-specific state may be a fixed value set in advance, or may be a variable value that can be changed by an operation of the user of the information processing apparatus according to the present embodiment. Good.
  • the information processing apparatus for example, performs tracking of a target based on a captured image and sensor information by performing one or both of the following process (1-1) and the following process (1-2): To do.
  • (1-1) First Example of Process for Tracking Object Process when it is determined that the object is in the non-detection state
  • the information processing apparatus according to the present embodiment is The target is tracked by interpolating the trajectory of the target based on the information. That is, the information processing apparatus according to the present embodiment eliminates the non-detection state by interpolating the movement of the target based on the sensor information.
  • FIG. 3 is an explanatory diagram for describing a first example of processing for tracking an object according to the information processing method according to the present embodiment.
  • FIG. 3A shows an example of a trajectory of a target in a period including a period determined to be in the non-detection state
  • FIG. 3B shows a period in which it is determined to be in the non-detection state.
  • 2 shows an example of a trajectory of an object estimated based on sensor information.
  • 3C is interpolated using the target trajectory in which the trajectory of the object determined in the non-detection state shown in A of FIG. 3 is estimated based on the sensor information shown in B of FIG. An example of the results obtained is shown.
  • “trajectory of a target in a period determined to be in a non-detection state”, that is, “trajectory of a target in a period in which the target is lost as a result of processing a captured image” is expressed as sensor information.
  • the information processing apparatus according to the present embodiment for example, refers to a target trajectory in a period determined to be in a non-detection state by referring to a time stamp of a captured image and a time stamp of sensor information, for example. Is interpolated with the target trajectory estimated based on
  • the information processing apparatus for example, combines the target trajectory based on the captured image shown in A of FIG. 3 and the target trajectory estimated based on the sensor information shown in B of FIG. Interpolate the target trajectory.
  • the information processing apparatus performs, for example, affine transformation on an object trajectory estimated based on sensor information, uses a Kalman filter, and the like to detect an object based on the captured image illustrated in FIG. The trajectory and the trajectory of the target estimated based on the sensor information shown in FIG.
  • (1-2) Second example of processing for tracking target Processing after target is in non-specific state
  • the information processing apparatus according to the present embodiment is based on sensor information after being in a non-specific state.
  • the identification target is tracked by newly giving identification information to the object.
  • the identification information is newly given to the target, the target becomes in an identifiable state. That is, the information processing apparatus according to the present embodiment eliminates the non-specific state by specifying the target based on the sensor information.
  • the information processing apparatus when the distance between the target to which the identification information is given and the other target is equal to or less than the set threshold value, or the distance is When it becomes smaller than a threshold value, it determines with it being a non-specific state. After it is determined to be in the non-specific state, it corresponds after the target is in the non-specific state.
  • the distance between the target to which the identification information is given and the other target is larger than the threshold. "Or” when the distance between the target to which the identification information is given and the other target is equal to or greater than the threshold after being determined to be in a non-specific state " Based on this, identification information is newly given to the target to identify the target.
  • FIG. 4 is an explanatory diagram for describing a second example of processing for tracking an object according to the information processing method according to the present embodiment.
  • 4A shows an example of the locus of a target in a certain period including a period determined to be in a non-specific state
  • FIG. 4B shows a target estimated based on sensor information in the certain period.
  • An example of the locus is shown.
  • C of FIG. 4 has shown an example of the state by which the non-specific state was eliminated by specifying an object based on sensor information.
  • the information processing apparatus can eliminate the non-specific state.
  • FIG. 5 is an explanatory diagram for explaining a second example of processing for tracking an object according to the information processing method according to the present embodiment, and an example of processing for eliminating the non-specific state shown in FIG. It shows more specifically.
  • 5A shows an example of the trajectory of the object in a certain period including the period determined to be in the non-specific state, like FIG. 4A, and B in FIG. 5 shows B in FIG.
  • C of FIG. 5 has shown an example of the state by which the non-specific state was eliminated by specifying an object based on sensor information similarly to C of FIG.
  • the information processing apparatus sets the two-dimensional position of each target obtained from the captured image as pi1 (xi1, yi1) and pi2 (xi2, yi2).
  • the information processing apparatus has a distance between a target to which the identification information is given after it is determined to be in a non-specific state and another target.
  • the target trajectory based on the captured image shown in FIG. 5A is interpolated with the target trajectory estimated based on the sensor information shown in FIG. 5B.
  • the information processing apparatus sets the two-dimensional position of each target after interpolation as ps1 (xs1, ys1) and ps2 (xs2, ys2), as shown in C of FIG.
  • the information processing apparatus obtains the combination that minimizes the distance among the combinations of the distances of pi1 and pi2 and ps1 and ps2, and sets the two-dimensional position indicated by the obtained combination to each target.
  • the position of The information processing apparatus according to the present embodiment obtains a combination that minimizes the distance shown above by using, for example, the Hungarian method.
  • the information processing apparatus tracks the target based on the captured image and the sensor information by performing one or both of the process (1-1) and the process (1-2).
  • the information processing apparatus can improve accuracy in tracking an object based on a captured image by performing the process (processing for tracking the object) according to the first information processing method. it can.
  • the information processing apparatus improves the convenience when tracking the target based on the captured image by performing the processing (processing for tracking the target) according to the first information processing method. Can do.
  • the information processing apparatus identifies a target by associating an event detected based on a captured image with an event detected based on sensor information.
  • the information processing apparatus refers to the time stamp of the captured image and the time stamp of the sensor information, respectively, and the like, or a set period that can be regarded as the same time (The same shall apply hereinafter).
  • an event according to the present embodiment for example, “a play operation set in sports such as kicking a ball, hitting a ball, or performing a swing has been performed” (for example, information processing according to the present embodiment An example of an event when the method is applied to the analysis of sports matches), “change from a walking state to a running state, frequently looking around, etc. (For example, an example of an event when the information processing method according to this embodiment is applied to crime prevention). Needless to say, examples of events according to the present embodiment are not limited to the examples described above.
  • FIG. 6 is an explanatory diagram for explaining an example of processing for identifying a target according to the information processing method according to the present embodiment.
  • 6A shows an example of an event detected based on a captured image
  • FIG. 6B shows an example of an event detected based on sensor information.
  • C in FIG. 6 illustrates an example of a result of associating an event detected based on a captured image with an event detected based on sensor information.
  • FIG. 6 shows a tennis swing as an example of the detected event.
  • the information processing apparatus detects an event detected based on a captured image and an event detected based on sensor information. Is associated with.
  • the information processing apparatus includes, for example, an event detected based on a captured image and a sensor by holding information indicating a result of associating the event in a recording medium such as a storage unit (described later). Correlate events detected based on information.
  • the information processing apparatus is based on the event detected based on the captured image and the sensor information based on the information associated with the plurality of events.
  • An event to be detected may be associated.
  • examples of information associated with the event according to the present embodiment include, for example, the type of swing (for example, fore or back), the swing Strength (for example, strength required by a change in acceleration of the racket), initial velocity of the ball, and the like can be given. Needless to say, examples of information associated with an event according to the present embodiment are not limited to the examples shown above.
  • the information processing apparatus indicates, for example, “a plurality of feature amounts indicated by information associated with an event detected based on a captured image” and “information associated with an event detected based on sensor information”. ”, A plurality of feature amounts” are used to associate an event detected based on the captured image with an event detected based on the sensor information.
  • the information processing apparatus calculates, for example, a weighted square error of the distance between each feature amount as the distance between events.
  • the information processing apparatus according to the present embodiment is detected based on the captured image when the calculated distance between events is smaller than the set threshold value or when the distance between the events is equal to or less than the threshold value. Are associated with events detected based on sensor information.
  • the information processing apparatus when an event performed by a plurality of targets at the same time is detected based on sensor information corresponding to a plurality of targets, the information processing apparatus according to the present embodiment detects sensor information corresponding to the plurality of targets. Calculate the distance between events for each. Then, the information processing apparatus according to the present embodiment obtains the captured image by obtaining “a combination of an event detected based on the captured image and an event detected based on the sensor information that minimizes the distance between events”. An event detected based on the sensor information is associated with an event detected based on the sensor information. The information processing apparatus according to the present embodiment obtains the above combination that minimizes the distance between events using, for example, the Hungarian method.
  • the information processing apparatus identifies the target based on the captured image and the sensor information by performing, for example, the processing as described above.
  • the non-specific state is resolved by identifying the target by performing the above processing.
  • the information processing apparatus can improve the accuracy in tracking the target based on the captured image by performing the process (process for identifying the target) according to the second information processing method. it can.
  • the information processing apparatus improves the convenience when tracking the target based on the captured image by performing the process (process for identifying the target) according to the second information processing method. Can do.
  • the object is identified by performing the process (the process of identifying the object) according to the second information processing method, automatic object identification is realized. That is, when the process according to the second information processing method is performed, for example, the user of the information processing apparatus according to the present embodiment performs a predetermined operation for identifying a target such as an operation of providing identification information. There is no need. Therefore, when the information processing apparatus according to the present embodiment performs the process according to the second information processing method, it is possible to improve convenience when tracking the target based on the captured image.
  • Process related to third information processing method combination of process for tracking target and process for identifying target
  • the information processing apparatus performs the process (process for tracking target) described in (1) above.
  • the process (process for identifying a target) shown in (2) above may be performed.
  • the information processing apparatus includes, for example, the process shown in (1) (the process of tracking the target) and the process shown in (2) (the target is processed) as the process related to the information processing method according to the present embodiment.
  • the accuracy in tracking the target based on the captured image by performing any one of the processing (identification processing) and the processing shown in (3) above (a combination of the processing for tracking the target and the processing for identifying the target) To improve.
  • each process shown in (1) is a combination of the processes related to the information processing method according to the present embodiment for the sake of convenience. Therefore, each process related to the information processing method according to the present embodiment can be regarded as two or more processes depending on, for example, an arbitrary separation method.
  • FIG. 7 is an explanatory diagram illustrating an example of an information processing system 1000 according to the present embodiment to which the information processing method according to the present embodiment is applied.
  • the information processing system 1000 includes, for example, an information processing apparatus 100, an imaging device 200, and a sensor 300.
  • the information processing system according to the present embodiment may include a plurality of imaging devices 200.
  • some of the plurality of imaging devices 200 may be imaging devices included in the information processing apparatus 100.
  • the information processing system according to the present embodiment may include a plurality of sensors 300.
  • each sensor senses a target to which each sensor corresponds, for example.
  • a plurality of sensors 300 may correspond to one target.
  • the information processing system 1000 illustrated in FIG. 7 will be described as an example, and devices that configure the information processing system 1000 will be described.
  • the information processing apparatus 100, the imaging device 200, and the sensor 300 are connected to each other wirelessly or via a network 400, for example.
  • the network 400 include a wired network such as a LAN (Local Area Network) and a WAN (Wide Area Network), a wireless network such as a WLAN (Wireless Local Area Network), or a TCP / IP (Transmission Control Protocol / Internet Protocol). Internet using a communication protocol such as Note that in the information processing system according to the present embodiment, the information processing apparatus 100, the imaging device 200, and the sensor 300 can directly communicate with each other without using the network 400.
  • LAN Local Area Network
  • WAN Wide Area Network
  • WLAN Wireless Local Area Network
  • TCP / IP Transmission Control Protocol / Internet Protocol
  • Imaging device 200 The imaging device 200 images, for example, objects such as “court and ground (an example when the analysis of a sporting game is an object)”, “a space where security measures are taken (an example when an object is crime prevention)”, and the like. Imaging possible areas. One or both of the position and orientation of the imaging device 200 may be fixed or may change.
  • the imaging device 200 includes, for example, a lens / imaging device and a signal processing circuit.
  • the lens / imaging device includes, for example, an optical lens and an image sensor using a plurality of imaging devices such as CMOS (Complementary Metal Oxide Semiconductor).
  • the signal processing circuit includes, for example, an AGC (Automatic Gain Control) circuit and an ADC (Analog to Digital Converter), and converts an analog signal generated by the image sensor into a digital signal (image data).
  • the signal processing circuit performs various processes related to, for example, RAW development.
  • the signal processing circuit may perform various signal processing such as, for example, White Balance correction processing, color tone correction processing, gamma correction processing, YCbCr conversion processing, and edge enhancement processing.
  • the configuration of the imaging device 200 is not limited to the example described above, and a configuration according to an application example of the imaging device 200 described later can be employed.
  • the sensor 300 is a sensor that senses an object.
  • Examples of the sensor 300 include one or both of an inertial sensor and a position sensor as described above.
  • the senor 300 is provided, for example, on an object worn by a person such as a player (for example, an accessory such as shoes, clothes, a wristwatch, or any wearable device), Alternatively, it is provided on a target object such as a ball.
  • Information processing apparatus 100 performs processing related to the information processing method according to the present embodiment.
  • FIG. 8 is a block diagram illustrating an example of the configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, a communication unit 102 and a control unit 104.
  • the information processing apparatus 100 is operated by, for example, a ROM (Read Only Memory. Not shown), a RAM (Random Access Memory. Not shown), a storage unit (not shown), or a user of the information processing apparatus 100.
  • a possible operation unit (not shown), a display unit (not shown) for displaying various screens on the display screen, and the like may be provided.
  • the information processing apparatus 100 connects the above constituent elements by, for example, a bus as a data transmission path.
  • a ROM (not shown) stores control data such as a program used by the control unit 104 and calculation parameters.
  • a RAM (not shown) temporarily stores a program executed by the control unit 104.
  • the storage unit (not shown) is a storage unit included in the information processing apparatus 100, and stores various data such as data related to the information processing method according to the present embodiment and various applications.
  • examples of the storage unit (not shown) include a magnetic recording medium such as a hard disk, and a non-volatile memory such as a flash memory. Further, the storage unit (not shown) may be detachable from the information processing apparatus 100.
  • an operation input device to be described later can be cited.
  • a display part (not shown), the display device mentioned later is mentioned.
  • FIG. 9 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, and a communication interface 164.
  • the information processing apparatus 100 connects each component with a bus 166 as a data transmission path, for example.
  • the information processing apparatus 100 is driven by, for example, power supplied from an internal power supply such as a battery provided in the information processing apparatus 100, or power supplied from a connected external power supply.
  • the MPU 150 includes, for example, one or more processors configured with arithmetic circuits such as an MPU (Micro Processing Unit) and various processing circuits, and functions as the control unit 104 that controls the entire information processing apparatus 100. . Further, the MPU 150 plays a role of, for example, the processing unit 110 described later in the information processing apparatus 100.
  • the processing unit 110 may be configured with a dedicated (or general-purpose) circuit (for example, a processor separate from the MPU 150).
  • the ROM 152 stores programs used by the MPU 150, control data such as calculation parameters, and the like.
  • the RAM 154 temporarily stores a program executed by the MPU 150, for example.
  • the recording medium 156 functions as a storage unit (not shown), and stores various data such as data related to the information processing method according to the present embodiment and various applications.
  • examples of the recording medium 156 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 156 may be detachable from the information processing apparatus 100.
  • the input / output interface 158 connects, for example, the operation input device 160 and the display device 162.
  • the operation input device 160 functions as an operation unit (not shown)
  • the display device 162 functions as a display unit (not shown).
  • examples of the input / output interface 158 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits. .
  • the operation input device 160 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the operation input device 160 include a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
  • the display device 162 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the display device 162 include a liquid crystal display (Liquid Crystal Display), an organic EL display (Organic Electro-Luminescence Display, or an OLED display (Organic Light Emitting Diode Display)), and the like.
  • the input / output interface 158 can be connected to an external device such as an operation input device (for example, a keyboard or a mouse) external to the information processing apparatus 100 or an external display device.
  • the display device 162 may be a device capable of display and user operation, such as a touch panel.
  • the communication interface 164 is a communication unit included in the information processing apparatus 100.
  • the communication interface 164 is wirelessly or externally connected to an external device such as the imaging device 200 and the sensor 300, an external device such as a server, or the like via the network 400 (or directly). It functions as a communication unit 102 for performing wired communication.
  • the communication interface 164 for example, a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication). ), Or a LAN (Local Area Network) terminal and a transmission / reception circuit (wired communication).
  • the communication interface 164 may have an arbitrary configuration corresponding to the network 400.
  • the information processing apparatus 100 performs processing related to the information processing method according to the present embodiment, for example, with the configuration illustrated in FIG. 9. Note that the hardware configuration of the information processing apparatus 100 according to the present embodiment is not limited to the configuration illustrated in FIG. 9.
  • the information processing apparatus 100 may not include the communication interface 164 when communicating with an external apparatus or the like via a connected external communication device.
  • the communication interface 164 may be configured to be able to communicate with one or more external devices or the like by a plurality of communication methods.
  • the information processing apparatus 100 may further include an imaging device that functions as the imaging device 200 in the information processing system 1000, for example.
  • the imaging device functions as an imaging unit (not shown) that generates a captured image (moving image or still image) by imaging.
  • the information processing apparatus 100 can have a configuration that does not include the recording medium 156, the operation input device 160, and the display device 162, for example.
  • the information processing apparatus 100 can take a configuration according to an application example of the information processing apparatus 100 described later, for example.
  • part or all of the configuration shown in FIG. 9 may be realized by one or two or more ICs (Integrated Circuits).
  • the communication unit 102 is a communication unit included in the information processing apparatus 100 and communicates with an external apparatus such as the imaging device 200 and the sensor 300 wirelessly or via a network 400 (or directly).
  • the communication of the communication unit 102 is controlled by the control unit 104, for example.
  • examples of the communication unit 102 include a communication antenna and an RF circuit, a LAN terminal, and a transmission / reception circuit, but the configuration of the communication unit 102 is not limited to the above.
  • the communication unit 102 can have a configuration corresponding to an arbitrary standard capable of performing communication such as a USB terminal and a transmission / reception circuit, or an arbitrary configuration capable of communicating with an external device via the network 400.
  • the communication unit 102 may be configured to be able to communicate with one or more external devices or the like by a plurality of communication methods.
  • the control unit 104 is configured by, for example, an MPU and plays a role of controlling the entire information processing apparatus 100.
  • the control unit 104 includes, for example, a processing unit 110 and plays a role of leading the processing related to the information processing method according to the present embodiment.
  • the processing unit 110 includes, for example, the process shown in (1) (process for tracking an object), the process shown in (2) (process for identifying an object), as processes related to the information processing method according to the present embodiment.
  • One of the processes shown in (3) above is performed.
  • the processing unit 110 tracks an object identified based on the captured image and sensor information.
  • the processing unit 110 identifies the object based on the captured image and the sensor information.
  • the processing unit 110 tracks the target identified based on the captured image and the sensor information. In addition, the target identified based on the captured image and the sensor information is tracked.
  • the control unit 104 has a processing unit 110, for example, and plays a role of leading the processing related to the information processing method according to the present embodiment.
  • control unit 104 is not limited to the example shown in FIG.
  • control unit 104 can have a configuration corresponding to a method for separating processes according to the information processing method according to the present embodiment.
  • the information processing apparatus 100 has, for example, the configuration shown in FIG. 8, the processing related to the information processing method according to the present embodiment (for example, the processing shown in (1) above (processing for tracking an object), the processing shown in (2) above (Process for identifying target) and process (any one of the process for tracking the target and the process for identifying the target) shown in (3) above are performed. Therefore, for example, the information processing apparatus 100 can improve accuracy in tracking an object based on a captured image with the configuration illustrated in FIG. 8.
  • the information processing apparatus 100 can exhibit the effects exhibited by performing the processing related to the information processing method according to the present embodiment as described above.
  • the information processing apparatus can include the processing unit 110 illustrated in FIG. 8 separately from the control unit 104 (for example, realized by another processing circuit).
  • the configuration for realizing the processing related to the information processing method according to the present embodiment is not limited to the configuration illustrated in FIG. 8, and takes a configuration according to the method of dividing the processing according to the information processing method according to the present embodiment. It is possible.
  • the information processing apparatus when communicating with an external device via an external communication device having the same function and configuration as the communication unit 102, does not include the communication unit 102. Also good.
  • the information processing device has been described as a component of the information processing system according to the present embodiment. It is not limited to form.
  • the present embodiment includes, for example, “computers such as PCs (Personal Computers) and servers”, “tablet devices”, “game machines”, “cameras such as digital still cameras and digital video cameras”, and the like.
  • the present invention can be applied to various devices that can perform the processing related to the information processing method.
  • the present embodiment can be applied to a processing IC that can be incorporated in the above-described device, for example.
  • the information processing apparatus may be applied to a processing system that is premised on connection to a network (or communication between apparatuses), such as cloud computing.
  • a processing system in which processing according to the information processing method according to the present embodiment is performed for example, “a part of processing according to the information processing method according to the present embodiment is performed by one apparatus configuring the processing system.
  • a system in which processing other than the part of the processing according to the information processing method according to the present embodiment is performed by another device that configures the processing system.
  • an imaging device has been described as a component of the information processing system according to the present embodiment, the present embodiment is not limited to such a form.
  • “cameras such as digital still cameras and digital video cameras”, “communication devices capable of capturing images such as smartphones and mobile phones”, “tablet types capable of capturing images”
  • An arbitrary device having an imaging function such as “device of the above”, “game machine capable of performing imaging”, and the like.
  • the information processing apparatus may serve as an imaging device.
  • the present embodiment is not limited to such a form.
  • This embodiment is, for example, “a variety of wearable devices used on the user's body, such as a head-mounted display, an eyewear device, a watch device, a bracelet device”, and “ An arbitrary device having a function of sensing an object such as “a device used by being attached to an object such as a tag” and “a device used by being embedded in a living body” can be mentioned.
  • Program according to this embodiment A program for causing a computer system to function as the information processing apparatus according to the present embodiment (for example, the process shown in (1) above (process for tracking an object), the process shown in (2) above (a process for identifying an object) And the process related to the information processing method according to the present embodiment, such as any one of the processes shown in (3) above (a combination of the process of tracking the target and the process of identifying the target).
  • the program is executed by a processor or the like in the computer system, so that it is possible to improve accuracy in tracking the target based on the captured image.
  • the computer system according to the present embodiment includes a single computer or a plurality of computers. A series of processing relating to the information processing method according to the present embodiment is performed by the computer system according to the present embodiment.
  • a program for causing a computer system to function as the information processing apparatus according to the present embodiment is executed by a processor or the like in the computer system, thereby performing the above-described processing according to the information processing method according to the present embodiment. Effects can be achieved.
  • a program for causing a computer system to function as the information processing apparatus according to the present embodiment is provided.
  • the present embodiment further stores the program.
  • a recording medium can also be provided.
  • An information processing apparatus comprising: a processing unit that tracks a target based on a captured image captured by an imaging device and sensor information acquired by communication from a sensor that senses the target.
  • a processing unit that tracks the target by detecting a trajectory of the target to which identification information is assigned.
  • the processor is Tracking the target based on the captured image
  • the information processing apparatus according to (1) or (2) wherein when the tracking cannot be performed based on the captured image, the target is tracked based on the sensor information.
  • identification information is given to the target based on the sensor information.
  • the information processing apparatus which is newly assigned and tracks the target. (5) When the distance between the target to which the identification information is given and the other target is equal to or less than a set threshold, or when the distance is smaller than the threshold, The information processing apparatus according to (4), which is determined to be in the non-specific state. (6) When the processing unit is determined to be in the non-specific state and the distance is greater than the threshold, or after the determination is determined to be in the non-specific state and the distance is equal to or greater than the threshold The information processing apparatus according to (5), wherein identification information is newly given to the target based on the sensor information.
  • the processing unit tracks the target by interpolating a trajectory of the target based on the sensor information in a non-detection state where the target cannot be detected based on the captured image. 3) The information processing apparatus according to any one of (6). (8) The information processing apparatus according to any one of (1) to (7), wherein the processing unit identifies the target based on the captured image and the sensor information. (9) The information processing apparatus according to (8), wherein the processing unit identifies the target by associating an event detected based on the captured image with an event detected based on the sensor information. (10) The information processing apparatus according to any one of (1) to (9), wherein the sensor is a sensor that senses a position of the target or a movement of the target.
  • the information processing apparatus according to (10), wherein the sensor is a position sensor or an inertial sensor.
  • An information processing apparatus including a processing unit that identifies a target based on a captured image captured by an imaging device and sensor information acquired by communication from a sensor that senses the target.
  • An information processing method executed by an information processing apparatus comprising: tracking a target based on a captured image captured by an imaging device and sensor information acquired by communication from a sensor that senses the target.
  • the target is tracked based on the captured image
  • the information processing method according to (13), wherein when the tracking cannot be performed based on the captured image, the target is tracked based on the sensor information.
  • An information processing method executed by an information processing apparatus comprising: a step of identifying the target based on a captured image captured by an imaging device and sensor information acquired by communication from a sensor that senses the target.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、対象を追尾する処理部を備える、情報処理装置が、提供される。

Description

情報処理装置、情報処理方法、および情報処理システム
　本開示は、情報処理装置、情報処理方法、および情報処理システムに関する。
　スポーツ競技の競技エリアを撮像した競技エリア画像上に、設定された追尾目標の位置を重畳して表示する技術が開発されている。上記技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
特開平１０－２７６３５１号公報
　例えばスポーツの試合の解析や防犯などの様々な目的のために、撮像デバイスにより撮像された撮像画像（動画像、または、静止画像）が利用されている。撮像画像を利用した例としては、例えば特許文献１に記載の例のように、競技エリアを撮像した競技エリア画像上に追尾目標の位置を重畳して表示する例が、挙げられる。
　スポーツを例に挙げると、撮像画像を利用する場合には、選手やボールなどの追尾する対象（以下、単に「対象」と示す。）を撮像画像に基づき検出・追尾することが可能である。しかしながら、単に撮像画像に基づき対象を追尾する場合には、例えば選手が密集することや選手およびボールが密集することなどのように、追尾する対象が密集することによって、対象の誤検出、誤追尾が生じる恐れがある。よって、単に撮像画像に基づき対象を追尾する場合には、対象を精度よく追尾することができるとは限らない。
　本開示では、撮像画像に基づき対象を追尾する場合における精度の向上を図ることが可能な、新規かつ改良された情報処理装置、情報処理方法、および情報処理システムを提案する。
　本開示によれば、撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、上記対象を追尾する処理部を備える、情報処理装置が、提供される。
　また、本開示によれば、撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、上記対象を識別する処理部を備える、情報処理装置が、提供される。
　また、本開示によれば、撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、上記対象を追尾するステップを有する、情報処理装置により実行される情報処理方法が、提供される。
　また、本開示によれば、撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、上記対象を識別するステップを有する、情報処理装置により実行される情報処理方法が、提供される。
　また、本開示によれば、撮像デバイスと、対象をセンシングするセンサと、上記撮像デバイスにより撮像された撮像画像と、上記センサから通信により取得されたセンサ情報とに基づいて、上記対象を追尾する処理部を備える情報処理装置と、を有する、情報処理システムが、提供される。
　本開示によれば、撮像画像に基づき対象を追尾する場合における精度の向上を図ることができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
単に撮像画像に基づき対象を追尾するときに対象を精度よく追尾することができない場合の一例を説明するための説明図である。 単に撮像画像に基づき対象を追尾するときに対象を精度よく追尾することができない場合の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る対象を追尾する処理の第１の例を説明するための説明図である。 本実施形態に係る情報処理方法に係る対象を追尾する処理の第２の例を説明するための説明図である。 本実施形態に係る情報処理方法に係る対象を追尾する処理の第２の例を説明するための説明図である。 本実施形態に係る情報処理方法に係る対象を識別する処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法が適用される本実施形態に係る情報処理システムの一例を示す説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下では、下記に示す順序で説明を行う。
　　１．本実施形態に係る情報処理方法
　　２．本実施形態に係る情報処理システム
　　３．本実施形態に係るプログラム
（本実施形態に係る情報処理方法）
　まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。
　上述したように、単に撮像画像に基づき対象を追尾する場合には、対象を精度よく追尾することができるとは限らない。
　図１、図２は、単に撮像画像に基づき対象を追尾するときに対象を精度よく追尾することができない場合の一例を説明するための説明図である。図１は、サッカー（スポーツの一例）の試合が撮像された撮像画像の一例を示している。また、図２のＡは、対象Ｏ１および対象Ｏ２それぞれの軌跡の一例を示しており、図２のＢは、対象Ｏ１および対象Ｏ２それぞれの軌跡の他の例を示している。
　例えば図１に示すように選手（対象の一例。以下、同様とする。）が密集している場合、すなわち、撮像画像において対象が重なっている場合には、対象を検出することができないことが起こりうる。上記のように対象を検出することができない場合には、対象を追尾することができない、誤った追尾が行われるなど、対象の追尾精度の低下が生じる。
　また、例えば同じチームの選手が交差した場合には、単に撮像画像を処理したとしても、図２のＡの状態であるのか、または、図２のＢの状態であるのかを、一意に区別することができるとは限らない。よって、例えば同じチームの選手が交差した場合には対象の誤検出が生じる恐れがあり、その結果、誤った追尾が行われるなどの対象の追尾精度の低下が生じうる。
　さらに、例えば、撮像画像において選手の顔や背番号などの対象の特定に用いる領域が検出できない場合や、撮像画像の解像度が不足している場合（撮像画像の解像度が、対象を特定することができる程度の解像度ではない場合）には、対象を識別することができない。上記のように対象を識別することができない場合には、誤った追尾が行われるなどの対象の追尾精度の低下が生じうる。
　上記のように、単に撮像画像に基づき対象を追尾する場合には、対象を精度よく追尾することができるとは限らない。
　また、対象を追尾するための他の方法としては、慣性センサの検出結果を用いる方法が、考えられる。慣性センサとしては、例えば、加速度センサ、角速度センサ、地磁気センサのうちの１または２以上のセンサが、挙げられる。
　慣性センサの検出結果を用いる場合には、オクルージョンや対象間の距離などの、撮像画像に基づく対象の追尾に影響を与えうる要因の影響を受けずに、対象の移動量と対象の位置とをそれぞれ推定することが可能である。一例を挙げると、慣性センサから得られた加速度を２回積分することによって、対象の移動量を推定することができ、また、慣性センサから得られた加速度から対象の歩数を推定することにより対象の移動量を推定することができる。また、対象の移動量が推定されることによって、ある位置に存在すると認識をされていた対象の位置を推定することが可能である。
　しかしながら、慣性センサの検出結果を用いる場合には、対象の絶対位置を求めることはできず、また、推定される移動量および位置と実際の移動量および位置との誤差は、時間経過と共に大きくなる。
　よって、単に慣性センサの検出結果を用いたとしても、対象を精度よく追尾することができるとは限らない。
　そこで、本実施形態に係る情報処理装置は、下記に示す（１）に示す処理～（３）に示す処理のいずれかを行うことによって、撮像画像に基づき対象を追尾する場合における精度の向上を図る。
（１）第１の情報処理方法に係る処理：対象を追尾する処理
　本実施形態に係る情報処理装置は、撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、対象を追尾する。
　本実施形態に係る撮像デバイスは、本実施形態に係る情報処理装置の外部の撮像デバイスであってもよいし、本実施形態に係る情報処理装置が備える撮像デバイスであってもよい。本実施形態に係る撮像デバイスが外部の撮像デバイスである場合、本実施形態に係る情報処理装置は、撮像デバイスと通信を行うことによって、撮像デバイスにおいて生成された撮像画像を取得する。
　撮像デバイスは、例えば、“コートやグラウンド（スポーツの試合の解析が目的である場合の一例）”、“防犯対策を施す空間（防犯が目的である場合の一例）”などの、対象を撮像しうる領域を撮像する。
　本実施形態に係るセンサとしては、例えば、慣性センサおよび位置センサの一方または双方など、対象の動きと位置との一方または双方をセンシングすることが可能な任意のセンサが、挙げられる。位置センサとしては、例えば、“ＧＮＳＳ（Global　Navigation　Satellite　System）デバイスのような絶対位置を検出するセンサ”や、“ＵＷＢ（Ultra　Wide　Band）のような無線通信方式を利用して位置を推定するデバイスなど、任意の通信方式の通信を利用して位置を推定するデバイス”などが、挙げられる。
　本実施形態に係るセンサは、例えば、選手などの対象となる人が身に付けて用いる物（例えば、靴、衣服、腕時計などのアクセサリ、あるいは、任意のウェアラブルデバイス）に設けられ、または、ボールなどの対象となる物に設けられる。なお、本実施形態に係るセンサは、例えば対象となる物体（生体も含む。）に埋め込まれるなど、対象をセンシングすることが可能な任意の方法により設けられていてもよい。
　本実施形態に係る対象は、例えば識別情報が付与されることによって、識別される。本実施形態に係る識別情報としては、例えばＩＤなどの対象を識別することが可能な、任意の形式のデータが挙げられる。
　本実施形態に係る情報処理装置は、例えば識別情報が付与されている対象の動きの軌跡（以下、「対象の軌跡」と示す。）を検出することによって、対象を追尾する。本実施形態に係る情報処理装置は、例えば、撮像画像から識別情報が付与されている対象を検出し、検出された対象の移動軌跡を求めることによって、対象の軌跡を検出する。なお、対象の軌跡を検出する方法は、上記に示す例に限られず、本実施形態に係る情報処理装置は、軌跡を求めることが可能な任意の方法を用いて、対象の軌跡を検出することが可能である。
　ここで、対象の識別は、例えば後述する（２）の処理によって、行われる。なお、対象の識別は、例えば本実施形態に係る情報処理装置のユーザによる識別情報を付与する操作などの、所定の操作によって行われてもよい。
　より具体的には、本実施形態に係る情報処理装置は、撮像画像に基づいて対象を追尾する。
　本実施形態に係る情報処理装置は、撮像画像から対象を検出することによって、対象を追尾する。本実施形態に係る情報処理装置は、例えば、撮像画像から顔や背番号などの対象における所定の領域を検出すること、撮像画像から特定の色のパターン（例えば、ユニフォームなど）を検出すること、あるいはこれらの組み合わせなど、撮像画像から対象を検出することが可能な任意の処理を行うことによって、対象を検出する。
　上述したように、単に撮像画像に基づき対象を追尾する場合には、対象を精度よく追尾することができるとは限らない。
　そこで、本実施形態に係る情報処理装置は、撮像画像に基づいて追尾することができない場合に、センサ情報に基づいて対象を追尾する。なお、本実施形態に係る情報処理装置は、撮像画像とセンサ情報との双方に基づいて、対象を追尾してもよい。
　ここで、撮像画像に基づいて追尾することができない場合としては、例えば、非検出状態である場合と、非特定状態である場合とが挙げられる。
　本実施形態に係る非検出状態とは、撮像画像に基づいて識別されている対象を検出することができない状態である。本実施形態に係る情報処理装置は、例えば撮像画像に基づいて識別されている対象が検出できない状態が設定されている期間を越えた場合に、非検出状態であると判定する。
　また、本実施形態に係る非特定状態とは、撮像画像に基づいて対象に対して付与されている識別情報を特定することができない状態である。非特定状態としては、例えば図２に示す例のように、“対象は検出されているが、検出されている対象を一意に特定することができない状態”が挙げられる。
　本実施形態に係る情報処理装置は、例えば、識別情報が付与されている対象と他の対象との間の距離に基づいて、非特定状態であるか否かを判定する。本実施形態に係る情報処理装置は、例えば、識別情報が付与されている対象と他の対象との間の距離が設定されている閾値以下となった場合、または、当該距離が当該閾値より小さくなった場合に、非特定状態であると判定する。
　ここで、非特定状態の判定に係る閾値は、予め設定されている固定値であってもよいし、本実施形態に係る情報処理装置のユーザの操作などによって変更可能な可変値であってもよい。
　本実施形態に係る情報処理装置は、例えば下記の（１－１）の処理および下記の（１－２）の処理の一方または双方を行うことによって、撮像画像およびセンサ情報に基づいて対象を追尾する。
（１－１）対象を追尾する処理の第１の例：対象が非検出状態であると判定された場合における処理
　本実施形態に係る情報処理装置は、非検出状態である場合には、センサ情報に基づいて対象の軌跡を補間することによって、対象を追尾する。つまり、本実施形態に係る情報処理装置は、センサ情報に基づいて対象の動きを補間することによって、非検出状態を解消する。
　図３は、本実施形態に係る情報処理方法に係る対象を追尾する処理の第１の例を説明するための説明図である。図３のＡは、非検出状態であると判定される期間を含むある期間における、対象の軌跡の一例を示しており、図３のＢは、当該非検出状態であると判定される期間における、センサ情報に基づき推定される対象の軌跡の一例を示している。また、図３のＣは、図３のＡに示す非検出状態であると判定される期間における対象の軌跡が、図３のＢに示すセンサ情報に基づき推定される対象の軌跡を用いて補間された結果の一例を、示している。
　例えば図３に示すように、“非検出状態であると判定される期間における対象の軌跡”、すなわち、“撮像画像を処理した結果、対象が見失われた期間における対象の軌跡”を、センサ情報に基づき推定される対象の軌跡で補間する。本実施形態に係る情報処理装置は、例えば、撮像画像のタイムスタンプとセンサ情報のタイムスタンプとをそれぞれ参照することなどによって、非検出状態であると判定される期間における対象の軌跡を、センサ情報に基づき推定される対象の軌跡で補間する。
　本実施形態に係る情報処理装置は、例えば、図３のＡに示す撮像画像に基づく対象の軌跡と、図３のＢに示すセンサ情報に基づき推定される対象の軌跡とを合成することによって、対象の軌跡を補間する。本実施形態に係る情報処理装置は、例えば、センサ情報に基づき推定される対象の軌跡に対してアフィン変換を行うこと、カルマンフィルタを用いることなどによって、図３のＡに示す撮像画像に基づく対象の軌跡と、図３のＢに示すセンサ情報に基づき推定される対象の軌跡とを合成する。
（１－２）対象を追尾する処理の第２の例：対象が非特定状態となった後における処理
　本実施形態に係る情報処理装置は、非特定状態となった後、センサ情報に基づいて対象に対して識別情報を新たに付与することによって、識別されている対象を追尾する。対象に対して識別情報が新たに付与されることによって、当該対象は、識別可能な状態となる。つまり、本実施形態に係る情報処理装置は、センサ情報に基づいて対象を特定することによって、非特定状態を解消する。
　上述したように、本実施形態に係る情報処理装置は、識別情報が付与されている対象と他の対象との間の距離が設定されている閾値以下となった場合、または、当該距離が当該閾値より小さくなった場合に、非特定状態であると判定する。非特定状態であると判定された後が、対象が非特定状態となった後に該当する。
　また、本実施形態に係る情報処理装置は、例えば、“非特定状態であると判定された後に、上記識別情報が付与されている対象と他の対象との間の距離が上記閾値より大きくなった場合”、または、“非特定状態であると判定された後に、上記識別情報が付与されている対象と他の対象との間の距離が上記閾値以上となった場合”に、センサ情報に基づいて対象に対して識別情報を新たに付与して、対象を特定する。
　図４は、本実施形態に係る情報処理方法に係る対象を追尾する処理の第２の例を説明するための説明図である。図４のＡは、非特定状態であると判定される期間を含むある期間における、対象の軌跡の一例を示しており、図４のＢは、当該ある期間におけるセンサ情報に基づき推定される対象の軌跡の一例を示している。また、図４のＣは、センサ情報に基づいて対象を特定することにより、非特定状態が解消された状態の一例を示している。
　例えば図４のＢに示すようなセンサ情報に基づき推定される対象の軌跡を用いることによって、非特定状態となっている対象がどのような動きをしていたのかを特定することが可能となる。よって、本実施形態に係る情報処理装置は、非特定状態を解消することができる。
　図５は、本実施形態に係る情報処理方法に係る対象を追尾する処理の第２の例を説明するための説明図であり、図４に示す非特定状態を解消するための処理の一例をより具体的に示している。図５のＡは、図４のＡと同様に、非特定状態であると判定される期間を含むある期間における、対象の軌跡の一例を示しており、図５のＢは、図４のＢと同様に、当該ある期間におけるセンサ情報に基づき推定される対象の軌跡の一例を示している。また、図５のＣは、図４のＣと同様に、センサ情報に基づいて対象を特定することにより、非特定状態が解消された状態の一例を示している。
　図５のＡに示すように、本実施形態に係る情報処理装置は、撮像画像から求められる各対象の２次元位置を、ｐｉ１（ｘｉ１，ｙｉ１）、ｐｉ２（ｘｉ２，ｙｉ２）とおく。
　また、図５のＣに示すように、本実施形態に係る情報処理装置は、非特定状態であると判定された後に上記識別情報が付与されている対象と他の対象との間の距離が上記閾値より大きくなった場合（または、非特定状態であると判定された後に、上記識別情報が付与されている対象と他の対象との間の距離が上記閾値以上となった場合）に、図５のＡに示す撮像画像に基づく対象の軌跡を、図５のＢに示すセンサ情報に基づき推定される対象の軌跡で補間する。本実施形態に係る情報処理装置は、図５のＣに示すように、補間後の各対象の２次元位置を、ｐｓ１（ｘｓ１，ｙｓ１）、ｐｓ２（ｘｓ２，ｙｓ２）とおく。
　そして、本実施形態に係る情報処理装置は、ｐｉ１およびｐｉ２と、ｐｓ１およびｐｓ２との距離の組み合わせの中で、距離が最小となる組み合わせを求め、求められた組み合わせが示す２次元位置を各対象の位置とする。本実施形態に係る情報処理装置は、例えばハンガリー法（Hungarian　method）などを用いることによって、上記に示す距離が最小となる組み合わせを求める。
　本実施形態に係る情報処理装置は、例えば上記（１－１）の処理および上記（１－２）の処理の一方または双方を行うことによって、撮像画像およびセンサ情報に基づいて対象を追尾する。
　ここで、例えば、上記（１－１）の処理が行われることによって図３のＣに示すように非検出状態が解消され、また、上記（１－２）の処理が行われることによって図４のＣに示すように非特定状態が解消される。
　したがって、本実施形態に係る情報処理装置は、第１の情報処理方法に係る処理（対象を追尾する処理）を行うことによって、撮像画像に基づき対象を追尾する場合における精度の向上を図ることができる。
　また、撮像画像に基づき対象を追尾する場合における精度の向上が図られることによって、対象を追尾する際に、手動で修正を行わなければならない事態が発生する可能性を、より低減することが可能となる。よって、本実施形態に係る情報処理装置は、第１の情報処理方法に係る処理（対象を追尾する処理）を行うことによって、撮像画像に基づき対象を追尾する場合における利便性の向上を図ることができる。
（２）第２の情報処理方法に係る処理：対象を識別する処理
　本実施形態に係る情報処理装置は、撮像画像とセンサ情報とに基づいて対象を識別する。
　より具体的には、本実施形態に係る情報処理装置は、撮像画像に基づき検出されるイベントと、センサ情報に基づき検出されるイベントとを対応付けることによって、対象を識別する。本実施形態に係る情報処理装置は、例えば、撮像画像のタイムスタンプとセンサ情報のタイムスタンプとをそれぞれ参照することなどによって、同時刻（または、同時刻とみなすことが可能な設定されている期間。以下、同様とする。）において発生したイベントを対応付ける。
　本実施形態に係るイベントとしては、例えば、“ボールを蹴る、ボールを打つ、スイングを行うなどの、スポーツにおける設定されているプレー動作が行われたこと”（例えば、本実施形態に係る情報処理方法が、スポーツの試合の解析に適用される場合におけるイベントの一例）や、“歩いている状態から走っている状態へと変化する、周りを頻繁に見回すなどの、設定されている所定の動作が行われたこと”（例えば、本実施形態に係る情報処理方法が、防犯に適用される場合におけるイベントの一例）などが、挙げられる。なお、本実施形態に係るイベントの例が、上記に示す例に限られないことは、言うまでもない。
　図６は、本実施形態に係る情報処理方法に係る対象を識別する処理の一例を説明するための説明図である。図６のＡは、撮像画像に基づき検出されるイベントの一例を示しており、図６のＢは、センサ情報に基づき検出されるイベントの一例を示している。また、図６のＣは、撮像画像に基づき検出されるイベントとセンサ情報に基づき検出されるイベントとを対応付けた結果の一例を示している。図６では、検出されるイベントの一例として、テニスのスイングを示している。
　例えば図６のＡに示す撮像画像に基づき検出される“スイング（フォア）”と、Ａさん（対象の一例）に対応するセンサ情報に基づき検出される“スイング（フォア）”とのように、同時刻に発生した同種のイベントが存在する場合、本実施形態に係る情報処理装置は、図６のＣに示すように、撮像画像に基づき検出されるイベントと、センサ情報に基づき検出されるイベントとを対応付ける。本実施形態に係る情報処理装置は、例えば、イベントを対応付けた結果を示す情報を、記憶部（後述する）などの記録媒体に保持することによって、撮像画像に基づき検出されるイベントと、センサ情報に基づき検出されるイベントとを対応付ける。
　また、検出されたイベントに紐付く情報が複数ある場合、本実施形態に係る情報処理装置は、複数のイベントに紐付く情報に基づいて、撮像画像に基づき検出されるイベントと、センサ情報に基づき検出されるイベントとを対応付けてもよい。
　イベントがテニスのスイングである場合を例に挙げて、本実施形態に係るイベントに紐付く情報の一例を挙げると、例えば、スイングの種類（例えば、フォアであるかバックであるか）、スイングの強さ（例えば、ラケットの加速度変化などにより求められる強さ）ボールの初速などが、挙げられる。なお、本実施形態に係るイベントに紐付く情報の例が、上記に示す例に限られないことは、言うまでもない。
　本実施形態に係る情報処理装置は、例えば、“撮像画像に基づき検出されるイベントに紐付く情報が示す、複数の特徴量”と、“センサ情報に基づき検出されるイベントに紐付く情報が示す、複数の特徴量”とを利用することによって、撮像画像に基づき検出されるイベントと、センサ情報に基づき検出されるイベントとを対応付ける。
　一例を挙げると、本実施形態に係る情報処理装置は、例えば、各特徴量間の距離の重み付き二乗誤差などを、イベント間の距離として算出する。そして、本実施形態に係る情報処理装置は、算出されたイベント間の距離が設定されている閾値より小さい場合、または、当該イベント間の距離が当該閾値以下の場合に、撮像画像に基づき検出されるイベントと、センサ情報に基づき検出されるイベントとを対応付ける。
　また、複数の対象に対応するセンサ情報に基づき、同時刻に複数の対象により行われたイベントが検出された場合には、本実施形態に係る情報処理装置は、複数の対象に対応するセンサ情報それぞれに対してイベント間の距離を算出する。そして、本実施形態に係る情報処理装置は、“イベント間の距離が最小となる、撮像画像に基づき検出されるイベントとセンサ情報に基づき検出されるイベントとの組み合わせ”を求めることによって、撮像画像に基づき検出されるイベントと、センサ情報に基づき検出されるイベントとを対応付ける。本実施形態に係る情報処理装置は、例えばハンガリー法を用いて、イベント間の距離が最小となる上記組み合わせを求める。
　本実施形態に係る情報処理装置は、例えば上記のような処理を行うことによって、撮像画像とセンサ情報とに基づいて対象を識別する。
　ここで、例えば非特定状態が生じた場合であっても、上記のような処理が行われることにより対象が識別されることによって、非特定状態が解消される。
　したがって、本実施形態に係る情報処理装置は、第２の情報処理方法に係る処理（対象を識別する処理）を行うことによって、撮像画像に基づき対象を追尾する場合における精度の向上を図ることができる。
　また、撮像画像に基づき対象を追尾する場合における精度の向上が図られることによって、対象を追尾する際に、手動で修正を行わなければならない事態が発生する可能性を、より低減することが可能となる。よって、本実施形態に係る情報処理装置は、第２の情報処理方法に係る処理（対象を識別する処理）を行うことによって、撮像画像に基づき対象を追尾する場合における利便性の向上を図ることができる。
　さらに、第２の情報処理方法に係る処理（対象を識別する処理）が行われることによって対象が識別されるので、自動的な対象の識別が実現される。つまり、第２の情報処理方法に係る処理が行われる場合には、例えば本実施形態に係る情報処理装置のユーザは、識別情報を付与する操作などの対象の識別のための所定の操作を行う必要はない。よって、本実施形態に係る情報処理装置が第２の情報処理方法に係る処理を行うことによって、撮像画像に基づき対象を追尾する場合における利便性の向上を図ることができる。
（３）第３の情報処理方法に係る処理：対象を追尾する処理と対象を識別する処理との組み合わせ
　本実施形態に係る情報処理装置は、上記（１）に示す処理（対象を追尾する処理）と、上記（２）に示す処理（対象を識別する処理）との双方を行ってもよい。
　上記（１）に示す処理（対象を追尾する処理）と、上記（２）に示す処理（対象を識別する処理）との双方が行われることによって、上記（１）に示す処理（対象を追尾する処理）および上記（２）に示す処理（対象を識別する処理）それぞれにより奏される効果が、奏される。
　本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、上記（１）に示す処理（対象を追尾する処理）、上記（２）に示す処理（対象を識別する処理）、および上記（３）に示す処理（対象を追尾する処理と対象を識別する処理との組み合わせ）のいずれかの処理を行うことによって、撮像画像に基づき対象を追尾する場合における精度の向上を図る。
　なお、上記（１）に示す処理（対象を追尾する処理）、上記（２）に示す処理（対象を識別する処理）、および上記（３）に示す処理（対象を追尾する処理と対象を識別する処理との組み合わせ）それぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る各処理は、例えば、任意の切り分け方によって２以上の処理と捉えることも可能である。
（本実施形態に係る情報処理システム）
　次に、上述した本実施形態に係る情報処理方法が適用される本実施形態に係る情報処理システムの一例について、説明する。
　図７は、本実施形態に係る情報処理方法が適用される本実施形態に係る情報処理システム１０００の一例を示す説明図である。
　情報処理システム１０００は、例えば、情報処理装置１００と、撮像デバイス２００、…と、センサ３００とを有する。
　なお、図７では、１つの撮像デバイス２００を示しているが、本実施形態に係る情報処理システムは、複数の撮像デバイス２００を有していてもよい。本実施形態に係る情報処理システムが複数の撮像デバイス２００を有する場合、複数の撮像デバイス２００のうちの一部は、情報処理装置１００が備える撮像デバイスであってもよい。
　また、図７では、１つのセンサ３００を示しているが、本実施形態に係る情報処理システムは、複数のセンサ３００を有していてもよい。本実施形態に係る情報処理システムが複数のセンサを有する場合、各センサは、例えば、各センサが対応する対象それぞれをセンシングする。また、本実施形態に係る情報処理システムが複数のセンサを有する場合、１つの対象に対して、複数のセンサ３００が対応していてもよい。
　以下では、図７に示す情報処理システム１０００を例に挙げて、情報処理システム１０００を構成する装置について、説明する。
　情報処理装置１００、撮像デバイス２００、およびセンサ３００は、例えば、ネットワーク４００を介して無線または有線で接続される。ネットワーク４００としては、例えば、ＬＡＮ（Local　Area　Network）やＷＡＮ（Wide　Area　Network）などの有線ネットワーク、ＷＬＡＮ（Wireless　Local　Area　Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission　Control　Protocol/Internet　Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。なお、本実施形態に係る情報処理システムでは、情報処理装置１００と、撮像デバイス２００およびセンサ３００それぞれとは、ネットワーク４００を介さずに、直接的に通信を行うことも可能である。
［１］撮像デバイス２００
　撮像デバイス２００は、例えば、“コートやグラウンド（スポーツの試合の解析が目的である場合の一例）”、“防犯対策を施す空間（防犯が目的である場合の一例）”などの、対象を撮像しうる領域を撮像する。撮像デバイス２００の位置と姿勢との一方または双方は、固定であってもよいし、変化してもよい。
　撮像デバイス２００は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic　Gain　Control）回路やＡＤＣ（Analog　to　Digital　Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ　Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
　なお、撮像デバイス２００の構成は、上記に示す例に限られず、後述する撮像デバイス２００の適用例に応じた構成をとることが可能である。
［２］センサ３００
　センサ３００は、対象をセンシングするセンサである。センサ３００としては、上述したように、慣性センサおよび位置センサの一方または双方などが、挙げられる。
　また、上述したように、センサ３００は、例えば、選手などの対象となる人が身に付けて用いる物（例えば、靴、衣服、腕時計などのアクセサリ、あるいは、任意のウェアラブルデバイス）に設けられ、または、ボールなどの対象となる物に設けられる。
［３］情報処理装置１００
　情報処理装置１００は、本実施形態に係る情報処理方法に係る処理を行う。
　図８は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。
　また、情報処理装置１００は、例えば、ＲＯＭ（Read　Only　Memory。図示せず）や、ＲＡＭ（Random　Access　Memory。図示せず）、記憶部（図示せず）、情報処理装置１００の使用者が操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
　ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
　記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、本実施形態に係る情報処理方法に係るデータや各種アプリケーションなどの、様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard　Disk）などの磁気記録媒体や、フラッシュメモリ（flash　memory）などの不揮発性メモリ（nonvolatile　memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
　操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
［情報処理装置１００のハードウェア構成例］
　図９は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。また、情報処理装置１００は、例えば、情報処理装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
　ＭＰＵ１５０は、例えば、ＭＰＵ（Micro　Processing　Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する処理部１１０の役目を果たす。なお、処理部１１０は、専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。
　ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
　記録媒体１５６は、記憶部（図示せず）として機能し、例えば、本実施形態に係る情報処理方法に係るデータや各種アプリケーションなどの、様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
　入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal　Serial　Bus）端子や、ＤＶＩ（Digital　Visual　Interface）端子、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）端子、各種処理回路などが挙げられる。
　また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
　また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid　Crystal　Display）や有機ＥＬディスプレイ（Organic　Electro-Luminescence　Display。または、ＯＬＥＤディスプレイ（Organic　Light　Emitting　Diode　Display）ともよばれる。）などが挙げられる。
　なお、入出力インタフェース１５８が、情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
　通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワーク４００を介して（あるいは、直接的に）、撮像デバイス２００やセンサ３００などの外部デバイス、サーバなどの外部装置などと、無線または有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio　Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local　Area　Network）端子および送受信回路（有線通信）などが挙げられる。また、通信インタフェース１６４は、ネットワーク４００に対応する任意の構成であってもよい。
　情報処理装置１００は、例えば図９に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図９に示す構成に限られない。
　例えば、情報処理装置１００は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース１６４を備えていなくてもよい。また、通信インタフェース１６４は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
　また、情報処理装置１００は、例えば、情報処理システム１０００において撮像デバイス２００として機能する撮像デバイスを、さらに備えていてもよい。情報処理装置１００が撮像デバイスを備える場合、当該撮像デバイスは、撮像により撮像画像（動画像または静止画像）を生成する撮像部（図示せず）として機能する。
　また、情報処理装置１００は、例えば、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２を備えない構成をとることが可能である。
　また、情報処理装置１００は、例えば、後述する情報処理装置１００の適用例に応じた構成をとることが可能である。
　また、例えば、図９に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣ（Integrated　Circuit）で実現されてもよい。
　再度図８を参照して、情報処理装置１００の構成の一例について説明する。通信部１０２は、情報処理装置１００が備える通信手段であり、ネットワーク４００を介して（あるいは、直接的に）、撮像デバイス２００やセンサ３００などの外部装置と、無線または有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。
　ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワーク４００を介して外部装置と通信可能な任意の構成をとることができる。また、通信部１０２は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
　制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、処理部１１０を有し、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
　処理部１１０は、本実施形態に係る情報処理方法に係る処理として、例えば、上記（１）に示す処理（対象を追尾する処理）、上記（２）に示す処理（対象を識別する処理）、および上記（３）に示す処理（対象を追尾する処理と対象を識別する処理との組み合わせ）のいずれかの処理を行う。
　上記（１）に示す処理（対象を追尾する処理）を行う場合、処理部１１０は、撮像画像とセンサ情報とに基づいて識別されている対象を追尾する。
　また、上記（２）に示す処理（対象を識別する処理）を行う場合、処理部１１０は、撮像画像とセンサ情報とに基づいて、対象を識別する。
　また、上記（３）に示す処理（対象を追尾する処理と対象を識別する処理との組み合わせ）を行う場合、処理部１１０は、撮像画像とセンサ情報とに基づいて識別されている対象を追尾し、かつ、撮像画像とセンサ情報とに基づいて識別されている対象を追尾する。
　制御部１０４は、例えば、処理部１１０を有することにより、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
　なお、制御部１０４の構成は、図８に示す例に限られない。例えば、制御部１０４は、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成を有することが可能である。
　情報処理装置１００は、例えば図８に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、上記（１）に示す処理（対象を追尾する処理）、上記（２）に示す処理（対象を識別する処理）、および上記（３）に示す処理（対象を追尾する処理と対象を識別する処理との組み合わせ）のいずれかの処理）を行う。したがって、情報処理装置１００は、例えば図８に示す構成によって、撮像画像に基づき対象を追尾する場合における精度の向上を図ることができる。
　また、例えば図８に示す構成によって、情報処理装置１００は、上述したような本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
　なお、本実施形態に係る情報処理装置の構成は、図８に示す構成に限られない。
　例えば、本実施形態に係る情報処理装置は、図８に示す処理部１１０を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。
　また、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図８に示す構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
　また、例えば、通信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る情報処理装置は、通信部１０２を備えていなくてもよい。
［４］本実施形態に係る情報処理システムを構成する各装置の適用例
　以上、本実施形態に係る情報処理システムの構成要素として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“ＰＣ（Personal　Computer）やサーバなどのコンピュータ”や、“タブレット型の装置”、“ゲーム機”、“デジタルスチルカメラやデジタルビデオカメラなどのカメラ”など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。
　また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした処理システムに適用されてもよい。本実施形態に係る情報処理方法に係る処理が行われる処理システムの一例としては、例えば“処理システムを構成する一の装置によって本実施形態に係る情報処理方法に係る処理の一部の処理が行われ、処理システムを構成する他の装置によって本実施形態に係る情報処理方法に係る処理の当該一部の処理以外の処理が行われるシステム”などが、挙げられる。
　また、本実施形態に係る情報処理システムの構成要素として、撮像デバイスを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“デジタルスチルカメラやデジタルビデオカメラなどのカメラ”や、“スマートホンや携帯電話などの撮像を行うことが可能な通信装置”、“撮像を行うことが可能なタブレット型の装置”、“撮像を行うことが可能なゲーム機”など、撮像機能を有する任意の装置が、挙げられる。また、上述したように、本実施形態に係る情報処理システムでは、本実施形態に係る情報処理装置が撮像デバイスの役目を果たしてもよい。
　また、本実施形態に係る情報処理システムの構成要素として、センサを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“ヘッドマウントディスプレイや、アイウェア型の装置、時計型の装置、腕輪型の装置などのような、ユーザの身体に装着して用いられる様々なウェアラブル装置”や、“タグなどの物体に貼り付けて用いられる装置”、“生体に埋め込まれて用いられる装置”など、対象をセンシングする機能を有する任意の装置が、挙げられる。
（本実施形態に係るプログラム）
　コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、上記（１）に示す処理（対象を追尾する処理）、上記（２）に示す処理（対象を識別する処理）、および上記（３）に示す処理（対象を追尾する処理と対象を識別する処理との組み合わせ）のいずれかの処理など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、撮像画像に基づき対象を追尾する場合における精度の向上を図ることができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る情報処理方法に係る一連の処理が行われる。
　また、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を追尾する処理部を備える、情報処理装置。
（２）
　前記処理部は、識別情報が付与されている前記対象の軌跡を検出することによって、前記対象を追尾する、（１）に記載の情報処理装置。
（３）
　前記処理部は、
　前記撮像画像に基づいて前記対象を追尾し、
　前記撮像画像に基づいて追尾することができない場合に、前記センサ情報に基づいて前記対象を追尾する、（１）または（２）に記載の情報処理装置。
（４）
　前記処理部は、前記撮像画像に基づいて前記対象に対して付与されている識別情報を特定することができない非特定状態となった後、前記センサ情報に基づいて前記対象に対して識別情報を新たに付与して、前記対象を追尾する、（３）に記載の情報処理装置。
（５）
　前記処理部は、識別情報が付与されている前記対象と他の前記対象との間の距離が設定されている閾値以下となった場合、または、前記距離が前記閾値より小さくなった場合に、前記非特定状態であると判定する、（４）に記載の情報処理装置。
（６）
　前記処理部は、前記非特定状態であると判定された後に前記距離が前記閾値より大きくなった場合、または、前記非特定状態であると判定された後に前記距離が前記閾値以上となった場合に、前記センサ情報に基づいて前記対象に対して識別情報を新たに付与する、（５）に記載の情報処理装置。
（７）
　前記処理部は、前記撮像画像に基づいて前記対象を検出することができない非検出状態である場合に、前記センサ情報に基づいて前記対象の軌跡を補間することによって、前記対象を追尾する、（３）～（６）のいずれか１つに記載の情報処理装置。
（８）
　前記処理部は、前記撮像画像と前記センサ情報とに基づいて前記対象を識別する、（１）～（７）のいずれか１つに記載の情報処理装置。
（９）
　前記処理部は、前記撮像画像に基づき検出されるイベントと、前記センサ情報に基づき検出されるイベントとを対応付けることによって、前記対象を識別する、（８）に記載の情報処理装置。
（１０）
　前記センサは、前記対象の位置または前記対象の動きをセンシングするセンサである、（１）～（９）のいずれか１つに記載の情報処理装置。
（１１）
　前記センサは、位置センサまたは慣性センサである、（１０）に記載の情報処理装置。
（１２）
　撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を識別する処理部を備える、情報処理装置。
（１３）
　撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を追尾するステップを有する、情報処理装置により実行される情報処理方法。
（１４）
　前記追尾するステップでは、
　前記撮像画像に基づいて前記対象が追尾され、
　前記撮像画像に基づいて追尾することができない場合に、前記センサ情報に基づいて前記対象が追尾される、（１３）に記載の情報処理方法。
（１５）
　撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を識別するステップを有する、情報処理装置により実行される情報処理方法。
（１６）
　前記識別するステップでは、前記撮像画像に基づき検出されるイベントと、前記センサ情報に基づき検出されるイベントとを対応付けることによって、前記対象が識別される、（１５）に記載の情報処理方法。
（１７）
　撮像デバイスと、
　対象をセンシングするセンサと、
　前記撮像デバイスにより撮像された撮像画像と、前記センサから通信により取得されたセンサ情報とに基づいて、前記対象を追尾する処理部を備える情報処理装置と、
　を有する、情報処理システム。
　１００　　情報処理装置
　１０２　　通信部
　１０４　　制御部
　１１０　　処理部
　２００　　撮像デバイス
　３００　　センサ
　４００　　ネットワーク
　１０００　　情報処理システム

Claims (17)

  1. 　撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を追尾する処理部を備える、情報処理装置。
  2. 　前記処理部は、識別情報が付与されている前記対象の軌跡を検出することによって、前記対象を追尾する、請求項１に記載の情報処理装置。
  3. 　前記処理部は、
    　前記撮像画像に基づいて前記対象を追尾し、
    　前記撮像画像に基づいて追尾することができない場合に、前記センサ情報に基づいて前記対象を追尾する、請求項１に記載の情報処理装置。
  4. 　前記処理部は、前記撮像画像に基づいて前記対象に対して付与されている識別情報を特定することができない非特定状態となった後、前記センサ情報に基づいて前記対象に対して識別情報を新たに付与して、前記対象を追尾する、請求項３に記載の情報処理装置。
  5. 　前記処理部は、識別情報が付与されている前記対象と他の前記対象との間の距離が設定されている閾値以下となった場合、または、前記距離が前記閾値より小さくなった場合に、前記非特定状態であると判定する、請求項４に記載の情報処理装置。
  6. 　前記処理部は、前記非特定状態であると判定された後に前記距離が前記閾値より大きくなった場合、または、前記非特定状態であると判定された後に前記距離が前記閾値以上となった場合に、前記センサ情報に基づいて前記対象に対して識別情報を新たに付与する、請求項５に記載の情報処理装置。
  7. 　前記処理部は、前記撮像画像に基づいて前記対象を検出することができない非検出状態である場合に、前記センサ情報に基づいて前記対象の軌跡を補間することによって、前記対象を追尾する、請求項３に記載の情報処理装置。
  8. 　前記処理部は、前記撮像画像と前記センサ情報とに基づいて前記対象を識別する、請求項１に記載の情報処理装置。
  9. 　前記処理部は、前記撮像画像に基づき検出されるイベントと、前記センサ情報に基づき検出されるイベントとを対応付けることによって、前記対象を識別する、請求項８に記載の情報処理装置。
  10. 　前記センサは、前記対象の位置または前記対象の動きをセンシングするセンサである、請求項１に記載の情報処理装置。
  11. 　前記センサは、位置センサまたは慣性センサである、請求項１０に記載の情報処理装置。
  12. 　撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を識別する処理部を備える、情報処理装置。
  13. 　撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を追尾するステップを有する、情報処理装置により実行される情報処理方法。
  14. 　前記追尾するステップでは、
    　前記撮像画像に基づいて前記対象が追尾され、
    　前記撮像画像に基づいて追尾することができない場合に、前記センサ情報に基づいて前記対象が追尾される、請求項１３に記載の情報処理方法。
  15. 　撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を識別するステップを有する、情報処理装置により実行される情報処理方法。
  16. 　前記識別するステップでは、前記撮像画像に基づき検出されるイベントと、前記センサ情報に基づき検出されるイベントとを対応付けることによって、前記対象が識別される、請求項１５に記載の情報処理方法。
  17. 　撮像デバイスと、
    　対象をセンシングするセンサと、
    　前記撮像デバイスにより撮像された撮像画像と、前記センサから通信により取得されたセンサ情報とに基づいて、前記対象を追尾する処理部を備える情報処理装置と、
    　を有する、情報処理システム。
PCT/JP2017/040054 2017-01-20 2017-11-07 情報処理装置、情報処理方法、および情報処理システム WO2018135095A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17893139.0A EP3573326A4 (en) 2017-01-20 2017-11-07 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING SYSTEM
JP2018562891A JP7036036B2 (ja) 2017-01-20 2017-11-07 情報処理装置、情報処理方法、および情報処理システム
CN201780083243.8A CN110169045A (zh) 2017-01-20 2017-11-07 信息处理设备、信息处理方法以及信息处理系统
US16/477,603 US11721026B2 (en) 2017-01-20 2017-11-07 Information processing apparatus, information processing method, and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017008081 2017-01-20
JP2017-008081 2017-01-20

Publications (1)

Publication Number Publication Date
WO2018135095A1 true WO2018135095A1 (ja) 2018-07-26

Family

ID=62908342

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/040054 WO2018135095A1 (ja) 2017-01-20 2017-11-07 情報処理装置、情報処理方法、および情報処理システム

Country Status (5)

Country Link
US (1) US11721026B2 (ja)
EP (1) EP3573326A4 (ja)
JP (1) JP7036036B2 (ja)
CN (1) CN110169045A (ja)
WO (1) WO2018135095A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020170892A (ja) * 2019-04-01 2020-10-15 株式会社Ｊｖｃケンウッド 自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法。
WO2022124362A1 (ja) * 2020-12-11 2022-06-16 エヌ・ティ・ティ・コミュニケーションズ株式会社 物体認識装置、物体認識方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10276351A (ja) 1997-03-31 1998-10-13 Mitsubishi Electric Corp スポーツ競技表示装置
WO2009113265A1 (ja) * 2008-03-11 2009-09-17 パナソニック株式会社 タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法
JP2016186740A (ja) * 2015-03-27 2016-10-27 Kddi株式会社 動線の部分削除処理を利用して物体を識別する物体追跡装置、プログラム及び方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8731239B2 (en) * 2009-12-09 2014-05-20 Disney Enterprises, Inc. Systems and methods for tracking objects under occlusion
US8660368B2 (en) * 2011-03-16 2014-02-25 International Business Machines Corporation Anomalous pattern discovery
CN102508246B (zh) * 2011-10-13 2013-04-17 吉林大学 车辆前方障碍物检测跟踪方法
US9188676B2 (en) * 2012-08-15 2015-11-17 Digital Signal Corporation System and method for detecting a face contour using a three-dimensional measurement system
US20150120543A1 (en) * 2014-05-30 2015-04-30 Kenneth Carnesi, SR. EyeWatch ATM and Wire Transfer Fraud Prevention System
KR101641647B1 (ko) * 2014-12-24 2016-07-22 전자부품연구원 저사양 영상 기기에서의 실시간 영상 인식 방법
US9599706B2 (en) * 2015-04-06 2017-03-21 GM Global Technology Operations LLC Fusion method for cross traffic application using radars and camera
JP6755713B2 (ja) * 2016-05-25 2020-09-16 キヤノン株式会社 追尾装置、追尾方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10276351A (ja) 1997-03-31 1998-10-13 Mitsubishi Electric Corp スポーツ競技表示装置
WO2009113265A1 (ja) * 2008-03-11 2009-09-17 パナソニック株式会社 タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法
JP2016186740A (ja) * 2015-03-27 2016-10-27 Kddi株式会社 動線の部分削除処理を利用して物体を識別する物体追跡装置、プログラム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3573326A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020170892A (ja) * 2019-04-01 2020-10-15 株式会社Ｊｖｃケンウッド 自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法。
JP7183920B2 (ja) 2019-04-01 2022-12-06 株式会社Ｊｖｃケンウッド 自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法。
WO2022124362A1 (ja) * 2020-12-11 2022-06-16 エヌ・ティ・ティ・コミュニケーションズ株式会社 物体認識装置、物体認識方法、及びプログラム
JP7560015B2 (ja) 2020-12-11 2024-10-02 エヌ・ティ・ティ・コミュニケーションズ株式会社 物体認識装置、物体認識方法、及びプログラム

Also Published As

Publication number Publication date
EP3573326A1 (en) 2019-11-27
EP3573326A4 (en) 2019-11-27
US20190340769A1 (en) 2019-11-07
JP7036036B2 (ja) 2022-03-15
CN110169045A (zh) 2019-08-23
JPWO2018135095A1 (ja) 2019-11-07
US11721026B2 (en) 2023-08-08

Similar Documents

Publication Publication Date Title
KR100855471B1 (ko) 입력 장치 및 상기 입력 장치의 이동 정보를 제공하는 방법
CN108370412B (zh) 控制装置、控制方法和记录介质
US20160037055A1 (en) Capturing images of active subjects
WO2012063469A1 (ja) 画像処理装置、画像処理方法およびプログラム
US20220026981A1 (en) Information processing apparatus, method for processing information, and program
US20160231810A1 (en) Information processing apparatus, information processing method, and program
CN104870941A (zh) 分离的基于计算机视觉的姿势与基于惯性传感器的姿势的显示
WO2018135095A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
CN107407968B (zh) 信息处理装置、信息处理方法和程序
US10321008B2 (en) Presentation control device for controlling presentation corresponding to recognized target
CN110800313B (zh) 信息处理设备和信息处理方法
WO2016027527A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20200215410A1 (en) Aligning sensor data with video
WO2016035464A1 (ja) 解析方法、システムおよび解析装置
CN110226324B (zh) 信息处理设备和信息处理方法
US10814202B2 (en) Information processing device, sensor device, and information processing system
JP2020098114A (ja) 自己位置推定装置、自己位置推定方法及びプログラム
JP6701677B2 (ja) 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム
EP3813018A1 (en) Virtual object operating system and virtual object operating method
JP6772593B2 (ja) 移動体識別装置、移動体識別システム、移動体識別方法及びプログラム
KR101767953B1 (ko) 골프 스윙 촬영 시각 검출 방법, 골프 스윙 표시 방법 및 이를 수행하는 골프 스윙 분석 시스템
EP2894603A1 (en) Sports system and method
JP6705316B2 (ja) 移動体識別装置、移動体識別システム、移動体識別方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17893139

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018562891

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017893139

Country of ref document: EP

Effective date: 20190820