WO2021064925A1 - 生成方法、生成プログラムおよび情報処理装置 - Google Patents

生成方法、生成プログラムおよび情報処理装置 Download PDF

Info

Publication number
WO2021064925A1
WO2021064925A1 PCT/JP2019/039019 JP2019039019W WO2021064925A1 WO 2021064925 A1 WO2021064925 A1 WO 2021064925A1 JP 2019039019 W JP2019039019 W JP 2019039019W WO 2021064925 A1 WO2021064925 A1 WO 2021064925A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
sensor
sensors
information indicating
unit
Prior art date
Application number
PCT/JP2019/039019
Other languages
English (en)
French (fr)
Inventor
創輔 山尾
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2019/039019 priority Critical patent/WO2021064925A1/ja
Priority to CN201980100162.3A priority patent/CN114430800B/zh
Priority to EP19947861.1A priority patent/EP4040104A4/en
Priority to JP2021550867A priority patent/JP7188612B2/ja
Publication of WO2021064925A1 publication Critical patent/WO2021064925A1/ja
Priority to US17/676,273 priority patent/US20220179085A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to a generation method and the like.
  • a distance measuring device such as a laser sensor
  • a distance measuring device such as a laser sensor
  • the subject can be reproduced three-dimensionally by sensing the subject from each direction using multiple sensors placed around the subject and integrating the three-dimensional point cloud that is the measurement result of each sensor. it can.
  • FIG. 25 is a diagram showing the result of integrating the three-dimensional point cloud measured by a plurality of sensors.
  • the sensors 10A, 10B, 10C, and 10D are arranged around (front and back) the subject 1, and the sensors 10A to 10D measure the subject 1 and obtain a three-dimensional point cloud.
  • the three-dimensional point cloud 11A is data based on the measurement result of the sensor 10A.
  • the three-dimensional point cloud 11B is data based on the measurement result of the sensor 10B.
  • the three-dimensional point cloud 11C is data based on the measurement result of the sensor 10C.
  • the three-dimensional point cloud 11D is data based on the measurement result of the sensor 10D.
  • external parameters are used.
  • the external parameter is information indicating the positional relationship between the plurality of sensors.
  • Conventional techniques for calculating external parameters include, for example, prior art techniques 1 and 2.
  • the prior art 1 will be described.
  • the prior art 1 is an external calibration technique for calculating an external parameter of a sensor using a spherical target.
  • the sphere target is observed a plurality of times by the first sensor and the second sensor while moving one sphere target.
  • FIG. 26 is a diagram for explaining the prior art 1.
  • the spherical targets 23a, 24a, 25a are associated with the spherical targets 23b, 24b, 25b, and the external parameters are based on the positional relationship of the three-dimensional point cloud of the associated spherical targets.
  • Estimate the initial value of. Singular value decomposition is aligned to estimate the initial value.
  • the external parameter between the first sensor and the second sensor is optimized by using the bundle estimation or the maximum likelihood estimation, and the external parameter is calculated. ..
  • Image 16 shows the result of external calibration.
  • the positions of the spherical targets 23a, 24a, 25a and the spherical targets 23b, 24b, 25b are matched.
  • the conventional technique 2 is a technique of detecting a target by image processing, using two cameras as starting points, and using a DLT (Direct Linear Transform) algorithm to sequentially estimate external parameters of each camera.
  • DLT Direct Linear Transform
  • FIG. 27 and 28 are diagrams for explaining the prior art 2.
  • FIG. 27 will be described.
  • target 2 is observed by sensors 10A to 10D.
  • target 2 is observed by sensors 10A-10D.
  • target 2 is observed by sensors 10A-10D.
  • target 2 is observed by sensors 10A, 10B, 10D.
  • target 2 is observed by sensors 10A, 10B, 10D.
  • target 2 is observed by sensors 10C, 10D.
  • target 2 is observed by sensors 10C, 10D.
  • the order in which the external parameters are estimated is predetermined.
  • the sensors are selected in the order of the sensors 10B, 10C, and 10D with the sensor 10A as a reference, and the external parameters are estimated.
  • the target 2 that can be used for estimation is the reference sensor or the target 2 at the time when it has already been observed by the selected sensor.
  • the order in which the external parameters are estimated is predetermined. For example, as described in FIG. 28, when the sensors are selected in the order of the sensors 10B, 10C, and 10D with reference to the sensor 10A and the external parameters are estimated, the target that can be used for estimating the external parameters in the observation result 20C. Decreases and the distribution becomes biased. If the targets that can be used to estimate the external parameters are unevenly distributed, the estimation accuracy of the external parameters will be low. The decrease in the estimation accuracy also affects the estimation accuracy when the observation result 20D in the latter stage is selected and the external parameters are estimated.
  • the present invention provides a generation method, a generation program, and an information processing apparatus capable of accurately generating information indicating a relative positional relationship, such as an arrangement position relationship and an angle of view relationship, for three or more sensors.
  • the purpose is to provide.
  • the computer executes the following processing.
  • the computer acquires the detection result of the target at a plurality of time points by three or more sensors. Based on whether or not each of the three or more sensors detected the target at each time point, the computer sets the target at the same time point among multiple time points in each of the two sensor sets of the three or more sensor points. Specify the number of times when it was detected.
  • the computer generates information indicating the connectivity regarding the estimation accuracy of the relative positional relationship between the sensors based on the number of times specified for each set of sensors and the variance of the target placement position at a plurality of time points.
  • the computer generates information indicating the first relative positional relationship between the two connected sensors based on the information indicating the connectivity.
  • the computer generates information indicating a second relative positional relationship between two sensors having no connectivity based on the information indicating the connectivity and the information indicating the first relative positional relationship.
  • the computer outputs information indicating the first relative positional relationship and information indicating the second relative positional relationship as information indicating the positional relationship between the three or more sensors.
  • FIG. 1 is a diagram showing an example of an information processing system according to the first embodiment.
  • FIG. 2 is a diagram (1) for explaining a process of generating a sensor connectivity graph.
  • FIG. 3 is a diagram (2) for explaining a process of generating a sensor connectivity graph.
  • FIG. 4 is a diagram for explaining a process of reflecting the variance of the target in the sensor connectivity graph.
  • FIG. 5 is a diagram for explaining the calculation of external parameters of sensors that are not directly connected.
  • FIG. 6 is a diagram for explaining the effect of the information processing apparatus according to the first embodiment.
  • FIG. 7 is a functional block diagram showing the configuration of the information processing apparatus according to the first embodiment.
  • FIG. 8 is a diagram showing an example of the data structure of the detection result table.
  • FIG. 9 is a diagram showing an example of the data structure of the external parameter table.
  • FIG. 10 is a functional block diagram showing the configuration of the external parameter generation processing unit.
  • FIG. 11 is a diagram (1) for explaining the processing of the robust estimation unit.
  • FIG. 12 is a diagram (2) for explaining the processing of the robust estimation unit.
  • FIG. 13 is a diagram (3) for explaining the processing of the robust estimation unit.
  • FIG. 14 is a diagram (4) for explaining the processing of the robust estimation unit.
  • FIG. 15 is a diagram (5) for explaining the processing of the robust estimation unit.
  • FIG. 16 is a flowchart showing a processing procedure of the information processing apparatus according to the first embodiment.
  • FIG. 17 is a flowchart showing a processing procedure of the sensor connectivity graph generation process.
  • FIG. 16 is a flowchart showing a processing procedure of the information processing apparatus according to the first embodiment.
  • FIG. 17 is a flowchart showing a processing procedure of the sensor connectivity graph generation process.
  • FIG. 18 is a diagram (1) showing an example of external calibration using a spherical marker.
  • FIG. 19 is a diagram (2) showing an example of external calibration using a spherical marker.
  • FIG. 20 is a diagram (3) showing an example of external calibration using a spherical marker.
  • FIG. 21 is a diagram for explaining the arrangement position of the target.
  • FIG. 22 is a functional block diagram showing the configuration of the information processing apparatus according to the second embodiment.
  • FIG. 23 is a flowchart showing a processing procedure of the information processing apparatus according to the second embodiment.
  • FIG. 24 is a diagram showing an example of a hardware configuration of a computer that realizes a function similar to that of an information processing device.
  • FIG. 24 is a diagram showing an example of a hardware configuration of a computer that realizes a function similar to that of an information processing device.
  • FIG. 25 is a diagram showing the result of integrating the three-dimensional point cloud measured by a plurality of sensors.
  • FIG. 26 is a diagram for explaining the prior art 1.
  • FIG. 27 is a diagram (1) for explaining the prior art 2.
  • FIG. 28 is a diagram (2) for explaining the prior art 2.
  • FIG. 1 is a diagram showing an example of an information processing system according to the first embodiment.
  • the information processing system according to the first embodiment includes sensors 10A, 10B, 10C, 10D and an information processing device 100.
  • the sensors 10A to 10D and the information processing device 100 are connected by wire or wirelessly, respectively.
  • the sensors 10A to 10D are shown in FIG. 1, the information processing system may have other sensors.
  • the sensor 10A is a measuring device (laser sensor) that measures the distance between the point cloud constituting the subject (or the target 2) and the sensor 10A.
  • the sensor 10A outputs the distance image data as the measurement result to the information processing device 100.
  • the distance image data includes information in which each pixel and a distance value are associated with each other.
  • the distance image data is converted into three-dimensional point cloud data by the information processing device 100.
  • the three-dimensional point cloud data is information in which a point and the coordinates of a three-dimensional Cartesian coordinate system are associated with each other for the point cloud.
  • the description of the sensor 10B is the same as the description of the sensor 10A.
  • the sensors 10A to 10B are collectively referred to as "sensor 10" as appropriate.
  • the three-dimensional point group data is data obtained by converting the data of the distance image measured by the sensor 10, but is appropriately expressed as the three-dimensional point group data measured by the sensor 10, and the data of the distance image is referred to as the three-dimensional point.
  • the description of conversion to group data is omitted.
  • the information processing system is a system that measures a subject (not shown) using a sensor 10 and evaluates the performance performed by the subject. As a preprocessing, an external calibration is performed using a target 2. To generate external parameters.
  • the information processing system integrates the three-dimensional point cloud data measured by the sensor 10 based on the generated external parameters, generates the three-dimensional point cloud data of the entire subject, and evaluates the performance performed by the subject.
  • the information processing device 100 of the information processing system executes a process of generating a sensor connectivity graph, a process of reflecting the distribution of targets in the sensor connectivity graph, and a process of specifying the order in which sensors are selected.
  • target 2 is observed by sensor 10A.
  • target 2 is observed by sensor 10A.
  • target 2 is observed by sensors 10A, 10B.
  • target 2 is observed by sensors 10A, 10B.
  • target 2 is observed by sensors 10A and 10B.
  • target 2 is observed by sensors 10A, 10B, 10C.
  • target 2 is observed by sensors 10B, 10C.
  • target 2 is observed by sensors 10B, 10D.
  • target 2 is observed by sensors 10B, 10C, 10D.
  • target 2 is observed by sensors 10C, 10D.
  • target 2 is observed by sensors 10C, 10D.
  • target 2 is observed by sensors 10B, 10C, 10D.
  • target 2 is observed by sensors 10B, 10C, 10D.
  • target 2 is observed by sensor 10C.
  • the information processing device 100 specifies the number of times (hereinafter, the number of shares) when the target 2 is detected at the same time point among a plurality of time points in a set of two sensors among the sensors 10A to 10D.
  • the number of shared sensors 10A and 10D is "0".
  • the information processing device 100 generates a target shared number graph 50 based on the shared number specified for each of the two sensor sets.
  • the target shared number graph 50 includes nodes 50A, 50B, 50C, and 50D.
  • the node 50A is a node corresponding to the sensor 10A.
  • the node 50B is a node corresponding to the sensor 10B.
  • the node 50C is a node corresponding to the sensor 10C.
  • the node 50D is a node corresponding to the sensor 10D.
  • the nodes 50A to 50D are connected by the edge E, and each edge E is set with a weight according to the number of sharing.
  • the information processing apparatus 100 since the sensor 10A, the shared number of pairs 10B is "4", the edge E BA for connecting the node 50A and node 50B, sets the weight "4".
  • the information processing apparatus 100 since the sensor 10A, the shared number of sets of 10C is "1", the edge E CA connecting the node 50A and node 50D, sets the weight "1". Since the number of shared sensors 10A and 10D is "0", the node 50A and the node 50D are not connected by an edge.
  • the information processing apparatus 100 since the sensor 10B, the shared number of sets of 10C is "4", the edge E BC which connects the node 50B and node 50C, sets the weight "4".
  • the information processing apparatus 100 since the sensor 10B, the shared number of pairs 10D is "3", the edge E DB connecting the node 50B and node 50D, sets the weight "3".
  • the information processing apparatus 100 generates the sensor connectivity graph 51 by leaving an edge having a weight of "3" or more among the edges E.
  • the information processing apparatus 100 generates the sensor connectivity graph 51 by deleting the edge E CA from the target shared number graph 50 and leaving the edge E BA , E CB , E DB , and E CD. To do.
  • FIG. 4 is a diagram for explaining a process of reflecting the variance of the target in the sensor connectivity graph.
  • the information processing apparatus 100 calculates the variance ⁇ 2 of the position of the target group observed by the set of two sensors at each time point.
  • the information processing apparatus 100 sets "-2log ⁇ " as the weight of each edge E, and reflects the variance of the target in the sensor connectivity graph. The smaller the edge weight, the larger the spatial variance (even distribution) of the positions of the target groups observed by the pair of two sensors.
  • - the "2Logshiguma BA” is referred to as "-2.7”
  • the information processing apparatus 100, the edge E BA sets the weight "-2.7".
  • - the "2Logshiguma DB" is referred to as "-3.2”
  • the information processing apparatus 100, the edge E DB sets the weight "-3.2”.
  • the information processing device 100 executes a process of specifying the order of selecting sensors to be calculated for external parameters based on the result of reflecting the variance of the target 2 on the sensor connectivity graph 51.
  • the information processing device 100 determines a route that minimizes the sum of the edges E by the shortest path search.
  • the information processing apparatus 100 uses the Bellman-Ford method or the like to determine a route that minimizes the sum of the edges E.
  • the path that minimizes the sum of each edge E is the order of the sensors so that the spatial dispersion of the positions of the target group is as large as possible.
  • the route that minimizes the sum of each edge E is in the order of node 50A, node 50B, node 50D, and node 50C. It becomes. That is, the order of the sensors is sensor 10A, sensor 10B, sensor 10D, and sensor 10C so that the spatial dispersion of the positions of the target group becomes as large as possible.
  • the information processing device 100 selects the sensor 10B, the sensor 10D, and the sensor C in this order with the sensor 10A as a reference, and estimates the external parameters.
  • the external parameters of the sensor that is not directly connected to the reference sensor.
  • FIG. 5 is a diagram for explaining the calculation of external parameters of sensors that are not directly connected.
  • the node 50A, the node 50B, the node 50D, and the node 50C correspond to the sensor 10A, the sensor 10B, the sensor 10C, and the sensor 10D, respectively.
  • the node 50A and the node 50C are not directly connected, but by executing the following processing, the reference sensor 10A and the sensor 10C are relative to each other. It is possible to calculate various positions and postures.
  • the information processing device 100 calculates the relative position and orientation of the reference sensor 10A and the sensor 10C based on the equation (1).
  • each T is a matrix containing a rotation matrix and a translation vector.
  • T CA T CD T DB T BA ... (1)
  • the information processing apparatus 100 executes observations by the sensors 10A to 10D while moving the target 2 at each time point, and indicates the number of times when the target 2 is detected at the same time. Identify the number of shares.
  • the information processing apparatus 100 generates a target shared number graph 50 in which the shared number is an edge weight, and from the target shared number graph 50, a sensor connectivity graph 51 that leaves edges having an edge E weight of a predetermined number or more. To generate.
  • the set of nodes connected in the sensor connectivity graph 51 shows a set of sensors in which the number of times the target 2 is observed at the same time is a predetermined number or more.
  • the information processing apparatus 100 calculates the variance ⁇ 2 of the position of the target group observed by the set of two sensors at each time point, sets “-2log ⁇ ” as the weight of each edge E, and sets the variance of the target. Reflect in the sensor connectivity graph. In the sensor connectivity graph in which the weight of each edge E is defined as "-2log ⁇ ", the smaller the edge weight, the larger the spatial variance of the position of the target group observed by the pair of two sensors. ..
  • the information processing device 100 specifies a route that minimizes the sum of the edges E, and specifies the order of the sensors 10 to be selected when calculating the external parameter based on the specified route.
  • the order of the sensors can be specified so that the spatial dispersion of the positions of the target group becomes as large as possible so that the calculation of the external parameters of the sensor 10 is stable. Therefore, for three or more sensors, it is possible to accurately generate information indicating the relative positional relationship such as the arrangement positional relationship and the angle of view relationship.
  • FIG. 6 is a diagram for explaining the effect of the information processing apparatus according to the first embodiment.
  • the upper part of FIG. 6 shows the order of selection of the sensor 10 when the prior art 2 is used.
  • the lower row shows the order of selection of the sensor 10 specified by the information processing apparatus 100.
  • the sensors 10 are selected in a predetermined order, such as sensors 10A, 10B, 10C, and 10D.
  • a predetermined order such as sensors 10A, 10B, 10C, and 10D.
  • the targets that can be used for estimating the external parameters are reduced in the observation result 20C, and the distribution is biased. If the targets that can be used to estimate the external parameters are unevenly distributed, the estimation accuracy of the external parameters will be low.
  • the sensors 10 are selected in the order of the sensors 10A, 10B, 10C, and 10D by using the sensor connectivity graph.
  • FIG. 7 is a functional block diagram showing the configuration of the information processing apparatus according to the first embodiment.
  • the information processing device 100 includes a communication unit 110, an input unit 120, a display unit 130, a storage unit 140, and a control unit 150.
  • the communication unit 110 is a processing unit that receives distance image data from the sensor 10 shown in FIG.
  • the communication unit 110 outputs the received distance image data to the control unit 150.
  • the communication unit 110 is an example of a communication device.
  • the input unit 120 is an input device that inputs various information to the information processing device 100.
  • the input unit 120 corresponds to a keyboard, a mouse, a touch panel, and the like. For example, at each time point, the user operates the input unit 120 every time the installation of the target 2 is completed, and inputs information to the effect that the installation of the target 2 is completed to the information processing device 100.
  • the display unit 130 is a display device that displays information output from the control unit 150. For example, the display unit 130 displays skill certification, scoring results, etc. of various competitions.
  • the display unit 130 corresponds to a liquid crystal display, an organic EL (Electro-Luminescence) display, a touch panel, and the like.
  • the storage unit 140 has a background image table 141, a detection result table 142, and an external parameter table 143.
  • the storage unit 140 corresponds to semiconductor memory elements such as RAM (Random Access Memory) and flash memory (Flash Memory), and storage devices such as HDD (Hard Disk Drive).
  • the background image table 141 is a table that stores background image data (distance image data) measured by each of the sensors 10A to 10D in the absence of the target 2.
  • the detection result table 142 is a table that stores the point cloud and the position of the target 2 detected at each time point based on the observation result of the sensor 10.
  • FIG. 8 is a diagram showing an example of the data structure of the detection result table.
  • the detection result table 142 stores the sensor identification information and the point cloud information of the target 2 at each time point.
  • the sensor identification information is information that identifies the sensor 10.
  • the sensor identification information SE10A, SE10B, SE10C, SE10D correspond to the sensor 10A, the sensor 10B, the sensor 10C, and the sensor 10D, respectively.
  • the point cloud information of the target is data showing the relationship between the three-dimensional point cloud of the target 2 and the three-dimensional coordinates of the points included in the point cloud. If the target is not detected at the time of the corresponding sensor identification information, "no target" is stored.
  • the external parameter table 143 is a table that stores external parameters generated by the external parameter generation processing unit 152, which will be described later.
  • FIG. 9 is a diagram showing an example of the data structure of the external parameter table. As shown in FIG. 9, the external parameter table 143 associates the sensor identification information with the external parameters.
  • the sensor identification information is information that identifies the sensor 10.
  • the external parameters are data indicating the position and orientation relative to the reference sensor 10. In the first embodiment, the reference sensor is the sensor 10A.
  • the external parameter TBA is data indicating the relative position and orientation of the sensor 10B with respect to the sensor 10A.
  • the external parameter T CA is data indicating the relative position and orientation of the sensor 10C with respect to the sensor 10A.
  • the external parameter TDA is data indicating the relative position and orientation of the sensor 10D with respect to the sensor 10A.
  • the control unit 150 includes an acquisition unit 151, an external parameter generation processing unit 152, an integration unit 153, a fitting processing unit 154, and an evaluation unit 155.
  • the control unit 150 is realized by hard-wired logic such as CPU (Central Processing Unit), MPU (Micro Processing Unit), ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), and the like.
  • the acquisition unit 151 is a processing unit that acquires distance image data from the sensor 10 via the communication unit 110. For example, the timing at which the acquisition unit 151 acquires the data of the distance image is instructed by the user who operates the input unit 120.
  • the acquisition unit 151 takes the difference between the distance image data and the background image data stored in the background image table 141, and generates background subtraction image data.
  • the acquisition unit 151 outputs the background subtraction image data to the external parameter generation processing unit 152.
  • the acquisition unit 151 generates background subtraction data corresponding to the sensor 10A by the difference between the distance image data measured by the sensor 10A and the background image data corresponding to the sensor 10A.
  • the acquisition unit 151 generates background subtraction data corresponding to the sensor 10B by the difference between the distance image data measured by the sensor 10B and the background image data corresponding to the sensor 10B.
  • the acquisition unit 151 generates background subtraction data corresponding to the sensor 10C by the difference between the distance image data measured by the sensor 10C and the background image data corresponding to the sensor 10C.
  • the acquisition unit 151 generates background subtraction data corresponding to the sensor 10D by the difference between the distance image data measured by the sensor 10D and the background image data corresponding to the sensor 10D.
  • the acquisition unit 151 repeatedly executes the above process each time the distance image data is acquired from the sensor 10 at each time point.
  • the acquisition unit 151 may add the information at the time point t and the sensor identification information of the corresponding sensor 10 to the background subtraction data.
  • the acquisition unit 151 When executing external calibration, the acquisition unit 151 outputs background subtraction data to the external parameter generation processing unit 152. The acquisition unit 151 outputs background subtraction data to the integration unit 153 when evaluating the performance performed by the subject (not shown). The acquisition unit 151 receives the timing of performing the external calibration and the timing of evaluating the performance from the input unit 120 operated by the user.
  • the external parameter generation processing unit 152 is a processing unit that generates external parameters by executing the processes described in FIGS. 2 to 5.
  • the external parameter generation processing unit 152 stores the generated external parameters in the external parameter table 143.
  • FIG. 10 is a functional block diagram showing the configuration of the external parameter generation processing unit.
  • the external parameter generation processing unit 152 includes a detection unit 160, a specific unit 161, a graph generation unit 162, a parameter generation unit 163, and a robust estimation unit 164.
  • the detection unit 160 is a processing unit that detects the target 2 at a plurality of time points.
  • the detection unit 160 clusters each pixel (pixels excluding the background portion) left in the background subtraction data, and classifies each pixel into a plurality of clusters.
  • the detection unit 160 removes clusters in which the number of pixels belonging to the cluster is less than a predetermined number (the area of the cluster is less than the threshold value) among the clusters as noise.
  • the detection unit 160 holds a conversion table that defines the relationship between the pixel position and distance values and the coordinates of the points and the Cartesian coordinate system.
  • the detection unit 160 converts each pixel included in the cluster into a three-dimensional point cloud based on the conversion table.
  • the detection unit 160 evaluates the error when the three-dimensional point cloud of each cluster is fitted to the preset three-dimensional model surface of the target 2.
  • the detection unit 160 identifies the cluster with the smallest error when fitted as the target 2.
  • the detection unit 160 may execute fitting based on ICP (Iterative Closest Point) or the like.
  • ICP Intelligent Closest Point
  • the three-dimensional point cloud of the cluster corresponding to the target 2 has a relationship between the point cloud and the coordinates of the Cartesian coordinate system of each point, and corresponds to the point cloud information.
  • the detection unit 160 stores the above point cloud information in the detection result table 142 based on the sensor identification information and the time point information given to the background subtraction data.
  • the detection unit 160 executes the above processing based on the background subtraction data, and when the target 2 is not observed by the sensor 10, the information without the target is stored in the detection result table 142.
  • the detection unit 160 repeatedly executes the above process every time it acquires background subtraction data.
  • the identification unit 161 is a processing unit that specifies the number of shares for each set of two sensors 10.
  • the identification unit 161 acquires the data of the detection result table 142 and specifies whether or not the sensors 10A to 10D have detected the target at each time point.
  • the identification unit 161 is a set of two sensors 10 among the sensors 10A to 10D, and specifies the number of times (number of shares) when the target 2 is detected at the same time point among a plurality of time points.
  • the specific process for the specifying unit 161 to specify the number of shares corresponds to the process of the information processing device 100 described with reference to FIG.
  • the identification unit 161 outputs the data of the number of shares specified for each set of the two sensors 10 to the graph generation unit 162. For example, when the observation result of the target 2 at each time point is the one described in FIG. 2, the shared number of the pair of sensors 10A and 10B is “4”. The number of shared sensors 10A and 10C is "1". The number of shared sensors 10A and 10D is "0". The number of shared sensors 10B and 10C is "4". The number of shared sensors 10B and 10D is "3". The number of shared sensors 10C and 10D is "4".
  • the graph generation unit 162 is a processing unit that generates the sensor connectivity graph 51.
  • the graph generation unit 162 generates the target shared number graph 50 based on the shared number data specified for each set of the two sensors 10.
  • the number of shared sensors 10A and 10B is "4"
  • the number of shared sensors 10A and 10C is "1”
  • the number of shared sensors 10A and 10D is "0”
  • the number of shared sensors 10B and 10C is "0”.
  • the number is "4"
  • the number of shared sensors 10B and 10D is "3".
  • the graph generation unit 162 generates the sensor connectivity graph 51 by leaving an edge having a weight of “3” or more among the edges E.
  • the graph generation unit 162 generates the sensor connectivity graph 51 by deleting the edge E CA from the target shared number graph 50 and leaving the edges E BA , E CB , E DB , and E CD. To do.
  • the graph generation unit 162 executes a process of reflecting the variance of the target on the sensor connectivity graph 51. As described with reference to FIG. 4, the graph generation unit 162 calculates the variance ⁇ 2 of the position of the target group observed by the set of two sensors at each time point. The graph generation unit 162 sets "-2log ⁇ " as the weight of each edge E, and reflects the variance of the target in the sensor connectivity graph.
  • the coordinates of the center of gravity of the coordinates of each point included in the point cloud information of the target 2 may be used as the position of the target 2.
  • Graph generating unit 162 the set of sensor 10B and the sensor 10C, the set of the sensor 10B and the sensor 10D, and the same applies to the combination of the sensor 10C and the sensor 10D, variance sigma 2 CB, variance sigma 2 DB, variance sigma 2 Calculate the CD.
  • the graph generation unit 162 outputs the data of the sensor connectivity graph 51 in which the edge weights are set to the parameter generation unit 163.
  • the parameter generation unit 163 generates an external parameter between two connected sensors based on the sensor connectivity graph 51.
  • the parameter generation unit 163 stores the external parameters in the external parameter table 143. Further, the parameter generation unit 163 may transmit the external parameter to a preset external device.
  • the parameter generation unit 163 generates an external parameter between two sensors having no connectivity based on the sensor connectivity graph 51 and the generated external parameter.
  • an example of the processing of the parameter generation unit 163 will be described.
  • the parameter generation unit 163 executes a path that minimizes the sum of each edge E on the sensor connectivity graph 51 by searching for the shortest path. For example, the parameter generation unit 163 selects the path P such that the sum of the edges E is minimized by using the Bellman-Ford method or the like.
  • the path P that minimizes the sum of the edges E is the node 50A, the node 50B, the node 50D, and the node 50C. In that order.
  • the parameter generation unit 163 identifies the set of sensors 10A and 10B, the set of sensors 10B and 10D, and the set of sensors 10D and 10C as two connected sensors.
  • the parameter generation unit 163 identifies the set of sensors 10A and 10C as two sensors having no connection.
  • Parameter generation unit 163 performs the position of the target 2 at the time of sensor 10D, the relationship between the position of the target 2 at the time of sensor 10C, aligned with singular value decomposition to calculate the initial value of the external parameter T CD ..
  • the parameter generation unit 163 executes optimization of the external parameters T BA , T DB , and T CD (fitting of the target 2 shape) by using bundle adjustment and maximum likelihood estimation , and finally the external parameters T BA , T DB. , T CD is calculated. Between the two sensors with connectivity, each external parameter T BA, T DB, T CD corresponds to "information indicating a first correlation positional relationship".
  • the parameter generation unit 163 calculates the external parameter T CA based on the equation (1) and the external parameters T BA , T DB , and T CD.
  • the external parameter T CA is an external parameter between two sensors that are not connected, and corresponds to "information indicating a second correlation positional relationship".
  • the parameter generation unit 163 stores the external parameters T BA , T CA , and T DA based on the sensor 10A in the external parameter table 143.
  • the parameter generation unit 163 calculates an external parameter TDA indicating the relative position and orientation of the sensor 10D with reference to the sensor 10A by the equation (2).
  • the robust estimation unit 164 is a processing unit that detects erroneous detection of the target 2.
  • 11 to 15 are diagrams for explaining the processing of the robust estimation unit.
  • the description will be given based on the sensor 10A and the sensor 10B.
  • the observation results of the sensor 10A and the sensor 10B are shown in FIG.
  • the foreground object 3 is erroneously detected as the target 2 instead of the target 2 and stored in the detection result table 142.
  • the robust estimation unit 164 associates the target 2 (foreground object 3) observed at the same point. That is, the robust estimation unit 164 associates the target 2A-1 with the target 2B-1. The robust estimation unit 164 associates the target 2A-2 with the foreground object 3. The robust estimation unit 164 associates the target 2A-3 with the target 2B-3. The robust estimation unit 164 associates the target 2A-4 with the target 2B-4.
  • the robust estimation unit 164 calculates the external parameter TBA so that the total sum of the distances between the corresponding target pairs is minimized based on the above correspondence. For example, the robust estimation unit 164 optimizes the external parameter TBA between the sensor 10A and the sensor 10B by using the bundle estimation or the maximum likelihood estimation after estimating the initial value, and finally the external. Calculate the parameter TBA.
  • Robust estimation unit 164 using the external parameters T BA, observations 30B position of each target 2, when correcting the sensor 10A in position relative, is as shown in FIG. 14. Due to the influence of erroneous correspondence (target 2A-2 and foreground object 3), the position of the associated target 2A-1,2B-1 pair, the position of the target 2A-3, 2B-3 pair, and the target 2A- The positions of the 4, 2B-4 pairs do not match.
  • the robust estimation unit 164 determines that noise (foreground object 3) is observed when the average of the distances of the associated targets is equal to or greater than the threshold value, and executes the following processing. Robust estimation unit 164 of the set for each target associated at each time point, to the exclusion of one of the set, to calculate the extrinsic parameters T BA.
  • the robust estimation unit 164 corrects the position of each target 2 (excluding the set of targets 2A-1 and 2B-1) of the observation result 30B to a position based on the sensor 10A by using the external parameter T BA1.
  • the average (first average value) of the distances of the associated targets is calculated.
  • the robust estimation unit 164 corrects the position of each target 2 (excluding the set of the target 2A-2 and the foreground object 3) of the observation result 30B to the position based on the sensor 10A by using the external parameter T BA2.
  • the average (second average value) of the distances of the associated targets is calculated. For example, the result of correcting the position of each target 2 (excluding the set of the target 2A-2 and the foreground object 3) to the position based on the sensor 10A by using the external parameter T BA2 is shown in FIG. Become.
  • each target 2 (excluding the set of targets 2A-3 and 2B-3) of the observation result 30B is corrected to the position based on the sensor 10A, and each associated target is corrected. Calculate the average of the distances (third average value).
  • each target 2 (excluding the set of targets 2A-4 and 2B-4) of the observation result 30B is corrected to the position based on the sensor 10A, and each associated target is corrected. Calculate the average of the distances (fourth average value).
  • the robust estimation unit 165 executes the above processing after the detection result table 142 is generated by the detection unit 160 and before the processing by the specific unit 161, the graph generation unit 162, and the parameter generation unit 163 is started. .. This makes it possible to remove noise (foreground object 3) that is erroneously detected other than the target.
  • the integration unit 153, the fitting processing unit 154, and the evaluation unit 155 execute processing when the external calibration is completed and the subject starts acting by the external parameter generation processing unit 152.
  • the integration unit 153 acquires background subtraction data of each sensor 10A to 10D from the acquisition unit 151. Using the conversion table, the integration unit 153 converts the relationship between each pixel included in the background subtraction data and the distance value into the relationship between the point cloud and the coordinates of the Cartesian coordinate system of each point.
  • the converted background subtraction data is referred to as "three-dimensional point cloud data".
  • the conversion table is a table that defines the relationship between the position and distance values of pixels and the coordinates of points and Cartesian coordinate systems.
  • the integration unit 153 uses the sensor 10A as a reference sensor 10 and adjusts the three-dimensional point cloud data of the sensors 10B to 10D to the position and orientation of the sensor 10A. For example, integrating unit 153, using the external parameters T BA, the three-dimensional point group data of the sensor 10B, adjusted to the position and orientation of the sensor 10A. Integrating unit 153, using the external parameters T CA, 3D point cloud data of the sensor 10C, adjusted to the position and orientation of the sensor 10A. Integrating unit 153, using the external parameters T DA, the 3D point group data of the sensor 10D, adjusted to the position and orientation of the sensor 10A. The integration unit 153 acquires each external parameter from the external parameter table 143.
  • the integration unit 153 integrates the three-dimensional point group data of the sensor 10A and the three-dimensional point group data of the sensors 10B to 10D according to the position and orientation of the sensor 10A to generate one three-dimensional point group data. ..
  • the integration unit 153 outputs the generated three-dimensional point cloud data to the fitting processing unit 154.
  • the integration unit 153 repeatedly executes the above process every time it acquires background subtraction data of the sensors 10A to 10D from the acquisition unit 151.
  • the fitting processing unit 154 is a processing unit that executes fitting that applies the 3D model data of the subject to the 3D point cloud data.
  • the fitting processing unit 154 identifies the skeleton model data of the subject based on the fitting result.
  • the skeletal model data includes position information of each joint.
  • the fitting processing unit outputs the skeleton model data to the evaluation unit 155.
  • the fitting processing unit repeatedly executes the above processing each time it acquires three-dimensional point cloud data from the integration unit 153.
  • the evaluation unit 155 is a processing unit that acquires skeletal model data in time series and evaluates the performance of the subject based on the transition of each joint coordinate of the skeletal model data. For example, the evaluation unit 155 evaluates the performance of the subject using a table (not shown) that defines the transition of each joint coordinate, the type of the technique, and the establishment or failure of the technique, and outputs the evaluation result to the display unit 130. To display.
  • scoring competitions include trampoline, swimming dive, figure skating, karate kata, social dance, snowboarding, skateboarding, ski aerial, and surfing. It may also be applied to classical ballet, ski jumping, mogul air, turns, baseball, basketball form checks, and the like. It may also be applied to competitions such as kendo, judo, wrestling, and sumo. Furthermore, it can be used to evaluate whether or not the weightlifting barbell has been raised.
  • FIG. 16 is a flowchart showing a processing procedure of the information processing apparatus according to the first embodiment.
  • the acquisition unit 151 of the information processing device 100 acquires the distance image data from the sensor 10 (step S10).
  • the acquisition unit 151 takes the difference between the distance image data and the background image data, and generates background subtraction data (step S11).
  • the detection unit 160 of the information processing device 100 detects the target from the background subtraction data and registers the point cloud information of the target in the detection result table 142 (step S12). If the information processing apparatus 100 does not end the detection of the target (steps S13, No), the information processing apparatus 100 proceeds to step S10 again. On the other hand, when the information processing apparatus 100 ends the detection of the target (steps S13, Yes), the information processing apparatus 100 proceeds to step S14.
  • the external parameter generation processing unit 152 (specific unit 161 and graph generation unit 162) of the information processing device 100 executes the sensor connectivity graph generation processing (step S14).
  • the parameter generation unit 163 of the information processing apparatus 100 applies the Bellman-Ford method on the sensor connectivity graph 31 for the reference sensor i ref and other sensor i tar pairs (i ref , itar). , Search for the shortest route (step S15).
  • the reference sensor iref corresponds to the sensor 10A.
  • the parameter generation unit 163 selects the path P of the sensor group based on the search result of the shortest path (step S16).
  • the parameter generation unit 163 calculates the initial value of the external parameter of the sensor itar using the singular value decomposition based on the order of the path P (step S17).
  • Parameter generation unit 163, the bundle adjustment and maximum likelihood estimation, to optimize the external parameters of the sensor i tar (step S18).
  • the parameter generation unit 163 stores the external parameters in the external parameter table 143 (step S19).
  • the process of step S19 also corresponds to a process of transmitting an external parameter to an external device.
  • FIG. 17 is a flowchart showing a processing procedure of the sensor connectivity graph generation process.
  • the identification unit 161 of the information processing apparatus 100 totals the shared numbers Ni and j of the targets to be shared and observed for all the sensor sets (i and j) (step S101).
  • the graph generation unit 162 of the information processing apparatus 100 generates a target shared number graph 50 in which the shared numbers Ni and j are edge weights and the sensor 10 is a node (step S102).
  • the graph generation unit 162 generates a sensor connectivity graph that retains the edges of the target shared number graph such that the shared number Ni, j ⁇ 3 (step S103).
  • the graph generation unit 162 generates a sensor connectivity graph having -2log ⁇ as an edge weight for each edge of the sensor connectivity graph (step S104).
  • the information processing apparatus 100 executes observations by the sensors 10A to 10D while moving the target 2 at each time point, and specifies a shared number indicating the number of times when the target 2 is detected at the same time.
  • the information processing apparatus 100 generates a target shared number graph 50 in which the shared number is an edge weight, and from the target shared number graph 50, a sensor connectivity graph 51 that leaves edges having an edge E weight of a predetermined number or more. To generate. This makes it possible to identify a set of sensors in which the number of times the target 2 is observed at the same time is equal to or greater than a predetermined number.
  • the information processing apparatus 100 calculates the variance ⁇ 2 of the position of the target group observed by the set of two sensors at each time point, sets “-2log ⁇ ” as the weight of each edge E, and connects the variance of the target to the sensor. It is reflected in the sex graph 51.
  • the weight of each edge E is defined as "-2log ⁇ ”
  • the smaller the edge weight the larger the spatial variance of the position of the target group observed by the pair of two sensors. ..
  • the information processing device 100 specifies a route that minimizes the sum of the edges E, and specifies the order of the sensors 10 to be selected when calculating the external parameter based on the specified route.
  • the order of the sensors can be specified so that the spatial dispersion of the positions of the target group becomes as large as possible so that the calculation of the external parameters of the sensor 10 is stable. Therefore, according to the information processing apparatus 100, it is possible to accurately generate information indicating a relative positional relationship such as an arrangement positional relationship and an angle of view relationship for three or more sensors.
  • the information processing apparatus 100 uses a cylindrical target 2 as a target, executes an external calibration, and generates an external parameter, but the present invention is not limited to this.
  • the information processing apparatus 100 may use a spherical marker as a target.
  • FIG. 18 to 20 are diagrams showing an example of external calibration using a spherical marker.
  • the user observes the sphere marker 60 by the sensors 10A to 10D while moving the sphere marker 60 at each time point.
  • the spherical marker 60 is moved by a user (not shown).
  • the sensor 10A observes the observation result 61A at each time point.
  • the sensor 10B observes the observation result 61B at each time point.
  • the sensor 10C observes the observation result 61C at each time point.
  • the sensor 10D observes the observation result 61D at each time point.
  • the information processing device 100 generates background subtraction data 63 by taking the difference between the distance image data 62 and the background image data.
  • the information processing device 100 generates background subtraction data 64 by removing noise from background subtraction data 63.
  • the information processing device 100 detects the spherical marker 64a from the background subtraction data 64.
  • the information processing apparatus 100 can robustly detect the spherical marker 64a with respect to the measurement noise by fitting the spherical marker 64a.
  • the information processing device 100 generates a sensor connectivity graph based on the number of shared sphere markers 60 and the variance of the sphere markers 60, and generates external parameters.
  • the information processing apparatus 100 accurately generates information (external parameters) indicating the relative positional relationship, such as the arrangement positional relationship and the angle of view relationship, even if the spherical marker 60 is used instead of the target 2. be able to.
  • the information processing system according to the second embodiment by arranging the target at a predetermined position and measuring it, it is possible to calculate the position and orientation of an object other than the sensor in addition to generating external parameters.
  • a gymnastic instrument will be used as an object other than the sensor, but the present invention is not limited to this.
  • FIG. 21 is a diagram for explaining the placement position of the target.
  • the gymnastics device 70 is arranged.
  • the sensors 10A to 10D are arranged around the gymnastics device 70.
  • the sensors 10A to 10D are connected to the information processing device 200, respectively.
  • the target P1 is arranged directly above the center of the gymnastics device 70.
  • the target P2 is on the y-axis of the gymnastics device 70 and is arranged at a height H of the upper surface of the gymnastics device 70.
  • the targets P3 to Pn are arranged at positions higher than P2 on the mat 72 having the same height from the floor surface 71. The heights from the floor surface 71 to the targets P3 to Pn are the same. It is a condition that the targets P3 to Pn are 3 or more.
  • the information processing device 200 uses the positions of the targets P1 to Pn observed during the execution of the external calibration after the external calibration is executed, and the coordinate system of the gymnasium 70 is used. Xa axis, Ya axis, Za axis and origin Oa are calculated.
  • the information processing device 200 fits a plane to the targets P3 to Pn, and specifies the normal of the plane as the Za axis.
  • the information processing device 200 calculates the Xa axis based on the equations (3) and (4).
  • P1 and P2 included in the formula (3) indicate the positions of the targets P1 and P2.
  • the information processing device 200 calculates the Ya axis based on the equation (5).
  • the information processing device 200 calculates the origin Oa based on the equation (6).
  • H included in the formula (6) corresponds to the height of the upper surface of the gymnastics device 70.
  • the volt (v, Za) included in the equation (6) is a function for calculating the inner product of v and Za.
  • the reference sensor is the sensor 10A, and the coordinate conversion parameter TaA for converting the Xa axis, the Ya axis, the Za axis, and the origin Oa into the coordinates based on the sensor 10A is calculated.
  • the coordinate transformation parameter TaA includes a rotation component R and a translational component t.
  • the rotation component R is defined by the equation (7).
  • the translational component t is defined by the equation (8). For example, by multiplying the three-dimensional coordinates obtained from the observation result of the sensor 10A by the coordinate conversion parameter TaA , the coordinate system based on the sensor 10A can be converted into the coordinate system of the gymnastics equipment 70.
  • the coordinate system of the gym equipment 70 other than the sensor Xa, Ya, Za and the origin Oa can be calculated.
  • the three-dimensional model of a subject is generated and displayed as an animation
  • the three-dimensional model can be displayed as an animation by the coordinate system of the gymnastics device 70.
  • FIG. 22 is a functional block diagram showing the configuration of the information processing apparatus according to the second embodiment.
  • the information processing device 200 includes a communication unit 210, an input unit 220, a display unit 230, a storage unit 240, and a control unit 250.
  • the communication unit 210 is a processing unit that receives distance image data from the sensor 10 shown in FIG.
  • the communication unit 210 outputs the received distance image data to the control unit 250.
  • the communication unit 210 is an example of a communication device.
  • the input unit 220 is an input device that inputs various information to the information processing device 200.
  • the input unit 220 corresponds to a keyboard, a mouse, a touch panel, and the like. For example, at each time point, the user operates the input unit 220 every time the installation of the target Pn is completed, and inputs information to the effect that the installation of the target Pn is completed to the information processing device 100.
  • the display unit 230 is a display device that displays information output from the control unit 250. For example, the display unit 230 displays skill certification, scoring results, etc. of various competitions.
  • the display unit 230 corresponds to a liquid crystal display, an organic EL (Electro-Luminescence) display, a touch panel, and the like.
  • the storage unit 240 has a background image table 241, a detection result table 242, an external parameter table 243, and coordinate conversion parameter data 244.
  • the storage unit 240 corresponds to a semiconductor memory element such as a RAM or a flash memory, or a storage device such as an HDD.
  • the background image table 241 is a table that stores background image data (distance image data) measured by each of the sensors 10A to 10D in a state where the target Pn does not exist.
  • the detection result table 242 is a table that stores the point cloud and the position of the target Pn detected at each time point based on the observation result of the sensor 10.
  • the data structure of the detection result table 242 corresponds to the data structure of the detection result table 142 described with reference to FIG.
  • the target is the target Pn instead of the target 2.
  • the external parameter table 243 is a table that stores external parameters generated by the external parameter generation processing unit 252, which will be described later.
  • the data structure of the external parameter table 243 corresponds to the external parameter table 143 described with reference to FIG.
  • the coordinate transformation parameter data 244 has data of the coordinate transformation parameter TaA .
  • the coordinate conversion parameter TaA is a parameter that converts the Xa axis, the Ya axis, the Za axis, and the origin Oa into coordinates based on the sensor 10A.
  • the control unit 250 includes an acquisition unit 251, an external parameter generation processing unit 252, a calculation unit 253, an integration unit 254, a fitting processing unit 255, and an evaluation unit 256.
  • the control unit 250 is realized by a CPU, an MPU, a hard-wired logic such as an ASIC or an FPGA, or the like.
  • the acquisition unit 251 is a processing unit that acquires distance image data from the sensor 10 via the communication unit 210. For example, the timing at which the acquisition unit 251 acquires the data of the distance image is instructed by the user who operates the input unit 220.
  • the acquisition unit 251 takes a difference between the distance image data and the background image data stored in the background image table 241 to generate background difference image data.
  • the acquisition unit 251 outputs the background subtraction image data to the external parameter generation processing unit 252.
  • the other description of the acquisition unit 251 is the same as the description of the acquisition unit 151 described in the first embodiment.
  • the external parameter generation processing unit 252 is a processing unit that generates external parameters based on the data stored in the detection result table 242.
  • the external parameter generation processing unit 252 stores the generated external parameters in the external parameter table 243.
  • the description of the external parameter generation processing unit 252 is the same as the description of the external parameter generation processing unit 252 described in the first embodiment.
  • the calculation unit 253 is a processing unit that calculates the Xa axis, Ya axis, and Za axis of the coordinate system of the coordinate system of the gymnastics equipment 70, and the origin Oa.
  • the calculation unit 253 uses the sensor 10A as a reference sensor 10 and adjusts the three-dimensional point cloud data of the targets P1 to Pn observed by the sensors 10B to 10D to the position and orientation of the sensor 10A.
  • the three-dimensional point cloud data of the targets P1 to Pn observed by the sensors 10B to 10D are stored in the detection result table 242.
  • calculator 253 uses the external parameter T BA, the three-dimensional point group data sensor 10B has observed, adjusted to the position and orientation of the sensor 10A.
  • the calculation unit 253 adjusts the three-dimensional point cloud data observed by the sensor 10C to the position and orientation of the sensor 10A by using the external parameter T CA.
  • the calculation unit 253 acquires each external parameter from the external parameter table 243.
  • the calculation unit 253 adjusts the three-dimensional point group data of the targets P1 to Pn observed by the sensors 10B to 10D to the position and orientation of the sensor 10A, and then adjusts the three-dimensional points of the targets P1 to Pn observed by the sensors 10A to 10D. Integrate group data.
  • the calculation unit 253 fits a plane to the targets P3 to Pn, and specifies the normal of the plane as the Za axis.
  • the calculation unit 253 calculates the Xa axis based on the equations (3) and (4).
  • the calculation unit 253 calculates the Ya axis based on the equation (5).
  • the calculation unit 253 calculates the origin Oa based on the equation (6).
  • the calculation unit 253 calculates the coordinate conversion parameter TaA that converts the Xa axis, the Ya axis, the Za axis, and the origin Oa into the coordinates based on the sensor 10A. ..
  • the calculation unit 253 stores the coordinate conversion parameter TaA in the storage unit 240.
  • the integration unit 254, the fitting processing unit 255, and the evaluation unit 256 execute processing when the external calibration is completed and the subject starts acting by the external parameter generation processing unit 252.
  • the integration unit 254 integrates the 3D point cloud data of the sensor 10A and the 3D point cloud data of the sensors 10B to 10D according to the position and orientation of the sensor 10A to generate one 3D point cloud data. It is a processing unit.
  • the description of the integrated unit 254 is the same as the description of the integrated unit 153 described in the first embodiment.
  • the integration unit 254 When the integration unit 254 receives an instruction from the evaluation unit 256 to convert to the coordinate system of the gymnastics equipment 70, the integration unit 254 multiplies the coordinates of the integrated three-dimensional point cloud data by the coordinate conversion parameter TaA. As a result, the three-dimensional point cloud data of the coordinate system based on the sensor 10A can be converted into the three-dimensional point cloud data of the coordinate system of the gymnastics equipment 70.
  • the fitting processing unit 255 is a processing unit that executes fitting that applies the 3D model data of the subject to the 3D point cloud data.
  • the fitting processing unit 255 identifies the skeleton model data of the subject based on the fitting result.
  • the skeletal model data includes position information of each joint.
  • the fitting processing unit outputs the skeleton model data to the evaluation unit 256.
  • the fitting processing unit 255 repeatedly executes the above processing every time the three-dimensional point cloud data is acquired from the integration unit 254.
  • the evaluation unit 256 is a processing unit that acquires skeletal model data in time series and evaluates the performance of the subject based on the transition of each joint coordinate of the skeletal model data. For example, the evaluation unit 256 evaluates the performance of the subject using a table (not shown) that defines the transition of each joint coordinate, the type of technique, and the establishment or failure of the technique, and outputs the evaluation result to the display unit 230. To display.
  • the evaluation unit 256 may display the three-dimensional model in animation by the coordinate system of the gymnastics equipment 70. .. Further, the evaluation unit 256 may output an instruction to convert to the coordinate system of the gymnastics equipment 70 to the integration unit 254, and may convert the coordinates of the subject into the coordinate system of the gymnastics equipment 70 and display it.
  • FIG. 23 is a flowchart showing a processing procedure of the information processing apparatus according to the second embodiment.
  • the acquisition unit 251 of the information processing device 200 acquires the distance image data from the sensor 10 (step S201).
  • the acquisition unit 251 takes the difference between the distance image data and the background image data, and generates background subtraction data (step S202).
  • the external parameter generation processing unit 252 of the information processing device 200 detects the target from the background subtraction data and registers the point cloud information of the target in the detection result table 242 (step S203). If the information processing apparatus 200 does not end the detection of the target (steps S204, No), the information processing apparatus 200 proceeds to step S201 again. On the other hand, when the information processing apparatus 200 ends the detection of the target (step S204, Yes), the information processing apparatus 200 proceeds to step S205.
  • the external parameter generation processing unit 252 of the information processing device 200 executes the sensor connectivity graph generation processing (step S205).
  • the sensor connectivity graph generation process in step S205 corresponds to the processing procedure of the sensor connectivity graph generation process described with reference to FIG. 17 of the first embodiment.
  • the external parameter generation processing unit 252 of the information processing apparatus 200 applies the Bellman-Ford method on the sensor connectivity graph 31 for the reference sensor i ref and other sensor i tar pairs (i ref , itar). By doing so, the shortest route is searched (step S206).
  • the reference sensor iref corresponds to the sensor 10A.
  • the external parameter generation processing unit 252 selects the path P of the sensor group based on the search result of the shortest path (step S207).
  • the external parameter generation processing unit 252 calculates the initial value of the external parameter of the sensor itar using the singular value decomposition based on the order of the path P (step S208).
  • External parameter generation processing unit 252 a bundle adjustment and maximum likelihood estimation, to optimize the external parameters of the sensor i tar (step S209).
  • the external parameter generation processing unit 252 stores the external parameters in the external parameter table 243 (step S210).
  • the calculation unit 253 of the information processing device 200 calculates the Xa axis, Ya axis, and Za axis of the gymnastics device 70 (step S211).
  • the calculation unit 253 calculates the origin Oa of the gymnastics device 70 (step S212).
  • the calculation unit 253 calculates the coordinate conversion parameter TaA (step S213).
  • the calculation unit 253 stores the coordinate conversion parameter TaA in the coordinate conversion parameter data 244 (step S214).
  • the information processing apparatus 200 uses the positions of the targets P1 to Pn observed at the time of executing the external calibration to use the Xa axis, Ya axis, Za axis and the origin Oa of the coordinate system of the gymnastics device 70. Can be calculated.
  • the coordinate conversion parameter TaA when a three-dimensional model of a subject is generated and displayed as an animation, the three-dimensional model can be displayed as an animation by the coordinate system of the gymnastics equipment 70.
  • FIG. 24 is a diagram showing an example of a hardware configuration of a computer that realizes a function similar to that of an information processing device.
  • the computer 300 has a CPU 301 that executes various arithmetic processes, an input device 302 that receives data input from a user, and a display 303. Further, the computer 300 has a communication device 304 that receives distance image data from the sensor 10 and an interface device 305 that connects to various devices. The computer 300 has a RAM 306 that temporarily stores various information and a hard disk device 307. Then, each of the devices 301 to 307 is connected to the bus 308.
  • the hard disk device 307 includes an acquisition program 307a, an external parameter generation processing program 307b, a calculation program 307c, an integration program 307d, a fitting processing program 307e, and an evaluation program 307f.
  • the CPU 201 reads the acquisition program 307a, the external parameter generation processing program 307b, the calculation program 307c, the integration program 307d, the fitting processing program 307e, and the evaluation program 307f and deploys them in the RAM 306.
  • the acquisition program 307a functions as the acquisition process 306a.
  • the external parameter generation processing program 307b functions as the external parameter generation processing process 306b.
  • the calculation program 307c functions as the calculation process 306c.
  • the integration program 307d functions as the integration process 306d.
  • the fitting processing program 307e functions as the fitting processing process 306e.
  • the evaluation program 307f functions as the evaluation process 306f.
  • the processing of the acquisition process 206a corresponds to the processing of the acquisition units 151 and 251.
  • the processing of the external parameter generation processing process 306b corresponds to the processing of the external parameter generation processing units 152 and 252.
  • the processing of the calculation process 306c corresponds to the processing of the calculation unit 253.
  • the processing of the integration process 306d corresponds to the processing of the integration units 153 and 254.
  • the processing of the fitting processing process 306e corresponds to the processing of the fitting processing units 154 and 255.
  • the processing of the evaluation process 306f corresponds to the processing of the evaluation units 155 and 256.
  • each program 307a to 307f does not necessarily have to be stored in the hard disk device 307 from the beginning.
  • each program is stored in a "portable physical medium" such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card inserted into the computer 300. Then, the computer 300 may read and execute each of the programs 307a to 307f.
  • 10A, 10B, 10C, 10D Sensor 100 Information processing device 110 Communication unit 120 Input unit 130 Display unit 140, 240 Storage unit 141,241 Background image table 142,242 Detection result table 143,243 External parameter table 150,250 Control unit 151 , 251 Acquisition unit 152,252 External parameter generation processing unit 153,254 Integration unit 154,255 Fitting processing unit 155,256 Evaluation unit 160 Detection unit 161 Specific unit 162 Graph generation unit 163 Parameter generation unit 164 Robust estimation unit 244 Coordinate conversion parameter Data 253 calculation unit

Abstract

情報処理装置は、各時点において３つ以上のセンサそれぞれがターゲットを検出したか否かを基にして、３つ以上のセンサのうちの２つのセンサの組それぞれで、複数時点のうち同じ時点においてターゲットを検出した時点の回数を特定する。情報処理装置は、センサの組それぞれについて特定した回数と、複数時点におけるターゲットの配置位置の分散とを基にして、センサ間の相対位置関係の推定精度に関する連結性を示す情報を生成する。情報処理装置は、連結性を示す情報を基にして、連結性のある２つのセンサ間で、第１の相対位置関係を示す情報を生成する。情報処理装置は、連結性を示す情報と、第１の相対位置関係を示す情報とを基にして、連結性のない２つのセンサ間の第２の相対位置関係を示す情報を生成し、生成した情報を出力する。

Description

生成方法、生成プログラムおよび情報処理装置
　本発明は、生成方法等に関する。
　レーザセンサ等の距離測定装置を用いて、被写体の３次元点群を測定する従来技術がある。以下の説明では、レーザセンサ等の距離測定装置を「センサ」と表記する。たとえば、被写体の周囲に配置した、複数のセンサを使って、各方向から被写体をセンシングし、各センサの測定結果となる３次元点群を統合することで、被写体を立体的に再現することができる。
　図２５は、複数のセンサに測定された３次元点群を統合した結果を示す図である。図２５に示す例では、センサ１０Ａ，１０Ｂ，１０Ｃ，１０Ｄが被写体１の周囲（前後）に配置されて、センサ１０Ａ～１０Ｄは、被写体１を測定し、３次元点群を得る。
　３次元点群１１Ａは、センサ１０Ａの測定結果を基にしたデータである。３次元点群１１Ｂは、センサ１０Ｂの測定結果を基にしたデータである。３次元点群１１Ｃは、センサ１０Ｃの測定結果を基にしたデータである。３次元点群１１Ｄは、センサ１０Ｄの測定結果を基にしたデータである。３次元点群１１Ａ～１１Ｄを統合することで、３次元点群１２が生成される。３次元点群１２は、被写体１を立体的に再現している。
　ここで、複数の３次元点群を統合する場合には、外部パラメータが用いられる。外部パラメータは、複数のセンサの互いの位置関係を示す情報である。外部パラメータを算出する従来技術として、たとえば、従来技術１、２がある。
　従来技術１について説明する。従来技術１は、球体ターゲットを利用して、センサの外部パラメータを算出する外部キャリブレーションの技術である。従来技術１では、一つの球体ターゲットを移動させつつ、第１のセンサおよび第２のセンサで、球体ターゲットを複数回、観測する。
　図２６は、従来技術１を説明するための図である。図２６において、測定結果１３ａ，１４ａ，１５ａは、時点ｔ＝１，２，３において、第１のセンサにそれぞれ測定されたものである。測定結果１３ａ，１４ａ，１５ａからは、球体ターゲット２３ａ，２４ａ，２５ａがそれぞれ検出される。時点ｔ＝４以降の測定結果の説明は省略する。
　測定結果１３ｂ，１４ｂ，１５ｂは、時点ｔ＝１，２，３において、第２のセンサにそれぞれ測定されたものである。測定結果１３ｂ，１４ｂ，１５ｂからは、球体ターゲット２３ｂ，２４ｂ，２５ｂがそれぞれ検出される。時点ｔ＝４以降の測定結果の説明は省略する。
　従来技術１では、球体ターゲット２３ａ，２４ａ，２５ａと、球体ターゲット２３ｂ，２４ｂ，２５ｂとの対応付けを行い、対応付けを行った球体ターゲットの３次元点群の位置関係を基にして、外部パラメータの初期値を推定する。初期値の推定には、特異値分解の位置合わせが行われる。従来技術１では、初期値の推定を行った後に、バンドル推定や最尤推定を用いて、第１のセンサと第２のセンサとの間の外部パラメータの最適化を行い、外部パラメータを算出する。
　画像１６は、外部キャリブレーション結果を示すものである。外部キャリブレーションを実行することで、球体ターゲット２３ａ，２４ａ，２５ａと、球体ターゲット２３ｂ，２４ｂ，２５ｂとの位置が一致する。
　なお、従来技術１では、球体ターゲットの位置を変更しながら、最低３時点で、第１のセンサと第２のセンサで、球体ターゲットを同時に検出できていることが、外部パラメータを算出するための条件となる。
　次に、従来技術２について説明する。従来技術２は、画像処理によってターゲットを検出し、２つのカメラを起点とし、ＤＬＴ（Direct　Linear　Transform）アルゴリズムを用いて、各カメラの外部パラメータを順々に推定する技術である。
　図２７および図２８は、従来技術２を説明するための図である。図２７の説明を行う。従来技術２では、時点ｔ＝１～７において、ターゲット２を移動させながら、センサ１０Ａ～１０Ｄによって、ターゲット２を観測する。
　たとえば、時点ｔ＝１において、ターゲット２は、センサ１０Ａ～１０Ｄによって観測される。時点ｔ＝２において、ターゲット２は、センサ１０Ａ～１０Ｄによって観測される。時点ｔ＝３において、ターゲット２は、センサ１０Ａ～１０Ｄによって観測される。
　時点ｔ＝４において、ターゲット２は、センサ１０Ａ，１０Ｂ，１０Ｄによって観測される。時点ｔ＝５において、ターゲット２は、センサ１０Ａ，１０Ｂ，１０Ｄによって観測される。時点ｔ＝６において、ターゲット２は、センサ１０Ｃ，１０Ｄによって観測される。時点ｔ＝７において、ターゲット２は、センサ１０Ｃ，１０Ｄによって観測される。
　これによって、センサ１０Ａは、時点ｔ＝１，２，３，４，５において、ターゲット２を観測し、観測結果２０Ａが得られる。センサ１０Ｂは、時点ｔ＝１，２，３，４，５において、ターゲット２を観測し、観測結果２０Ｂが得られる。センサ１０Ｃは、時点ｔ＝１，２，３，６，７において、ターゲットを観測し、観測結果２０Ｃが得られる。センサ１０Ｄは、時点ｔ＝１，２，３，４，５，６，７において、ターゲットを観測し、観測結果２０Ｄが得られる。
　図２８の説明に移行する。従来技術２では、外部パラメータを推定する順番が予め定められている。たとえば、従来技術２は、センサ１０Ａを基準として、センサ１０Ｂ，１０Ｃ，１０Ｄの順番でセンサを選択し、外部パラメータを推定する。外部パラメータを推定する場合、推定に利用できるターゲット２は、基準となるセンサまたは、選択済みのセンサで既に観測されている時点のターゲット２となる。
　このため、センサ１０Ｂ，１０Ｃ，１０Ｄの順番でセンサを選択すると、センサ１０Ｂの観測結果２０Ｂでは、時点ｔ＝１，２，３，４，５に観測したターゲットを、外部パラメータの推定に使用できる。センサ１０Ｃの観測結果２０Ｃでは、時点ｔ＝１，２，３で観測したターゲットを、外部パラメータの推定に使用できる。センサ１０Ｄの観測結果２０Ｄでは、時点ｔ＝１～７で観測したターゲットを、外部パラメータの推定に使用できる。
特開２０１９－０８６４７６号公報
　上述した従来技術１では、２つのセンサの外部パラメータを把握することを前提としており、更に、第１のセンサ、第２のセンサが一つの球体ターゲットを同時に観測することが求められる。このため、第１のセンサと第２のセンサとのセンシング範囲が共有されていない場合、球体ターゲットを２つのセンサで同時に観測することはできない。また、共有するセンシング範囲が狭い場合にも、球体ターゲットの場所を移動させながら複数回の撮影を行うことが前提であるため、２つのセンサが球体ターゲットを十分な回数観測することは難しい。このような場合、第１のセンサと第２のセンサとの外部パラメータを推定するための条件が不足する。
　また、３つ以上のセンサを使って、より広範囲に、よりいろいろな方向から、被写体をセンシングしたい場合がある。しかし、従来技術１では、各時点において全センサがターゲットを同時に観測することが前提となっているため、３つ以上のセンサの中に、センシング範囲が共有されていないペアが存在する場合、外部パラメータを推定できない。
　また、上述した従来技術２では、外部パラメータを推定する順番が予め定められている。たとえば、図２８で説明したように、センサ１０Ａを基準として、センサ１０Ｂ，１０Ｃ，１０Ｄの順番でセンサを選択して、外部パラメータを推定すると、観測結果２０Ｃにおいて、外部パラメータの推定に利用できるターゲットが減少し、分布に偏りが生じる。外部パラメータの推定に利用できるターゲットが偏って分布すると、外部パラメータの推定精度が低くなる。推定精度の低下は、後段の観測結果２０Ｄを選択して外部パラメータを推定する場合の推定精度にも影響を与える。
　１つの側面では、本発明は、３つ以上のセンサについて、配置位置関係や画角の関係など、相対位置関係を示す情報を精度よく生成することができる生成方法、生成プログラムおよび情報処理装置を提供することを目的とする。
　第１の案では、コンピュータは次の処理を実行する。コンピュータは、３つ以上のセンサによる、複数時点でのターゲットの検出結果を取得する。コンピュータは、各時点において３つ以上のセンサそれぞれがターゲットを検出したか否かを基にして、３つ以上のセンサのうちの２つのセンサの組それぞれで、複数時点のうち同じ時点においてターゲットを検出した時点の回数を特定する。コンピュータは、センサの組それぞれについて特定した回数と、複数時点におけるターゲットの配置位置の分散とを基にして、センサ間の相対位置関係の推定精度に関する連結性を示す情報を生成する。コンピュータは、連結性を示す情報を基にして、連結性のある２つのセンサ間で、第１の相対位置関係を示す情報を生成する。コンピュータは、連結性を示す情報と、第１の相対位置関係を示す情報とを基にして、連結性のない２つのセンサ間の第２の相対位置関係を示す情報を生成する。コンピュータは、第１の相対位置関係を示す情報および第２の相対位置関係を示す情報を、３つ以上のセンサ間の位置関係を示す情報として出力する。
　３つ以上のセンサについて、配置位置関係や画角の関係など、相対位置関係を示す情報を精度よく生成することができる。
図１は、本実施例１に係る情報処理システムの一例を示す図である。 図２は、センサ連結性グラフを生成する処理を説明するための図（１）である。 図３は、センサ連結性グラフを生成する処理を説明するための図（２）である。 図４は、ターゲットの分散をセンサ連結性グラフに反映する処理を説明するための図である。 図５は、直接連結しないセンサの外部パラメータの計算を説明するための図である。 図６は、本実施例１に係る情報処理装置の効果を説明するための図である。 図７は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。 図８は、検出結果テーブルのデータ構造の一例を示す図である。 図９は、外部パラメータテーブルのデータ構造の一例を示す図である。 図１０は、外部パラメータ生成処理部の構成を示す機能ブロック図である。 図１１は、ロバスト推定部の処理を説明するための図（１）である。 図１２は、ロバスト推定部の処理を説明するための図（２）である。 図１３は、ロバスト推定部の処理を説明するための図（３）である。 図１４は、ロバスト推定部の処理を説明するための図（４）である。 図１５は、ロバスト推定部の処理を説明するための図（５）である。 図１６は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。 図１７は、センサ連結性グラフ生成処理の処理手順を示すフローチャートである。 図１８は、球体マーカを用いた外部キャリブレーションの一例を示す図（１）である。 図１９は、球体マーカを用いた外部キャリブレーションの一例を示す図（２）である。 図２０は、球体マーカを用いた外部キャリブレーションの一例を示す図（３）である。 図２１は、ターゲットの配置位置を説明するための図である。 図２２は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。 図２３は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。 図２４は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図２５は、複数のセンサに測定された３次元点群を統合した結果を示す図である。 図２６は、従来技術１を説明するための図である。 図２７は、従来技術２を説明するための図（１）である。 図２８は、従来技術２を説明するための図（２）である。
　以下に、本願の開示する生成方法、生成プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
　図１は、本実施例１に係る情報処理システムの一例を示す図である。図１に示すように、本実施例１に係る情報処理システムは、センサ１０Ａ，１０Ｂ，１０Ｃ，１０Ｄと、情報処理装置１００とを有する。センサ１０Ａ～１０Ｄと、情報処理装置１００とは、有線または無線によってそれぞれ接続されている。図１では、センサ１０Ａ～１０Ｄを示すが、情報処理システムは、他のセンサを有していてもよい。
　センサ１０Ａは、被写体（あるいはターゲット２）を構成する点群とセンサ１０Ａとの距離を測定する測定装置（レーザーセンサ）である。センサ１０Ａは、測定結果となる距離画像のデータを、情報処理装置１００に出力する。距離画像のデータには、各画素と距離値とをそれぞれ対応付けた情報が含まれる。距離画像のデータは、情報処理装置１００によって、３次元点群データに変換される。３次元点群データは、点群について、点と、３次元直交座標系の座標とをそれぞれ対応付けた情報である。
　センサ１０Ｂに関する説明は、センサ１０Ａに関する説明と同様である。以下の説明では、適宜、センサ１０Ａ～１０Ｂをまとめて「センサ１０」と表記する。また、３次元点群データは、センサ１０が測定した距離画像のデータを変換したデータであるが、適宜、センサ１０が測定した３次元点群データと表記し、距離画像のデータを３次元点群データに変換する旨の記載を省略する。
　本実施例１に係る情報処理システムは、センサ１０を用いて被写体（図示略）を測定し、被写体が行う演技を評価するシステムであるが、前処理として、ターゲット２を用いて、外部キャリブレーションを実行し、外部パラメータを生成する。情報処理システムは、生成した外部パラメータに基づいて、センサ１０に測定された３次元点群データを統合し、被写体全体の３次元点群データを生成し、被写体が行う演技を評価する。
　情報処理システムの情報処理装置１００が、外部パラメータを生成する場合の処理について説明する。情報処理装置１００は、外部パラメータを生成する場合において、センサ連結性グラフを生成する処理、ターゲットの分散をセンサ連結性グラフに反映する処理、センサを選択する順番を特定する処理を実行する。
　図２及び図３は、センサ連結性グラフを生成する処理を説明するための図である。図２に示すように、時点ｔ＝１～１３において、ターゲット２を移動させながら、センサ１０Ａ～１０Ｄによって、ターゲット２を観測する。ターゲット２は、ユーザによって移動される。
　たとえば、時点ｔ＝１において、ターゲット２は、センサ１０Ａによって観測される。時点ｔ＝２において、ターゲット２は、センサ１０Ａによって観測される。時点ｔ＝３において、ターゲット２は、センサ１０Ａ，１０Ｂによって観測される。時点ｔ＝４において、ターゲット２は、センサ１０Ａ，１０Ｂによって観測される。
　時点ｔ＝５において、ターゲット２は、センサ１０Ａ，１０Ｂによって観測される。時点ｔ＝６において、ターゲット２は、センサ１０Ａ，１０Ｂ，１０Ｃによって観測される。時点ｔ＝７において、ターゲット２は、センサ１０Ｂ，１０Ｃによって観測される。時点ｔ＝８において、ターゲット２は、センサ１０Ｂ，１０Ｄによって観測される。
　時点ｔ＝９において、ターゲット２は、センサ１０Ｂ，１０Ｃ，１０Ｄによって観測される。時点ｔ＝１０において、ターゲット２は、センサ１０Ｃ，１０Ｄによって観測される。時点ｔ＝１１において、ターゲット２は、センサ１０Ｃ，１０Ｄによって観測される。時点ｔ＝１２において、ターゲット２は、センサ１０Ｂ，１０Ｃ，１０Ｄによって観測される。時点ｔ＝１３において、ターゲット２は、センサ１０Ｃによって観測される。
　ここで、情報処理装置１００は、センサ１０Ａ～１０Ｄのうち、２つのセンサの組で、複数時点のうち同じ時点において、ターゲット２を検出した時点の回数（以下、共有数）を特定する。
　センサ１０Ａとセンサ１０Ｂとの組については、時点ｔ＝１～１３のうち、時点ｔ＝３，４，５，６において、ターゲット２を観測している。このため、センサ１０Ａ，１０Ｂの組の共有数は「４」となる。
　センサ１０Ａとセンサ１０Ｃとの組については、時点ｔ＝１～１３のうち、時点ｔ＝６において、ターゲット２を観測している。このため、センサ１０Ａ，１０Ｃの組の共有数は「１」となる。
　センサ１０Ａとセンサ１０Ｄとの組については、時点ｔ＝１～１３のうち、ターゲット２を観測している時点はない。このため、センサ１０Ａ，１０Ｄの組の共有数は「０」となる。
　センサ１０Ｂとセンサ１０Ｃとの組については、時点ｔ＝１～１３のうち、時点ｔ＝６，７，１２において、ターゲット２を観測している。このため、センサ１０Ｂ，１０Ｃの組の共有数は「３」となる。
　センサ１０Ｂとセンサ１０Ｄとの組については、時点ｔ＝１～１３のうち、時点ｔ＝８，９，１２において、ターゲット２を観測している。このため、センサ１０Ｂ，１０Ｄの組の共有数は「３」となる。
　センサ１０Ｃとセンサ１０Ｄとの組については、時点ｔ＝１～１３のうち、時点ｔ＝９，１０，１１，１２において、ターゲット２を観測している。このため、センサ１０Ｃ，１０Ｄの組の共有数は「４」となる。
　図３の説明に移行する。情報処理装置１００は、２つのセンサの組それぞれについて特定した共有数を基にして、ターゲット共有数グラフ５０を生成する。ターゲット共有数グラフ５０は、ノード５０Ａ，５０Ｂ，５０Ｃ，５０Ｄを含む。ノード５０Ａは、センサ１０Ａに対応するノードである。ノード５０Ｂは、センサ１０Ｂに対応するノードである。ノード５０Ｃは、センサ１０Ｃに対応するノードである。ノード５０Ｄは、センサ１０Ｄに対応するノードである。
　ターゲット共有数グラフ５０において、ノード５０Ａ～５０Ｄは、それぞれエッジＥによって接続され、各エッジＥには、共有数に応じた重みが設定される。情報処理装置１００は、センサ１０Ａ，１０Ｂの組の共有数は「４」であるため、ノード５０Ａとノード５０Ｂとを接続するエッジＥＢＡに、重み「４」を設定する。情報処理装置１００は、センサ１０Ａ，１０Ｃの組の共有数は「１」であるため、ノード５０Ａとノード５０Ｄとを接続するエッジＥＣＡに、重み「１」を設定する。なお、センサ１０Ａ，１０Ｄの組の共有数は「０」であるため、ノード５０Ａとノード５０Ｄとは、エッジで接続されない。
　情報処理装置１００は、センサ１０Ｂ，１０Ｃの組の共有数は「４」であるため、ノード５０Ｂとノード５０Ｃとを接続するエッジＥＢＣに、重み「４」を設定する。情報処理装置１００は、センサ１０Ｂ，１０Ｄの組の共有数は「３」であるため、ノード５０Ｂとノード５０Ｄとを接続するエッジＥＤＢに、重み「３」を設定する。
　情報処理装置１００は、各エッジＥのうち、重みが「３」以上となるエッジを残すことで、センサ連結性グラフ５１を生成する。図３に示す例では、情報処理装置１００は、ターゲット共有数グラフ５０からエッジＥＣＡを削除し、エッジＥＢＡ、ＥＣＢ、ＥＤＢ、ＥＣＤを残すことで、センサ連結性グラフ５１を生成する。
　図４は、ターゲットの分散をセンサ連結性グラフに反映する処理を説明するための図である。情報処理装置１００は、各時点において、２つのセンサの組で観測されるターゲット群の位置の分散σ２を算出する。情報処理装置１００は、「－２ｌｏｇσ」を、各エッジＥの重みとし、ターゲットの分散をセンサ連結性グラフに反映する。エッジの重みが小さいほど、２つのセンサの組で観測したターゲット群の位置の空間的な分散が大きいこと（まんべんなく分布していること）を意味する。
　たとえば、図２で説明したように、センサ１０Ａとセンサ１０Ｂとの組については、時点ｔ＝１～１３のうち、時点ｔ＝３，４，５，６において、ターゲット２を観測している。情報処理装置１００は、センサ１０Ａ（あるいはセンサ１０Ｂ）が観測した時点ｔ＝３，４，５，６におけるターゲット２の位置の分散σ２ ＢＡを算出する。たとえば、「－２ｌｏｇσＢＡ」を「－２．７」とすると、情報処理装置１００は、エッジＥＢＡに、重み「－２．７」を設定する。
　センサ１０Ｂとセンサ１０Ｃとの組については、時点ｔ＝１～１３のうち、時点ｔ＝６，７，１２において、ターゲット２を観測している。情報処理装置１００は、センサ１０Ｂ（あるいはセンサ１０Ｃ）が観測した、時点ｔ＝６，７，１２におけるターゲット２の位置の分散σ２ ＣＢを算出する。たとえば、「－２ｌｏｇσＣＢ」を「－１．２」とすると、情報処理装置１００は、エッジＥＣＢに、重み「－１．２」を設定する。
　センサ１０Ｂとセンサ１０Ｄとの組については、時点ｔ＝１～１３のうち、時点ｔ＝８，９，１２において、ターゲット２を観測している。情報処理装置１００は、センサ１０Ｂ（あるいはセンサ１０Ｄ）が観測した、時点ｔ＝８，９，１２におけるターゲット２の位置の分散σ２ ＤＢを算出する。たとえば、「－２ｌｏｇσＤＢ」を「－３．２」とすると、情報処理装置１００は、エッジＥＤＢに、重み「－３．２」を設定する。
　センサ１０Ｃとセンサ１０Ｄとの組については、時点ｔ＝１～１３のうち、時点ｔ＝９，１０，１１，１２において、ターゲット２を観測している。情報処理装置１００は、センサ１０Ｃ（あるいはセンサ１０Ｄ）が観測した、時点ｔ＝９，１０，１１，１２におけるターゲット２の位置の分散σ２ ＣＤを算出する。たとえば、「－２ｌｏｇσＣＤ」を「－３．４」とすると、情報処理装置１００は、エッジＥＣＤに、重み「－３．４」を設定する。
　情報処理装置１００は、ターゲット２の分散をセンサ連結性グラフ５１に反映した結果を基にして、外部パラメータ計算対象となるセンサを選択する順番を特定する処理を実行する。情報処理装置１００は、各エッジＥの和が最小となるような経路を、最短経路探索により決定する。たとえば、情報処理装置１００は、Bellman-Ford法等を用いて、各エッジＥの和が最小となるような経路を決定する。
　各エッジＥの和が最小となるような経路は、ターゲット群の位置の空間的な分散がなるべく大きくなるような、センサの順番である。図４に示す例では、基準となるノードを、センサ１０Ａに対応するノード５０Ａとすると、各エッジＥの和が最小となるような経路は、ノード５０Ａ、ノード５０Ｂ、ノード５０Ｄ、ノード５０Ｃの順となる。すなわち、ターゲット群の位置の空間的な分散がなるべく大きくなるような、センサの順番は、センサ１０Ａ、センサ１０Ｂ、センサ１０Ｄ、センサ１０Ｃとなる。
　情報処理装置１００は、センサ１０Ａを基準として、センサ１０Ｂ、センサ１０Ｄ、センサＣの順に選択し、外部パラメータを推定する。ここで、連結する２つのセンサの組の相対的な位置および姿勢を合成して行くことで、基準のセンサと直接連結しないセンサの外部パラメータを計算することが可能である。
　図５は、直接連結しないセンサの外部パラメータの計算を説明するための図である。ノード５０Ａ、ノード５０Ｂ、ノード５０Ｄ、ノード５０Ｃは、センサ１０Ａ、センサ１０Ｂ、センサ１０Ｃ、センサ１０Ｄにそれぞれ対応する。図４で説明した、センサ連結性グラフ５１は、ノード５０Ａと、ノード５０Ｃとが直接連結していないが、下記の処理を実行することで、基準となるセンサ１０Ａと、センサ１０Ｃとの相対的な位置および姿勢を計算することが可能である。
　情報処理装置１００は、センサ１０Ａとセンサ１０Ｂとの組を選択し、センサ１０Ａの各時点ｔ＝１～１３の観測結果と、センサ１０Ｂの観測結果とを基にして、センサ１０Ａに対するセンサ１０Ｂの外部パラメータＴＢＡを算出する。
　情報処理装置１００は、センサ１０Ｂとセンサ１０Ｄとの組を選択し、センサ１０Ｂの各時点ｔ＝１～１３の観測結果と、センサ１０Ｄの観測結果とを基にして、センサ１０Ｂに対するセンサ１０Ｄの外部パラメータＴＤＢを算出する。
　情報処理装置１００は、センサ１０Ｄとセンサ１０Ｃとの組を選択し、センサ１０Ｄの各時点ｔ＝１～１３の観測結果と、センサ１０Ｃの観測結果とを基にして、センサ１０Ｄに対するセンサ１０Ｃの外部パラメータＴＣＤを算出する。
　情報処理装置１００は、式（１）を基にして、基準となるセンサ１０Ａと、センサ１０Ｃとの相対的な位置および姿勢を計算する。たとえば、各Ｔは、回転行列と、並進ベクトルとを含む行列である。
　ＴＣＡ＝ＴＣＤＴＤＢＴＢＡ・・・（１）
　上記のように、本実施例１に係る情報処理装置１００は、各時点においてターゲット２を移動させながら、センサ１０Ａ～１０Ｄによる観測を実行し、同時点でターゲット２を検出した時点の回数を示す共有数を特定する。情報処理装置１００は、共有数をエッジの重みとするターゲット共有数グラフ５０を生成し、ターゲット共有数グラフ５０から、エッジＥの重みが所定の数以上となるエッジを残したセンサ連結性グラフ５１を生成する。センサ連結性グラフ５１で連結されるノードの組は、同時点で、ターゲット２を観測した回数が所定の数以上となるセンサの組を示すものである。
　また、情報処理装置１００は、各時点において、２つのセンサの組で観測されるターゲット群の位置の分散σ２を算出し、「－２ｌｏｇσ」を、各エッジＥの重みとし、ターゲットの分散をセンサ連結性グラフに反映する。係る「－２ｌｏｇσ」を、各エッジＥの重みとしたセンサ連結性グラフにおいて、エッジの重みが小さいほど、２つのセンサの組で観測したターゲット群の位置の空間的な分散が大きいことを意味する。情報処理装置１００は、各エッジＥの和が最小となるような経路を特定し、特定した経路を基にして、外部パラメータを算出する場合に選択するセンサ１０の順番を特定する。これによって、センサ１０の外部パラメータの計算が安定するように、ターゲット群の位置の空間的な分散がなるべく大きくなるようなセンサの順番を特定することができる。したがって、３つ以上のセンサについて、配置位置関係や画角の関係など、相対位置関係を示す情報を精度よく生成することができる。
　図６は、本実施例１に係る情報処理装置の効果を説明するための図である。図６の上段は、従来技術２を用いた場合のセンサ１０の選択の順番を示す。下段は、情報処理装置１００が特定した、センサ１０の選択の順番を示す。ただし、情報処理装置１００は、図２７で説明した条件と同様にして、時点ｔ＝１～７において、ターゲット２を移動させながら、センサ１０によって観測を行い、順番を特定するものとする。センサ１０Ａ～１０Ｄの観測結果を、観測結果２０Ａ～２０Ｄとする。
　図２８で説明したように、従来技術２では、センサ１０Ａ，１０Ｂ，１０Ｃ，１０Ｄのように、予め定められた順番で、センサ１０が選択される。係る順番でセンサ１０が選択されると、観測結果２０Ｃにおいて、外部パラメータの推定に利用できるターゲットが減少し、分布に偏りが生じる。外部パラメータの推定に利用できるターゲットが偏って分布すると、外部パラメータの推定精度が低くなる。
　これに対して、情報処理装置１００では、センサ連結性グラフを用いることで、センサ１０Ａ，１０Ｂ，１０Ｃ，１０Ｄの順番で、センサ１０が選択される。係る順番でセンサ１０が選択されると、観測結果２０Ｄにおいて、時点ｔ＝６，７において、ターゲット２を外部パラメータの計算に利用できないものの、時点ｔ＝１，２，３，４，５のターゲット２が視野上でまんべんなく分布しており、外部パラメータの推定精度が高くなる。また、後段の観測結果２０Ｃを選択して外部パラメータを推定する場合の推定精度が低下することを抑止することもできる。
　次に、図１に示した情報処理装置１００の構成について説明する。図７は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。図７に示すように、この情報処理装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。
　通信部１１０は、図１に示したセンサ１０から距離画像のデータを受信する処理部である。通信部１１０は、受信した距離画像のデータを、制御部１５０に出力する。通信部１１０は、通信装置の一例である。
　入力部１２０は、各種の情報を情報処理装置１００に入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。たとえば、ユーザは、各時点において、ターゲット２の設置が完了する度に、入力部１２０を操作して、ターゲット２の設置が完了した旨の情報を、情報処理装置１００に入力する。
　表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。たとえば、表示部１３０は、各種競技の技認定、採点結果等を表示する。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、タッチパネル等に対応する。
　記憶部１４０は、背景画像テーブル１４１と、検出結果テーブル１４２と、外部パラメータテーブル１４３とを有する。記憶部１４０は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）などの半導体メモリ素子や、ＨＤＤ（Hard　Disk　Drive）などの記憶装置に対応する。
　背景画像テーブル１４１は、ターゲット２が存在しない状態で、各センサ１０Ａ～１０Ｄによってそれぞれ測定された背景画像のデータ（距離画像のデータ）を格納するテーブルである。
　検出結果テーブル１４２は、センサ１０の観測結果に基づき、各時点で検出されたターゲット２の点群および位置を格納するテーブルである。図８は、検出結果テーブルのデータ構造の一例を示す図である。図８に示すように、この検出結果テーブル１４２は、センサ識別情報と、各時点における、ターゲット２の点群情報を格納する。センサ識別情報は、センサ１０を識別する情報である。たとえば、センサ識別情報ＳＥ１０Ａ，ＳＥ１０Ｂ，ＳＥ１０Ｃ，ＳＥ１０Ｄは、センサ１０Ａ、センサ１０Ｂ、センサ１０Ｃ、センサ１０Ｄにそれぞれ対応する。また、ターゲットの点群情報には、ターゲット２の３次元の点群と、点群に含まれる点の３次元の座標との関係を示すデータである。なお、該当するセンサ識別情報、時点において、ターゲットが検出されていない場合には、「ターゲット無し」が格納される。
　外部パラメータテーブル１４３は、後述する外部パラメータ生成処理部１５２によって生成される外部パラメータを格納するテーブルである。図９は、外部パラメータテーブルのデータ構造の一例を示す図である。図９に示すように、この外部パラメータテーブル１４３は、センサ識別情報と、外部パラメータとを対応付ける。センサ識別情報は、センサ１０を識別する情報である。外部パラメータは、基準となるセンサ１０との相対的な位置および姿勢を示すデータである。本実施例１では、基準となるセンサをセンサ１０Ａとする。
　外部パラメータＴＢＡは、センサ１０Ａを基準とするセンサ１０Ｂの相対的な位置および姿勢を示すデータである。外部パラメータＴＣＡは、センサ１０Ａを基準とするセンサ１０Ｃの相対的な位置および姿勢を示すデータである。外部パラメータＴＤＡは、センサ１０Ａを基準とするセンサ１０Ｄの相対的な位置および姿勢を示すデータである。
　制御部１５０は、取得部１５１と、外部パラメータ生成処理部１５２と、統合部１５３と、フィッティング処理部１５４と、評価部１５５とを有する。制御部１５０は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）などのハードワイヤードロジック等によって実現される。
　取得部１５１は、通信部１１０を介して、センサ１０から、距離画像のデータを取得する処理部である。たとえば、取得部１５１が、距離画像のデータを取得するタイミングは、入力部１２０を操作するユーザによって指示される。取得部１５１は、距離画像のデータと、背景画像テーブル１４１に格納された背景画像のデータとの差分をとり、背景差分画像データを生成する。取得部１５１は、背景差分画像データを、外部パラメータ生成処理部１５２に出力する。
　なお、取得部１５１は、センサ１０Ａに測定された距離画像のデータと、センサ１０Ａに対応する背景画像のデータとの差分により、センサ１０Ａに対応する背景差分データを生成する。取得部１５１は、センサ１０Ｂに測定された距離画像のデータと、センサ１０Ｂに対応する背景画像のデータとの差分により、センサ１０Ｂに対応する背景差分データを生成する。
　取得部１５１は、センサ１０Ｃに測定された距離画像のデータと、センサ１０Ｃに対応する背景画像のデータとの差分により、センサ１０Ｃに対応する背景差分データを生成する。取得部１５１は、センサ１０Ｄに測定された距離画像のデータと、センサ１０Ｄに対応する背景画像のデータとの差分により、センサ１０Ｄに対応する背景差分データを生成する。
　取得部１５１は、各時点において、センサ１０から、距離画像のデータを取得する度に、上記処理を繰り返し実行する。取得部１５１は、背景差分データを、外部パラメータ生成処理部１５２に出力する場合、時点ｔの情報と、該当センサ１０のセンサ識別情報を、背景差分データに付与してもよい。
　取得部１５１は、外部キャリブレーションを実行する場合には、背景差分データを、外部パラメータ生成処理部１５２に出力する。取得部１５１は、被写体（図示略）が行う演技を評価する場合には、背景差分データを、統合部１５３に出力する。取得部１５１は、外部キャリブレーションを行うタイミング、演技の評価を行うタイミングは、ユーザの操作する入力部１２０から受け付ける。
　外部パラメータ生成処理部１５２は、図２～図５で説明した処理を実行することで、外部パラメータを生成する処理部である。外部パラメータ生成処理部１５２は、生成した外部パラメータを、外部パラメータテーブル１４３に格納する。
　図１０は、外部パラメータ生成処理部の構成を示す機能ブロック図である。図１０に示すように、外部パラメータ生成処理部１５２は、検出部１６０と、特定部１６１と、グラフ生成部１６２と、パラメータ生成部１６３と、ロバスト推定部１６４とを有する。
　検出部１６０は、複数時点においてターゲット２を検出する処理部である。検出部１６０は、背景差分データに残された各画素（背景部分を除いた画素）をクラスタリングし、各画素を複数のクラスタに分類する。検出部１６０は、各クラスタのうち、クラスタに属する画素の数が所定数未満（クラスタの面積が閾値未満）のクラスタを、ノイズとして除去する。
　検出部１６０は、画素の位置および距離値と、点および直交座標系の座標との関係を定義した変換テーブルを保持しているものとする。検出部１６０は、変換テーブルを基にして、クラスタに含まれる各画素を、３次元点群に変換する。検出部１６０は、各クラスタの３次元点群について、予め設定しておいたターゲット２の３次元モデル表面にフィッティングさせたときの誤差をそれぞれ評価する。
　検出部１６０は、フィッティングさせたときの誤差が最も小さいクラスタを、ターゲット２として特定する。検出部１６０は、ＩＣＰ（Iterative　Closest　Point）等に基づいて、フィッティングを実行してもよい。ターゲット２に対応するクラスタの３次元点群は、点群と各点の直交座標系の座標との関係を有し、点群情報に対応する。
　検出部１６０は、背景差分データに付与されたセンサ識別情報および時点の情報を基にして、上記の点群情報を、検出結果テーブル１４２に格納する。なお、検出部１６０は、背景差分データを基にして上記処理を実行し、ターゲット２がセンサ１０に観測されなかった場合、ターゲット無しの情報を、検出結果テーブル１４２に格納する。検出部１６０は、背景差分データを取得する度に、上記処理を繰り返し実行する。
　特定部１６１は、２つのセンサ１０の組毎に共有数を特定する処理部である。
　たとえば、特定部１６１は、検出結果テーブル１４２のデータを取得し、各時点においてセンサ１０Ａ～１０Ｄがそれぞれターゲットを検出したか否かを特定する。特定部１６１は、センサ１０Ａ～１０Ｄのうちの２つのセンサ１０の組で、複数時点のうち同じ時点においてターゲット２を検出した時点の回数（共有数）を特定する。特定部１６１が、共有数を特定する具体的な処理は、図２を用いて説明した情報処理装置１００の処理に対応する。
　特定部１６１は、２つのセンサ１０の組毎に特定した共有数のデータを、グラフ生成部１６２に出力する。たとえば、各時点におけるターゲット２の観測結果が、図２で説明したものである場合には、センサ１０Ａ，１０Ｂの組の共有数は「４」となる。センサ１０Ａ，１０Ｃの組の共有数は「１」となる。センサ１０Ａ，１０Ｄの組の共有数は「０」となる。センサ１０Ｂ，１０Ｃの組の共有数は「４」となる。センサ１０Ｂ，１０Ｄの組の共有数は「３」となる。センサ１０Ｃ，１０Ｄの組の共有数は「４」となる。
　グラフ生成部１６２は、センサ連結性グラフ５１を生成する処理部である。
　たとえば、グラフ生成部１６２は、２つのセンサ１０の組毎に特定された共有数のデータを基にして、ターゲット共有数グラフ５０を生成する。センサ１０Ａ，１０Ｂの組の共有数が「４」、センサ１０Ａ，１０Ｃの組の共有数が「１」、センサ１０Ａ，１０Ｄの組の共有数が「０」、センサ１０Ｂ，１０Ｃの組の共有数が「４」、センサ１０Ｂ，１０Ｄの組の共有数が「３」とする。そうすると、グラフ生成部１６２が生成するターゲット共有数グラフ５０は、図３で説明したものとなる。
　グラフ生成部１６２は、各エッジＥのうち、重みが「３」以上となるエッジを残すことで、センサ連結性グラフ５１を生成する。図３に示す例では、グラフ生成部１６２は、ターゲット共有数グラフ５０からエッジＥＣＡを削除し、エッジＥＢＡ、ＥＣＢ、ＥＤＢ、ＥＣＤを残すことで、センサ連結性グラフ５１を生成する。
　また、グラフ生成部１６２は、ターゲットの分散をセンサ連結性グラフ５１に反映する処理を実行する。図４で説明したように、グラフ生成部１６２は、各時点において、２つのセンサの組で観測されるターゲット群の位置の分散σ２を算出する。グラフ生成部１６２は、「－２ｌｏｇσ」を、各エッジＥの重みとし、ターゲットの分散をセンサ連結性グラフに反映する。
　図２で説明したように、センサ１０Ａとセンサ１０Ｂとの組については、時点ｔ＝１～１３のうち、時点ｔ＝３，４，５，６において、ターゲット２を観測している。グラフ生成部１６２は、センサ１０Ａ（あるいはセンサ１０Ｂ）が観測した、時点ｔ＝３，４，５，６におけるターゲット２の位置の分散σ２ ＢＡを算出する。たとえば、「－２ｌｏｇσＢＡ」を「－２．７」とすると、グラフ生成部１６２は、エッジＥＢＡに、重み「－２．７」を設定する。
　グラフ生成部１６２は、センサ１０Ａが観測した、時点ｔ＝３，４，５，６におけるターゲット２の位置を、検出結果テーブル１４２から特定する。たとえば、ターゲット２の点群情報に含まれる各点の座標の重心座標を、ターゲット２の位置としてもよい。
　グラフ生成部１６２は、センサ１０Ｂとセンサ１０Ｃとの組、センサ１０Ｂとセンサ１０Ｄとの組、センサ１０Ｃとセンサ１０Ｄとの組についても同様にして、分散σ２ ＣＢ、分散σ２ ＤＢ、分散σ２ ＣＤを算出する。グラフ生成部１６２は、エッジＥＣＢに、重み「－１．２」、エッジＥＤＢに、重み「－３．２」、エッジＥＣＤに、重み「－３．４」をそれぞれ設定する。グラフ生成部１６２は、エッジの重みを設定したセンサ連結性グラフ５１のデータを、パラメータ生成部１６３に出力する。
　パラメータ生成部１６３は、センサ連結性グラフ５１を基にして、連結性のある２つのセンサ間で、外部パラメータを生成する。パラメータ生成部１６３は、外部パラメータを、外部パラメータテーブル１４３に記憶する。また、パラメータ生成部１６３は、外部パラメータを、予め設定された外部装置に送信してもよい。パラメータ生成部１６３は、センサ連結性グラフ５１と、生成した外部パラメータを基にして、連結性のない２つのセンサ間の外部パラメータを生成する。以下において、パラメータ生成部１６３の処理の一例について説明する。
　パラメータ生成部１６３は、センサ連結性グラフ５１について、各エッジＥの和が最小になるような経路を、最短経路探索により実行する。たとえば、パラメータ生成部１６３は、Bellman-Ford法等を用いて、各エッジＥの和が最小となるような経路Ｐを選択する。
　図４で説明したように、基準となるノードを、センサ１０Ａに対応するノード５０Ａとすると、各エッジＥの和が最小となるような経路Ｐは、ノード５０Ａ、ノード５０Ｂ、ノード５０Ｄ、ノード５０Ｃの順となる。
　パラメータ生成部１６３は、センサ１０Ａ，１０Ｂの組、センサ１０Ｂ，１０Ｄの組、センサ１０Ｄ，１０Ｃの組を、連結性のある２つのセンサとして特定する。パラメータ生成部１６３は、センサ１０Ａ，１０Ｃの組を、連結性のない２つのセンサとして特定する。
　パラメータ生成部１６３は、センサ１０Ａの時点ｔ＝３，４，５，６のターゲット２の位置と、センサ１０Ｂの時点ｔ＝３，４，５，６のターゲット２の位置との関係から、特異値分解で位置合わせを行い、外部パラメータＴＢＡの初期値を算出する。
　パラメータ生成部１６３は、センサ１０Ｂの時点ｔ＝８，９，１２のターゲット２の位置と、センサ１０Ｄの時点ｔ＝８，９，１２のターゲット２の位置との関係から、特異値分解で位置合わせを行い、外部パラメータＴＤＢの初期値を算出する。
　パラメータ生成部１６３は、センサ１０Ｄの時点のターゲット２の位置と、センサ１０Ｃの時点のターゲット２の位置との関係から、特異値分解で位置合わせを行い、外部パラメータＴＣＤの初期値を算出する。
　パラメータ生成部１６３は、バンドル調整や最尤推定を用いて、外部パラメータＴＢＡ、ＴＤＢ、ＴＣＤの最適化（ターゲット２形状のフィッティング）を実行し、最終的な外部パラメータＴＢＡ、ＴＤＢ、ＴＣＤを算出する。連結性のある２つのセンサ間の、各外部パラメータＴＢＡ、ＴＤＢ、ＴＣＤは「第１の相関位置関係を示す情報」に対応する。
　パラメータ生成部１６３は、式（１）と、外部パラメータＴＢＡ、ＴＤＢ、ＴＣＤとを基にして、外部パラメータＴＣＡを算出する。外部パラメータＴＣＡは、連結性のない２つのセンサ間の外部パラメータであり、「第２の相関位置関係を示す情報」に対応する。
　パラメータ生成部１６３は、センサ１０Ａを基準とする外部パラメータＴＢＡ、ＴＣＡ、ＴＤＡを、外部パラメータテーブル１４３に格納する。なお、パラメータ生成部１６３は、センサ１０Ａを基準とするセンサ１０Ｄの相対的な位置および姿勢を示す外部パラメータＴＤＡを、式（２）により算出する。
　ＴＤＡ＝ＴＤＢＴＢＡ・・・（２）
　ロバスト推定部１６４は、ターゲット２の誤検出を検出する処理部である。図１１～図１５は、ロバスト推定部の処理を説明するための図である。ここでは一例として、センサ１０Ａとセンサ１０Ｂとを基にして説明を行う。図１１に示すように、時点ｔ＝１～４において、ターゲット２を移動させながら、センサ１０Ａ、センサ１０Ｂによって、ターゲット２を観測するものとする。なお、時刻ｔ＝２において、ターゲット２に似た特徴を持つ前景物体３が、センサ１０Ｂの観測結果に含まれるものとする。
　センサ１０Ａおよびセンサ１０Ｂの観測結果は、図１２に示すものとなる。観測結果３０Ａは、センサ１０Ａの時点ｔ＝１～４の観測結果を示す。観測結果３０Ｂは、センサ１０Ｂの時点ｔ＝１～４の観測結果を示す。たとえば、観測結果３０Ｂの時点ｔ＝２において、ターゲット２の代わりに、誤って、前景物体３をターゲット２として誤検出され、検出結果テーブル１４２に格納されているものとする。
　図１３の説明に移行する。センサ１０Ａが時点ｔ＝１～４に観測したターゲット２の符号を、２Ａ－１、２Ａ－２、２Ａ－３、２Ａ－４とする。センサ１０Ｂが時点ｔ＝１，３，４に観測したターゲット２の符号を、２Ｂ－１、２Ｂ－３、２Ｂ－４とする。センサ１０Ｂは、時点ｔ＝２で前景物体３を観測する。
　ロバスト推定部１６４は、同時点で観測したターゲット２（前景物体３）を対応付ける。すなわち、ロバスト推定部１６４は、ターゲット２Ａ－１と、ターゲット２Ｂ－１とを対応付ける。ロバスト推定部１６４は、ターゲット２Ａ－２と、前景物体３とを対応付ける。ロバスト推定部１６４は、ターゲット２Ａ－３と、ターゲット２Ｂ－３とを対応付ける。ロバスト推定部１６４は、ターゲット２Ａ－４と、ターゲット２Ｂ－４とを対応付ける。
　ロバスト推定部１６４は、上記の対応関係によって、対応するターゲットのペア間における位置の距離の総和が最小となるような外部パラメータＴＢＡを算出する。たとえば、ロバスト推定部１６４は、初期値の推定を行った後に、バンドル推定や最尤推定を用いて、センサ１０Ａとセンサ１０Ｂとの間の外部パラメータＴＢＡの最適化を行い、最終的な外部パラメータＴＢＡを算出する。
　ロバスト推定部１６４は、外部パラメータＴＢＡを用いて、観測結果３０Ｂの各ターゲット２の位置を、センサ１０Ａを基準とする位置に補正すると、図１４に示すものとなる。誤対応（ターゲット２Ａ－２と、前景物体３）の影響により、対応付けられたターゲット２Ａ－１，２Ｂ－１の組の位置、ターゲット２Ａ－３，２Ｂ－３の組の位置、ターゲット２Ａ－４，２Ｂ－４の組の位置が一致しない。
　ロバスト推定部１６４は、対応付けた各ターゲットの距離の平均が閾値以上である場合に、ノイズ（前景物体３）が観測されていると判定し、次の処理を実行する。ロバスト推定部１６４は、各時点において対応付けられた各ターゲットの組のうち、いずれかの組を除外して、外部パラメータＴＢＡの算出を行う。
　たとえば、ロバスト推定部１６４は、時刻ｔ＝１のターゲット２Ａ－１と、ターゲット２Ｂ－１との組を除外して、外部パラメータＴＢＡ１を生成する。ロバスト推定部１６４は、時刻ｔ＝２のターゲット２Ａ－２と、前景物体３との組を除外して、外部パラメータＴＢＡ２を生成する。ロバスト推定部１６４は、時刻ｔ＝３のターゲット２Ａ－３と、２Ｂ－３との組を除外して、外部パラメータＴＢＡ３を生成する。ロバスト推定部１６４は、時刻ｔ＝４のターゲット２Ａ－４と、ターゲット２Ｂ－４との組を除外して、外部パラメータＴＢＡ４を生成する。
　ロバスト推定部１６４は、外部パラメータＴＢＡ１を用いて、観測結果３０Ｂの各ターゲット２（ターゲット２Ａ－１、２Ｂ－１の組を除く）の位置を、センサ１０Ａを基準とする位置に補正し、対応付けられた各ターゲットの距離の平均（第１平均値）を算出する。
　ロバスト推定部１６４は、外部パラメータＴＢＡ２を用いて、観測結果３０Ｂの各ターゲット２（ターゲット２Ａ－２、前景物体３の組を除く）の位置を、センサ１０Ａを基準とする位置に補正し、対応付けられた各ターゲットの距離の平均（第２平均値）を算出する。たとえば、外部パラメータＴＢＡ２を用いて、各ターゲット２（ターゲット２Ａ－２、前景物体３の組を除く）の位置を、センサ１０Ａを基準とする位置に補正した結果は、図１５に示すものとなる。誤対応（ターゲット２Ａ－２と、前景物体３）の影響がなくなり、対応付けられたターゲット２Ａ－１，２Ｂ－１の組の位置、ターゲット２Ａ－３，２Ｂ－３の組の位置、ターゲット２Ａ－４，２Ｂ－４の組の位置が一致する（第２平均値が小さくなる）。
　外部パラメータＴＢＡ３を用いて、観測結果３０Ｂの各ターゲット２（ターゲット２Ａ－３、２Ｂ－３の組を除く）の位置を、センサ１０Ａを基準とする位置に補正し、対応付けられた各ターゲットの距離の平均（第３平均値）を算出する。
　外部パラメータＴＢＡ４を用いて、観測結果３０Ｂの各ターゲット２（ターゲット２Ａ－４、２Ｂ－４の組を除く）の位置を、センサ１０Ａを基準とする位置に補正し、対応付けられた各ターゲットの距離の平均（第４平均値）を算出する。
　ロバスト推定部１６５は、第１平均値、第２平均値、第３平均値、第４平均値を比較し、他の平均値と比較して、十分小さい平均値が存在するか否かを判定する。たとえば、第２平均値が、第１，３，４平均値と比較して、十分小さい場合には、ターゲット２Ａ－２と、前景物体３を、ターゲット２から除外する。すなわち、時点ｔ＝２に観測されたターゲット２の情報を、検出結果テーブル１４２から削除する。たとえば、ロバスト推定部１６５は、第２平均値が、第１，３，４平均値より大きく、かつ、差分が閾値以上である場合に、十分小さいと判定する。
　たとえば、ロバスト推定部１６５は、検出部１６０によって、検出結果テーブル１４２が生成された後、特定部１６１、グラフ生成部１６２、パラメータ生成部１６３による処理が開始される前に、上記処理を実行する。これによって、ターゲット以外を誤検出したノイズ（前景物体３）を除去することが可能になる。
　図７の説明に戻る。統合部１５３、フィッティング処理部１５４、評価部１５５は、外部パラメータ生成処理部１５２によって、外部キャリブレーションが終了し、被写体が演技を開始した場合に処理を実行する。
　統合部１５３は、取得部１５１から、各センサ１０Ａ～１０Ｄの背景差分データを取得する。統合部１５３は、変換テーブルを用いて、背景差分データに含まれる各画素と距離値との関係を、点群と各点の直交座標系の座標との関係に変換する。変換した背景差分データを「３次元点群データ」と表記する。変換テーブルは、画素の位置および距離値と、点および直交座標系の座標との関係を定義したテーブルである。
　統合部１５３は、センサ１０Ａを基準のセンサ１０とし、センサ１０Ｂ～１０Ｄの３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。たとえば、統合部１５３は、外部パラメータＴＢＡを用いて、センサ１０Ｂの３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。統合部１５３は、外部パラメータＴＣＡを用いて、センサ１０Ｃの３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。統合部１５３は、外部パラメータＴＤＡを用いて、センサ１０Ｄの３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。統合部１５３は、各外部パラメータを、外部パラメータテーブル１４３から取得する。
　統合部１５３は、センサ１０Ａの３次元点群データと、センサ１０Ａの位置および姿勢に合わせたセンサ１０Ｂ～１０Ｄの３次元点群データとを統合して、一つの３次元点群データを生成する。統合部１５３は、生成した３次元点群データを、フィッティング処理部１５４に出力する。
　統合部１５３は、取得部１５１から、センサ１０Ａ～１０Ｄの背景差分データを取得する度に、上記処理を繰り返し実行する。
　フィッティング処理部１５４は、３次元点群データに対して、被写体の３次元モデルデータを当てはめるフィッティングを実行する処理部である。フィッティング処理部１５４は、フィッティング結果を基にして、被写体の骨格モデルデータを特定する。骨格モデルデータには、各関節の位置情報が含まれる。フィッティング処理部は、骨格モデルデータを、評価部１５５に出力する。フィッティング処理部は、統合部１５３から、３次元点群データを取得する度に、上記処理を繰り返し実行する。
　評価部１５５は、時系列に骨格モデルデータを取得し、骨格モデルデータの各関節座標の遷移を基にして、被写体の演技を評価する処理部である。たとえば、評価部１５５は、各関節座標の遷移と、技の種別、技の成立不成立を定義したテーブル（図示略）を用いて、被写体の演技を評価し、評価結果を表示部１３０に出力して表示させる。
　なお、評価部１５５が実行する技の評価は、各種の採点競技に適用可能である。採点競技には、体操演技の他に、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー、ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。更に、ウェイトリフティングのバーベルが上がったか否かの評価にも用いることができる。
　次に、本実施例１に係る情報処理装置１００が、外部キャリブレーションを実行する処理手順の一例について説明する。図１６は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。図１６に示すように、情報処理装置１００の取得部１５１は、センサ１０から距離画像のデータを取得する（ステップＳ１０）。取得部１５１は、距離画像のデータと、背景画像データとの差分をとり、背景差分データを生成する（ステップＳ１１）。
　情報処理装置１００の検出部１６０は、背景差分データからターゲットを検出し、ターゲットの点群情報を、検出結果テーブル１４２に登録する（ステップＳ１２）。情報処理装置１００は、ターゲットの検出を終了しない場合には（ステップＳ１３，Ｎｏ）、再度、ステップＳ１０に移行する。一方、情報処理装置１００は、ターゲットの検出を終了する場合には（ステップＳ１３，Ｙｅｓ）、ステップＳ１４に移行する。
　情報処理装置１００の外部パラメータ生成処理部１５２（特定部１６１およびグラフ生成部１６２）は、センサ連結性グラフ生成処理を実行する（ステップＳ１４）。情報処理装置１００のパラメータ生成部１６３は、基準センサｉｒｅｆと、その他のセンサｉｔａｒの組（ｉｒｅｆ，ｉｔａｒ）について、センサ連結性グラフ３１上で、Bellman-Ford法を適用することで、最短経路を検索する（ステップＳ１５）。たとえば、基準センサｉｒｅｆは、センサ１０Ａに対応する。その他のセンサｉｔａｒは、センサ１０Ｂ，１０Ｃ，１０Ｄに対応する。
　パラメータ生成部１６３は、最短経路の検索結果を基にして、センサ群の経路Ｐを選択する（ステップＳ１６）。パラメータ生成部１６３は、経路Ｐの順番に基づき、特異値分解を用いて、センサｉｔａｒの外部パラメータの初期値を算出する（ステップＳ１７）。
　パラメータ生成部１６３は、バンドル調整および最尤推定により、センサｉｔａｒの外部パラメータを最適化する（ステップＳ１８）。パラメータ生成部１６３は、外部パラメータを、外部パラメータテーブル１４３に格納する（ステップＳ１９）。ステップＳ１９の処理は、外部パラメータを外部装置へ送信する処理にも対応する。
　次に、図１６のステップＳ１４に示したセンサ連結性グラフ生成処理の処理手順の一例について説明する。図１７は、センサ連結性グラフ生成処理の処理手順を示すフローチャートである。図１７に示すように、情報処理装置１００の特定部１６１は、全てのセンサの組（ｉ，ｊ）について、共有観測するターゲットの共有数Ｎｉ，ｊを集計する（ステップＳ１０１）。
　情報処理装置１００のグラフ生成部１６２は、共有数Ｎｉ，ｊをエッジ重み、センサ１０をノードとするターゲット共有数グラフ５０を生成する（ステップＳ１０２）。グラフ生成部１６２は、ターゲット共有数グラフのエッジのうち、共有数Ｎｉ，ｊ≧３であるようなエッジを残したセンサ連結性グラフを生成する（ステップＳ１０３）。
　グラフ生成部１６２は、センサ連結性グラフの各エッジについて、－２ｌｏｇσをエッジ重みとするようなセンサ連結性グラフを生成する（ステップＳ１０４）。
　次に、本実施例１に係る情報処理装置１００の効果について説明する。情報処理装置１００は、各時点においてターゲット２を移動させながら、センサ１０Ａ～１０Ｄによる観測を実行し、同時点でターゲット２を検出した時点の回数を示す共有数を特定する。情報処理装置１００は、共有数をエッジの重みとするターゲット共有数グラフ５０を生成し、ターゲット共有数グラフ５０から、エッジＥの重みが所定の数以上となるエッジを残したセンサ連結性グラフ５１を生成する。これによって、同時点で、ターゲット２を観測した回数が所定の数以上となるセンサの組を特定することができる。
　情報処理装置１００は、各時点において、２つのセンサの組で観測されるターゲット群の位置の分散σ２を算出し、「－２ｌｏｇσ」を、各エッジＥの重みとし、ターゲットの分散をセンサ連結性グラフ５１に反映する。係る「－２ｌｏｇσ」を、各エッジＥの重みとしたセンサ連結性グラフにおいて、エッジの重みが小さいほど、２つのセンサの組で観測したターゲット群の位置の空間的な分散が大きいことを意味する。情報処理装置１００は、各エッジＥの和が最小となるような経路を特定し、特定した経路を基にして、外部パラメータを算出する場合に選択するセンサ１０の順番を特定する。これによって、センサ１０の外部パラメータの計算が安定するように、ターゲット群の位置の空間的な分散がなるべく大きくなるようなセンサの順番を特定することができる。したがって、情報処理装置１００によれば、３つ以上のセンサについて、配置位置関係や画角の関係など、相対位置関係を示す情報を精度よく生成することができる。
　ところで、本実施例１に係る情報処理装置１００は、ターゲットとして、円筒状のターゲット２を用いて、外部キャリブレーションを実行し、外部パラメータを生成したが、これに限定されるものではない。たとえば、情報処理装置１００は、球体マーカを、ターゲットとして用いてもよい。
　図１８～図２０は、球体マーカを用いた外部キャリブレーションの一例を示す図である。図１８に示すように、ユーザ（図示略）は、各時点において、球体マーカ６０を移動させながら、センサ１０Ａ～１０Ｄによって、球体マーカ６０を観測する。球体マーカ６０は、ユーザ（図示略）によって移動される。
　センサ１０Ａによって、各時点の観測結果６１Ａが観測される。センサ１０Ｂによって、各時点の観測結果６１Ｂが観測される。センサ１０Ｃによって、各時点の観測結果６１Ｃが観測される。センサ１０Ｄによって、各時点の観測結果６１Ｄが観測される。
　図１９の説明に移行する。ここでは、観測結果に含まれる距離画像のデータを用いて説明する。情報処理装置１００は、距離画像のデータ６２と、背景画像データとの差分を取ることで、背景差分データ６３を生成する。情報処理装置１００は、背景差分データ６３からノイズを除去することで、背景差分データ６４を生成する。情報処理装置１００は、背景差分データ６４から、球体マーカ６４ａを検出する。たとえば、情報処理装置１００は、球体マーカ６４ａをフィッティングすることで、計測ノイズに対してロバストに球体マーカ６４ａを検出することが可能となる。
　図２０の説明に移行する。情報処理装置１００は、各時点ｔ＝１～４において、上記処理を繰り返し実行することで、各センサ１０が観測した、各時点ｔ＝１～４の球体マーカ６０をそれぞれ特定する。たとえば、センサ１０Ａは、各時点ｔ＝１～４において、球体マーカ６０を観測する。センサ１０Ｂは、各時点ｔ＝１～４において、球体マーカ６０を観測する。センサ１０Ｃは、各時点ｔ＝１～４において、球体マーカ６０を観測する。センサ１０Ｄは、各時点ｔ＝１～３において、球体マーカ６０を観測し、時刻ｔ＝４において、ノイズ６５を誤検出する。
　ここで、時刻ｔ＝４において、ノイズ６５は、ロバスト推定部１６４により、除去され、センサ１０Ｄにより、時刻ｔ＝４において、球体マーカ６０が検出されるものとする。情報処理装置１００は、球体マーカ６０の共有数、球体マーカ６０の分散を基にして、センサ連結性グラフを生成し、外部パラメータを生成する。
　上記のように、情報処理装置１００は、ターゲット２の代わりに、球体マーカ６０を用いても、配置位置関係や画角の関係など、相対位置関係を示す情報（外部パラメータ）を精度よく生成することができる。
　次に、本実施例２に係る情報処理システムについて説明する。本実施例２に係る情報処理システムでは、ターゲットを所定の位置に配置して計測することで、外部パラメータの生成に加えて、センサ以外の物体の位置と姿勢を計算することができる。本実施例２では一例として、センサ以外の物体として、体操器具を用いて説明を行うが、これに限定されるものではない。
　図２１は、ターゲットの配置位置を説明するための図である。図２１に示すように、体操器具７０が配置される。また、センサ１０Ａ～１０Ｄは、体操器具７０の周囲に配置される。センサ１０Ａ～１０Ｄは、情報処理装置２００にそれぞれ接続される。
　図２１において、ターゲットＰｎは、時点ｔ＝ｎにおいて、配置されたターゲットを意味する。ターゲットＰ１は、体操器具７０の中央の真上に配置される。ターゲットＰ２は、体操器具７０のｙ軸上であって、体操器具７０の上面の高さＨで配置される。ターゲットＰ３～Ｐｎは、床面７１からの高さが同一となるマット７２上において、Ｐ２よりも高い位置に配置される。床面７１から、ターゲットＰ３～Ｐｎまでの高さはそれぞれ同一である。ターゲットＰ３～Ｐｎは、３以上であることを条件とする。
　情報処理装置２００は、実施例１の情報処理装置１００と同様にして、外部キャリブレーションを実行した後に、外部キャリブレーション実行時に観測したターゲットＰ１～Ｐｎの位置を用いて、体操器具７０の座標系のＸａ軸、Ｙａ軸、Ｚａ軸と、原点Ｏａを算出する。
　情報処理装置２００は、ターゲットＰ３～Ｐｎに対して平面をフィッティングし、平面の法線をＺａ軸として特定する。
　情報処理装置２００は、式（３）及び式（４）を基にして、Ｘａ軸を算出する。式（３）に含まれるＰ１、Ｐ２は、ターゲットＰ１，Ｐ２の位置を示す。
　ｖ＝（Ｐ２－Ｐ１）/｜Ｐ２－Ｐ１｜・・・（３）
　Ｘａ＝（ｖ/｜ｖ｜）×Ｚａ・・・（４）
　情報処理装置２００は、式（５）を基にして、Ｙａ軸を算出する。
　Ｙａ＝Ｚａ×Ｘａ・・・（５）
　情報処理装置２００は、式（６）を基にして、原点Ｏａを算出する。式（６）に含まれるＨは、体操器具７０の上面の高さに対応する。式（６）に含まれるｄｏｔ（ｖ，Ｚａ）は、ｖと、Ｚａとの内積を計算する関数である。
　Ｏａ＝Ｐ１－（Ｈ－ｄｏｔ（ｖ，Ｚａ））Ｚａ・・・（６）
　基準となるセンサをセンサ１０Ａとし、Ｘａ軸、Ｙａ軸、Ｚａ軸、原点Ｏａを、センサ１０Ａを基準とする座標に変換する座標変換パラメータＴａＡを算出する。座標変換パラメータＴａＡは、回転成分Ｒと、並進成分ｔとを含む。回転成分Ｒは、式（７）により定義される。並進成分ｔは、式（８）により定義される。たとえば、センサ１０Ａの観測結果から得られる３次元座標に、座標変換パラメータＴａＡを乗算することで、センサ１０Ａ基準の座標系を、体操器具７０の座標系に変換することができる。
Figure JPOXMLDOC01-appb-M000001
　ｔ＝Ｒ×Ｏａ・・・（８）
　上記のように、本実施例２に係る情報処理装置２００は、ターゲットＰｎを所定の位置に配置して計測することで、外部パラメータの生成に加えて、センサ以外の体操器具７０の座標系のＸａ、Ｙａ、Ｚａと、原点Ｏａを算出することができる。たとえば、被写体の３次元モデルを生成し、アニメーション表示する場合に、体操器具７０の座標系によって、３次元モデルをアニメーション表示することができる。
　次に、本実施例２に係る情報処理装置２００の構成の一例について説明する。図２２は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。図２２に示すように、この情報処理装置２００は、通信部２１０、入力部２２０、表示部２３０、記憶部２４０、制御部２５０を有する。
　通信部２１０は、図２１に示したセンサ１０から距離画像のデータを受信する処理部である。通信部２１０は、受信した距離画像のデータを、制御部２５０に出力する。通信部２１０は、通信装置の一例である。
　入力部２２０は、各種の情報を情報処理装置２００に入力する入力装置である。入力部２２０は、キーボードやマウス、タッチパネル等に対応する。たとえば、ユーザは、各時点において、ターゲットＰｎの設置が完了する度に、入力部２２０を操作して、ターゲットＰｎの設置が完了した旨の情報を、情報処理装置１００に入力する。
　表示部２３０は、制御部２５０から出力される情報を表示する表示装置である。たとえば、表示部２３０は、各種競技の技認定、採点結果等を表示する。表示部２３０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、タッチパネル等に対応する。
　記憶部２４０は、背景画像テーブル２４１と、検出結果テーブル２４２と、外部パラメータテーブル２４３と、座標変換パラメータデータ２４４とを有する。記憶部２４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
　背景画像テーブル２４１は、ターゲットＰｎが存在しない状態で、各センサ１０Ａ～１０Ｄによってそれぞれ測定された背景画像のデータ（距離画像のデータ）を格納するテーブルである。
　検出結果テーブル２４２は、センサ１０の観測結果に基づき、各時点で検出されたターゲットＰｎの点群および位置を格納するテーブルである。検出結果テーブル２４２のデータ構造は、図８で説明した検出結果テーブル１４２のデータ構造に対応する。ただし、ターゲットは、ターゲット２の代わりに、ターゲットＰｎとなる。
　外部パラメータテーブル２４３は、後述する外部パラメータ生成処理部２５２によって生成される外部パラメータを格納するテーブルである。外部パラメータテーブル２４３のデータ構造は、図９で説明した外部パラメータテーブル１４３に対応する。
　座標変換パラメータデータ２４４は、座標変換パラメータＴａＡのデータを有する。座標変換パラメータＴａＡは、Ｘａ軸、Ｙａ軸、Ｚａ軸、原点Ｏａを、センサ１０Ａを基準とする座標に変換するパラメータである。
　制御部２５０は、取得部２５１と、外部パラメータ生成処理部２５２と、算出部２５３と、統合部２５４と、フィッティング処理部２５５と、評価部２５６とを有する。制御部２５０は、ＣＰＵやＭＰＵ、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジック等によって実現される。
　取得部２５１は、通信部２１０を介して、センサ１０から、距離画像のデータを取得する処理部である。たとえば、取得部２５１が、距離画像のデータを取得するタイミングは、入力部２２０を操作するユーザによって指示される。取得部２５１は、距離画像のデータと、背景画像テーブル２４１に格納された背景画像のデータとの差分をとり、背景差分画像データを生成する。取得部２５１は、背景差分画像データを、外部パラメータ生成処理部２５２に出力する。取得部２５１に関するその他の説明は、実施例１で説明した取得部１５１に関する説明と同様である。
　外部パラメータ生成処理部２５２は、検出結果テーブル２４２に格納されたデータを基にして、外部パラメータを生成する処理部である。外部パラメータ生成処理部２５２は、生成した外部パラメータを、外部パラメータテーブル２４３に格納する。外部パラメータ生成処理部２５２に関する説明は、実施例１で説明した外部パラメータ生成処理部２５２に関する説明と同様である。
　算出部２５３は、体操器具７０の座標系の座標系のＸａ軸、Ｙａ軸、Ｚａ軸と、原点Ｏａを算出する処理部である。たとえば、算出部２５３は、センサ１０Ａを基準のセンサ１０とし、センサ１０Ｂ～１０Ｄが観測したターゲットＰ１～Ｐｎの３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。センサ１０Ｂ～１０Ｄが観測したターゲットＰ１～Ｐｎの３次元点群データは、検出結果テーブル２４２に格納されている。
　たとえば、算出部２５３は、外部パラメータＴＢＡを用いて、センサ１０Ｂが観測した３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。算出部２５３は、外部パラメータＴＣＡを用いて、センサ１０Ｃが観測した３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。算出部２５３は、外部パラメータＴＤＡを用いて、センサ１０Ｄが観測した３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。算出部２５３は、各外部パラメータを、外部パラメータテーブル２４３から取得する。
　算出部２５３は、センサ１０Ｂ～１０Ｄが観測したターゲットＰ１～Ｐｎの３次元点群データを、センサ１０Ａの位置および姿勢に合わせた後、センサ１０Ａ～１０Ｄが観測したターゲットＰ１～Ｐｎの３次元点群データを統合する。算出部２５３は、係る処理を実行することで、図２１に示した各時点ｔ＝１～ｎのターゲットＰ１～Ｐｎの位置および形状を特定する。たとえば、算出部２５３は、ターゲットＰ１～Ｐｎの重心位置を、ターゲットＰ１～Ｐｎの位置とする。
　算出部２５３は、ターゲットＰ３～Ｐｎに対して平面をフィッティングし、平面の法線をＺａ軸として特定する。算出部２５３は、式（３）及び式（４）を基にして、Ｘａ軸を算出する。算出部２５３は、式（５）を基にして、Ｙａ軸を算出する。算出部２５３は、式（６）を基にして、原点Ｏａを算出する。算出部２５３は、式（７）、式（８）を基にして、Ｘａ軸、Ｙａ軸、Ｚａ軸、原点Ｏａを、センサ１０Ａを基準とする座標に変換する座標変換パラメータＴａＡを算出する。算出部２５３は、座標変換パラメータＴａＡを、記憶部２４０に格納する。
　続いて、統合部２５４、フィッティング処理部２５５、評価部２５６の説明に移行する。統合部２５４、フィッティング処理部２５５、評価部２５６は、外部パラメータ生成処理部２５２によって、外部キャリブレーションが終了し、被写体が演技を開始した場合に処理を実行する。
　統合部２５４は、センサ１０Ａの３次元点群データと、センサ１０Ａの位置および姿勢に合わせたセンサ１０Ｂ～１０Ｄの３次元点群データとを統合して、一つの３次元点群データを生成する処理部である。統合部２５４に関する説明は、実施例１で説明した統合部１５３に関する説明と同様である。
　なお、統合部２５４は、評価部２５６から、体操器具７０の座標系に変換する旨の指示を受け付けた場合、統合した３次元点群データの座標に、座標変換パラメータＴａＡを乗算する。これにより、センサ１０Ａを基準とする座標系の３次元点群データを、体操器具７０の座標系の３次元点群データに変換することができる。
　フィッティング処理部２５５は、３次元点群データに対して、被写体の３次元モデルデータを当てはめるフィッティングを実行する処理部である。フィッティング処理部２５５は、フィッティング結果を基にして、被写体の骨格モデルデータを特定する。骨格モデルデータには、各関節の位置情報が含まれる。フィッティング処理部は、骨格モデルデータを、評価部２５６に出力する。フィッティング処理部２５５は、統合部２５４から、３次元点群データを取得する度に、上記処理を繰り返し実行する。
　評価部２５６は、時系列に骨格モデルデータを取得し、骨格モデルデータの各関節座標の遷移を基にして、被写体の演技を評価する処理部である。たとえば、評価部２５６は、各関節座標の遷移と、技の種別、技の成立不成立を定義したテーブル（図示略）を用いて、被写体の演技を評価し、評価結果を表示部２３０に出力して表示させる。
　また、評価部２５６は、時系列の骨格モデルデータを用いて、被写体の３次元モデルを生成し、アニメーション表示する場合に、体操器具７０の座標系によって、３次元モデルをアニメーション表示してもよい。また、評価部２５６は、体操器具７０の座標系に変換する旨の指示を、統合部２５４に出力し、被写体の座標を、体操器具７０の座標系に変換して表示させてもよい。
　次に、本実施例２に係る情報処理装置２００の処理手順の一例について説明する。図２３は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。図２３に示すように、情報処理装置２００の取得部２５１は、センサ１０から距離画像のデータを取得する（ステップＳ２０１）。取得部２５１は、距離画像のデータと、背景画像データとの差分をとり、背景差分データを生成する（ステップＳ２０２）。
　情報処理装置２００の外部パラメータ生成処理部２５２は、背景差分データからターゲットを検出し、ターゲットの点群情報を、検出結果テーブル２４２に登録する（ステップＳ２０３）。情報処理装置２００は、ターゲットの検出を終了しない場合には（ステップＳ２０４，Ｎｏ）、再度、ステップＳ２０１に移行する。一方、情報処理装置２００は、ターゲットの検出を終了する場合には（ステップＳ２０４，Ｙｅｓ）、ステップＳ２０５に移行する。
　情報処理装置２００の外部パラメータ生成処理部２５２は、センサ連結性グラフ生成処理を実行する（ステップＳ２０５）。ステップＳ２０５のセンサ連結性グラフ生成処理は、実施例１の図１７で説明したセンサ連結性グラフ生成処理の処理手順に対応する。
　情報処理装置２００の外部パラメータ生成処理部２５２は、基準センサｉｒｅｆと、その他のセンサｉｔａｒの組（ｉｒｅｆ，ｉｔａｒ）について、センサ連結性グラフ３１上で、Bellman-Ford法を適用することで、最短経路を検索する（ステップＳ２０６）。たとえば、基準センサｉｒｅｆは、センサ１０Ａに対応する。その他のセンサｉｔａｒは、センサ１０Ｂ，１０Ｃ，１０Ｄに対応する。
　外部パラメータ生成処理部２５２は、最短経路の検索結果を基にして、センサ群の経路Ｐを選択する（ステップＳ２０７）。外部パラメータ生成処理部２５２は、経路Ｐの順番に基づき、特異値分解を用いて、センサｉｔａｒの外部パラメータの初期値を算出する（ステップＳ２０８）。
　外部パラメータ生成処理部２５２は、バンドル調整および最尤推定により、センサｉｔａｒの外部パラメータを最適化する（ステップＳ２０９）。外部パラメータ生成処理部２５２は、外部パラメータを、外部パラメータテーブル２４３に格納する（ステップＳ２１０）。
　情報処理装置２００の算出部２５３は、体操器具７０のＸａ軸、Ｙａ軸、Ｚａ軸を算出する（ステップＳ２１１）。算出部２５３は、体操器具７０の原点Ｏａを算出する（ステップＳ２１２）。算出部２５３は、座標変換パラメータＴａＡを算出する（ステップＳ２１３）。算出部２５３は、座標変換パラメータＴａＡを座標変換パラメータデータ２４４に格納する（ステップＳ２１４）。
　次に、本実施例２に係る情報処理装置２００の効果について説明する。情報処理装置２００は、外部キャリブレーションを実行した後に、外部キャリブレーション実行時に観測したターゲットＰ１～Ｐｎの位置を用いて、体操器具７０の座標系のＸａ軸、Ｙａ軸、Ｚａ軸と、原点Ｏａを算出することができる。たとえば、座標変換パラメータＴａＡを用いることで、被写体の３次元モデルを生成し、アニメーション表示する場合に、体操器具７０の座標系によって、３次元モデルをアニメーション表示することができる。
　次に、上記実施例に示した情報処理装置１００（２００）と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２４は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
　図２４に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、センサ１０から距離画像のデータを受信する通信装置３０４と、各種の装置と接続するインタフェース装置３０５とを有する。コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。
　ハードディスク装置３０７は、取得プログラム３０７ａ、外部パラメータ生成処理プログラム３０７ｂ、算出プログラム３０７ｃ、統合プログラム３０７ｄ、フィッティング処理プログラム３０７ｅ、評価プログラム３０７ｆを有する。ＣＰＵ２０１は、取得プログラム３０７ａ、外部パラメータ生成処理プログラム３０７ｂ、算出プログラム３０７ｃ、統合プログラム３０７ｄ、フィッティング処理プログラム３０７ｅ、評価プログラム３０７ｆを読み出してＲＡＭ３０６に展開する。
　取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。外部パラメータ生成処理プログラム３０７ｂは、外部パラメータ生成処理プロセス３０６ｂとして機能する。算出プログラム３０７ｃは、算出プロセス３０６ｃとして機能する。統合プログラム３０７ｄは、統合プロセス３０６ｄとして機能する。フィッティング処理プログラム３０７ｅは、フィッティング処理プロセス３０６ｅとして機能する。評価プログラム３０７ｆは、評価プロセス３０６ｆとして機能する。
　取得プロセス２０６ａの処理は、取得部１５１，２５１の処理に対応する。外部パラメータ生成処理プロセス３０６ｂの処理は、外部パラメータ生成処理部１５２，２５２の処理に対応する。算出プロセス３０６ｃの処理は、算出部２５３の処理に対応する。統合プロセス３０６ｄの処理は、統合部１５３，２５４の処理に対応する。フィッティング処理プロセス３０６ｅの処理は、フィッティング処理部１５４，２５５の処理に対応する。評価プロセス３０６ｆの処理は、評価部１５５，２５６の処理に対応する。
　なお、各プログラム３０７ａ～３０７ｆについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｆを読み出して実行するようにしてもよい。
　１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ　センサ
　１００　　情報処理装置
　１１０　　通信部
　１２０　　入力部
　１３０　　表示部
　１４０，２４０　　記憶部
　１４１，２４１　　背景画像テーブル
　１４２，２４２　　検出結果テーブル
　１４３，２４３　　外部パラメータテーブル
　１５０，２５０　　制御部
　１５１，２５１　　取得部
　１５２，２５２　　外部パラメータ生成処理部
　１５３，２５４　　統合部
　１５４，２５５　　フィッティング処理部
　１５５，２５６　　評価部
　１６０　　検出部
　１６１　　特定部
　１６２　　グラフ生成部
　１６３　　パラメータ生成部
　１６４　　ロバスト推定部
　２４４　　座標変換パラメータデータ
　２５３　　算出部

Claims (12)

  1. 　３つ以上のセンサによる、複数時点でのターゲットの検出結果を取得し、
    　各時点において３つ以上のセンサそれぞれが前記ターゲットを検出したか否かを基にして、３つ以上のセンサのうちの２つのセンサの組それぞれで、複数時点のうち同じ時点において前記ターゲットを検出した時点の回数を特定し、
    　前記センサの組それぞれについて特定した回数と、複数時点におけるターゲットの配置位置の分散とを基にして、センサ間の相対位置関係の推定精度に関する連結性を示す情報を生成し、
    　前記連結性を示す情報を基にして、連結性のある２つのセンサ間で、第１の相対位置関係を示す情報を生成し、
    　連結性を示す情報と、前記第１の相対位置関係を示す情報とを基にして、連結性のない２つのセンサ間の第２の相対位置関係を示す情報を生成し、
    　前記第１の相対位置関係を示す情報および前記第２の相対位置関係を示す情報を、前記３つ以上のセンサ間の位置関係を示す情報として出力する
    　処理をコンピュータが実行することを特徴とする生成方法。
  2. 　前記ターゲットの形状は球体であり、前記検出結果に含まれる球体をターゲットとして検出する処理を更に実行することを特徴とする請求項１に記載の生成方法。
  3. 　前記２つのセンサの組それぞれで、複数時点のうち同じ時点において検出したターゲットをそれぞれ対応付けた複数のターゲットの組を設定し、複数のターゲットの組から一部のターゲットの組を選択し、選択した一部のターゲットの組において、各ターゲットの位置の距離が最小となるセンサの位置および姿勢を算出する処理を、選択するターゲットの組を変更しながら繰り返し実行し、各ターゲットの位置の距離の最小値を基にして、複数時点での検出された各ターゲットのうち、いずれかのターゲットを除外する処理を更に実行することを特徴とする請求項１に記載の生成方法。
  4. 　前記ターゲットは、複数時点において、前記３つ以上のセンサ以外の物体を基準とした所定の位置に配置され、前記３つ以上のセンサのうちいずれかのセンサによって複数時点で検出されたターゲットの位置を基にして、前記物体を基準とする座標系の原点座標を算出する処理を更に実行することを特徴とする請求項１、２または３に記載の生成方法。
  5. 　３つ以上のセンサによる、複数時点でのターゲットの検出結果を取得し、
    　各時点において３つ以上のセンサそれぞれが前記ターゲットを検出したか否かを基にして、３つ以上のセンサのうちの２つのセンサの組それぞれで、複数時点のうち同じ時点において前記ターゲットを検出した時点の回数を特定し、
    　前記センサの組それぞれについて特定した回数と、複数時点におけるターゲットの配置位置の分散とを基にして、センサ間の相対位置関係の推定精度に関する連結性を示す情報を生成し、
    　前記連結性を示す情報を基にして、連結性のある２つのセンサ間で、第１の相対位置関係を示す情報を生成し、
    　連結性を示す情報と、前記第１の相対位置関係を示す情報とを基にして、連結性のない２つのセンサ間の第２の相対位置関係を示す情報を生成し、
    　前記第１の相対位置関係を示す情報および前記第２の相対位置関係を示す情報を、前記３つ以上のセンサ間の位置関係を示す情報として出力する
    　処理をコンピュータに実行させることを特徴とする生成プログラム。
  6. 　前記ターゲットの形状は球体であり、前記検出結果に含まれる球体をターゲットとして検出する処理を更に実行することを特徴とする請求項５に記載の生成プログラム。
  7. 　前記２つのセンサの組それぞれで、複数時点のうち同じ時点において検出したターゲットをそれぞれ対応付けた複数のターゲットの組を設定し、複数のターゲットの組から一部のターゲットの組を選択し、選択した一部のターゲットの組において、各ターゲットの位置の距離が最小となるセンサの位置および姿勢を算出する処理を、選択するターゲットの組を変更しながら繰り返し実行し、各ターゲットの位置の距離の最小値を基にして、複数時点での検出された各ターゲットのうち、いずれかのターゲットを除外する処理を更に実行することを特徴とする請求項５に記載の生成プログラム。
  8. 　前記ターゲットは、複数時点において、前記３つ以上のセンサ以外の物体を基準とした所定の位置に配置され、前記３つ以上のセンサのうちいずれかのセンサによって複数時点で検出されたターゲットの位置を基にして、前記物体を基準とする座標系の原点座標を算出する処理を更に実行することを特徴とする請求項５、６または７に記載の生成プログラム。
  9. 　３つ以上のセンサによる、複数時点でのターゲットの検出結果を取得し、各時点において３つ以上のセンサそれぞれが前記ターゲットを検出したか否かを基にして、３つ以上のセンサのうちの２つのセンサの組それぞれで、複数時点のうち同じ時点において前記ターゲットを検出した時点の回数を特定する特定部と、
    　前記センサの組それぞれについて特定した回数と、複数時点におけるターゲットの配置位置の分散とを基にして、センサ間の相対位置関係の推定精度に関する連結性を示す情報を生成するグラフ生成部と、
    　前記連結性を示す情報を基にして、連結性のある２つのセンサ間で、第１の相対位置関係を示す情報を生成し、連結性を示す情報と、前記第１の相対位置関係を示す情報とを基にして、連結性のない２つのセンサ間の第２の相対位置関係を示す情報を生成し、前記第１の相対位置関係を示す情報および前記第２の相対位置関係を示す情報を、前記３つ以上のセンサ間の位置関係を示す情報として出力するパラメータ生成部と
    　を有することを特徴とする情報処理装置。
  10. 　前記ターゲットの形状は球体であり、前記検出結果に含まれる球体をターゲットとして検出する検出部を更に有することを特徴とする請求項９に記載の情報処理装置。
  11. 　前記２つのセンサの組それぞれで、複数時点のうち同じ時点において検出したターゲットをそれぞれ対応付けた複数のターゲットの組を設定し、複数のターゲットの組から一部のターゲットの組を選択し、選択した一部のターゲットの組において、各ターゲットの位置の距離が最小となるセンサの位置および姿勢を算出する処理を、選択するターゲットの組を変更しながら繰り返し実行し、各ターゲットの位置の距離の最小値を基にして、複数時点での検出された各ターゲットのうち、いずれかのターゲットを除外するロバスト推定部を更に有することを特徴とする請求項９に記載の情報処理装置。
  12. 　前記ターゲットは、複数時点において、前記３つ以上のセンサ以外の物体を基準とした所定の位置に配置され、前記３つ以上のセンサのうちいずれかのセンサによって複数時点で検出されたターゲットの位置を基にして、前記物体を基準とする座標系の原点座標を算出する算出部を更に有することを特徴とする請求項９、１０または１１に記載の情報処理装置。
PCT/JP2019/039019 2019-10-02 2019-10-02 生成方法、生成プログラムおよび情報処理装置 WO2021064925A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2019/039019 WO2021064925A1 (ja) 2019-10-02 2019-10-02 生成方法、生成プログラムおよび情報処理装置
CN201980100162.3A CN114430800B (zh) 2019-10-02 2019-10-02 生成方法、记录介质和信息处理装置
EP19947861.1A EP4040104A4 (en) 2019-10-02 2019-10-02 GENERATION METHOD, GENERATION PROGRAM, AND INFORMATION PROCESSING DEVICE
JP2021550867A JP7188612B2 (ja) 2019-10-02 2019-10-02 生成方法、生成プログラムおよび情報処理装置
US17/676,273 US20220179085A1 (en) 2019-10-02 2022-02-21 Generation method, non-transitory computer-readable storage medium for storing generation program, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/039019 WO2021064925A1 (ja) 2019-10-02 2019-10-02 生成方法、生成プログラムおよび情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/676,273 Continuation US20220179085A1 (en) 2019-10-02 2022-02-21 Generation method, non-transitory computer-readable storage medium for storing generation program, and information processing apparatus

Publications (1)

Publication Number Publication Date
WO2021064925A1 true WO2021064925A1 (ja) 2021-04-08

Family

ID=75336826

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/039019 WO2021064925A1 (ja) 2019-10-02 2019-10-02 生成方法、生成プログラムおよび情報処理装置

Country Status (5)

Country Link
US (1) US20220179085A1 (ja)
EP (1) EP4040104A4 (ja)
JP (1) JP7188612B2 (ja)
CN (1) CN114430800B (ja)
WO (1) WO2021064925A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014515530A (ja) * 2011-05-27 2014-06-30 クゥアルコム・インコーポレイテッド モバイルデバイスのための平面マッピングおよびトラッキング
JP2016213808A (ja) * 2015-04-29 2016-12-15 パナソニックＩｐマネジメント株式会社 カメラ選択方法及び映像配信システム
JP2019086476A (ja) 2017-11-09 2019-06-06 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよびキャリブレーション用具
JP2019153863A (ja) * 2018-03-01 2019-09-12 ソニー株式会社 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3647584B2 (ja) * 1996-12-26 2005-05-11 富士通株式会社 学習型自己定位装置
EP1349114A3 (en) * 2002-03-19 2011-06-15 Canon Kabushiki Kaisha Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
JP6370038B2 (ja) * 2013-02-07 2018-08-08 キヤノン株式会社 位置姿勢計測装置及び方法
JP6415291B2 (ja) * 2014-12-09 2018-10-31 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US20190004178A1 (en) * 2016-03-16 2019-01-03 Sony Corporation Signal processing apparatus and signal processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014515530A (ja) * 2011-05-27 2014-06-30 クゥアルコム・インコーポレイテッド モバイルデバイスのための平面マッピングおよびトラッキング
JP2016213808A (ja) * 2015-04-29 2016-12-15 パナソニックＩｐマネジメント株式会社 カメラ選択方法及び映像配信システム
JP2019086476A (ja) 2017-11-09 2019-06-06 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよびキャリブレーション用具
JP2019153863A (ja) * 2018-03-01 2019-09-12 ソニー株式会社 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. RUAN: "Extrinsic Calibration of 3D Sensors Using a Spherical Target", 3DV, 2014
See also references of EP4040104A4

Also Published As

Publication number Publication date
US20220179085A1 (en) 2022-06-09
EP4040104A1 (en) 2022-08-10
JPWO2021064925A1 (ja) 2021-04-08
CN114430800B (zh) 2024-04-02
CN114430800A (zh) 2022-05-03
JP7188612B2 (ja) 2022-12-13
EP4040104A4 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
AU2022256192B2 (en) Multi-sync ensemble model for device localization
CN103765870B (zh) 图像处理装置、包括图像处理装置的投影仪和投影仪系统、图像处理方法
JP5912191B2 (ja) 追跡システムを最適化するためのシステムおよび方法
CN110197190B (zh) 模型训练和物体的定位方法及装置
EP2808645A1 (en) Camera calibration device, camera calibration method, and camera calibration program
WO2012081687A1 (en) Information processing apparatus, information processing method, and program
US20210170229A1 (en) Systems and methods for providing strategic game recommendations in a sports contest using artificial intelligence
JP5494427B2 (ja) 画像処理プログラムおよび画像処理装置
JP2013239074A (ja) 情報処理装置および情報処理方法、並びにプログラム
US20220284652A1 (en) System and method for matching a test frame sequence with a reference frame sequence
JP5811923B2 (ja) 情報処理装置、画像処理方法およびプログラム
KR102369945B1 (ko) 압력을 이용한 운동 자세 구분 방법 및 장치
WO2021064925A1 (ja) 生成方法、生成プログラムおよび情報処理装置
CN108292437B (zh) 图像处理装置和方法
CN116433722A (zh) 目标跟踪方法、电子设备、存储介质及程序产品
JP2018504252A (ja) 画像レジストレーションの品質制御
US10042070B2 (en) Method for locating mobile utensils presented before a network of magnetometers
CN114638921A (zh) 动作捕捉方法、终端设备及存储介质
CN111223139B (zh) 目标定位方法及终端设备
WO2018134866A1 (ja) カメラ校正装置
JP2010038753A (ja) 運動推定装置及びプログラム
CN116503387B (zh) 图像检测方法、装置、设备、系统及可读存储介质
Cerfontaine et al. Automatic multi-camera setup optimization for optical tracking
JP2021196691A (ja) 算出方法、算出プログラムおよび情報処理装置
CN113038596B (zh) 室内定位方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19947861

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021550867

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019947861

Country of ref document: EP

Effective date: 20220502