WO2020079814A1 - 算出方法、算出プログラムおよび情報処理装置 - Google Patents

算出方法、算出プログラムおよび情報処理装置 Download PDF

Info

Publication number
WO2020079814A1
WO2020079814A1 PCT/JP2018/038872 JP2018038872W WO2020079814A1 WO 2020079814 A1 WO2020079814 A1 WO 2020079814A1 JP 2018038872 W JP2018038872 W JP 2018038872W WO 2020079814 A1 WO2020079814 A1 WO 2020079814A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
vector
information
end point
sensor
Prior art date
Application number
PCT/JP2018/038872
Other languages
English (en)
French (fr)
Inventor
悟 牛嶋
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to CN201880098747.1A priority Critical patent/CN112912927A/zh
Priority to JP2020551681A priority patent/JP7078127B2/ja
Priority to EP18937479.6A priority patent/EP3869461B1/en
Priority to PCT/JP2018/038872 priority patent/WO2020079814A1/ja
Publication of WO2020079814A1 publication Critical patent/WO2020079814A1/ja
Priority to US17/220,434 priority patent/US11468580B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to a calculation method and the like.
  • a distance measuring device such as a laser sensor to detect a three-dimensional point cloud of a subject and recognize the posture of the subject.
  • a laser sensor that detects a three-dimensional point cloud of a subject will be simply referred to as a “sensor”.
  • a three-dimensional point cloud of the subject viewed from the sensor side can be obtained, but a three-dimensional point cloud of the subject viewed from the opposite side of the sensor cannot be obtained.
  • the recognition accuracy of the subject's posture and the like deteriorates. Therefore, by using a plurality of sensors to obtain a three-dimensional point cloud of the subject viewed from a plurality of directions, the accuracy of recognizing the posture and the like of the subject is improved.
  • a process of aligning each three-dimensional point cloud detected by each sensor and integrating them into one three-dimensional point cloud is performed.
  • the process of aligning each three-dimensional point group detected by each sensor and integrating them into one three-dimensional point group is referred to as “calibration”.
  • ICP Intelligent Closest Point
  • FIG. 36 is a diagram showing a first sensor arrangement example.
  • the sensor 1A and the sensor 1B are arranged to face each other.
  • the target range of distance measurement is set to "range 5".
  • range 5 since the distances that can be measured by the sensors 1A and 1B overlap each other, the three-dimensional point group of the sensor 1A and the three-dimensional point group of the sensor 1B can be aligned based on the conventional technique. it can.
  • FIG. 37 is a diagram showing an example of the distance measurement result of the first sensor arrangement example.
  • the measurement result (three-dimensional point group) 2A is the measurement result of the sensor 1A.
  • the measurement result (three-dimensional point group) 2B is the measurement result of the sensor 1B.
  • it is easy to identify the common part and the three-dimensional point group of the sensor 1A and the three-dimensional point group of the sensor 1B can be aligned.
  • the senor has the property that the range that can be measured becomes wider as the distance increases, but the density of the three-dimensional point cloud becomes lower. Further, the sensor has a characteristic that the closer the distance is, the narrower the range that can be measured, but the higher the density of the three-dimensional point cloud.
  • a plurality of sensors may be arranged.
  • FIG. 38 is a diagram showing a second sensor arrangement example.
  • the sensor 1B is arranged in the lateral direction of the sensor 1A.
  • the sensor 1D is arranged in the lateral direction of the sensor 1C.
  • the sensor 1A and the sensor 1C are arranged to face each other.
  • the sensor 1B and the sensor 1D are arranged to face each other.
  • the target range for distance measurement is “range 6A”. Since the sensor 1A and the sensor 1C and the sensor 1B and the sensor 1D have a large overlap in the distance-measurable range of each sensor, the three-dimensional point groups can be aligned. However, since the sensor 1A and the sensor 1B and the sensor 1C and the sensor 1D do not overlap each other in the distance-measurable ranges, the three-dimensional point groups should be aligned by the conventional technique. Is difficult.
  • FIG. 39 is a diagram (1) showing an example of the distance measurement result of the second sensor arrangement example.
  • the measurement result (three-dimensional point group) 3A is the measurement result of the sensor 1A.
  • the measurement result (three-dimensional point group) 3B is the measurement result of the sensor 1B.
  • FIG. 39 unlike the case shown in FIG. 37, it is difficult to identify the common part.
  • FIG. 40 is a diagram (2) showing an example of the measurement result of the second sensor arrangement example.
  • the number of three-dimensional point groups included in the common range is small and the range is not sufficiently characteristic. There is.
  • the number of three-dimensional point groups included in the common range is small, when performing the alignment between the range 4A and the range 4B, whether rotation is sufficient, rotation by 90 degrees or rotation by 180 degrees is performed. Judgment is difficult and alignment cannot be performed.
  • the distance measurement ranges of two sensors do not overlap each other, and even when the number of three-dimensional point clouds included in the overlapping portion of each sensor is small, each of the point clouds measured by a plurality of sensors has a different distance.
  • An object of the present invention is to provide a calculation method, a calculation program, and an information processing device that generate information for performing alignment.
  • the computer executes the following processing.
  • the computer acquires first measurement information including information on a distance to the subject measured by the first sensor and second measurement information including information on a distance to the subject measured by the second sensor.
  • the computer acquires the first vector, the second vector in a direction different from the first vector, and the first translational point from the first measurement information.
  • the computer handles a third vector that is treated as a vector that is parallel and has the same direction in the real space as the first vector, and a fourth vector that is treated as a vector that is parallel and has the same direction in the real space as the second vector.
  • Information on the vector and the second translational point which is treated as being at the same position as the first translational point in the real space is acquired.
  • the computer measures the distance to the first sensor based on the end point of the first vector, the end point of the second vector, the first translational point, the end point of the third vector, the end point of the fourth vector, and the second translational point.
  • the rotation angle and the translation distance for aligning the point cloud of the subject measured by the second sensor with respect to the point cloud of the subject are calculated.
  • the computer stores the rotation angle and the translation distance in the storage device.
  • FIG. 1 is a diagram illustrating an example of a system according to the first embodiment.
  • FIG. 2 is a diagram showing an example of the appearance of the wall.
  • FIG. 3 is a diagram showing an example of a point group included in each distance image information.
  • FIG. 4 is a diagram showing an example of each visible image.
  • FIG. 5 is a diagram (1) illustrating an example of the instruction screen according to the first embodiment.
  • FIG. 6 is a diagram (2) illustrating an example of the instruction screen according to the first embodiment.
  • FIG. 7 is a diagram (3) illustrating an example of the instruction screen according to the first embodiment.
  • FIG. 8 is a functional block diagram of the configuration of the information processing apparatus according to the first embodiment.
  • FIG. 9 is a diagram illustrating an example of the data structure of the distance image table according to the first embodiment.
  • FIG. 10 is a diagram showing an example of first to fourth vectors and first and second translational points.
  • FIG. 11 is a flowchart of the processing procedure of the information processing apparatus according to the first embodiment.
  • FIG. 12 is a diagram showing an example of a portable marker placement table.
  • FIG. 13 is a functional block diagram showing the configuration of the scoring device.
  • FIG. 14 is a diagram showing an example of the scoring screen.
  • FIG. 15 is a flowchart showing a processing procedure of the alignment unit of the scoring device.
  • FIG. 16 is a diagram showing an example of the first point group and the second point group after alignment.
  • FIG. 17 is a diagram illustrating an example of a marker used in the second embodiment.
  • FIG. 18 is a functional block diagram of the configuration of the information processing apparatus according to the second embodiment.
  • FIG. 11 is a flowchart of the processing procedure of the information processing apparatus according to the first embodiment.
  • FIG. 12 is a diagram showing an example of a portable marker placement table.
  • FIG. 19 is a diagram showing an example of the data structure of the marker definition information.
  • FIG. 20 is a flowchart of the processing procedure of the information processing apparatus according to the second embodiment.
  • FIG. 21 is a diagram showing a player acting on a parallel stand.
  • FIG. 22 is a diagram (1) illustrating an example of the instruction screen according to the third embodiment.
  • FIG. 23 is a diagram (2) illustrating an example of the instruction screen according to the third embodiment.
  • FIG. 24 is a diagram (3) illustrating an example of the instruction screen according to the third embodiment.
  • FIG. 25 is a functional block diagram of the configuration of the information processing apparatus according to the third embodiment.
  • FIG. 26 is a diagram illustrating an example of the data structure of the distance image table according to the third embodiment.
  • FIG. 27 is a flowchart of the processing procedure of the information processing apparatus according to the third embodiment.
  • FIG. 28 is a diagram illustrating an example of the marker used in the fourth embodiment.
  • FIG. 29 is a diagram showing an example of the reflection intensity image of each marker with a seal.
  • FIG. 30 is a functional block diagram of the configuration of the information processing apparatus according to the fourth embodiment.
  • FIG. 31 is a diagram showing an example of the data structure of the specific table.
  • FIG. 32 is a flowchart (1) illustrating the processing procedure of the information processing apparatus according to the fourth embodiment.
  • FIG. 33 is a flowchart (2) showing the processing procedure of the information processing apparatus according to the fourth embodiment.
  • FIG. 34 is a diagram illustrating an example of the hardware configuration of a computer that realizes the same functions as the information processing apparatus according to the present embodiment.
  • FIG. 35 is a diagram illustrating an example of the hardware configuration of a computer that realizes the same functions as the scoring device according to the present embodiment.
  • FIG. 36 is a diagram showing a first sensor arrangement example.
  • FIG. 37 is a diagram illustrating an example of a distance measurement result of the first sensor arrangement example.
  • FIG. 38 is a diagram showing a second sensor arrangement example.
  • FIG. 39 is a diagram (1) illustrating an example of the distance measurement result of the second sensor arrangement example.
  • FIG. 40 is a diagram (2) illustrating an example of the distance measurement result of the second sensor arrangement example.
  • FIG. 1 is a diagram illustrating an example of a system according to the first embodiment. As shown in FIG. 1, this system includes a sensor 10A, a sensor 10B, and an information processing device 100.
  • the direction of distance measurement of the sensor 10A and the sensor 10B is the direction of the wall 15.
  • the sensor 10A and the sensor 10B are arranged side by side in the lateral direction.
  • the information processing device 100 is connected to the sensor 10A and the sensor 10B.
  • FIG. 2 is a diagram showing an example of the appearance of a wall. As shown in FIG. 2, a plurality of marks are arranged on the wall 15. For example, on the wall 15, the range that can be measured by the sensor 10A is a range 15A, and the range that can be measured by the sensor 10B is a range 15B.
  • the marks 15-11 to 15-19 are arranged horizontally.
  • the marks 15-24 to 15-26 are arranged in the horizontal direction.
  • the marks 15-31 to 15-39 are arranged in the horizontal direction.
  • a straight line passing through the marks 15-11 to 15-19, a straight line passing through the marks 15-24 to 15-26, and a straight line passing through the marks 15-31 to 15-39 are parallel to each other.
  • the angle formed by the straight line passing through the marks 15-14, 15-24, 15-34 and the straight line passing through the marks 15-11 to 15-19 is 90 degrees.
  • the angle formed by the straight line passing through the marks 15-15, 15-25, 15-35 and the straight line passing through the marks 15-11 to 15-19 is 90 degrees.
  • An angle formed by a straight line passing through the marks 15-16, 15-26 and 15-36 and a straight line passing through the marks 15-11 to 15-19 is 90 degrees.
  • the sensor 10A is a measuring device that emits a laser beam to measure the distance between the point cloud forming the subject (wall 15) and the sensor 10A. Further, the sensor 10A captures a visible image. The sensor 10A outputs the first distance image information to the information processing device 100.
  • the first distance image information includes information on the distance between the point cloud forming the subject (wall 15) and the sensor 10A and information on the visible image.
  • the visible image described in this embodiment corresponds to an image captured by a general camera.
  • the sensor 10B is a measuring device that irradiates laser light to measure the distance between the point cloud forming the subject (wall 15) and the sensor 10B. Moreover, the sensor 10B captures a visible image. The sensor 10B outputs the second distance image information to the information processing device 100.
  • the second distance image information includes information on the distance between the point cloud forming the subject (wall 15) and the sensor 10B, and information on the visible image.
  • FIG. 3 is a diagram showing an example of a point group included in each distance image information.
  • each point group is shown according to the reflection intensity as an example.
  • the point cloud 16A is a point cloud measured by the sensor 10A.
  • the point cloud 16B is a point cloud measured by the sensor 10B.
  • FIG. 4 is a diagram showing an example of each visible image.
  • an image 18A is a visible image captured by the sensor 10A.
  • the image 18B is a visible image captured by the sensor 10B.
  • the information processing apparatus 100 aligns the point cloud measured by the sensor 10A and the point cloud measured by the sensor 10B based on the first distance image information and the second distance image information.
  • a device for calculating parameters for The parameters include a rotation angle and a translation distance.
  • the information processing apparatus 100 detects a vector for rotational alignment and a point for translational alignment from the first distance image information and the second distance image information when aligning each point group.
  • first vector the rotation alignment vectors detected from the first distance image information
  • second vector The translation matching point detected from the first distance image information
  • the vectors for rotation alignment detected from the second distance image information are described as “third vector” and “fourth vector”.
  • the translation matching point detected from the second distance image information is referred to as a "second translation point”.
  • Condition 1 is a condition that "the direction of the first vector and the direction of the third vector are the same direction in the real space.” Note that the position of the first vector and the position of the third vector do not have to be the same in the real space. The length of the first vector and the length of the third vector do not have to be the same in the real space.
  • Condition 2 is that "the direction of the second vector and the direction of the fourth vector are the same direction in the real space”. Note that the position of the second vector and the position of the fourth vector do not have to be the same in the real space. The length of the second vector and the length of the fourth vector do not have to be the same in the real space.
  • Condition 3 is a condition that “the first vector (third vector) and the second vector (fourth vector) are not in the same direction in the real space and are not in the opposite direction”.
  • the angle formed by the first vector (third vector) and the second vector (fourth vector) is preferably close to 90 degrees.
  • Condition 4 is a condition that "the position of the first translational point and the position of the second translational point are the same position in the real space”.
  • the information processing apparatus 100 generates and displays an instruction screen based on the visible images of the sensors 10A and 10B, and allows the user to start and end the first to fourth vectors, and to translate the first and second vectors. Accept point selection. The user satisfies the above conditions 1 to 4 when selecting the start and end points of the first to fourth vectors and the first and second translational points.
  • FIG. 5 is a diagram (1) showing an example of the instruction screen according to the first embodiment.
  • the instruction screen 20 shown in FIG. 5 is a screen generated based on the visible image of the sensor 10A.
  • the user refers to the instruction screen 20 and operates the input device of the information processing apparatus 100 to select the start point of the first vector and the end point of the first vector.
  • the point 20a is selected as the start point of the first vector and the point 20b is selected as the end point of the first vector.
  • the information processing apparatus 100 displays an instruction screen for accepting the selection of the third vector based on the visible image of the sensor 10B.
  • the user refers to the instruction screen and selects the start point of the third vector and the end point of the third vector.
  • the first vector and the third vector satisfy the condition 1.
  • FIG. 6 is a diagram (2) showing an example of the instruction screen according to the first embodiment.
  • the instruction screen 21 shown in FIG. 6 is a screen generated based on the visible image of the sensor 10A.
  • the user refers to the instruction screen 21 and operates the input device of the information processing device 100 to select the start point of the second vector and the end point of the second vector.
  • the point 20a is selected as the start point of the second vector
  • the point 20c is selected as the end point of the second vector.
  • the information processing apparatus 100 displays an instruction screen for accepting selection of the fourth vector based on the visible image of the sensor 10B.
  • the user refers to the instruction screen and selects the start point of the fourth vector and the end point of the fourth vector.
  • the second vector and the fourth vector satisfy the condition 2.
  • the user makes the first vector and the second vector satisfy the condition 3.
  • the user makes the third vector and the fourth vector satisfy the condition 3.
  • FIG. 7 is a diagram (3) showing an example of the instruction screen according to the first embodiment.
  • the instruction screen 22 shown in FIG. 7 is a screen generated based on the visible image of the sensor 10A.
  • the user refers to the instruction screen 22 and operates the input device of the information processing device 100 to select the first translational point.
  • the point 20a is selected as the first translation point.
  • the information processing apparatus 100 displays an instruction screen for accepting the second translational point based on the visible image of the sensor 10B.
  • the user refers to the instruction screen and selects the second translational point.
  • the user makes the position of the first translational point and the position of the second translational point satisfy Condition 4.
  • the information processing apparatus 100 displays the instruction screen and receives the start point and end point of the first vector, the start point and end point of the second vector, and the first translation point from the user.
  • the information processing apparatus 100 displays an instruction screen and receives from the user the start point and end point of the third vector, the start point and end point of the fourth vector, and the second translational point.
  • the information processing apparatus 100 aligns the point cloud measured by the sensor 10A with the point cloud measured by the sensor 10B based on the first to fourth vectors and the first and second translation points. Calculate the parameters for In this way, by receiving an instruction for specifying the first to fourth vectors and the first and second translational points from the user using the instruction screen, the distance measurement range of the sensor 10A and the measurement of the sensor 10B are detected. Positioning can be performed even when the number of three-dimensional point groups included in the range common to the distance range is small and does not have a sufficiently characteristic shape.
  • FIG. 8 is a functional block diagram of the configuration of the information processing apparatus according to the first embodiment.
  • the information processing device 100 includes an interface unit 110, an input unit 120, a display unit 130, a storage unit 140, and a control unit 150.
  • the interface unit 110 is a communication device that receives information from the sensors 10A and 10B.
  • the interface unit 110 receives the first range image information from the sensor 10A and outputs the received first range image information to the control unit 150.
  • the interface unit 110 receives the second range image information from the sensor 10B and outputs the received second range image information to the control unit 150. Further, the interface unit 110 may be connected to a scoring device described later.
  • the input unit 120 is an input device for inputting various information to the information processing device 100.
  • the input unit 120 corresponds to a keyboard, a mouse, a touch panel, or the like.
  • the user refers to the instruction screens shown in FIGS. 5 to 7 and operates the input unit 120 to select the start point and end point of the first vector, the start point and end point of the second vector, and the first translation point. Further, the user operates the input unit 120 to select the start point and end point of the third vector, the start point and end point of the fourth vector, and the second translation point.
  • the display unit 130 is a display device that displays various information output from the control unit 150.
  • the display unit 130 corresponds to a liquid crystal display, a touch panel, or the like.
  • the display unit displays the instruction screen shown in FIGS.
  • the storage unit 140 has a distance image table 140a and a parameter 140b.
  • the storage unit 140 corresponds to semiconductor memory devices such as RAM (Random Access Memory), ROM (Read Only Memory), and flash memory (Flash Memory), and storage devices such as HDD (Hard Disk Drive).
  • the distance image table 140a is a table holding the first distance image information output from the sensor 10A and the second distance image information output from the sensor 10B.
  • FIG. 9 is a diagram illustrating an example of the data structure of the distance image table according to the first embodiment.
  • the distance image table 140a has first distance image information and second distance image information.
  • the first distance image information includes coordinate information (three-dimensional coordinates of each point) of the point group measured by the sensor 10A and information of a visible image captured by the sensor 10A. It is assumed that each point group is associated with each position of the visible image. Although illustration is omitted, each point is given a number that uniquely identifies the point.
  • the second distance image information includes coordinate information of each point group measured by the sensor 10B (three-dimensional coordinates of each point) and information of a visible image captured by the sensor 10B. It is assumed that each point group is associated with each position of the visible image. Although illustration is omitted, each point is given a number that uniquely identifies the point.
  • the parameter 140b is a parameter for aligning the point cloud measured by the sensor 10A and the point cloud measured by the sensor 10B.
  • the parameter 140b includes information on the alignment rotation angle and information on the alignment translation distance.
  • the control unit 150 includes a first acquisition unit 150a, a provision unit 150b, a second acquisition unit 150c, a calculation unit 150d, and an output unit 150e.
  • the control unit 150 can be realized by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like.
  • the control unit 150 can also be realized by hard-wired logic such as ASIC (Application Specific Integrated Circuit) and FPGA (Field Programmable Gate Array).
  • the first acquisition unit 150a acquires the first distance image information from the sensor 10A via the interface unit 110, and registers the acquired first distance image information in the distance image table 140a.
  • the first acquisition unit 150a acquires the second range image information from the sensor 10B and registers the acquired second range image information in the range image table 140a.
  • the first acquisition unit 150a When registering the first distance image information in the distance image table 140a, the first acquisition unit 150a converts the information on the distance between each point cloud and the sensor 10A into three-dimensional coordinate information. For example, the first acquisition unit 150a uses a conversion table for converting the distance into three-dimensional coordinates when converting the distance information into three-dimensional coordinate information.
  • the first acquisition unit 150a When registering the second range image information in the range image table 140a, the first acquisition unit 150a converts information on the distance between each point cloud and the sensor 10B into three-dimensional coordinate information. For example, the first acquisition unit 150a uses a conversion table for converting the distance into three-dimensional coordinates when converting the distance information into three-dimensional coordinate information.
  • the providing unit 150b is a processing unit that displays the instruction screen by generating the information of the instruction screen and outputting the information of the instruction screen to the display unit 130.
  • the instruction screens displayed on the display unit 130 correspond to the instruction screens 20, 21, 22 and the like shown in FIGS.
  • the providing unit 150b generates an instruction screen based on the visible image stored in the distance image table 140a.
  • the providing unit 150b generates an instruction screen for receiving the selection of the first vector, the second vector, and the first translational point using the visible image of the first distance image information.
  • the providing unit 150b determines whether to select the start point and end point of the first vector, the start point and end point of the second vector, or the first translation point when generating the information of the instruction screen. Add a comment.
  • the providing unit 150b generates an instruction screen for receiving the selection of the third vector, the fourth vector, and the second translational point using the visible image of the second distance image information.
  • the providing unit 150b distinguishes, when generating the information of the instruction screen, whether to select the start point and the end point of the third vector, the start point and the end point of the fourth vector, or the second translation point. Add a comment.
  • the second acquisition unit 150c based on the information selected by the user on the instruction screen, the first vector, the second vector, the first translational point, the third vector, the fourth vector, the second translational point. Is a processing unit that acquires
  • the providing unit 150b displays an instruction screen for selecting the start point and end point of the first vector on the display unit 130
  • the user operates the input unit 120 to select the start point and end point of the first vector.
  • the second acquisition unit 150c acquires information on the start point and end point of the first vector from the input unit 120.
  • the point 20a is selected as the start point and the point 20b is selected as the end point.
  • the information on the start point and end point of the first vector selected by the input unit 120 corresponds to the coordinates of the visible image.
  • the 2nd acquisition part 150c specifies the identification information of the point corresponding to the starting point of the 1st vector selected by the user on the instruction screen from each point group based on the 1st distance image information of the distance image table 140a. .
  • the identification information of the point corresponding to the start point of the first vector will be referred to as “first start point identification information”.
  • the second acquisition unit 150c specifies, from each point group, identification information of a point corresponding to the end point of the first vector selected by the user on the instruction screen, based on the first distance image information of the distance image table 140a. .
  • the identification information of the point corresponding to the end point of the first vector will be referred to as “first end point identification information”.
  • the providing unit 150b displays an instruction screen for selecting the start point and end point of the second vector on the display unit 130
  • the user operates the input unit 120 to select the start point and end point of the second vector.
  • the second acquisition unit 150c acquires information on the start point and end point of the second vector from the input unit 120.
  • the point 20a is selected as the start point and the point 20c is selected as the end point.
  • the information on the start point and the end point of the second vector selected by the input unit 120 corresponds to the coordinates of the visible image.
  • the 2nd acquisition part 150c specifies the identification information of the point corresponding to the starting point of the 2nd vector selected by the user on the instruction screen from each point group based on the 1st distance image information of the distance image table 140a. .
  • the identification information of the point corresponding to the start point of the second vector will be referred to as "second start point identification information”.
  • the second acquisition unit 150c identifies, from each point group, the identification information of the point corresponding to the end point of the second vector selected by the user on the instruction screen, based on the first distance image information of the distance image table 140a. .
  • the identification information of the point corresponding to the end point of the second vector will be referred to as “second end point identification information”.
  • the providing unit 150b displays an instruction screen for selecting the first translation point on the display unit 130
  • the user operates the input unit 120 to select the first translation point.
  • the second acquisition unit 150c acquires information on the first translational point from the input unit 120.
  • the point 20a is selected as the first translational point.
  • the information on the first translational point selected by the input unit 120 corresponds to the coordinates of the visible image.
  • the 2nd acquisition part 150c specifies the identification information of the point corresponding to the 1st translation point selected by the user on the instruction screen from each point group based on the 1st distance image information of the distance image table 140a. .
  • the identification information of the point corresponding to the first translation point will be referred to as "first translation point identification information”.
  • the second acquisition unit 150c outputs the first start point identification information, the first end point identification information, the second start point identification information, the second end point identification information, and the first translation point identification information to the calculation unit 150d.
  • the providing unit 150b displays an instruction screen for selecting the start point and end point of the third vector on the display unit 130
  • the user operates the input unit 120 to select the start point and end point of the third vector.
  • the second acquisition unit 150c acquires information on the start point and end point of the third vector from the input unit 120.
  • the information on the start point and end point of the third vector selected by the input unit 120 corresponds to the coordinates of the visible image.
  • the 2nd acquisition part 150c specifies the identification information of the point corresponding to the starting point of the 3rd vector selected by the user on the instruction screen from each point group based on the 2nd distance image information of the distance image table 140a. .
  • the identification information of the point corresponding to the start point of the third vector will be referred to as “third start point identification information”.
  • the second acquisition unit 150c specifies, from each point group, identification information of a point corresponding to the end point of the third vector selected by the user on the instruction screen, based on the second distance image information of the distance image table 140a. .
  • the identification information of the point corresponding to the end point of the third vector will be referred to as “third end point identification information”.
  • the providing unit 150b displays an instruction screen for selecting the start point and end point of the fourth vector on the display unit 130
  • the user operates the input unit 120 to select the start point and end point of the fourth vector.
  • the second acquisition unit 150c acquires information on the start point and end point of the fourth vector from the input unit 120.
  • Information on the start point and end point of the fourth vector selected by the input unit 120 corresponds to the coordinates of the visible image.
  • the second acquisition unit 150c identifies, from each point group, identification information of a point corresponding to the start point of the fourth vector selected by the user on the instruction screen, based on the second distance image information of the distance image table 140a. .
  • the identification information of the point corresponding to the start point of the fourth vector will be referred to as “fourth start point identification information”.
  • the second acquisition unit 150c specifies, from each point group, identification information of a point corresponding to the end point of the fourth vector selected by the user on the instruction screen, based on the second distance image information of the distance image table 140a. .
  • the identification information of the point corresponding to the end point of the fourth vector will be referred to as “fourth end point identification information”.
  • the providing unit 150b displays an instruction screen for selecting the second translation point on the display unit 130
  • the user operates the input unit 120 to select the second translation point.
  • the second acquisition unit 150c acquires information on the second translational point from the input unit 120.
  • the information on the second translational point selected by the input unit 120 corresponds to the coordinates of the visible image.
  • the second acquisition unit 150c identifies, from each point group, identification information of a point corresponding to the second translation point selected by the user on the instruction screen, based on the second distance image information of the distance image table 140a. ..
  • the identification information of the point corresponding to the second translation point will be referred to as "second translation point identification information”.
  • the second acquisition unit 150c outputs the third start point identification information, the third end point identification information, the fourth start point identification information, the fourth end point identification information, and the second translation point identification information to the calculation unit 150d.
  • the calculation unit 150d calculates a rotation angle and a translation distance for alignment based on the first vector, the second vector, the third vector, the fourth vector, the first translation point, and the second translation point. Is.
  • the calculation unit 150d stores the calculated rotation angle and translation distance information in the storage unit 140 as the parameter 140b.
  • the rotation angle and translation distance for alignment included in the parameter 140b are appropriately referred to as "alignment rotation angle” and "alignment translation distance”.
  • the calculation unit 150d identifies the three-dimensional coordinates of the start point and the end point of each vector and the three-dimensional coordinate of each translation point by executing the following process.
  • the calculation unit 150d detects the three-dimensional coordinates of the start point and the end point of the first vector based on the first start point identification information and the first end point identification information and the first distance image information of the distance image table 140a, Identify one vector.
  • the calculation unit 150d detects the three-dimensional coordinates of the start point and the end point of the second vector based on the second start point identification information and the second end point identification information, and the first distance image information, and specifies the second vector. .
  • the calculation unit 150d identifies the three-dimensional coordinates of the first translation point based on the first translation identification information and the first distance image information.
  • the calculation unit 150d detects the three-dimensional coordinates of the start point and the end point of the third vector based on the third start point identification information and the third end point identification information and the second distance image information of the distance image table 140a, Specify 3 vectors.
  • the calculation unit 150d detects the three-dimensional coordinates of the start point and end point of the fourth vector based on the fourth start point identification information and the fourth end point identification information, and the second distance image information, and specifies the second vector. .
  • the calculation unit 150d identifies the three-dimensional coordinates of the second translation point based on the second translation identification information and the second distance image information.
  • FIG. 10 is a diagram showing an example of first to fourth vectors and first and second translational points.
  • a point cloud 16A is a point cloud measured by the sensor 10A.
  • the point cloud 16B is a point cloud measured by the sensor 10B.
  • the vector 16A-1 of the point group 16A is the first vector.
  • the vector 16A-2 of the point group 16A is the first vector.
  • Point 17A is the first translational point.
  • the vector 16B-3 of the point cloud 16A is the third vector.
  • the vector 16B-4 of the point group 16B is the fourth vector.
  • Point 17B is the second translational point.
  • the calculation unit 150d converts the first vector, the second vector, the third vector, and the fourth vector into unit vectors. For example, the calculation unit 150d divides the first vector by the length of the first vector to convert the first vector into a unit vector. The other vectors are similarly converted into unit vectors.
  • the unit vectorized first vector, second vector, third vector, and fourth vector are simply referred to as the first vector, second vector, third vector, and fourth vector, respectively.
  • the calculation unit 150d moves the starting points of the first vector, the second vector, the third vector, and the fourth vector to the position of the origin of the three-dimensional coordinates.
  • the calculation unit 150d calculates the rotation angle of the third vector that minimizes the total distance D in Expression (1).
  • D 13 represents the distance between the end point of the first vector and the end point of the third vector.
  • D 24 indicates the distance between the end point of the second vector and the end point of the fourth vector.
  • the rotation angle has an X rotation angle, a Y rotation angle, and a Z rotation angle.
  • the X rotation angle corresponds to the rotation angle (roll) around the x axis.
  • the Y rotation angle corresponds to the rotation angle (pitch) around the y axis.
  • the Z rotation angle indicates a rotation angle (yaw) around the z axis.
  • the calculation unit 150d fixes the first vector and the second vector, changes the rotation angle of the third vector, and calculates the minimum total distance D. For example, the calculation unit 150d repeatedly executes the process of calculating the total distance D by gradually changing the X rotation angle, the Y rotation angle, and the Z rotation angle, and the X rotation angle and the Y rotation that minimize the total distance D. The angle and the Z rotation angle are searched. The calculation unit 150d maintains the positional relationship between the third vector and the fourth vector. That is, the rotation angle of the fourth vector is changed according to the change of the rotation angle with respect to the third vector.
  • the rotation angle that minimizes the total distance D is the “positioning rotation angle”.
  • Calculating unit 150d performs a process of calculating a translation distance after calculating the alignment rotation angle.
  • the calculation unit 150d rotates the three-dimensional coordinates of the second translational point by the alignment rotation angle.
  • the calculation unit 150d calculates the difference between the three-dimensional coordinates of the second translation point rotated by the alignment rotation angle and the three-dimensional coordinate of the first translation point as the alignment translation distance.
  • the alignment translation distance includes an X translation distance, a Y translation distance, and a Z translation distance.
  • the X translation distance is the difference between the x coordinate of the first translation point and the x coordinate of the second translation point.
  • the Y translation distance is the difference between the y coordinate of the first translation point and the y coordinate of the second translation point.
  • the Z translation distance is the difference between the z coordinate of the first translation point and the z coordinate of the second translation point.
  • the calculation unit 150d stores the alignment rotation angle and the alignment translation distance calculated by the above process in the storage unit 140 as the parameter 140d.
  • the output unit 150e is a processing unit that outputs the parameter 140b to an external device such as a scoring device.
  • FIG. 11 is a flowchart of the processing procedure of the information processing apparatus according to the first embodiment.
  • the first acquisition unit 150a of the information processing apparatus 100 acquires the first distance image information and the second distance image information from the sensors 10A and 10B (step S101).
  • the providing unit 150b of the information processing device 100 generates information on the instruction screen and causes the display unit 130 to display the instruction screen (step S102).
  • the second acquisition unit 150c of the information processing apparatus 100 acquires the start point and end point of the first vector, the start point and end point of the second vector, and the first translation point from the point cloud of the sensor 10A based on the selection made by the user. Yes (step S103).
  • the second acquisition unit 150c acquires the start point and end point of the third vector, the start point and end point of the fourth vector, and the second translation point from the point group of the sensor 10B based on the selection by the user (step S104). .
  • the calculation unit 150d of the information processing device 100 converts the first to fourth vectors into unit vectors (step S105).
  • the calculation unit 150d moves the first to fourth vectors so that the start point becomes the origin of the three-dimensional coordinates (step S106).
  • the calculation unit 150d calculates the rotation angle (positioning rotation angle) of the end point of the sensor 10B that minimizes the total distance D (step S107).
  • the calculation unit 150d rotates the second translational point by the alignment rotation angle (step S108).
  • the calculation unit 150d calculates the difference between the coordinate of the first translation point and the coordinate of the rotated second translation point as the translation distance (positioning translation distance) (step S109).
  • the calculation unit 150d stores the alignment rotation angle and the alignment translation distance in the storage unit 140 as the parameter 140b (step S110).
  • the information processing apparatus 100 displays an instruction screen to acquire the first to fourth vectors, the first and second translation points that satisfy the conditions 1 to 4, and the first to fourth vectors, the first and second translation points. Based on the points, a parameter for aligning the point cloud measured by the sensor 10A and the point cloud measured by the sensor 10B is calculated. In this way, the selection for identifying the first to fourth vectors, the first and second translational points satisfying the conditions 1 to 4 is received from the user using the instruction screen, and thus the range of the sensor 10A is measured. Then, even if the number of three-dimensional point groups included in the range common to the distance measurement range of the sensor 10B is small and the shape is not sufficiently characteristic, alignment can be performed.
  • FIG. 12 is a diagram showing an example of a portable marker placement table.
  • the marker arrangement table 30 shown in FIG. 12 includes markers 30-1 to 30-4.
  • the markers 30-1 to 30-3 are arranged in the horizontal direction.
  • the angle formed by the straight line passing through the markers 30-1 to 30-3 and the straight line passing through the markers 30-1 and 30-4 is 90 degrees.
  • a range in which the distance can be measured by the sensor 10A is set to a range 30A.
  • a range in which the distance can be measured by the sensor 10B is referred to as a range 30B.
  • the information processing apparatus 100 generates information on the instruction screen based on the visible image of the marker placement table 30 and displays it on the display unit 130.
  • the information processing apparatus 100 accepts selection of the start and end points of the first to fourth vectors and the first and second translational points from the user who refers to the instruction screen.
  • the scoring device for scoring the performance of a player who performs gymnastics will be described using the parameter 140b calculated by the information processing device 100 according to the first embodiment.
  • the parameter 140b calculated by the information processing device 100 can be used as long as the device is not limited to the scoring device and that senses an object using a plurality of sensors. .
  • FIG. 13 is a functional block diagram showing the configuration of the scoring device.
  • the scoring device 200 is connected to the sensor 10A, the sensor 10B, and the display device 250.
  • the sensor 10A and the sensor 10B correspond to the sensor 10A and the sensor 10B shown in FIG. It is assumed that the arrangement situation of the sensors 10A and 10B shown in FIG. 12 is the same as the arrangement situation of the sensors 10A and 10B shown in FIG.
  • the installation status indicates the arrangement position of the sensors 10A and 10B and the direction of the sensor.
  • the sensors 10A and 10B measure the first distance image information and the second distance image information including the player 7A.
  • the display device 250 is a display device that displays information output from the scoring device.
  • the display device 250 corresponds to, for example, a liquid crystal display, a touch panel, or the like.
  • the scoring device 200 has a storage unit 201, an acquisition unit 202, an alignment unit 203, a recognition unit 204, and an output unit 205.
  • the storage unit 201 has a parameter 140b.
  • the storage unit 201 corresponds to a semiconductor memory device such as RAM, ROM, flash memory, or a storage device such as HDD.
  • the parameter 140b is information corresponding to the parameter 140b described in FIG.
  • the acquisition unit 202 acquires the first range image information from the sensor 10A and the second range image information from the sensor 10b.
  • the acquisition unit 202 extracts the first point group forming the subject 6 included in the first distance image information based on the first distance image information and the first background frame.
  • the acquisition unit 202 extracts the second point cloud forming the subject 6 included in the second distance image information, based on the second distance image information and the second background frame.
  • the acquisition unit 202 outputs the coordinate information of the first point group and the coordinate information of the first point group to the alignment unit 203.
  • the first background frame indicates the first distance image information that does not include the subject 6, and is set in advance.
  • the second background frame indicates the second distance image information that does not include the subject 6, and is set in advance.
  • the alignment unit 203 is a processing unit that aligns the first point group and the second point group based on the parameter 140b.
  • the alignment unit 203 aligns the coordinates of each point included in the second point group based on the alignment rotation angle and the alignment translation distance included in the parameter 140b.
  • the alignment unit 203 outputs information about the aligned second point group and the aligned first point group to the recognition unit 204.
  • the recognition unit 204 is a processing unit that recognizes the skeleton of the subject 6 by combining the aligned second point group and first point group.
  • the recognizing unit 204 detects the position of the skeleton of the subject 6 at each time, compares the transition of the skeleton position with a table (not shown) that defines the scoring standard, and scores the performance of the subject 6.
  • the recognition unit 204 outputs the information of the scoring result to the output unit 205.
  • the scoring result information includes a D (Difficulty) score and an E (Execution) score.
  • the output unit 205 is a processing unit that generates scoring screen information based on the scoring result information.
  • the output unit 205 outputs the scoring screen information to the display device 250 for display.
  • FIG. 14 is a diagram showing an example of the scoring screen. As shown in FIG. 14, the scoring screen information 65 includes areas 65a, 65b, 65c.
  • the area 65a is an area for displaying scoring results such as D score and E score.
  • the area 65b is an area for displaying an image of the subject 6 captured by a camera or the like.
  • the area 65c is an area for displaying a 3D model estimated based on the skeleton information estimated from the aligned first point group and second aligned point group.
  • FIG. 15 is a flowchart showing a processing procedure of the alignment unit of the scoring device.
  • the case where the second point group is aligned will be described, but the first point group is also aligned in the same manner as the second point group.
  • the alignment unit 203 of the scoring device 200 translates the second point cloud by the X translation distance (step S201).
  • the alignment unit 203 translates the second point group by the Y translation distance (step S202).
  • the alignment unit 203 translates the second point group by the Z translation distance (step S203).
  • Alignment unit 203 rotates the second point group about the X axis by the X rotation angle (step S204).
  • the alignment unit 203 rotates the second point group about the Y axis by the Y rotation angle (step S205).
  • the alignment unit 203 rotates the second point group about the Z axis by the Z rotation angle (step S206).
  • the scoring device 200 aligns the point cloud measured by the sensors 10A and 10B on the basis of the parameter 140b generated by the information processing apparatus 100 to accurately determine the point cloud of the entire subject. Can be specified to improve the scoring accuracy.
  • FIG. 16 is a diagram showing an example of the first point group and the second point group after alignment.
  • FIG. 16 shows the alignment result of the point group 16A (first point group) and the point group 16B (second point group) shown in FIG. As shown in FIG. 16, the positions of the markers are accurately matched.
  • the function of the information processing device 100 may include the function of the scoring device 200. That is, the control unit 150 of the information processing device 100 may include the alignment unit 203, the recognition unit 240, the output unit 205, and the like of the scoring device 200.
  • the information processing apparatus according to the second embodiment is connected to the sensor 10A and the sensor 10B as in the first embodiment.
  • the information processing apparatus automatically detects the center coordinates of the marker. Further, by arranging each marker in a different shape and in a predetermined positional relationship, the shape of each mark is recognized and the first to fourth vectors satisfying the conditions 1 to 4, 2 Automatically detect the translational point. By executing such processing, it is possible to calculate the parameter for performing alignment without the user selecting each vector or translation point so as to satisfy the conditions 1 to 4.
  • FIG. 17 is a diagram showing an example of a marker used in the second embodiment.
  • the wall 35 includes markers 35-1 to 35-4.
  • the markers 35-1 to 35-3 are arranged in the horizontal direction.
  • the angle formed by the straight line passing through the markers 35-1 to 35-3 and the straight line passing through the markers 35-1 and 35-4 is 90 degrees.
  • a range in which the distance can be measured by the sensor 10A is referred to as a range 35A.
  • a range in which the distance can be measured by the sensor 10B is a range 35B.
  • the markers 35-1 to 35-4 has a unique shape.
  • the marker 35-1 is a “triangle”.
  • the marker 35-2 is a “quadrangle (diamond)”.
  • the marker 35-3 is a “pentagon”.
  • the marker 35-4 is a “hexagon”.
  • FIG. 18 is a functional block diagram showing the configuration of the information processing apparatus according to the second embodiment.
  • the information processing device 300 includes an interface unit 210, an input unit 320, a display unit 330, a storage unit 340, and a control unit 350.
  • the interface unit 210 is a communication device that receives information from the sensors 10A and 10B.
  • the interface unit 210 receives the first range image information from the sensor 10A and outputs the received first range image information to the control unit 350.
  • the interface unit 210 receives the second range image information from the sensor 10B and outputs the received second range image information to the control unit 350.
  • the interface unit 210 may be connected to the scoring device 200 described in the first embodiment.
  • the input unit 320 is an input device for inputting various information to the information processing device 100.
  • the input unit 120 corresponds to a keyboard, a mouse, a touch panel, or the like. The user operates the input unit 120 to input various kinds of information.
  • the display unit 330 is a display device that displays various information output from the control unit 350.
  • the display unit 330 corresponds to a liquid crystal display, a touch panel, or the like.
  • the storage unit 340 has a distance image table 340a and parameters 340b.
  • the storage unit 340 corresponds to a semiconductor memory device such as RAM, ROM, or flash memory, or a storage device such as HDD.
  • the distance image table 340a is a table that holds the first distance image information output from the sensor 10A and the second distance image information output from the sensor 10B.
  • the data structure of the distance image table 340a is similar to the data structure of the distance image table 140a shown in FIG.
  • the parameter 340b is a parameter for aligning the point cloud measured by the sensor 10A and the point cloud measured by the sensor 10B.
  • the parameters include information on the alignment rotation angle and information on the alignment translation distance.
  • the marker definition information 340c is information indicating the correspondence between the characteristics of each marker and the start point, end point, and translational point of each vector.
  • FIG. 19 is a diagram showing an example of the data structure of the marker definition information. As shown in FIG. 19, the marker definition information associates the marker feature with the start and end points of each vector and the translation point by an on / off flag. On indicates that the association is valid, and off indicates that the association is invalid.
  • the marker of the marker feature “triangle” is defined to be the starting point of the first vector.
  • the marker of the marker feature “quadrilateral” is defined to be the end point of the first vector, the start point of the second vector, the start point of the third vector, the start point of the fourth vector, and the translation point.
  • the marker of the marker feature “pentagon” is defined as the end point of the third vector. It is defined that the marker of the marker feature “hexagon” is the end point of the second vector and the end point of the fourth vector.
  • the control unit 350 includes a first acquisition unit 350a, a second acquisition unit 350b, a calculation unit 350c, and an output unit 350d.
  • the control unit 350 can be realized by a CPU, MPU, or the like.
  • the control unit 350 can also be realized by hard-wired logic such as ASIC or FPGA.
  • the first acquisition unit 350a acquires the first distance image information from the sensor 10A via the interface unit 310, and registers the acquired first distance image information in the distance image table 340a.
  • the first acquisition unit 350a acquires the second distance image information from the sensor 10B and registers the acquired second distance image information in the distance image table 340a.
  • the other description regarding the first acquisition unit 350a is the same as the description regarding the first acquisition unit 150a described in the first embodiment.
  • the second acquisition unit 350b based on each visible image of the first and second distance image information and the marker definition information 340c, the first vector, the second vector, the first translation point, the third vector, the fourth vector.
  • a processing unit that acquires a vector and a second translational point.
  • the second acquisition unit 350b performs pattern matching with a polygonal (triangular, quadrangular, pentagonal, hexagonal) template for the visible image in the distance image table 340a to perform the triangle, quadrangle, and pentagon. Detects polygonal and hexagonal markers. The second acquisition unit 350b determines, based on the marker definition information 340c, which marker corresponds to the starting point, the ending point, and the translation point of which vector, the first vector, the second vector, and the The first translation point, the third vector, the fourth vector, and the second translation point are acquired.
  • the second acquisition unit 350b selects a point (start point of the first vector) included in the triangular marker (center of the marker) on the visible image of the first distance image information. When there are a plurality of points included in the triangular marker, the second acquisition unit 350b selects any one of the points.
  • the 2nd acquisition part 350b specifies the identification information of the point corresponding to the selected point (starting point of the 1st vector) from each point group based on the 1st distance image information of distance image table 340a.
  • the identification information of the point corresponding to the start point of the first vector will be referred to as “first start point identification information”.
  • the second acquisition unit 350b determines the points (the end point of the first vector, the start point of the second vector, the first translation point) included in the quadrangular marker (center of the marker) on the visible image of the first distance image information. select. When there are a plurality of points included in the rectangular marker, the second acquisition unit 350b selects any one of the points.
  • the second acquisition unit 350b identifies the point corresponding to the selected point (the end point of the first vector, the start point of the second vector, the first translation point) based on the first range image information of the range image table 340a.
  • Information is identified from each point cloud.
  • the identification information of the point corresponding to the end point of the first vector will be referred to as “first end point identification information”.
  • the identification information of the point corresponding to the start point of the second vector will be referred to as “second start point identification information”.
  • the identification information of the point corresponding to the first translation point will be referred to as "first translation point identification information”.
  • the points indicated by the first end point identification information, the second start point identification information, and the first translation point identification information are the same points.
  • the second acquisition unit 350b selects a point (end point of the second vector) included in the hexagonal marker (center of the marker) on the visible image of the first distance image information. When there are a plurality of points included in the hexagonal marker, the second acquisition unit 350b selects any one of the points.
  • the 2nd acquisition part 350b specifies the identification information of the point corresponding to the selected point (end point of the 2nd vector) from each point group based on the 1st distance image information of distance image table 340a.
  • the identification information of the point corresponding to the end point of the second vector will be referred to as “second end point identification information”.
  • the second acquisition unit 350b determines the points (the start point of the third vector, the start point of the fourth vector, the second translation point) included in the quadrangular marker (center of the marker) on the visible image of the second distance image information. select. When there are a plurality of points included in the rectangular marker, the second acquisition unit 350b selects any one of the points.
  • the second acquisition unit 350b identifies the point corresponding to the selected point (the start point of the third vector, the start point of the fourth vector, the second translation point) based on the second range image information of the range image table 340a.
  • Information is identified from each point cloud.
  • the identification information of the point corresponding to the start point of the third vector will be referred to as “third start point identification information”.
  • the identification information of the point corresponding to the start point of the fourth vector will be referred to as “fourth start point identification information”.
  • the identification information of the point corresponding to the second translation point will be referred to as "second translation point identification information”.
  • the points indicated by the third start point identification information, the fourth start point identification information, and the second translation point identification information are the same points.
  • the second acquisition unit 350b selects a point (end point of the third vector) included in the pentagonal marker (center of the marker) on the visible image of the second distance image information. When there are a plurality of points included in the pentagonal marker, the second acquisition unit 350b selects any one of the points.
  • the 2nd acquisition part 350b specifies the identification information of the point corresponding to the selected point (end point of the 3rd vector) from each point group based on the 2nd distance image information of distance image table 340a.
  • the identification information of the point corresponding to the end point of the third vector will be referred to as “third end point identification information”.
  • the second acquisition unit 350b selects a point (end point of the fourth vector) included in the hexagonal marker (center of the marker) on the visible image of the second distance image information. When there are a plurality of points included in the hexagonal marker, the second acquisition unit 350b selects any one of the points.
  • the 2nd acquisition part 350b specifies the identification information of the point corresponding to the selected point (end point of the 4th vector) from each point group based on the 2nd distance image information of distance image table 340a.
  • the identification information of the point corresponding to the end point of the fourth vector will be referred to as “fourth end point identification information”.
  • the second acquisition unit 350b outputs the first start point identification information, the first end point identification information, the second start point identification information, the second end point identification information, and the first translation point identification information to the calculation unit 350c.
  • the second acquisition unit 350b outputs the third start point identification information, the third end point identification information, the fourth start point identification information, the fourth end point identification information, and the second translation point identification information to the calculation unit 350c.
  • the calculation unit 350c calculates a rotation angle and a translation distance for alignment based on the first vector, the second vector, the third vector, the fourth vector, the first translation point, and the second translation point. Is.
  • the calculation unit 350c stores the calculated rotation angle and translation distance information in the storage unit 340 as the parameter 340b.
  • the process of the calculation unit 350c is the same as the process of the calculation unit 150d described in the first embodiment.
  • the output unit 350d is a processing unit that outputs the parameter 340b to an external device such as the scoring device 200 described in the first embodiment.
  • FIG. 20 is a flowchart of the processing procedure of the information processing apparatus according to the second embodiment.
  • the first acquisition unit 350a of the information processing device 300 acquires the first distance image information and the second distance image information from the sensors 10A and 10B (step S301).
  • the second acquisition unit 350b of the information processing device 300 determines the start point and end point of the first vector, the start point and end point of the second vector, and the first translation point from the point cloud of the sensor 10A. It is acquired (step S302).
  • the second acquisition unit 350b acquires the start point and end point of the third vector, the start point and end point of the fourth vector, and the second translation point from the point group of the sensor 10B based on the marker definition information 340c (step S303). ).
  • the calculation unit 350c of the information processing device 300 converts the first to fourth vectors into unit vectors (step S304).
  • the calculation unit 350c moves the first to fourth vectors so that the start point becomes the origin of the three-dimensional coordinates (step S305).
  • the calculation unit 350c calculates the rotation angle (positioning rotation angle) of the end point of the sensor 10B that minimizes the total distance D (step S306).
  • the calculation unit 350c rotates the second translational point by the alignment rotation angle (step S307).
  • the calculation unit 350c calculates the difference between the coordinates of the first translational point and the coordinate of the rotated second translational point as the translational distance (positional translational distance) (step S308).
  • the calculation unit 350c stores the alignment rotation angle and the alignment translation distance in the storage unit 340 as parameters 340b (step S309).
  • the information processing apparatus 300 recognizes the shape of each mark by arranging each marker with a different shape and a predetermined positional relationship, and the first to fourth vectors satisfying the conditions 1 to 4 are recognized. , The first and second translational points are automatically detected. By executing such processing, it is possible to calculate the parameter for performing alignment without the user selecting each vector or translation point so as to satisfy the conditions 1 to 4.
  • the function of the information processing apparatus 300 may include the function of the scoring apparatus 200. That is, the control unit 350 of the information processing device 300 may include the alignment unit 203, the recognition unit 240, the output unit 205, and the like of the scoring device 200.
  • vectors in the horizontal direction and the vertical direction start points and end points of the first to fourth vectors
  • the alignment can be performed.
  • the start point and the end point of the first to fourth vectors and the first and second translation points can be acquired from the existing instrument or the subject, the existing It may be obtained from the device or subject.
  • the information processing apparatus uses the fact that the parallel table for gymnastics is horizontal, the player has an upright momentary moment, and the like, and displays an instruction screen to prompt the user. , The selection of the start and end points of the first to fourth vectors and the first and second translational points is accepted.
  • FIG. 21 is a diagram showing players who perform on a parallel stand.
  • the range in which the distance can be measured by the sensor 10A is defined as a range 45A.
  • a range in which the distance can be measured by the sensor 10B is set as a range 45B. Since the parallel platform 46 is parallel, the horizontal vectors 46A and 46B (first vector and third vector) can be acquired.
  • a player is acting on the parallel stand 46, and the player at time T 1 is player 47T 1 .
  • the player at time T 2 is player 47T 2 .
  • the player at time T 3 is player 47T 3 .
  • the vertical vector 47A second vector
  • the vertical vector 47B fourth vector
  • the player 47T 2 is located in a region where the range 45A and the range 45B overlap with each other, and the translation matching point 47C (first translational point, second translational point) is acquired. be able to. At the same position, points other than the point 47C may be acquired as points for translational translation from the area where the range 45A and the range 45B overlap.
  • FIG. 22 is a diagram (1) showing an example of the instruction screen according to the third embodiment.
  • the instruction screen 50 shown in FIG. 22 is a screen generated based on the visible image of the sensor 10A.
  • the user refers to the instruction screen 50 and operates the input device of the information processing device 400 to select the start point of the first vector and the end point of the first vector.
  • the point 20a is selected as the start point of the first vector and the point 50b is selected as the end point of the first vector.
  • the information processing device 400 displays an instruction screen for accepting the selection of the third vector based on the visible image of the sensor 10B.
  • the user refers to the instruction screen and selects the start point of the third vector and the end point of the third vector.
  • the first vector and the third vector satisfy the condition 1.
  • FIG. 23 is a diagram (2) showing an example of the instruction screen according to the third embodiment.
  • the instruction screen 51 shown in FIG. 23 is a screen generated based on the visible image of the sensor 10A.
  • the user refers to the instruction screen 51 and operates the input device of the information processing device 400 to select the start point of the second vector and the end point of the second vector.
  • the point 51a is selected as the start point of the second vector and the point 51b is selected as the end point of the second vector.
  • the information processing device 400 displays an instruction screen for accepting the selection of the fourth vector based on the visible image of the sensor 10B.
  • the user refers to the instruction screen and selects the start point of the fourth vector and the end point of the fourth vector.
  • the second vector and the fourth vector satisfy the condition 2.
  • the user makes the first vector and the second vector satisfy the condition 3.
  • the user makes the third vector and the fourth vector satisfy the condition 3.
  • FIG. 24 is a diagram (3) showing an example of the instruction screen according to the third embodiment.
  • the instruction screen 52 shown in FIG. 24 is a screen generated based on the visible image of the sensor 10A.
  • the user refers to the instruction screen 52 and operates the input device of the information processing device 400 to select the first translational point.
  • the point 52a is selected as the first translation point.
  • the information processing device 400 displays an instruction screen for accepting the second translational point based on the visible image of the sensor 10B.
  • the user refers to the instruction screen and selects the second translational point.
  • the user makes the position of the first translational point and the position of the second translational point satisfy Condition 4.
  • the information processing apparatus 400 uses, instead of the marker described in the first embodiment, that the parallel platform for gymnastics is horizontal, that there is a moment when the player stands upright and stops moving, etc. And display the instruction screen. Therefore, it is possible to acquire the first to fourth vectors and the first and second translational points without using the markers described in the first embodiment.
  • FIG. 25 is a functional block diagram of the configuration of the information processing apparatus according to the third embodiment.
  • the information processing device 400 includes an interface unit 410, an input unit 420, a display unit 430, a storage unit 440, and a control unit 450.
  • the interface unit 410 is a communication device that receives information from the sensors 10A and 10B.
  • the interface unit 410 receives the first range image information from the sensor 10A and outputs the received first range image information to the control unit 450.
  • the interface unit 410 receives the second range image information from the sensor 10B and outputs the received second range image information to the control unit 450. Further, the interface unit 110 may be connected to a scoring device described later.
  • the input unit 420 is an input device for inputting various information to the information processing device 400.
  • the input unit 420 corresponds to a keyboard, a mouse, a touch panel, or the like.
  • the user refers to the instruction screens shown in FIGS. 22 to 24 and operates the input unit 420 to select the start point and end point of the first vector, the start point and end point of the second vector, and the first translation point. Further, the user operates the input unit 420 to select the start point and end point of the third vector, the start point and end point of the fourth vector, and the second translation point.
  • the display unit 430 is a display device that displays various information output from the control unit 450.
  • the display unit 430 corresponds to a liquid crystal display, a touch panel, or the like.
  • the display unit displays the instruction screen shown in FIGS.
  • the storage unit 440 has a distance image table 440a and a parameter 440b.
  • the storage unit 440 corresponds to a semiconductor memory device such as a RAM, a ROM, a flash memory, or a storage device such as an HDD.
  • the distance image table 440a is a table holding the first distance image information at each time output from the sensor 10A and the second distance image information at each time output from the sensor 10B.
  • FIG. 26 is a diagram illustrating an example of the data structure of the distance image table according to the third embodiment.
  • the distance image table 440a has tables 441 and 442.
  • the table 441 is a table that associates the time with the first range image information measured by the sensor 10A at the time.
  • the table 442 is a table in which time is associated with the second range image information measured by the sensor 10B at that time. The description regarding the first range image information and the second range image information is the same as that described in the first embodiment.
  • the parameter 440b is a parameter for aligning the point cloud measured by the sensor 10A and the point cloud measured by the sensor 10B.
  • the parameter 440b includes information on the alignment rotation angle and information on the alignment translation distance.
  • the control unit 450 has a first acquisition unit 450a, a provision unit 450b, a second acquisition unit 450c, a calculation unit 450d, and an output unit 450e.
  • the control unit 450 can be realized by a CPU, MPU, or the like.
  • the control unit 450 can also be realized by hard-wired logic such as ASIC or FPGA.
  • the first acquisition unit 450a acquires the first distance image information from the sensor 10A at each time via the interface unit 410, and registers the acquired first distance image information in the table 441 of the distance image table 440a.
  • the first acquisition unit 150a acquires the second distance image information from the sensor 10B at each time and registers the acquired second distance image information in the table 442 of the distance image table 440a.
  • the first acquisition unit 450a When registering the first distance image information in the table 441 of the distance image table 440a, the first acquisition unit 450a converts the information on the distance between each point cloud and the sensor 10A into three-dimensional coordinate information. For example, the first acquisition unit 450a uses a conversion table that converts the distance into three-dimensional coordinates when converting the distance information into three-dimensional coordinate information.
  • the first acquisition unit 450a When registering the second distance image information in the table 442 of the distance image table 440a, the first acquisition unit 450a converts the information on the distance between each point cloud and the sensor 10B into three-dimensional coordinate information. For example, the first acquisition unit 450a uses a conversion table that converts the distance into three-dimensional coordinates when converting the distance information into three-dimensional coordinate information.
  • the providing unit 450b is a processing unit that displays the instruction screen by generating the information of the instruction screen and outputting the information of the instruction screen to the display unit 430.
  • the instruction screens displayed on the display unit 430 correspond to the instruction screens 50, 51, 52 and the like shown in FIGS.
  • the providing unit 450b generates an instruction screen based on the visible image stored in the distance image table 440a.
  • the providing unit 450b generates an instruction screen for receiving the selection of the first vector using the visible image of the first distance image information.
  • the providing unit 450b adds a comment to the effect that the start point and the end point of the first vector are selected when generating the information of the instruction screen.
  • the providing unit 450b performs the following processing when generating an instruction screen for accepting the selection of the second vector.
  • the providing unit 450b selects, from the first distance image information (visible image) at each time in the table 441, a visible image having an edge of a predetermined length or more in the vertical direction. For example, an upright player is included in a visible image having an edge of a predetermined length or more in the vertical direction.
  • the providing unit 450b uses the selected visible image to generate an instruction screen for accepting the selection of the second vector.
  • the providing unit 450b adds a comment to the effect that the start point and the end point of the second vector are selected.
  • the providing unit 450b performs the following processing when generating an instruction screen for accepting the selection of the first translational point.
  • the providing unit 450b selects, in the overlapping area where the range 45A and the range 45B overlap, of the first distance image information (visible image) at each time in the table 441, the visible image including the player is selected.
  • the providing unit 450b holds a background image for the overlapping area and determines whether the overlapping image includes a player by using the difference between the overlapping area of the visible image and the background image. Good.
  • the providing unit 450b uses the selected visible image to generate an instruction screen for receiving the selection of the first translational point.
  • the providing unit 450b adds a comment to the effect that the first translational point is selected.
  • the providing unit 450b generates an instruction screen for receiving the selection of the third vector by using the visible image of the second distance image information.
  • the providing unit 450b adds a comment to the effect that the start point and the end point of the third vector are selected.
  • the providing unit 450b performs the following processing when generating an instruction screen for accepting the selection of the fourth vector.
  • the providing unit 450b selects, from the second distance image information (visible image) of each time in the table 442, a visible image having an edge of a predetermined length or more in the vertical direction. For example, an upright player is included in a visible image having an edge of a predetermined length or more in the vertical direction.
  • the providing unit 450b uses the selected visible image to generate an instruction screen for accepting the selection of the fourth vector.
  • the providing unit 450b adds a comment to the effect that the start point and the end point of the fourth vector are selected.
  • the providing unit 450b performs the following process when generating an instruction screen for accepting the selection of the second translational point.
  • the providing unit 450b selects a visible image including a player in the overlapping area where the range 45A and the range 45B overlap, from the second distance image information (visible image) at each time in the table 442.
  • the providing unit 450b holds a background image for the overlapping area and determines whether the overlapping image includes a player by using the difference between the overlapping area of the visible image and the background image. Good.
  • the providing unit 450b uses the selected visible image to generate an instruction screen for accepting the selection of the second translational point.
  • the providing unit 450b adds a comment to the effect that the second translational point is selected.
  • the second acquisition unit 450c based on the information selected by the user on the instruction screen, the first vector, the second vector, the first translation point, the third vector, the fourth vector, the second translation point.
  • a processing unit that acquires The second acquisition unit 450c performs the same process as the second acquisition unit 150c of the first embodiment, and the first start point identification information, the first end point identification information, the second start point identification information, the second end point identification information, and the first translation.
  • Specify point identification information The second acquisition unit 450c performs the same process as the second acquisition unit 150c of the first embodiment, and the third start point identification information, the third end point identification information, the fourth start point identification information, the fourth end point identification information, and the second translation. Specify point identification information.
  • the second acquisition unit 450c includes first start point identification information, first end point identification information, second start point identification information, second end point identification information, first translation point identification information, third start point identification information, third end point identification information, The fourth start point identification information, the fourth end point identification information, and the second translation point identification information are output to calculation section 450d.
  • the calculation unit 450d calculates a rotation angle and a translation distance for alignment based on the first vector, the second vector, the third vector, the fourth vector, the first translation point, and the second translation point. Is.
  • the calculation unit 450d stores the calculated rotation angle and translation distance information in the storage unit 440 as the parameter 440b.
  • the process of the calculation unit 450d is the same as the process of the calculation unit 150d described in the first embodiment.
  • the output unit 450e is a processing unit that outputs the parameter 440b to an external device such as the scoring device 200 described in the first embodiment.
  • FIG. 27 is a flowchart of the processing procedure of the information processing apparatus according to the third embodiment.
  • the first acquisition unit 450a of the information processing apparatus 400 acquires the first distance image information and the second distance image information at each time from the sensors 10A and 10B (step S401).
  • the providing unit 450b of the information processing device 400 selects a visible image for generating an instruction screen (step S402).
  • the providing unit 450b generates information on the instruction screen and causes the display unit 430 to display the instruction screen (step S403).
  • the second acquisition unit 450c of the information processing device 400 acquires the start point and end point of the first vector, the start point and end point of the second vector, and the first translation point from the point group of the sensor 10A based on the selection by the user. (Step S404).
  • the second acquisition unit 450c acquires the start point and end point of the third vector, the start point and end point of the fourth vector, and the second translation point from the point group of the sensor 10B based on the selection by the user (step S405). .
  • the calculation unit 450d of the information processing device 400 converts the first to fourth vectors into unit vectors (step S406).
  • the calculation unit 450d moves the first to fourth vectors so that the starting point becomes the origin of the three-dimensional coordinates (step S407).
  • the calculation unit 450d calculates the rotation angle (positioning rotation angle) of the end point of the sensor 10B that minimizes the total distance D (step S408).
  • the calculation unit 450d rotates the second translational point by the alignment rotation angle (step S409).
  • the calculation unit 450d calculates the difference between the coordinates of the first translation point and the coordinates of the rotated second translation point as the translation distance (positioning translation distance) (step S410).
  • the calculation unit 450d stores the alignment rotation angle and the alignment translation distance in the storage unit 440 as the parameter 440b (step S411).
  • the information processing apparatus 400 uses an instruction screen instead of the marker described in the first embodiment by utilizing the fact that the parallel platform of the gymnastics is horizontal, the player stands upright, and stops momentarily. indicate. Therefore, it is possible to acquire the first to fourth vectors and the first and second translational points without using the markers described in the first embodiment. And thereby, the alignment of the sensor 10A and the sensor 10B can be performed.
  • the information processing apparatus 400 may acquire the start points and end points of the first to fourth vectors and the first and second translational points from another device or subject that can acquire the points.
  • the function of the information processing device 400 may include the function of the scoring device 200. That is, the control unit 450 of the information processing device 400 may include the alignment unit 203, the recognition unit 240, the output unit 205, and the like of the scoring device 200.
  • the information processing apparatus according to the fourth embodiment is connected to the sensor 10A and the sensor 10B as in the first embodiment.
  • FIG. 28 is a diagram showing an example of a marker used in the fourth embodiment.
  • the marker arrangement table 30 includes markers 30-1, 30-2, 30-3, 30-4.
  • Each of the markers 30-1 to 30-4 is provided with a plurality of seals.
  • Each seal is a retro-reflective seal.
  • a range in which the distance can be measured by the sensor 10A is set to a range 30A.
  • a range in which the distance can be measured by the sensor 10B is set as a range 30B.
  • the marker 30-1 is provided with seals 30-1a, 30-1b, 30-1c, 30-1d at each corner. Seals 30-2a, 30-2b, 30-2c, 30-2d are arranged at each corner of the marker 30-2.
  • the marker 30-3 has seals 30-3a, 30-3b, 30-3c, 30-3d arranged at the respective corners.
  • the markers 30-4 are provided with seals 30-4a, 30-4b, 30-4c, 30-4d at the respective corners.
  • FIG. 29 is a diagram showing an example of the reflection intensity image of each marker with a seal.
  • a region having high reflection intensity becomes brighter than a region having low reflection intensity.
  • the areas 61a, 61b, 61c, 61d are areas where the seals 30-1a, 30-1b, 30-1c, 30-1d are arranged.
  • the areas 62a, 62b, 62c and 62d are areas where the seals 30-2a, 30-2b, 30-2c and 30-2d are arranged.
  • the regions 63a, 63b, 63c, 63d are regions where the seals 30-3a, 30-3b, 30-3c, 30-3d are arranged.
  • the areas 64a, 64b, 64c, 64d are areas in which the seals 30-4a, 30-4b, 30-4c, 30-4d are arranged.
  • the sensor 10A is a measuring device that irradiates a laser beam to measure the distance between the point cloud constituting the subject and the sensor 10A.
  • the sensor 10A captures a visible image. Further, the sensor 10A measures the reflection intensity of laser light.
  • the sensor 10A outputs the first distance image information to the information processing device.
  • the first distance image information includes information on the distance between the point cloud forming the subject and the sensor 10A, information on the visible image, and information on the reflection intensity.
  • the sensor 10B is a measuring device that irradiates a laser beam to measure the distance between the point cloud forming the subject and the sensor 10B.
  • the sensor 10B captures a visible image. Further, the sensor 10B measures the reflection intensity of laser light.
  • the sensor 10B outputs the second distance image information to the information processing device.
  • the second distance image information includes information on the distance between the point cloud forming the subject and the sensor 10A, information on the visible image, and information on the reflection intensity.
  • the information processing apparatus generates information on the instruction screen based on the visible image of the marker placement table 30 and displays it on the display unit.
  • the information processing apparatus accepts selection of the start and end points of the first to fourth vectors and the first and second translational points from the user who refers to the instruction screen.
  • the information processing device specifies the position of each seal placed on each marker based on the information of the reflection intensity sequentially input from the sensors 10A and 10B, and based on the position of each seal, The process of calculating the position of the marker is repeatedly executed.
  • the information processing device performs a process of correcting the positions of the start and end points of the first to fourth vectors and the first and second translational points selected by the user based on the positions of the markers.
  • the information processing apparatus executes such processing, the start and end points of the first to fourth vectors selected by the user, the positions of the first and second translational points are not accurate, and some influences occur after selection. Thus, even if the positions of the markers are deviated, it is possible to specify the optimum positions of the start and end points of the first to fourth vectors and the first and second translational points.
  • FIG. 30 is a functional block diagram of the configuration of the information processing apparatus according to the fourth embodiment.
  • the information processing device 500 includes an interface unit 510, an input unit 520, a display unit 530, a storage unit 540, and a control unit 550.
  • the interface unit 510 is a communication device that receives information from the sensors 10A and 10B.
  • the interface unit 510 receives the first range image information from the sensor 10A and outputs the received first range image information to the control unit 550.
  • the interface unit 510 receives the second range image information from the sensor 10B and outputs the received second range image information to the control unit 550. Further, the interface unit 510 may be connected to the scoring device 200 described in the first embodiment.
  • the input unit 520 is an input device for inputting various information to the information processing device 500.
  • the input unit 520 corresponds to a keyboard, a mouse, a touch panel, or the like.
  • the user refers to the instruction screen and operates the input unit 520 to select the start point and end point of the first vector, the start point and end point of the second vector, and the first translation point.
  • the user also operates the input unit 520 to select the start point and end point of the third vector, the start point and end point of the fourth vector, and the second translation point.
  • the display unit 530 is a display device that displays various information output from the control unit 550.
  • the display unit 530 corresponds to a liquid crystal display, a touch panel, or the like.
  • the display unit displays an instruction screen.
  • the storage unit 540 has a distance image table 540a, parameters 540b, and a specific table 540c.
  • the storage unit 540 corresponds to a semiconductor memory device such as RAM, ROM, or flash memory, or a storage device such as HDD.
  • the distance image table 540a is a table holding the first distance image information at each time output from the sensor 10A and the second distance image information at each time output from the sensor 10B.
  • the data structure of the range image table 540a is similar to the data structure of the range image table 440a described in FIG. 26 of the third embodiment.
  • the first distance image information at each time includes the distance information measured by the sensor 10A, the visible image information, and the reflection intensity information.
  • the second distance image information at each time includes distance information, visible image information, and reflection intensity information.
  • the parameter 540b is a parameter for aligning the point cloud measured by the sensor 10A and the point cloud measured by the sensor 10B.
  • the parameter 540b includes information on the alignment rotation angle and information on the alignment translation distance.
  • the specification table 540c is a table used to specify the coordinates of the start and end points of the first to fourth vectors and the first and second translational points.
  • FIG. 31 is a diagram showing an example of the data structure of the specific table.
  • the identification table 540c has a coordinate table 541 and a coordinate table 542.
  • the coordinate table 541 is a table that holds, for the start point and the end point of the first to fourth vectors, the coordinates selected on the instruction screen and the coordinates specified from the reflection intensity information at each time.
  • the coordinate table 542 is a table that holds, for the first and second translational points, the coordinate selected on the instruction screen and the coordinate information specified from the reflection intensity information at each time.
  • the coordinate table 541 associates vector types, selection start point coordinates, selection end point coordinates, candidate start point coordinates, and candidate end point coordinates.
  • the vector type is information indicating the type of vector.
  • the vector type is any one of the first vector, the second vector, the third vector, and the fourth vector.
  • the selection start point coordinates indicate the coordinates of the start point of the vector selected by the user on the instruction screen.
  • the selected end point coordinates indicate the coordinates of the end point of the vector selected by the user on the instruction screen.
  • the candidate start point coordinates indicate the coordinates of the start point of the vector calculated based on the reflection intensity information.
  • the candidate end point coordinates indicate the coordinates of the end point of the vector calculated based on the reflection intensity information. For example, the candidate start point coordinates and the candidate end point coordinates are calculated for each time.
  • the coordinate table 542 associates the translation point type, the selected coordinate, and the candidate coordinate.
  • the translation point type is information indicating the type of translation point.
  • the type of the translational point is either the first translational point or the second translational point.
  • the selected coordinate indicates the coordinate of the translation point selected by the user on the instruction screen.
  • the candidate coordinates indicate the coordinates of the translational point calculated based on the information on the reflection intensity. For example, the candidate coordinates are calculated at each time.
  • the control unit 550 includes a first acquisition unit 550a, a provision unit 550b, a second acquisition unit 550c, a calculation unit 550d, and an output unit 550e.
  • the control unit 550 can be realized by a CPU, MPU, or the like.
  • the control unit 550 can also be realized by hard-wired logic such as ASIC or FPGA.
  • the first acquisition unit 550a acquires the first distance image information output from the sensor 10A via the interface unit 510 at each time, and registers the acquired first distance image information in the distance image table 540a.
  • the 1st acquisition part 150a acquires the 2nd distance image information output from sensor 10B for every time, and registers the acquired 2nd distance image information in distance image table 140a.
  • the other description regarding the first acquisition unit 550a is the same as the description regarding the first acquisition unit 150a described in the first embodiment.
  • the providing unit 550b is a processing unit that displays the instruction screen by generating information of the instruction screen and outputting the information of the instruction screen to the display unit 530. For example, when the providing unit 550b receives the instruction screen display request from the input unit 520, the providing unit 550b uses the visualized image of the first distance image information corresponding to the time when the request is received, and then uses the first vector and the second vector. , Generate an instruction screen for receiving the selection of the first translational point. In addition, when the providing unit 55b receives a display request for an instruction screen, the providing unit 55b uses the visualized image of the second range image information corresponding to the time when the request is received, and uses the third vector, the fourth vector, and the second translation. Generates an instruction screen for receiving a point selection.
  • the other process of the providing unit 550b generating the instruction screen is the same as the process of the providing unit 150b described in the first embodiment.
  • the second acquisition unit 550c based on the information selected by the user on the instruction screen, the first vector, the second vector, the first translation point, the third vector, the fourth vector, and the second translation point. Is a processing unit that acquires
  • the providing unit 550b displays an instruction screen for selecting the start point and end point of the first vector on the display unit 530
  • the user operates the input unit 520 to select the start point and end point of the first vector.
  • the second acquisition unit 550c acquires information on the start point and end point of the first vector from the input unit 520.
  • the information of the start point and end point of the first vector selected by the input unit 520 corresponds to the coordinates of the visible image.
  • the second acquisition unit 550c specifies the coordinates of the point corresponding to the start point of the first vector selected by the user on the instruction screen based on the first distance image information of the distance image table 540a, and specifies the specified coordinates as It is registered in the coordinate table 541 as the “selected start point coordinate” of the vector type “first vector”.
  • the second acquisition unit 550c specifies the coordinates of the point corresponding to the end point of the first vector selected by the user on the instruction screen based on the first distance image information of the distance image table 540a, and the specified coordinates are It is registered in the coordinate table 541 as the “selected end point coordinate” of the vector type “first vector”.
  • the providing unit 550b displays an instruction screen for selecting the start point and end point of the second vector on the display unit 530
  • the user operates the input unit 520 to select the start point and end point of the second vector.
  • the second acquisition unit 550c acquires information on the start point and end point of the second vector from the input unit 520.
  • the information on the start point and the end point of the second vector corresponds to the coordinates of the visible image.
  • the second acquisition unit 550c specifies the coordinates of the point corresponding to the start point of the second vector selected by the user on the instruction screen based on the first distance image information of the distance image table 540a, and specifies the specified coordinates as It is registered in the coordinate table 541 as the “selected start point coordinate” of the vector type “second vector”.
  • the second acquisition unit 550c specifies the coordinates of the point corresponding to the end point of the first vector selected by the user on the instruction screen based on the first distance image information of the distance image table 540a, and the specified coordinates are It is registered in the coordinate table 541 as the “selected end point coordinate” of the vector type “second vector”.
  • the providing unit 550b displays an instruction screen for selecting the first translation point on the display unit 530
  • the user operates the input unit 520 to select the first translation point.
  • the second acquisition unit 550c acquires information on the first translational point from the input unit 520.
  • the information on the first translational point selected by the input unit 520 corresponds to the coordinates of the visible image.
  • the second acquisition unit 550c specifies the coordinates of the point corresponding to the first translation point selected by the user on the instruction screen based on the first distance image information of the distance image table 540a, and the specified coordinates are It is registered in the coordinate table 542 as the “selected coordinate” of the translation point type “first translation point”.
  • the providing unit 550b displays an instruction screen for selecting the start point and end point of the third vector on the display unit 530
  • the user operates the input unit 520 to select the start point and end point of the third vector.
  • the second acquisition unit 550c acquires information on the start point and end point of the third vector from the input unit 520.
  • the information on the start point and the end point of the third vector selected by the input unit 520 corresponds to the coordinates of the visible image.
  • the second acquisition unit 550c specifies the coordinates of the point corresponding to the start point of the third vector selected by the user on the instruction screen, based on the second distance image information of the distance image table 540a, and specifies the specified coordinates. It is registered in the coordinate table 541 as the “selected start point coordinate” of the vector type “third vector”.
  • the second acquisition unit 550c specifies the coordinates of the point corresponding to the end point of the third vector selected by the user on the instruction screen based on the second distance image information of the distance image table 540a, and specifies the specified coordinates as It is registered in the coordinate table 541 as the “selected end point coordinate” of the vector type “third vector”.
  • the providing unit 550b displays an instruction screen for selecting the start point and end point of the fourth vector on the display unit 530
  • the user operates the input unit 520 to select the start point and end point of the fourth vector.
  • the second acquisition unit 550c acquires information on the start point and end point of the fourth vector from the input unit 520.
  • the information of the start point and end point of the fourth vector selected by the input unit 520 corresponds to the coordinates of the visible image.
  • the second acquisition unit 550c specifies the coordinates of the point corresponding to the start point of the fourth vector selected by the user on the instruction screen based on the second distance image information of the distance image table 540a, and specifies the specified coordinates as It is registered in the coordinate table 541 as the “selected start point coordinate” of the vector type “fourth vector”.
  • the second acquisition unit 550c specifies the coordinates of the point corresponding to the end point of the fourth vector selected by the user on the instruction screen based on the second distance image information of the distance image table 540a, and specifies the specified coordinates as It is registered in the coordinate table 541 as the “selected end point coordinate” of the vector type “fourth vector”.
  • the providing unit 550b displays an instruction screen for selecting the second translation point on the display unit 530
  • the user operates the input unit 520 to select the second translation point.
  • the second acquisition unit 550c acquires information on the second translational point from the input unit 520.
  • the information on the second translational point selected by the input unit 520 corresponds to the coordinates of the visible image.
  • the second acquisition unit 550c specifies the coordinates of the point corresponding to the second translation point selected by the user on the instruction screen based on the second distance image information of the distance image table 540a, and the specified coordinates are It is registered in the coordinate table 542 as the “selected coordinate” of the translation point type “second translation point”.
  • the selection start point coordinates and the selection end point coordinates of the vector type “first vector to fourth vector” are registered in the coordinate table 541.
  • Selected coordinates of the translation point type “first translation point, second translation point” are registered in the coordinate table 542.
  • the second acquisition unit 550c identifies the candidate start point coordinates and candidate end point coordinates of the first to fourth vectors and the selected coordinates of the first and second translational points.
  • the marker 30-1 is selected as the start point of the first vector and the marker 30-2 is selected as the end point of the first vector based on the instruction screen.
  • the marker 30-2 is selected as the start point of the second vector and the marker 30-4 is selected as the end point of the second vector. It is assumed that the marker 30-2 is selected as the first translation point.
  • the marker 30-2 is selected as the start point of the third vector and the marker 30-3 is selected as the end point of the third vector. It is assumed that the marker 30-2 is selected as the start point of the fourth vector and the marker 30-4 is selected as the end point of the fourth vector. It is assumed that the marker 30-2 is selected as the second translation point.
  • the second acquisition unit 550c binarizes the reflection intensity information (reflection intensity image) included in the first distance image information at time T n + 1 .
  • the time T n is the time corresponding to the first distance image information that generated the instruction screen.
  • the second acquisition unit 550c sets 0 in the reflection intensity image where the reflection intensity is less than a predetermined threshold value, and 1 in the reflection intensity image.
  • the second acquisition unit 550c labels the portion that becomes 1 in the binarized reflection intensity image.
  • the regions to be labeled are the regions 61a to 61d, 62a to 62d, 64a to 64d (63a to 63d are not included in the distance measuring range of the sensor 10A).
  • the second acquisition unit 550c compares the selection start point coordinates, the selected principal point coordinates of each vector type of the coordinate table 541 with the coordinates of the labeled area, and determines the vector type and the labeled area with a short distance. Are associated with each other.
  • the regions 61a to 61d are closest to the selected start point coordinates of the vector type “first vector”, and thus the regions 61a to 61d are associated with the start point coordinates of the vector type “first vector”.
  • the second selection unit 550c sets the coordinates of the intersection of the line segment connecting the center coordinates of the region 61a and the center coordinate of the region 61c and the line segment connecting the center coordinates of the region 61b and the center coordinate of the region 61d to the vector type “ It is specified as one candidate start point coordinate corresponding to the “first vector” and registered in the coordinate table 541.
  • the second selection unit 550c sets the coordinates of the intersection of the line segment connecting the center coordinates of the region 62a and the center coordinate of the region 62c and the line segment connecting the center coordinates of the region 62b and the center coordinate of the region 62d to the vector type “ It is specified as one candidate end point coordinate corresponding to the “first vector” and registered in the coordinate table 541.
  • the second selection unit 550c sets the coordinates of the intersection of the line segment connecting the center coordinates of the region 62a and the center coordinate of the region 62c and the line segment connecting the center coordinates of the region 62b and the center coordinate of the region 62d to the vector type “ It is specified as one candidate start point coordinate corresponding to the “second vector” and registered in the coordinate table 541.
  • the second selection unit 550c sets the coordinates of the intersection of the line segment connecting the center coordinates of the region 64a and the center coordinate of the region 64c and the line segment connecting the center coordinates of the region 64b and the center coordinate of the region 64d to the vector type “ It is specified as one candidate end point coordinate corresponding to the “second vector” and registered in the coordinate table 541.
  • the second selecting unit 550c determines the coordinates of the intersection of the line segment connecting the center coordinates of the region 62a and the center coordinate of the region 62c and the line segment connecting the center coordinates of the region 62b and the center coordinate of the region 62d with the translation point. It is specified as one candidate coordinate corresponding to the type “first translation point” and registered in the coordinate table 542.
  • the second acquisition unit 550c also performs the above processing on the first range image information at times T n + 2 , T n + 3 , T n + 4 , and T n + 5 to obtain a plurality of candidate start point coordinates corresponding to the first vector and the second vector. , A plurality of candidate end point coordinates are registered in the coordinate table 541. In addition, the second acquisition unit 550c registers a plurality of candidate coordinates corresponding to the first translational point in the coordinate table 542.
  • the second acquisition unit 550c binarizes the reflection intensity information (reflection intensity image) included in the second distance image information at time T n + 1 .
  • the time T n is the time corresponding to the second distance image information that generated the instruction screen.
  • the second acquisition unit 550c sets 0 in the reflection intensity image where the reflection intensity is less than a predetermined threshold value, and 1 in the reflection intensity image.
  • the second acquisition unit 550c labels the portion that becomes 1 in the binarized reflection intensity image.
  • the regions to be labeled are the regions 62a to 62d, 63a to 63d, 64a to 64d (61a to 61d are not included in the distance measuring range of the sensor 10B).
  • the second acquisition unit 550c compares the selection start point coordinates, the selected principal point coordinates of each vector type of the coordinate table 541 with the coordinates of the labeled area, and determines the vector type and the labeled area with a short distance. Are associated with each other.
  • the regions 62a to 62d are closest to the selected start point coordinates of the vector type “third vector”, and therefore the regions 62a to 62d are associated with the start point coordinates of the vector type “third vector”.
  • the second selection unit 550c sets the coordinates of the intersection of the line segment connecting the center coordinates of the region 62a and the center coordinate of the region 62c and the line segment connecting the center coordinates of the region 62b and the center coordinate of the region 62d to the vector type “ It is specified as one candidate start point coordinate corresponding to the “third vector” and registered in the coordinate table 541.
  • the second selection unit 550c sets the coordinates of the intersection of the line segment connecting the center coordinates of the region 63a and the center coordinate of the region 63c and the line segment connecting the center coordinates of the region 63b and the center coordinate of the region 63d to the vector type " It is specified as one candidate end point coordinate corresponding to the “third vector” and registered in the coordinate table 541.
  • the second selection unit 550c sets the coordinates of the intersection of the line segment connecting the center coordinates of the region 62a and the center coordinate of the region 62c and the line segment connecting the center coordinates of the region 62b and the center coordinate of the region 62d to the vector type “ It is specified as one candidate start point coordinate corresponding to the “fourth vector” and registered in the coordinate table 541.
  • the second selection unit 550c sets the coordinates of the intersection of the line segment connecting the center coordinates of the region 64a and the center coordinate of the region 64c and the line segment connecting the center coordinates of the region 64b and the center coordinate of the region 64d to the vector type “ It is specified as one candidate end point coordinate corresponding to the “fourth vector” and registered in the coordinate table 541.
  • the second selecting unit 550c determines the coordinates of the intersection of the line segment connecting the center coordinates of the region 62a and the center coordinate of the region 62c and the line segment connecting the center coordinates of the region 62b and the center coordinate of the region 62d with the translation point. It is specified as one candidate coordinate corresponding to the type “second translation point” and registered in the coordinate table 542.
  • the second acquisition unit 550c also performs the above processing on the second distance image information at times T n + 2 , T n + 3 , T n + 4 , and T n + 5 to obtain a plurality of candidate start point coordinates corresponding to the third vector and the fourth vector. , A plurality of candidate end point coordinates are registered in the coordinate table 541. The second acquisition unit 550c also registers a plurality of candidate coordinates corresponding to the second translational point in the coordinate table 542.
  • the second acquisition unit 550c registers each coordinate in the coordinate tables 541 and 542 shown in FIG.
  • the second acquisition unit 550c compares the selection start point coordinate of a certain vector type with a plurality of candidate start point coordinates corresponding to this vector type, and determines the candidate start point coordinate of the distance closest to the selection start point coordinate as the final vector. Specify as the starting point coordinates.
  • the second acquisition unit 550c compares the selected end point coordinate of a certain vector type with a plurality of candidate end point coordinates corresponding to this vector type, and determines the candidate end point coordinate of the distance closest to the selected end point coordinate as the final vector. Specify as the end point coordinates.
  • the second acquisition unit 550c compares the selected starting point coordinates corresponding to the vector type “first vector” with each candidate starting point coordinate, and determines the closest candidate starting point coordinate as the final starting point coordinate of the first vector. Identify. The second acquisition unit 550c compares the selected end point coordinates corresponding to the vector type “first vector” with each candidate end point coordinate, and specifies the closest candidate end point coordinate as the final end point coordinate of the first vector. .
  • the second acquisition unit 550c specifies the final start point coordinates and end point coordinates by performing the same processing for the other vector types “second vector, third vector, and fourth vector”.
  • the second acquisition unit 550c compares the selected coordinate of a certain translation point type with a plurality of candidate coordinates corresponding to this translation point type, and determines the candidate coordinate having the distance closest to the selected coordinate as the final translation point. Specific coordinates.
  • the second acquisition unit 550c compares the selected coordinates corresponding to the translation point type “first translation point” with each candidate coordinate, and determines the closest candidate coordinate as the final translation point of the first translation point. Specify as coordinates.
  • the second acquisition unit 550c compares the selected coordinates corresponding to the translation point type “second translation point” with each candidate coordinate, and determines the closest candidate coordinate as the final coordinate of the second translation point. Identify.
  • the second selection unit 550c identifies the identification information of the point corresponding to the final starting point coordinates of the first vector from each point group based on the first distance image information of the distance image table 540a.
  • the identification information of the point corresponding to the start point of the first vector will be referred to as “first start point identification information”.
  • the 2nd acquisition part 550c specifies the identification information of the point corresponding to the final end point coordinate of the 1st vector from each point group based on the 1st distance image information of distance image table 540a.
  • the identification information of the point corresponding to the end point of the first vector will be referred to as “first end point identification information”.
  • the second selection unit 550c identifies the identification information of the point corresponding to the final starting point coordinates of the second vector from each point group based on the first distance image information of the distance image table 540a.
  • the identification information of the point corresponding to the start point of the second vector will be referred to as "second start point identification information”.
  • the 2nd acquisition part 550c specifies the identification information of the point corresponding to the final end point coordinate of the 2nd vector from each point group based on the 1st distance image information of distance image table 540a.
  • the identification information of the point corresponding to the end point of the second vector will be referred to as “second end point identification information”.
  • the second selection unit 550c identifies the identification information of the point corresponding to the final start point coordinates of the third vector from each point group based on the second distance image information of the distance image table 540a.
  • the identification information of the point corresponding to the start point of the third vector will be referred to as “third start point identification information”.
  • the 2nd acquisition part 550c specifies the identification information of the point corresponding to the final end point coordinate of the 3rd vector from each point group based on the 2nd distance image information of distance image table 540a.
  • the identification information of the point corresponding to the end point of the third vector will be referred to as “third end point identification information”.
  • the second selection unit 550c identifies the identification information of the point corresponding to the final starting point coordinates of the fourth vector from each point group based on the second distance image information of the distance image table 540a.
  • the identification information of the point corresponding to the start point of the fourth vector will be referred to as “fourth start point identification information”.
  • the 2nd acquisition part 550c specifies the identification information of the point corresponding to the final end point coordinate of the 4th vector from each point group based on the 2nd distance image information of distance image table 540a.
  • the identification information of the point corresponding to the end point of the fourth vector will be referred to as “fourth end point identification information”.
  • the second acquisition unit 550c identifies the identification information of the point corresponding to the final coordinate of the first translation point from each point group based on the first range image information of the range image table 540a.
  • the identification information of the point corresponding to the first translation point will be referred to as "first translation point identification information”.
  • the second acquisition unit 550c specifies the identification information of the point corresponding to the final coordinate of the second translation point from each point group based on the second distance image information of the distance image table 540a.
  • the identification information of the point corresponding to the second translation point will be referred to as "second translation point identification information”.
  • the second acquisition unit 550c outputs the first start point identification information, the first end point identification information, the second start point identification information, the second end point identification information, and the first translation point identification information to the calculation unit 550d.
  • the second acquisition unit 550c outputs the third start point identification information, the third end point identification information, the fourth start point identification information, the fourth end point identification information, and the second translation point identification information to the calculation unit 550d.
  • the calculation unit 550d calculates a rotation angle and a translation distance for alignment based on the first vector, the second vector, the third vector, the fourth vector, the first translation point, and the second translation point. Is.
  • the calculation unit 550d stores the calculated rotation angle and translation distance information in the storage unit 540 as the parameter 540b.
  • the processing of the calculation unit 550d is the same as the processing of the calculation unit 150d described in the first embodiment.
  • the output unit 550e is a processing unit that outputs the parameter 540b to an external device such as the scoring device 200 described in the first embodiment.
  • 32 and 33 are flowcharts illustrating the processing procedure of the information processing apparatus according to the fourth embodiment.
  • the first acquisition unit 550a of the information processing device 400 acquires the first distance image information and the second distance image information from the sensors 10A and 10B (step S501).
  • the providing unit 550b of the information processing device 500 generates information on the instruction screen and causes the display unit 530 to display the instruction screen (step S502).
  • the second acquisition unit 550c of the information processing device 500 acquires the start point and end point of the first vector, the start point and end point of the second vector, and the first translation point from the point cloud of the sensor 10A based on the selection made by the user. Yes (step S503).
  • the second acquisition unit 550c acquires the start point and end point of the third vector, the start point and end point of the fourth vector, and the second translation point from the point group of the sensor 10B based on the selection by the user (step S504). .
  • the second acquisition unit 550c acquires the reflection intensity image of the next first range image information and the reflection range image information of the next second range image information (step S505).
  • the second acquisition unit 550c binarizes the reflection intensity image of the first distance image information and the reflection distance image information of the second distance image information (step S506).
  • the second acquisition unit 550c labels the binarized reflection intensity image, and associates each labeled region with the start and end points of the first to fourth vectors and the coordinates of the first and second translation points (step S507). .
  • the second acquisition unit 550c registers the candidate start point coordinates and candidate end point coordinates of the first vector, the candidate start point coordinates and candidate end point coordinates of the second vector, and the candidate coordinate points of the first translation point in the identification table 540c (step S508). .
  • the second acquisition unit 550c registers the candidate start point coordinates and candidate end point coordinates of the third vector, the candidate start point coordinates and candidate end point coordinates of the fourth vector, and the candidate coordinates of the second translation point in the specific table 540c (step S509). .
  • step S510 When the information processing device 500 has not acquired the first distance image information and the second distance image information a predetermined number of times (a preset number of times) (step S510, No), the process proceeds to step S505. On the other hand, when the information processing apparatus 500 has acquired the first distance image information and the second distance image information a predetermined number of times (step S510, Yes), the information processing apparatus 500 proceeds to step S511 of FIG.
  • the second acquisition unit 550c compares the selection start point coordinates and the selection end point coordinates of the first vector, the selection start point coordinates and the selection end point of the second vector, and the selection coordinates of the first translation point with each candidate coordinate point (step S511). ).
  • the second acquisition unit 550c determines the start point coordinates and end point coordinates of the first vector, the start point coordinates and end point coordinates of the second vector, and the coordinates of the first translation point (step S512).
  • the second acquisition unit 550c compares the selection start point coordinates and the selection end point coordinates of the third vector, the selection start point coordinates and the selection end point of the fourth vector, and the selection coordinates of the second translation point with each of the candidate coordinates (step S513). ). The second acquisition unit 550c determines the start and end coordinates of the fourth vector, the start and end coordinates of the fourth vector, and the coordinates of the second translation point (step S514).
  • the calculation unit 550d of the information processing device 500 converts the first to fourth vectors into unit vectors (step S515).
  • the calculation unit 550d moves the first to fourth vectors so that the start point becomes the origin of the three-dimensional coordinates (step S516).
  • the calculation unit 550d calculates the rotation angle (positioning rotation angle) of the end point of the sensor 10B that minimizes the total distance D (step S517).
  • the calculation unit 550d rotates the second translational point by the alignment rotation angle (step S518).
  • the calculation unit 550d calculates the difference between the coordinate of the first translation point and the coordinate of the rotated second translation point as the translation distance (positioning translation distance) (step S519).
  • the calculation unit 550d stores the alignment rotation angle and the alignment translation distance in the storage unit 540 as the parameter 540b (step S520).
  • the information processing device 500 specifies the coordinates of each seal placed on each marker based on the reflection intensity images sequentially input from the sensors 10A and 10B, and based on the coordinates of each seal, the coordinates of each marker.
  • the process of calculating is repeatedly executed.
  • the information processing apparatus 500 performs a process of correcting the coordinates of the start and end points of the first to fourth vectors and the first and second translational points selected by the user based on the position of each marker.
  • the positions of the start point and the end point of the first to fourth vectors and the first and second translation points selected by the user are not correct, or after being selected, Even if the position of the marker is deviated due to the influence, it is possible to specify the optimum positions of the start point and end point of the first to fourth vectors and the first and second translational points.
  • FIG. 34 is a diagram illustrating an example of the hardware configuration of a computer that realizes the same functions as the information processing apparatus according to the present embodiment.
  • the computer 600 includes a CPU 601 that executes various arithmetic processes, an input device 602 that receives data input from a user, and a display 603. Further, the computer 600 has a reading device 604 for reading a program or the like from a storage medium, and an interface device 605 for exchanging data with an external device or the like via a wired or wireless network. The interface device 605 is connected to the sensors 10A, 10B and the like. Further, it may be connected to the scoring device 200. The computer 600 has a RAM 606 for temporarily storing various information and a hard disk device 607. Each of the devices 601 to 607 is connected to the bus 608.
  • the hard disk device 607 has a first acquisition program 607a, a provision program 607b, a second acquisition program 607c, a calculation program 607d, and an output program 607e.
  • the CPU 601 reads the first acquisition program 607a, the provision program 607b, the second acquisition program 607c, the calculation program 607d, and the output program 607e and loads them in the RAM 406.
  • the first acquisition program 607a functions as the first acquisition process 606a.
  • the providing program 607b functions as a providing process 606b.
  • the second acquisition program 607c functions as the second acquisition process 606c.
  • the calculation program 607d functions as the calculation process 607d.
  • the output program 607e functions as the output process 607e.
  • the process of the first acquisition process 606a corresponds to the process of the first acquisition unit 150a, 350a, 450a, 550a.
  • the processing of the providing process 606b corresponds to the processing of the providing units 150b, 450b, 550b.
  • the processing of the second acquisition process 606c corresponds to the processing of the second acquisition units 150c, 350b, 450c, 550c.
  • the processing of the calculation process 606d corresponds to the processing of the calculation units 150d, 350c, 450d and 550d.
  • the processing of the output process 606e corresponds to the processing of the output units 150e, 350d, 450e, 550e.
  • the programs 607a to 607e do not necessarily have to be stored in the hard disk device 507 from the beginning.
  • each program is stored in a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, an IC card, which is inserted into the computer 600. Then, the computer 600 may read out and execute each of the programs 607a to 607e.
  • a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, an IC card
  • FIG. 35 is a diagram showing an example of the hardware configuration of a computer that realizes the same functions as the scoring device according to the present embodiment.
  • the computer 700 includes a CPU 701 that executes various arithmetic processes, an input device 702 that receives data input from a user, and a display 703.
  • the computer 700 also includes a reading device 704 that reads a program or the like from a storage medium, and an interface device 705 that exchanges data with an external device or the like via a wired or wireless network.
  • the computer 700 has a RAM 706 for temporarily storing various information and a hard disk device 707. Then, each of the devices 701 to 707 is connected to the bus 708.
  • the hard disk device 707 has an acquisition program 707a, an alignment program 707b, a recognition program 707c, and an output program 707d.
  • the CPU 701 reads the acquisition program 707a, the alignment program 707b, the recognition program 707c, and the output program 707d, and expands them in the RAM 706.
  • the acquisition program 707a functions as an acquisition process 706a.
  • the registration program 707b functions as a registration process 706b.
  • the recognition program 707c functions as a recognition process 706c.
  • the process of the output process 706a corresponds to the process of the output unit 350d.
  • the programs 707a to 707d do not necessarily have to be stored in the hard disk device 707 from the beginning.
  • each program is stored in a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, an IC card, which is inserted into the computer 700. Then, the computer 700 may read out and execute each of the programs 707a to 707d.
  • a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, an IC card

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置は、第１センサにより測距された第１測定情報から、第１ベクトル（１６Ａ－１）と、第２ベクトル（１６Ａ－２）と、第１並進用点（１７Ａ）とを取得する。情報処理装置は、第２センサにより測距された第２測定情報から、第３ベクトル（１６Ｂ－３）と、第４ベクトル（１６Ｂ－４）と、第２並進用点（１７Ｂ）とを取得する。第１ベクトル（１６Ａ－１）と、第３ベクトルと（１６Ｂ－３）は、実空間上で平行かつ向きが同じベクトルである。第２ベクトル（１６Ａ－２）と、第４ベクトル（１６Ｂ－４）とは、実空間上で平行かつ向きが同じベクトルである。第１並進用点（１７Ａ）と第１並進用点（１７Ｂ）とは、実空間上で同じ位置にある。情報処理装置は、第１～第４ベクトル、第１、２並進用点を基にして、回転角度および並進距離を算出し、記憶装置に記憶する。

Description

算出方法、算出プログラムおよび情報処理装置
　本発明は、算出方法等に関する。
　レーザセンサ等の距離測定装置を用いて、被写体の３次元点群を検出し、被写体の姿勢等を認識する技術がある。以下の説明では、被写体の３次元点群を検出するレーザセンサを単に「センサ」と表記する。
　１台のセンサを用いると、センサ側（一方向）から見た被写体の３次元点群を得ることができるが、センサの反対側から見た被写体の３次元点群を得ることができないため、被写体の姿勢等の認識精度が悪くなる場合があった。このため、複数のセンサを用い、複数の方向から見た被写体の３次元点群を得ることで、被写体の姿勢等の認識精度を向上させている。
　ここで、複数のセンサを用いて被写体の３次元点群を検出する場合には、各センサから検出した各３次元点群を位置合わせして、一つの３次元点群に統合する処理を行う。以下の説明では、各センサから検出した各３次元点群を位置合わせして、一つの３次元点群に統合する処理を「キャリブレーション」と表記する。
　キャリブレーションに関する従来技術として、ＩＣＰ（Iterative　Closest　Point）を用いた従来装置がある。この従来装置は、第１の３次元点群を並進、回転させつつ、第１の３次元点群の近傍点と、固定した第２の３次元点群の近傍点との距離が最小となる値を探索することで、第１の３次元点群と第２の３次元点群とを位置合わせするための、並進値、回転角を特定する。
特開２０１３－１６１１３３号公報 特開２０１７－１０６７４９号公報 特開２０１７－１６６８４６号公報
P.J.Besl　and　N.D.McKay,"A　method　for　registration　of　3-D　shapes,"IEEE　Transactions　on　Pattern　Analysis　and　Machine　Intelligence,vol.14,no.2,pp.239-256,1992.
　しかしながら、上述した従来技術では、複数のセンサが測距した各点群の位置合わせを行うことができないという問題がある。
　図３６は、第１のセンサ配置例を示す図である。図３６に示す例では、センサ１Ａとセンサ１Ｂとが向かい合わせに配置されている。また、測距の対象範囲を「範囲５」とする。範囲５については、センサ１Ａ，１Ｂによる測距可能な範囲の重なりが大きいため、従来技術に基づいて、センサ１Ａの３次元点群とセンサ１Ｂの３次元点群との位置合わせを行うことができる。
　図３７は、第１のセンサ配置例の測距結果の一例を示す図である。図３７において、測定結果（３次元点群）２Ａは、センサ１Ａの測定結果である。測定結果（３次元点群）２Ｂは、センサ１Ｂの測定結果である。たとえば、測定結果２Ａ，２Ｂは、共通部分を特定することが容易であり、センサ１Ａの３次元点群とセンサ１Ｂの３次元点群との位置合わせを行うことができる。
　ここで、センサには、距離が遠いほど測距できる範囲は広くなるが、３次元点群の密度が低くなるという特性がある。また、センサには、距離が近いほど測距できる範囲は狭くなるが、３次元点群の密度が高くなるという特性がある。
　測距の対象範囲が広くなった場合には、センサをより遠くに配置することで、測距の対象範囲全体をカバーできるようになるが、３次元点群の密度が低くなり、被写体の姿勢等の認識精度を得ることができない可能性がある。このため、図３８に示すように、複数のセンサを配置する場合がある。
　図３８は、第２のセンサ配置例を示す図である。図３８に示す例では、センサ１Ａの横方向にセンサ１Ｂが配置されている。センサ１Ｃの横方向にセンサ１Ｄが配置されている。センサ１Ａとセンサ１Ｃとが向かい合わせに配置されている。センサ１Ｂとセンサ１Ｄとが向かい合わせに配置されている。測距の対象範囲を「範囲６Ａ」とする。センサ１Ａとセンサ１Ｃとの組、センサ１Ｂとセンサ１Ｄとの組は、各センサの測距可能な範囲の重なりが大きいため、各３次元点群の位置合わせを行うことができる。しかし、センサ１Ａとセンサ１Ｂとの組、センサ１Ｃとセンサ１Ｄとの組は、各センサの測距可能な範囲の重なりが少ないため、従来技術により、各３次元点群の位置合わせを行うことが難しい。
　図３９は、第２のセンサ配置例の測距結果の一例を示す図（１）である。図３９において、測定結果（３次元点群）３Ａは、センサ１Ａの測定結果である。測定結果（３次元点群）３Ｂは、センサ１Ｂの測定結果である。図３９では、図３７に示した場合と異なり、共通部分を特定することが困難である。
　図４０は、第２のセンサ配置例の測定結果の一例を示す図（２）である。たとえば、測定結果３Ａの範囲４Ａと、測定結果３Ｂの範囲４Ｂとを共通範囲として取り出したとしても、共通範囲に含まれる３次元点群の数が少なく、十分特徴的な形をしていない場合がある。共通範囲に含まれる３次元点群の数が少ないと、範囲４Ａと範囲４Ｂとの位置合わせを行う場合に、回転なしでよいのか、９０度回転でよいのか、１８０°回転でよいのか等を判定することが難しく、位置合わせを行うことができない。
　上記のように、２つのセンサの測距範囲の重なりが少なく、各センサの重なり部分に含まれる３次元点群が少ないと、位置合わせを行うことができない。
　１つの側面では、本発明は、２つのセンサの測距範囲の重なりが少なく、各センサの重なり部分に含まれる３次元点群が少ない場合にも、複数のセンサが測距した各点群の位置合わせを行うための情報を生成する算出方法、算出プログラムおよび情報処理装置を提供することを目的とする。
　第１の案では、コンピュータが次の処理を実行する。コンピュータは、第１センサにより測距された被写体までの距離の情報を含む第１測定情報と、第２センサにより測距された被写体までの距離の情報を含む第２測定情報とを取得する。コンピュータは、第１測定情報から、第１ベクトルと、第１ベクトルとは異なる向きの第２ベクトルと、第１並進用点とを取得する。コンピュータは、第２測定情報から、第１ベクトルと実空間上で平行かつ向きが同じベクトルとして取り扱われる第３ベクトルと、第２ベクトルと実空間上で平行かつ向きが同じベクトルとして取り扱われる第４ベクトルと、実空間上で第１並進用点と同じ位置にあるとして取り扱われる第２並進用点との情報を取得する。コンピュータは、第１ベクトルの終点、第２ベクトルの終点、第１並進用点、第３ベクトルの終点、第４ベクトルの終点、第２並進用点を基にして、第１センサに測距される被写体の点群に対して、第２センサにより測距される被写体の点群の位置合わせを行うための、回転角度および並進距離を算出する。コンピュータは、回転角度および並進距離を記憶装置に記憶する。
　２つのセンサの測距範囲の重なりが少なく、各センサの重なり部分に含まれる３次元点群が少ない場合にも、複数のセンサが測距した各点群の位置合わせを行うための情報を生成することができる。
図１は、本実施例１に係るシステムの一例を示す図である。 図２は、壁の外観の一例を示す図である。 図３は、各距離画像情報に含まれる点群の一例を示す図である。 図４は、各可視画像の一例を示す図である。 図５は、本実施例１に係るインストラクション画面の一例を示す図（１）である。 図６は、本実施例１に係るインストラクション画面の一例を示す図（２）である。 図７は、本実施例１に係るインストラクション画面の一例を示す図（３）である。 図８は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。 図９は、本実施例１に係る距離画像テーブルのデータ構造の一例を示す図である。 図１０は、第１～第４ベクトルおよび第１、２並進用点の一例を示す図である。 図１１は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。 図１２は、持ち運び可能なマーカ配置台の一例を示す図である。 図１３は、採点装置の構成を示す機能ブロック図である。 図１４は、採点画面の一例を示す図である。 図１５は、採点装置の位置合わせ部の処理手順を示すフローチャートである。 図１６は、位置合わせ後の第１点群と第２点群との一例を示す図である。 図１７は、本実施例２で用いるマーカの一例を示す図である。 図１８は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。 図１９は、マーカ定義情報のデータ構造の一例を示す図である。 図２０は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。 図２１は、平行台で演技する選手を示す図である。 図２２は、本実施例３に係るインストラクション画面の一例を示す図（１）である。 図２３は、本実施例３に係るインストラクション画面の一例を示す図（２）である。 図２４は、本実施例３に係るインストラクション画面の一例を示す図（３）である。 図２５は、本実施例３に係る情報処理装置の構成を示す機能ブロック図である。 図２６は、本実施例３に係る距離画像テーブルのデータ構造の一例を示す図である。 図２７は、本実施例３に係る情報処理装置の処理手順を示すフローチャートである。 図２８は、本実施例４で用いるマーカの一例を示す図である。 図２９は、シールが付与された各マーカの反射強度画像の一例を示す図である。 図３０は、本実施例４に係る情報処理装置の構成を示す機能ブロック図である。 図３１は、特定テーブルのデータ構造の一例を示す図である。 図３２は、本実施例４に係る情報処理装置の処理手順を示すフローチャート（１）である。 図３３は、本実施例４に係る情報処理装置の処理手順を示すフローチャート（２）である。 図３４は、本実施例に係る情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図３５は、本実施例に係る採点装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図３６は、第１のセンサ配置例を示す図である。 図３７は、第１のセンサ配置例の測距結果の一例を示す図である。 図３８は、第２のセンサ配置例を示す図である。 図３９は、第２のセンサ配置例の測距結果の一例を示す図（１）である。 図４０は、第２のセンサ配置例の測距結果の一例を示す図（２）である。
　以下に、本発明にかかる算出方法、算出プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
　図１は、本実施例１に係るシステムの一例を示す図である。図１に示すように、このシステムは、センサ１０Ａ、センサ１０Ｂと、情報処理装置１００とを有する。センサ１０Ａおよびセンサ１０Ｂの測距の方向を、壁１５の方向とする。センサ１０Ａおよびセンサ１０Ｂは、横方向に並んで配置されている。情報処理装置１００は、センサ１０Ａおよびセンサ１０Ｂに接続される。
　図２は、壁の外観の一例を示す図である。図２に示すように、この壁１５には、複数のマークが配置されている。たとえば、壁１５上において、センサ１０Ａの測距可能な範囲を範囲１５Ａとし、センサ１０Ｂの測距可能な範囲を範囲１５Ｂとする。
　たとえば、マーク１５－１１～１５－１９は、水平方向に並んでいる。マーク１５－２４～１５－２６は、水平方向に並んでいる。マーク１５－３１～１５－３９は、水平方向に並んでいる。マーク１５－１１～１５－１９を通る直線、マーク１５－２４～１５－２６を通る直線、マーク１５－３１～１５－３９を通る直線は、それぞれ平行となる。
　また、マーク１５－１４，１５－２４，１５－３４を通る直線と、マーク１５－１１～１５－１９を通る直線とのなす角度を９０度とする。マーク１５－１５，１５－２５，１５－３５を通る直線と、マーク１５－１１～１５－１９を通る直線とのなす角度を９０度とする。マーク１５－１６，１５－２６，１５－３６を通る直線と、マーク１５－１１～１５－１９を通る直線とのなす角度を９０度とする。
　センサ１０Ａは、レーザ光を照射して、被写体（壁１５）を構成する点群とセンサ１０Ａとの距離を測距する測定装置である。また、センサ１０Ａは、可視画像を撮影する。センサ１０Ａは、第１距離画像情報を、情報処理装置１００に出力する。第１距離画像情報は、被写体（壁１５）を構成する点群とセンサ１０Ａとの距離の情報と、可視画像の情報を含む。本実施例で記載する可視画像は、一般的なカメラによって撮像される画像に対応するものである。
　センサ１０Ｂは、レーザ光を照射して、被写体（壁１５）を構成する点群とセンサ１０Ｂとの距離を測距する測定装置である。また、センサ１０Ｂは、可視画像を撮影する。センサ１０Ｂは、第２距離画像情報を、情報処理装置１００に出力する。第２距離画像情報は、被写体（壁１５）を構成する点群とセンサ１０Ｂとの距離の情報と、可視画像の情報を含む。
　図３は、各距離画像情報に含まれる点群の一例を示す図である。図３では一例として、各点群を反射強度に応じて示す。点群１６Ａは、センサ１０Ａにより測距された点群である。点群１６Ｂは、センサ１０Ｂにより測距された点群である。
　図４は、各可視画像の一例を示す図である。図４において、画像１８Ａは、センサ１０Ａに撮影される可視画像である。画像１８Ｂは、センサ１０Ｂに撮影される可視画像である。
　図１の説明に戻る。情報処理装置１００は、第１距離画像情報と、第２距離画像情報とを基にして、センサ１０Ａにより測距された点群と、センサ１０Ｂにより測距された点群との位置合わせを行うためのパラメータを算出する装置である。パラメータには、回転角度と並進距離とが含まれる。
　情報処理装置１００は、各点群の位置合わせを行う場合には、第１距離画像情報および第２距離画像情報から、回転合わせ用のベクトルと、並進合わせ用の点を検出する。
　本実施例１では、第１距離画像情報から検出する回転合わせ用のベクトルを「第１ベクトル」、「第２ベクトル」と表記する。第１距離画像情報から検出する並進合わせ用の点を、「第１並進用点」と表記する。
　また、第２距離画像情報から検出する回転合わせ用のベクトルを「第３ベクトル」、「第４ベクトル」と表記する。第２距離画像情報から検出する並進合わせ用の点を、「第２並進用点」と表記する。
　ここで、第１ベクトルと第３ベクトルとは「条件１」を満たすものとする。条件１は「第１ベクトルの方向と第３ベクトルの方向とは、実空間上で同じ方向である。」という条件である。なお、第１ベクトルの位置と第３ベクトルの位置とは、実空間上で同じでなくてもよい。第１ベクトルの長さと、第３ベクトルの長さとは、実空間上で同じでなくてもよい。
　第２ベクトルと第４ベクトルとは「条件２」を満たすものとする。条件２は「第２ベクトルの方向と第４ベクトルの方向とは、実空間上で同じ方向である」という条件である。なお、第２ベクトルの位置と第４ベクトルの位置とは、実空間上で同じでなくてもよい。第２ベクトルの長さと、第４ベクトルの長さとは、実空間上で同じでなくてもよい。
　第１ベクトル（第３ベクトル）と第２ベクトル（第４ベクトル）とは「条件３」を満たすものとする。条件３は「第１ベクトル（第３ベクトル）と第２ベクトル（第４ベクトル）とは、実空間上で同じ方向ではなく、かつ、逆方向ではない」という条件である。第１ベクトル（第３ベクトル）と第２ベクトル（第４ベクトル）とのなす角度は、９０度に近い角度であることが望ましい。
　第１並進用点と、第２並進用点とは「条件４」を満たすものとする。条件４は「第１並進用点の位置と、第２並進用点の位置とは、実空間上で同じ位置である」という条件である。
　本実施例１に係る情報処理装置１００は、センサ１０Ａ、１０Ｂの可視画像に基づくインストラクション画面を生成して表示し、ユーザから、第１～第４ベクトルの始点および終点、第１、２並進用点の選択を受け付ける。ユーザは、第１～第４ベクトルの始点および終点、第１、２並進用点を選択する場合には、上記の条件１～４を満たすようにする。
　図５は、本実施例１に係るインストラクション画面の一例を示す図（１）である。図５に示すインストラクション画面２０は、センサ１０Ａの可視画像に基づき生成される画面である。ユーザは、インストラクション画面２０を参照し、情報処理装置１００の入力装置を操作して、第１ベクトルの始点と、第１ベクトルの終点とを選択する。図５に示す例では、第１ベクトルの始点として点２０ａが選択され、第１ベクトルの終点として点２０ｂが選択されている。
　図示を省略するが、情報処理装置１００は、センサ１０Ｂの可視画像に基づき、第３ベクトルの選択を受け付けるインストラクション画面を表示する。ユーザは、かかるインストラクション画面を参照し、第３ベクトルの始点と、第３ベクトルの終点とを選択する。ユーザは、第１ベクトルと第３ベクトルとを選択する場合には、第１ベクトルと第３ベクトルとが条件１を満たすようにする。
　図６は、本実施例１に係るインストラクション画面の一例を示す図（２）である。図６に示すインストラクション画面２１は、センサ１０Ａの可視画像に基づき生成される画面である。ユーザは、インストラクション画面２１を参照し、情報処理装置１００の入力装置を操作して、第２ベクトルの始点と、第２ベクトルの終点とを選択する。図６に示す例では、第２ベクトルの始点として点２０ａが選択され、第２ベクトルの終点として点２０ｃが選択されている。
　図示を省略するが、情報処理装置１００は、センサ１０Ｂの可視画像に基づき、第４ベクトルの選択を受け付けるインストラクション画面を表示する。ユーザは、かかるインストラクション画面を参照し、第４ベクトルの始点と、第４ベクトルの終点とを選択する。ユーザは、第２ベクトルと第４ベクトルとを選択する場合には、第２ベクトルと第４ベクトルとが条件２を満たすようにする。ユーザは、第１ベクトルと第２ベクトルとが、条件３を満たすようにする。ユーザは、第３ベクトルと第４ベクトルとが、条件３を満たすようにする。
　図７は、本実施例１に係るインストラクション画面の一例を示す図（３）である。図７に示すインストラクション画面２２は、センサ１０Ａの可視画像に基づき生成される画面である。ユーザは、インストラクション画面２２を参照し、情報処理装置１００の入力装置を操作して、第１並進用点を選択する。図７に示す例では、第１並進用点として、点２０ａが選択されている。
　図示を省略するが、情報処理装置１００は、センサ１０Ｂの可視画像に基づき、第２並進用点を受け付けるインストラクション画面を表示する。ユーザは、かかるインストラクション画面を参照し、第２並進用点を選択する。ユーザは、第１並進用点の位置と、第２並進用点の位置とが、条件４を満たすようにする。
　上記のように、情報処理装置１００は、インストラクション画面を表示して、ユーザから、第１ベクトルの始点および終点、第２ベクトルの始点および終点、第１並進用点を受け付ける。また、情報処理装置１００は、インストラクション画面を表示して、ユーザから、第３ベクトルの始点および終点、第４ベクトルの始点および終点、第２並進用点を受け付ける。
　情報処理装置１００は、第１～第４ベクトル、第１、２並進用点を基にして、センサ１０Ａに測距された点群と、センサ１０Ｂに測距された点群との位置合わせするためのパラメータを算出する。このように、第１～第４ベクトル、第１、２並進用点を特定するための指示を、インストラクション画面を用いて、ユーザから受け付けることで、センサ１０Ａの測距範囲と、センサ１０Ｂの測距範囲との共通範囲に含まれる３次元点群の数が少なく、十分特徴的な形をしていない場合でも、位置合わせを行うことができる。
　続いて、本実施例１に係る情報処理装置１００の構成の一例について説明する。図８は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。図８に示すように、この情報処理装置１００は、インタフェース部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。
　インタフェース部１１０は、センサ１０Ａおよびセンサ１０Ｂから情報を受信する通信装置である。インタフェース部１１０は、センサ１０Ａから、第１距離画像情報を受信し、受信した第１距離画像情報を、制御部１５０に出力する。インタフェース部１１０は、センサ１０Ｂから、第２距離画像情報を受信し、受信した第２距離画像情報を、制御部１５０に出力する。また、インタフェース部１１０は、後述する採点装置と接続していてもよい。
　入力部１２０は、各種の情報を情報処理装置１００に入力するための入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。ユーザは、図５～図７に示したインストラクション画面を参照し、入力部１２０を操作して、第１ベクトルの始点および終点、第２ベクトルの始点および終点、第１並進用点を選択する。また、ユーザは、入力部１２０を操作して、第３ベクトルの始点および終点、第４ベクトルの始点および終点、第２並進用点を選択する。
　表示部１３０は、制御部１５０から出力される各種の情報を表示する表示装置である。たとえば、表示部１３０は、液晶ディスプレイ、タッチパネル等に対応する。たとえば、表示部は、図５～図７に示したインストラクション画面を表示する。
　記憶部１４０は、距離画像テーブル１４０ａと、パラメータ１４０ｂとを有する。記憶部１４０は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ（Flash　Memory）などの半導体メモリ素子や、ＨＤＤ（Hard　Disk　Drive）などの記憶装置に対応する。
　距離画像テーブル１４０ａは、センサ１０Ａから出力される第１距離画像情報と、センサ１０Ｂから出力される第２距離画像情報とを保持するテーブルである。図９は、本実施例１に係る距離画像テーブルのデータ構造の一例を示す図である。
　図９に示すように、この距離画像テーブル１４０ａは、第１距離画像情報と、第２距離画像情報とを有する。第１距離画像情報には、センサ１０Ａに測距された点群の座標情報（各点の３次元座標）と、センサ１０Ａに撮影された可視画像の情報とを有する。各点群は、可視画像の各位置に対応付けられているものとする。図示を省略するが、各点には、点を一意に識別する番号が付与される。
　第２距離画像情報には、センサ１０Ｂに測距された各点群の座標情報（各点の３次元座標）と、センサ１０Ｂに撮影された可視画像の情報とを有する。各点群は、可視画像の各位置に対応付けられているものとする。図示を省略するが、各点には、点を一意に識別する番号が付与される。
　パラメータ１４０ｂは、センサ１０Ａに測距される点群と、センサ１０Ｂに測距される点群との位置合わせを行うためのパラメータである。パラメータ１４０ｂには、位置合わせ回転角度の情報と、位置合わせ並進距離の情報とが含まれる。
　制御部１５０は、第１取得部１５０ａと、提供部１５０ｂと、第２取得部１５０ｃと、算出部１５０ｄと、出力部１５０ｅとを有する。制御部１５０は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）などのハードワイヤードロジックによっても実現できる。
　第１取得部１５０ａは、インタフェース部１１０を介して、センサ１０Ａから第１距離画像情報を取得し、取得した第１距離画像情報を距離画像テーブル１４０ａに登録する。第１取得部１５０ａは、センサ１０Ｂから第２距離画像情報を取得し、取得した第２距離画像情報を距離画像テーブル１４０ａに登録する。
　第１取得部１５０ａは、第１距離画像情報を距離画像テーブル１４０ａに登録する場合に、各点群とセンサ１０Ａとの距離の情報を、３次元座標情報に変換する。たとえば、第１取得部１５０ａは、距離の情報を、３次元座標情報に変換する場合に、距離を３次元座標に変換する変換テーブルを利用する。
　第１取得部１５０ａは、第２距離画像情報を距離画像テーブル１４０ａに登録する場合に、各点群とセンサ１０Ｂとの距離の情報を、３次元座標情報に変換する。たとえば、第１取得部１５０ａは、距離の情報を、３次元座標情報に変換する場合に、距離を３次元座標に変換する変換テーブルを利用する。
　提供部１５０ｂは、インストラクション画面の情報を生成し、インストラクション画面の情報を、表示部１３０に出力することで、インストラクション画面を表示させる処理部である。表示部１３０に表示されるインストラクション画面は、図５～図７等に示したインストラクション画面２０，２１，２２等に対応する。
　提供部１５０ｂは、距離画像テーブル１４０ａに格納された可視画像を基にして、インストラクション画面を生成する。提供部１５０ｂは、第１ベクトル、第２ベクトル、第１並進用点の選択を受けるためのインストラクション画面を、第１距離画像情報の可視画像を用いて生成する。提供部１５０ｂは、インストラクション画面の情報を生成する場合に、第１ベクトルの始点および終点を選択するのか、第２ベクトルの始点および終点を選択するのか、第１並進用点を選択するのかを区別するコメントを付与する。
　提供部１５０ｂは、第３ベクトル、第４ベクトル、第２並進用点の選択を受けるためのインストラクション画面を、第２距離画像情報の可視画像を用いて生成する。提供部１５０ｂは、インストラクション画面の情報を生成する場合に、第３ベクトルの始点および終点を選択するのか、第４ベクトルの始点および終点を選択するのか、第２並進用点を選択するのかを区別するコメントを付与する。
　第２取得部１５０ｃは、インストラクション画面に対してユーザに選択された情報を基にして、第１ベクトル、第２ベクトル、第１並進用点、第３ベクトル、第４ベクトル、第２並進用点を取得する処理部である。
　提供部１５０ｂにより、第１ベクトルの始点および終点を選択するインストラクション画面が表示部１３０に表示されると、ユーザは、入力部１２０を操作して、第１ベクトルの始点および終点を選択する。第２取得部１５０ｃは、入力部１２０から、第１ベクトルの始点および終点の情報を取得する。図５に示す例では、点２０ａが始点として選択され、点２０ｂが終点として選択されている。入力部１２０により選択される、第１ベクトルの始点および終点の情報は、可視画像の座標に対応する。
　第２取得部１５０ｃは、距離画像テーブル１４０ａの第１距離画像情報を基にして、インストラクション画面でユーザに選択された第１ベクトルの始点に対応する点の識別情報を、各点群から特定する。第１ベクトルの始点に対応する点の識別情報を、「第１始点識別情報」と表記する。
　第２取得部１５０ｃは、距離画像テーブル１４０ａの第１距離画像情報を基にして、インストラクション画面でユーザに選択された第１ベクトルの終点に対応する点の識別情報を、各点群から特定する。第１ベクトルの終点に対応する点の識別情報を、「第１終点識別情報」と表記する。
　提供部１５０ｂにより、第２ベクトルの始点および終点を選択するインストラクション画面が表示部１３０に表示されると、ユーザは、入力部１２０を操作して、第２ベクトルの始点および終点を選択する。第２取得部１５０ｃは、入力部１２０から、第２ベクトルの始点および終点の情報を取得する。図６に示す例では、点２０ａが始点として選択され、点２０ｃが終点として選択されている。入力部１２０により選択される、第２ベクトルの始点および終点の情報は、可視画像の座標に対応する。
　第２取得部１５０ｃは、距離画像テーブル１４０ａの第１距離画像情報を基にして、インストラクション画面でユーザに選択された第２ベクトルの始点に対応する点の識別情報を、各点群から特定する。第２ベクトルの始点に対応する点の識別情報を、「第２始点識別情報」と表記する。
　第２取得部１５０ｃは、距離画像テーブル１４０ａの第１距離画像情報を基にして、インストラクション画面でユーザに選択された第２ベクトルの終点に対応する点の識別情報を、各点群から特定する。第２ベクトルの終点に対応する点の識別情報を、「第２終点識別情報」と表記する。
　提供部１５０ｂにより、第１並進用点を選択するインストラクション画面が表示部１３０に表示されると、ユーザは、入力部１２０を操作して、第１並進用点を選択する。第２取得部１５０ｃは、入力部１２０から、第１並進用点の情報を取得する。図７に示す例では、点２０ａが第１並進用点として選択されている。入力部１２０により選択される、第１並進用点の情報は、可視画像の座標に対応する。
　第２取得部１５０ｃは、距離画像テーブル１４０ａの第１距離画像情報を基にして、インストラクション画面でユーザに選択された第１並進用点に対応する点の識別情報を、各点群から特定する。第１並進用点に対応する点の識別情報を、「第１並進点識別情報」と表記する。
　第２取得部１５０ｃは、第１始点識別情報、第１終点識別情報、第２始点識別情報、第２終点識別情報、第１並進点識別情報を、算出部１５０ｄに出力する。
　提供部１５０ｂにより、第３ベクトルの始点および終点を選択するインストラクション画面が表示部１３０に表示されると、ユーザは、入力部１２０を操作して、第３ベクトルの始点および終点を選択する。第２取得部１５０ｃは、入力部１２０から、第３ベクトルの始点および終点の情報を取得する。入力部１２０により選択される、第３ベクトルの始点および終点の情報は、可視画像の座標に対応する。
　第２取得部１５０ｃは、距離画像テーブル１４０ａの第２距離画像情報を基にして、インストラクション画面でユーザに選択された第３ベクトルの始点に対応する点の識別情報を、各点群から特定する。第３ベクトルの始点に対応する点の識別情報を、「第３始点識別情報」と表記する。
　第２取得部１５０ｃは、距離画像テーブル１４０ａの第２距離画像情報を基にして、インストラクション画面でユーザに選択された第３ベクトルの終点に対応する点の識別情報を、各点群から特定する。第３ベクトルの終点に対応する点の識別情報を、「第３終点識別情報」と表記する。
　提供部１５０ｂにより、第４ベクトルの始点および終点を選択するインストラクション画面が表示部１３０に表示されると、ユーザは、入力部１２０を操作して、第４ベクトルの始点および終点を選択する。第２取得部１５０ｃは、入力部１２０から、第４ベクトルの始点および終点の情報を取得する。入力部１２０により選択される、第４ベクトルの始点および終点の情報は、可視画像の座標に対応する。
　第２取得部１５０ｃは、距離画像テーブル１４０ａの第２距離画像情報を基にして、インストラクション画面でユーザに選択された第４ベクトルの始点に対応する点の識別情報を、各点群から特定する。第４ベクトルの始点に対応する点の識別情報を、「第４始点識別情報」と表記する。
　第２取得部１５０ｃは、距離画像テーブル１４０ａの第２距離画像情報を基にして、インストラクション画面でユーザに選択された第４ベクトルの終点に対応する点の識別情報を、各点群から特定する。第４ベクトルの終点に対応する点の識別情報を、「第４終点識別情報」と表記する。
　提供部１５０ｂにより、第２並進用点を選択するインストラクション画面が表示部１３０に表示されると、ユーザは、入力部１２０を操作して、第２並進用点を選択する。第２取得部１５０ｃは、入力部１２０から、第２並進用点の情報を取得する。入力部１２０により選択される、第２並進用点の情報は、可視画像の座標に対応する。
　第２取得部１５０ｃは、距離画像テーブル１４０ａの第２距離画像情報を基にして、インストラクション画面でユーザに選択された第２並進用点に対応する点の識別情報を、各点群から特定する。第２並進用点に対応する点の識別情報を、「第２並進点識別情報」と表記する。
　第２取得部１５０ｃは、第３始点識別情報、第３終点識別情報、第４始点識別情報、第４終点識別情報、第２並進点識別情報を、算出部１５０ｄに出力する。
　算出部１５０ｄは、第１ベクトル、第２ベクトル、第３ベクトル、第４ベクトル、第１並進点、第２並進点を基にして、位置合わせのための回転角度および並進距離を算出する処理部である。算出部１５０ｄは、算出した回転角度および並進距離の情報をパラメータ１４０ｂとして、記憶部１４０に記憶する。パラメータ１４０ｂに含まれる位置合わせのための回転角度および並進距離を適宜、「位置合わせ回転角度」、「位置合わせ並進距離」と表記する。
　たとえば、算出部１５０ｄは、次の処理を実行することで、各ベクトルの始点および終点の３次元座標、各並進用点の３次元座標を特定する。
　算出部１５０ｄは、第１始点識別情報および第１終点識別情報と、距離画像テーブル１４０ａの第１距離画像情報とを基にして、第１ベクトルの始点および終点の３次元座標を検出し、第１ベクトルを特定する。算出部１５０ｄは、第２始点識別情報および第２終点識別情報と、第１距離画像情報とを基にして、第２ベクトルの始点および終点の３次元座標を検出し、第２ベクトルを特定する。算出部１５０ｄは、第１並進識別情報と、第１距離画像情報とを基にして、第１並進用点の３次元座標を特定する。
　算出部１５０ｄは、第３始点識別情報および第３終点識別情報と、距離画像テーブル１４０ａの第２距離画像情報とを基にして、第３ベクトルの始点および終点の３次元座標を検出し、第３ベクトルを特定する。算出部１５０ｄは、第４始点識別情報および第４終点識別情報と、第２距離画像情報とを基にして、第４ベクトルの始点および終点の３次元座標を検出し、第２ベクトルを特定する。算出部１５０ｄは、第２並進識別情報と、第２距離画像情報とを基にして、第２並進用点の３次元座標を特定する。
　図１０は、第１～第４ベクトルおよび第１、２並進用点の一例を示す図である。図１０において、点群１６Ａは、センサ１０Ａにより測距された点群である。点群１６Ｂは、センサ１０Ｂにより測距された点群である。点群１６Ａのベクトル１６Ａ－１は、第１ベクトルである。点群１６Ａのベクトル１６Ａ－２は、第１ベクトルである。点１７Ａは、第１並進用点である。
　点群１６Ａのベクトル１６Ｂ－３は、第３ベクトルである。点群１６Ｂのベクトル１６Ｂ－４は、第４ベクトルである。点１７Ｂは、第２並進用点である。
　続いて、算出部１５０ｄは、第１ベクトル、第２ベクトル、第３ベクトル、第４ベクトルをそれぞれ単位ベクトル化する。たとえば、算出部１５０ｄは、第１ベクトルを、第１ベクトルの長さで割ることで、第１ベクトルを単位ベクトル化する。他のベクトルについても同様にして、単位ベクトル化する。以下の説明では、単位ベクトル化した第１ベクトル、第２ベクトル、第３ベクトル、第４ベクトルをそれぞれ、単に、第１ベクトル、第２ベクトル、第３ベクトル、第４ベクトルと表記する。
　算出部１５０ｄは、第１ベクトル、第２ベクトル、第３ベクトル、第４ベクトルの各始点を、３次元座標の原点の位置に移動させる。
　算出部１５０ｄは、式（１）の合計距離Ｄが最小となる第３ベクトルの回転角度を算出する。式（１）において、Ｄ１３は、第１ベクトルの終点と、第３ベクトルの終点との距離を示す。Ｄ２４は、第２ベクトルの終点と、第４ベクトルの終点との距離を示す。たとえば、回転角度には、Ｘ回転角度、Ｙ回転角度、Ｚ回転角度を有する。Ｘ回転角度は、ｘ軸周りの回転角度（ロール）に対応する。Ｙ回転角度は、ｙ軸周りの回転角度（ピッチ）に対応する。Ｚ回転角度は、ｚ軸周りの回転角度（ヨー）を示す。
　Ｄ＝Ｄ１３＋Ｄ２４・・・（１）
　算出部１５０ｄは、第１ベクトルおよび第２ベクトルを固定し、第３ベクトルの回転角度を変更して、最小となる合計距離Ｄを算出する。たとえば、算出部１５０ｄは、Ｘ回転角度、Ｙ回転角度、Ｚ回転角度を少しずつ変更して、合計距離Ｄを算出する処理を繰り返し実行し、合計距離Ｄが最小となるＸ回転角度、Ｙ回転角度、Ｚ回転角度を探索する。なお、算出部１５０ｄは、第３ベクトルと第４ベクトルとの位置関係を維持する。すなわち、第３ベクトルに対する回転角度の変更に合わせて、第４ベクトルの回転角度を変更する。合計距離Ｄが最小となる回転角度が「位置合わせ回転角度」となる。
　算出部１５０ｄは、位置合わせ回転角度を算出すると、並進距離を算出する処理を行う。算出部１５０ｄは、第２並進用点の３次元座標を、位置合わせ回転角度だけ回転させる。算出部１５０ｄは、位置合わせ回転角度だけ回転させた第２並進用点の３次元座標と、第１並進用点の３次元座標との差分を、位置合わせ並進距離として算出する。位置合わせ並進距離には、Ｘ並進距離、Ｙ並進距離、Ｚ並進距離が含まれる。
　Ｘ並進距離は、第１並進用点のｘ座標と、第２並進用点のｘ座標との差分である。Ｙ並進距離は、第１並進用点のｙ座標と、第２並進用点のｙ座標との差分である。Ｚ並進距離は、第１並進用点のｚ座標と、第２並進用点のｚ座標との差分である。
　算出部１５０ｄは、上記処理により算出した位置合わせ回転角度と、位置合わせ並進距離とを、パラメータ１４０ｄとして、記憶部１４０に記憶する。
　出力部１５０ｅは、パラメータ１４０ｂを、採点装置等の外部装置に出力する処理部である。
　次に、本実施例１に係る情報処理装置１００の処理手順の一例について説明する。図１１は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。図１１に示すように、この情報処理装置１００の第１取得部１５０ａは、センサ１０Ａ、１０Ｂから第１距離画像情報、第２距離画像情報を取得する（ステップＳ１０１）。
　情報処理装置１００の提供部１５０ｂは、インストラクション画面の情報を生成し、インストラクション画面を表示部１３０に表示させる（ステップＳ１０２）。
　情報処理装置１００の第２取得部１５０ｃは、ユーザによる選択を基にして、センサ１０Ａの点群から、第１ベクトルの始点および終点、第２ベクトルの始点および終点、第１並進用点を取得する（ステップＳ１０３）。第２取得部１５０ｃは、ユーザによる選択を基にして、センサ１０Ｂの点群から、第３ベクトルの始点および終点、第４ベクトルの始点および終点、第２並進用点を取得する（ステップＳ１０４）。
　情報処理装置１００の算出部１５０ｄは、第１～第４ベクトルを単位ベクトルに変換する（ステップＳ１０５）。算出部１５０ｄは、始点が３次元座標の原点となるように、第１～第４ベクトルを移動させる（ステップＳ１０６）。
　算出部１５０ｄは、合計距離Ｄが最小となるセンサ１０Ｂの終点の回転角度（位置合わせ回転角度）を算出する（ステップＳ１０７）。算出部１５０ｄは、第２並進用点を、位置合わせ回転角度だけ回転させる（ステップＳ１０８）。
　算出部１５０ｄは、第１並進用点の座標と、回転させた第２並進用点の座標との差分を並進距離（位置合わせ並進距離）として算出する（ステップＳ１０９）。算出部１５０ｄは、位置合わせ回転角度と、位置合わせ並進距離とをパラメータ１４０ｂとして記憶部１４０に記憶させる（ステップＳ１１０）。
　次に、本実施例１に係る情報処理装置１００の効果について説明する。情報処理装置１００は、インストラクション画面を表示して、条件１～４を満たす第１～第４ベクトル、第１、２並進用点を取得し、第１～第４ベクトル、第１、２並進用点を基にして、センサ１０Ａに測距された点群と、センサ１０Ｂに測距された点群との位置合わせするためのパラメータを算出する。このように、条件１～４を満たす第１～第４ベクトル、第１、２並進用点を特定するための選択を、インストラクション画面を用いて、ユーザから受け付けることで、センサ１０Ａの測距範囲と、センサ１０Ｂの測距範囲との共通範囲に含まれる３次元点群の数が少なく、十分特徴的な形をしていない場合でも、位置合わせを行うことができる。
　ところで、実施例１で用いるマーカは、図２に示した壁１５に埋め込まれているものではなく、持ち運び可能なものであってもよい。図１２は、持ち運び可能なマーカ配置台の一例を示す図である。図１２に示すマーカ配置台３０は、マーカ３０－１～３０－４が含まれる。マーカ３０－１～３０－３は、水平方向に並んでいる。マーカ３０－１～３０－３を通る直線と、マーカ３０－１および３０－４を通る直線とのなす角度を９０度とする。センサ１０Ａの測距可能な範囲を、範囲３０Ａとする。センサ１０Ｂの測距可能な範囲を、範囲３０Ｂとする。
　情報処理装置１００は、マーカ配置台３０の可視画像を基にして、インストラクション画面の情報を生成し、表示部１３０に表示させる。情報処理装置１００は、インストラクション画面を参照するユーザから、第１～第４ベクトルの始点および終点、第１、２並進用点の選択を受け付ける。
　続いて、本実施例１に示した情報処理装置１００が算出したパラメータ１４０ｂを用いて、体操を行う選手の演技を採点する採点装置の一例について説明する。ここでは、採点装置について説明を行うが、採点装置に限らず、複数のセンサを用いて被写体のセンシングを行う装置であれば、情報処理装置１００が算出したパラメータ１４０ｂを利用することが可能である。
　図１３は、採点装置の構成を示す機能ブロック図である。図１３に示すように、この採点装置２００は、センサ１０Ａ、センサ１０Ｂ、表示装置２５０に接続される。センサ１０Ａ、センサ１０Ｂは、図１に示したセンサ１０Ａ、センサ１０Ｂに対応する。図１２に示すセンサ１０Ａ，１０Ｂの配置状況と、図１に示したセンサ１０Ａ，１０Ｂの配置状況とは同一であるものとする。設置状況は、センサ１０Ａ，１０Ｂの配置位置、センサの方向を示す。センサ１０Ａ，１０Ｂは、選手７Ａを含めて、第１距離画像情報、第２距離画像情報を測定する。
　表示装置２５０は、採点装置から出力される情報を表示する表示装置である。表示装置２５０は、たとえば、液晶ディスプレイ、タッチパネル等に対応する。
　採点装置２００は、記憶部２０１、取得部２０２、位置合わせ部２０３、認識部２０４、出力部２０５を有する。
　記憶部２０１は、パラメータ１４０ｂを有する。記憶部２０１は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。パラメータ１４０ｂは、図８で説明したパラメータ１４０ｂに対応する情報である。
　取得部２０２は、センサ１０Ａから第１距離画像情報を取得し、センサ１０ｂから第２距離画像情報を取得する。取得部２０２は、第１距離画像情報と第１背景フレームとを基にして、第１距離画像情報に含まれる被写体６を構成する第１点群を抽出する。取得部２０２は、第２距離画像情報と第２背景フレームとを基にして、第２距離画像情報に含まれる被写体６を構成する第２点群を抽出する。取得部２０２は、第１点群の座標情報と、第１点群の座標情報とを、位置合わせ部２０３に出力する。ここで、第１背景フレームは、被写体６を含まない第１距離画像情報を示すものであり、事前に設定される。第２背景フレームは、被写体６を含まない第２距離画像情報を示すものであり、事前に設定される。
　位置合わせ部２０３は、パラメータ１４０ｂを基にして、第１点群と第２点群との位置合わせを行う処理部である。位置合わせ部２０３は、第２点群に含まれる各点の座標を、パラメータ１４０ｂに含まれる位置合わせ回転角度、位置合わせ並進距離に基づいて位置合わせする。位置合わせ部２０３は、位置合わせした第２点群と、第１点群との情報を、認識部２０４に出力する。
　認識部２０４は、位置合わせされた第２点群および第１点群を組み合わせて、被写体６の骨格を認識する処理部である。認識部２０４は、時刻毎に被写体６の骨格の位置を検出し、骨格の位置の推移と採点基準を定義したテーブル（図示略）とを比較して、被写体６の演技を採点する。認識部２０４は、採点結果の情報を、出力部２０５に出力する。たとえば、採点結果の情報には、Ｄ（Difficulty）スコア、Ｅ（Execution）スコアが含まれる。
　出力部２０５は、採点結果の情報を基にして、採点画面情報を生成する処理部である。出力部２０５は、採点画面情報を、表示装置２５０に出力して表示させる。図１４は、採点画面の一例を示す図である。図１４に示すように、採点画面情報６５には、領域６５ａ，６５ｂ，６５ｃが含まれる。
　領域６５ａは、Ｄスコア、Ｅスコア等の採点結果を表示する領域である。領域６５ｂは、カメラ等により撮影された被写体６の映像を表示する領域である。領域６５ｃは、位置合わせされた第一点群および第二点群から推定される骨格の情報を基にして推定される３Ｄモデルを表示する領域である。
　続いて、採点装置２００の位置合わせ部２０３の処理手順の一例について説明する。図１５は、採点装置の位置合わせ部の処理手順を示すフローチャートである。図１５に示す例では、第２点群の位置合わせを行う場合について説明するが、第１点群も第２点群と同様にして位置合わせが行われる。
　図１５に示すように、採点装置２００の位置合わせ部２０３は、第２点群をＸ並進距離分、並進させる（ステップＳ２０１）。位置合わせ部２０３は、第２点群をＹ並進距離分、並進させる（ステップＳ２０２）。位置合わせ部２０３は、第２点群をＺ並進距離分、並進させる（ステップＳ２０３）。
　位置合わせ部２０３は、Ｘ軸を中心に、第２点群をＸ回転角度分、回転させる（ステップＳ２０４）。位置合わせ部２０３は、Ｙ軸を中心に、第２点群をＹ回転角度分、回転させる（ステップＳ２０５）。位置合わせ部２０３は、Ｚ軸を中心に、第２点群をＺ回転角度分、回転させる（ステップＳ２０６）。
　上記のように、採点装置２００は、情報処理装置１００により生成されるパラメータ１４０ｂを基にして、センサ１０Ａ，１０Ｂにより測定される点群の位置合わせを行うことで、被写体全体の点群を正確に特定でき、採点精度を向上させることができる。
　図１６は、位置合わせ後の第１点群と第２点群との一例を示す図である。図１６では説明の便宜上、図３に示した点群１６Ａ（第１点群）と、点群１６Ｂ（第２点群）との位置合わせ結果を示す。図１６に示すように、各マーカの位置が精度よく一致している。
　なお、本実施例１では、情報処理装置１００と、採点装置２００とが別々の装置で実現される場合について説明したがこれに限定されるものではない。たとえば、情報処理装置１００の機能に、採点装置２００の機能が含まれていてもよい。すなわち、情報処理装置１００の制御部１５０に、採点装置２００の位置合わせ部２０３、認識部２４０、出力部２０５等が含まれていてもよい。
　次に、本実施例２に係る情報処理装置について説明する。本実施例２に係る情報処理装置は、実施例１と同様にして、センサ１０Ａとセンサ１０Ｂに接続される。
　本実施例２に係る情報処理装置は、マーカの中心座標を自動で検出する。また、一つ一つのマーカを異なる形状で予め決められた位置関係で配置しておくことで、各マークの形状を認識して、条件１～４を満たす第１～第４ベクトル、第１、２並進用点を自動で検出する。このような処理を実行することで、ユーザが条件１～４を満たすように各ベクトル、並進用点を選択しなくても、位置合わせを行うためのパラメータを算出することができる。
　図１７は、本実施例２で用いるマーカの一例を示す図である。図１７に示すように、壁３５には、マーカ３５－１～３５－４が含まれる。マーカ３５－１～３５－３は、水平方向に並んでいる。マーカ３５－１～３５－３を通る直線と、マーカ３５－１および３５－４を通る直線とのなす角度を９０度とする。センサ１０Ａの測距可能な範囲を、範囲３５Ａとする。センサ１０Ｂの測距可能な範囲を、範囲３５Ｂとする。
　マーカ３５－１～３５－４はそれぞれ固有の形状を有している。マーカ３５－１は「３角形」である。マーカ３５－２は「４角形（ダイヤ）」である。マーカ３５－３は「５角形」である。マーカ３５－４は「６角形」である。
　図１８は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。図１８に示すように、この情報処理装置３００は、インタフェース部２１０と、入力部３２０と、表示部３３０と、記憶部３４０と、制御部３５０とを有する。
　インタフェース部２１０は、センサ１０Ａおよびセンサ１０Ｂから情報を受信する通信装置である。インタフェース部２１０は、センサ１０Ａから、第１距離画像情報を受信し、受信した第１距離画像情報を、制御部３５０に出力する。インタフェース部２１０は、センサ１０Ｂから、第２距離画像情報を受信し、受信した第２距離画像情報を、制御部３５０に出力する。また、インタフェース部２１０は、実施例１で説明した採点装置２００と接続していてもよい。
　入力部３２０は、各種の情報を情報処理装置１００に入力するための入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。ユーザは、入力部１２０を操作して、各種の情報を入力する。
　表示部３３０は、制御部３５０から出力される各種の情報を表示する表示装置である。たとえば、表示部３３０は、液晶ディスプレイ、タッチパネル等に対応する。
　記憶部３４０は、距離画像テーブル３４０ａと、パラメータ３４０ｂとを有する。記憶部３４０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
　距離画像テーブル３４０ａは、センサ１０Ａから出力される第１距離画像情報と、センサ１０Ｂから出力される第２距離画像情報とを保持するテーブルである。距離画像テーブル３４０ａのデータ構造は、図９に示した距離画像テーブル１４０ａのデータ構造と同様である。
　パラメータ３４０ｂは、センサ１０Ａに測距される点群と、センサ１０Ｂに測距される点群との位置合わせを行うためのパラメータである。パラメータには、位置合わせ回転角度の情報と、位置合わせ並進距離の情報とが含まれる。
　マーカ定義情報３４０ｃは、各マーカの特徴と、各ベクトルの始点、終点、並進用点との対応関係を示す情報である。図１９は、マーカ定義情報のデータ構造の一例を示す図である。図１９に示すように、マーカ定義情報は、マーカ特徴と、各ベクトルの始点および終点、並進用点とをオンオフのフラグで関連付ける。オンは、関連づけが有効であり、オフは関連づけが無効であることを示す。
　たとえば、マーカ特徴「３角形」のマーカは、第１ベクトルの始点となることが定義される。マーカ特徴「４角形」のマーカは、第１ベクトルの終点、第２ベクトルの始点、第３ベクトルの始点、第４ベクトルの始点、並進用点となることを定義される。マーカ特徴「５角形」のマーカは、第３ベクトルの終点となることが定義される。マーカ特徴「６角形」のマーカは、第２ベクトルの終点、第４ベクトルの終点となることが定義される。
　図１８の説明に戻る。制御部３５０は、第１取得部３５０ａと、第２取得部３５０ｂと、算出部３５０ｃと、出力部３５０ｄとを有する。制御部３５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部３５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
　第１取得部３５０ａは、インタフェース部３１０を介して、センサ１０Ａから第１距離画像情報を取得し、取得した第１距離画像情報を距離画像テーブル３４０ａに登録する。第１取得部３５０ａは、センサ１０Ｂから第２距離画像情報を取得し、取得した第２距離画像情報を距離画像テーブル３４０ａに登録する。第１取得部３５０ａに関するその他の説明は、実施例１で説明した第１取得部１５０ａに関する説明と同様である。
　第２取得部３５０ｂは、第１、２距離画像情報の各可視画像と、マーカ定義情報３４０ｃとを基にして、第１ベクトル、第２ベクトル、第１並進用点、第３ベクトル、第４ベクトル、第２並進用点を取得する処理部である。
　第２取得部３５０ｂは、距離画像テーブル３４０ａの可視画像に対して、多角形（３角形、４角形、５角形、６角形）のテンプレートとのパターンマッチングを実行し、３角形、４角形、５角形、６角形のマーカを検出する。第２取得部３５０ｂは、マーカ定義情報３４０ｃを基にして、どのマーカが、いずれのベクトルの始点、終点、いずれの並進用点に対応するかを判定し、第１ベクトル、第２ベクトル、第１並進用点、第３ベクトル、第４ベクトル、第２並進用点を取得する。
　第２取得部３５０ｂは、第１距離画像情報の可視画像上の３角形のマーカ（マーカの中心）に含まれる点（第１ベクトルの始点）を選択する。第２取得部３５０ｂは、３角形のマーカに含まれる点が複数存在する場合には、いずれか一つの点を選択する。第２取得部３５０ｂは、距離画像テーブル３４０ａの第１距離画像情報を基にして、選択した点（第１ベクトルの始点）に対応する点の識別情報を、各点群から特定する。第１ベクトルの始点に対応する点の識別情報を、「第１始点識別情報」と表記する。
　第２取得部３５０ｂは、第１距離画像情報の可視画像上の４角形のマーカ（マーカの中心）に含まれる点（第１ベクトルの終点、第２ベクトルの始点、第１並進用点）を選択する。第２取得部３５０ｂは、４角形のマーカに含まれる点が複数存在する場合には、いずれか一つの点を選択する。
　第２取得部３５０ｂは、距離画像テーブル３４０ａの第１距離画像情報を基にして、選択した点（第１ベクトルの終点、第２ベクトルの始点、第１並進用点）に対応する点の識別情報を、各点群から特定する。第１ベクトルの終点に対応する点の識別情報を、「第１終点識別情報」と表記する。第２ベクトルの始点に対応する点の識別情報を「第２始点識別情報」と表記する。第１並進用点に対応する点の識別情報を「第１並進点識別情報」と表記する。図１７に示す例では、第１終点識別情報、第２始点識別情報、第１並進点識別情報に示される点は、同じ点となる。
　第２取得部３５０ｂは、第１距離画像情報の可視画像上の６角形のマーカ（マーカの中心）に含まれる点（第２ベクトルの終点）を選択する。第２取得部３５０ｂは、６角形のマーカに含まれる点が複数存在する場合には、いずれか一つの点を選択する。第２取得部３５０ｂは、距離画像テーブル３４０ａの第１距離画像情報を基にして、選択した点（第２ベクトルの終点）に対応する点の識別情報を、各点群から特定する。第２ベクトルの終点に対応する点の識別情報を、「第２終点識別情報」と表記する。
　第２取得部３５０ｂは、第２距離画像情報の可視画像上の４角形のマーカ（マーカの中心）に含まれる点（第３ベクトルの始点、第４ベクトルの始点、第２並進用点）を選択する。第２取得部３５０ｂは、４角形のマーカに含まれる点が複数存在する場合には、いずれか一つの点を選択する。
　第２取得部３５０ｂは、距離画像テーブル３４０ａの第２距離画像情報を基にして、選択した点（第３ベクトルの始点、第４ベクトルの始点、第２並進用点）に対応する点の識別情報を、各点群から特定する。第３ベクトルの始点に対応する点の識別情報を、「第３始点識別情報」と表記する。第４ベクトルの始点に対応する点の識別情報を、「第４始点識別情報」と表記する。第２並進用点に対応する点の識別情報を「第２並進点識別情報」と表記する。図１７に示す例では、第３始点識別情報、第４始点識別情報、第２並進点識別情報に示される点は、同じ点となる。
　第２取得部３５０ｂは、第２距離画像情報の可視画像上の５角形のマーカ（マーカの中心）に含まれる点（第３ベクトルの終点）を選択する。第２取得部３５０ｂは、５角形のマーカに含まれる点が複数存在する場合には、いずれか一つの点を選択する。第２取得部３５０ｂは、距離画像テーブル３４０ａの第２距離画像情報を基にして、選択した点（第３ベクトルの終点）に対応する点の識別情報を、各点群から特定する。第３ベクトルの終点に対応する点の識別情報を、「第３終点識別情報」と表記する。
　第２取得部３５０ｂは、第２距離画像情報の可視画像上の６角形のマーカ（マーカの中心）に含まれる点（第４ベクトルの終点）を選択する。第２取得部３５０ｂは、６角形のマーカに含まれる点が複数存在する場合には、いずれか一つの点を選択する。第２取得部３５０ｂは、距離画像テーブル３４０ａの第２距離画像情報を基にして、選択した点（第４ベクトルの終点）に対応する点の識別情報を、各点群から特定する。第４ベクトルの終点に対応する点の識別情報を、「第４終点識別情報」と表記する。
　第２取得部３５０ｂは、第１始点識別情報、第１終点識別情報、第２始点識別情報、第２終点識別情報、第１並進点識別情報を、算出部３５０ｃに出力する。第２取得部３５０ｂは、第３始点識別情報、第３終点識別情報、第４始点識別情報、第４終点識別情報、第２並進点識別情報を、算出部３５０ｃに出力する。
　算出部３５０ｃは、第１ベクトル、第２ベクトル、第３ベクトル、第４ベクトル、第１並進点、第２並進点を基にして、位置合わせのための回転角度および並進距離を算出する処理部である。算出部３５０ｃは、算出した回転角度および並進距離の情報をパラメータ３４０ｂとして、記憶部３４０に記憶する。算出部３５０ｃの処理は、実施例１で説明した算出部１５０ｄの処理と同様である。
　出力部３５０ｄは、パラメータ３４０ｂを、実施例１で説明した採点装置２００等の外部装置に出力する処理部である。
　次に、本実施例２に係る情報処理装置３００の処理手順の一例について説明する。図２０は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。図２０に示すように、この情報処理装置３００の第１取得部３５０ａは、センサ１０Ａ、１０Ｂから第１距離画像情報、第２距離画像情報を取得する（ステップＳ３０１）。
　情報処理装置３００の第２取得部３５０ｂは、マーカ定義情報３４０ｃを基にして、センサ１０Ａの点群から、第１ベクトルの始点および終点、第２ベクトルの始点および終点、第１並進用点を取得する（ステップＳ３０２）。第２取得部３５０ｂは、マーカ定義情報３４０ｃを基にして、センサ１０Ｂの点群から、第３ベクトルの始点および終点、第４ベクトルの始点および終点、第２並進用点を取得する（ステップＳ３０３）。
　情報処理装置３００の算出部３５０ｃは、第１～第４ベクトルを単位ベクトルに変換する（ステップＳ３０４）。算出部３５０ｃは、始点が３次元座標の原点となるように、第１～第４ベクトルを移動させる（ステップＳ３０５）。
　算出部３５０ｃは、合計距離Ｄが最小となるセンサ１０Ｂの終点の回転角度（位置合わせ回転角度）を算出する（ステップＳ３０６）。算出部３５０ｃは、第２並進用点を、位置合わせ回転角度だけ回転させる（ステップＳ３０７）。
　算出部３５０ｃは、第１並進用点の座標と、回転させた第２並進用点の座標との差分を並進距離（位置合わせ並進距離）として算出する（ステップＳ３０８）。算出部３５０ｃは、位置合わせ回転角度と、位置合わせ並進距離とをパラメータ３４０ｂとして記憶部３４０に記憶させる（ステップＳ３０９）。
　次に、本実施例２に係る情報処理装置３００の効果について説明する。情報処理装置３００は、一つ一つのマーカを異なる形状で予め決められた位置関係で配置しておくことで、各マークの形状を認識して、条件１～４を満たす第１～第４ベクトル、第１、２並進用点を自動で検出する。このような処理を実行することで、ユーザが条件１～４を満たすように各ベクトル、並進用点を選択しなくても、位置合わせを行うためのパラメータを算出することができる。
　なお、本実施例２では、情報処理装置３００と、採点装置２００とが別々の装置で実現される場合について説明したがこれに限定されるものではない。たとえば、情報処理装置３００の機能に、採点装置２００の機能が含まれていてもよい。すなわち、情報処理装置３００の制御部３５０に、採点装置２００の位置合わせ部２０３、認識部２４０、出力部２０５等が含まれていてもよい。
　実施例１で説明したように、センサ１０Ａ、１０Ｂ間において、実空間上で水平方向と垂直方向とのベクトル（第１～第４ベクトルの始点および終点）及び実空間上で同じ位置（第１、２並進用点）を取得することができれば、位置合わせを行うことができる。実施例１では、壁１５にマーカを配置する場合について説明したが、第１～第４ベクトルの始点および終点、第１、２並進用点を既存の器具や被写体から取得できる場合には、既存の器具や被写体から取得してもよい。
　本実施例３に係る情報処理装置は、体操の平行台が水平であること、選手が直立して一旦動きをとめている瞬間があること等を利用し、インストラクション画面を表示して、ユーザから、第１～第４ベクトルの始点および終点、第１、２並進用点の選択を受け付ける。
　図２１は、平行台で演技する選手を示す図である。図２１において、センサ１０Ａの測距可能な範囲を範囲４５Ａとする。センサ１０Ｂの測距可能な範囲を範囲４５Ｂとする。平行台４６は、平行であるため、水平ベクトル４６Ａ、４６Ｂ（第１ベクトル、第３ベクトル）を取得することができる。
　平行台４６上で、選手が演技を行っており、時刻Ｔ１における選手を選手４７Ｔ１とする。時刻Ｔ２における選手を選手４７Ｔ２とする。時刻Ｔ３における選手を選手４７Ｔ３とする。時刻Ｔ１において、選手４７Ｔ１は直立しているため、垂直ベクトル４７Ａ（第２ベクトル）を取得することができる。時刻Ｔ３において、選手４７Ｔ３は直立しているため、垂直ベクトル４７Ｂ（第４ベクトル）を取得することができる。
　また、時刻Ｔ２において、範囲４５Ａと範囲４５Ｂとが重複する領域で、選手４７Ｔ２が位置しており、並進合わせ用の点４７Ｃ（第１並進用点、第２並進用点）を取得することができる。なお、同じ位置であれば、範囲４５Ａと範囲４５Ｂとが重複する領域から、点４７Ｃ以外の点を並進合わせ用の点として取得してもよい。
　図２２は、本実施例３に係るインストラクション画面の一例を示す図（１）である。図２２に示すインストラクション画面５０は、センサ１０Ａの可視画像に基づき生成される画面である。ユーザは、インストラクション画面５０を参照し、情報処理装置４００の入力装置を操作して、第１ベクトルの始点と、第１ベクトルの終点とを選択する。図２２に示す例では、第１ベクトルの始点として点２０ａが選択され、第１ベクトルの終点として点５０ｂが選択されている。
　図示を省略するが、情報処理装置４００は、センサ１０Ｂの可視画像に基づき、第３ベクトルの選択を受け付けるインストラクション画面を表示する。ユーザは、かかるインストラクション画面を参照し、第３ベクトルの始点と、第３ベクトルの終点とを選択する。ユーザは、第１ベクトルと第３ベクトルとを選択する場合には、第１ベクトルと第３ベクトルとが条件１を満たすようにする。
　図２３は、本実施例３に係るインストラクション画面の一例を示す図（２）である。図２３に示すインストラクション画面５１は、センサ１０Ａの可視画像に基づき生成される画面である。ユーザは、インストラクション画面５１を参照し、情報処理装置４００の入力装置を操作して、第２ベクトルの始点と、第２ベクトルの終点とを選択する。図２３に示す例では、第２ベクトルの始点として点５１ａが選択され、第２ベクトルの終点として点５１ｂが選択されている。
　図示を省略するが、情報処理装置４００は、センサ１０Ｂの可視画像に基づき、第４ベクトルの選択を受け付けるインストラクション画面を表示する。ユーザは、かかるインストラクション画面を参照し、第４ベクトルの始点と、第４ベクトルの終点とを選択する。ユーザは、第２ベクトルと第４ベクトルとを選択する場合には、第２ベクトルと第４ベクトルとが条件２を満たすようにする。ユーザは、第１ベクトルと第２ベクトルとが、条件３を満たすようにする。ユーザは、第３ベクトルと第４ベクトルとが、条件３を満たすようにする。
　図２４は、本実施例３に係るインストラクション画面の一例を示す図（３）である。図２４に示すインストラクション画面５２は、センサ１０Ａの可視画像に基づき生成される画面である。ユーザは、インストラクション画面５２を参照し、情報処理装置４００の入力装置を操作して、第１並進用点を選択する。図２４に示す例では、第１並進用点として、点５２ａが選択されている。
　図示を省略するが、情報処理装置４００は、センサ１０Ｂの可視画像に基づき、第２並進用点を受け付けるインストラクション画面を表示する。ユーザは、かかるインストラクション画面を参照し、第２並進用点を選択する。ユーザは、第１並進用点の位置と、第２並進用点の位置とが、条件４を満たすようにする。
　上記のように、情報処理装置４００は、実施例１で説明したマーカの代わりに、体操の平行台が水平であること、選手が直立して一旦動きをとめている瞬間があること等を利用し、インストラクション画面を表示する。このため、実施例１で説明したようなマーカを用いなくても、第１～第４ベクトル、第１、２並進用点を取得することができる。
　続いて、本実施例３に係る情報処理装置４００の構成の一例について説明する。図２５は、本実施例３に係る情報処理装置の構成を示す機能ブロック図である。図２５に示すように、この情報処理装置４００は、インタフェース部４１０と、入力部４２０と、表示部４３０と、記憶部４４０と、制御部４５０とを有する。
　インタフェース部４１０は、センサ１０Ａおよびセンサ１０Ｂから情報を受信する通信装置である。インタフェース部４１０は、センサ１０Ａから、第１距離画像情報を受信し、受信した第１距離画像情報を、制御部４５０に出力する。インタフェース部４１０は、センサ１０Ｂから、第２距離画像情報を受信し、受信した第２距離画像情報を、制御部４５０に出力する。また、インタフェース部１１０は、後述する採点装置と接続していてもよい。
　入力部４２０は、各種の情報を情報処理装置４００に入力するための入力装置である。たとえば、入力部４２０は、キーボードやマウス、タッチパネル等に対応する。ユーザは、図２２～図２４に示したインストラクション画面を参照し、入力部４２０を操作して、第１ベクトルの始点および終点、第２ベクトルの始点および終点、第１並進用点を選択する。また、ユーザは、入力部４２０を操作して、第３ベクトルの始点および終点、第４ベクトルの始点および終点、第２並進用点を選択する。
　表示部４３０は、制御部４５０から出力される各種の情報を表示する表示装置である。たとえば、表示部４３０は、液晶ディスプレイ、タッチパネル等に対応する。たとえば、表示部は、図２２～図２４に示したインストラクション画面を表示する。
　記憶部４４０は、距離画像テーブル４４０ａと、パラメータ４４０ｂとを有する。記憶部４４０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
　距離画像テーブル４４０ａは、センサ１０Ａから出力される各時刻の第１距離画像情報と、センサ１０Ｂから出力される各時刻の第２距離画像情報とを保持するテーブルである。図２６は、本実施例３に係る距離画像テーブルのデータ構造の一例を示す図である。
　図２６に示すように、この距離画像テーブル４４０ａは、テーブル４４１，４４２を有する。テーブル４４１は、時刻と、かかる時刻にセンサ１０Ａに測距された第１距離画像情報とを対応付けるテーブルである。テーブル４４２は、時刻と、かかる時刻にセンサ１０Ｂに測距された第２距離画像情報とを対応付けるテーブルである。第１距離画像情報および第２距離画像情報に関する説明は、実施例１で説明したものと同様である。
　パラメータ４４０ｂは、センサ１０Ａに測距される点群と、センサ１０Ｂに測距される点群との位置合わせを行うためのパラメータである。パラメータ４４０ｂには、位置合わせ回転角度の情報と、位置合わせ並進距離の情報とが含まれる。
　制御部４５０は、第１取得部４５０ａと、提供部４５０ｂと、第２取得部４５０ｃと、算出部４５０ｄと、出力部４５０ｅとを有する。制御部４５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部４５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
　第１取得部４５０ａは、インタフェース部４１０を介して、各時刻において、センサ１０Ａから第１距離画像情報を取得し、取得した第１距離画像情報を距離画像テーブル４４０ａのテーブル４４１に登録する。第１取得部１５０ａは、各時刻において、センサ１０Ｂから第２距離画像情報を取得し、取得した第２距離画像情報を距離画像テーブル４４０ａのテーブル４４２に登録する。
　第１取得部４５０ａは、第１距離画像情報を距離画像テーブル４４０ａのテーブル４４１に登録する場合に、各点群とセンサ１０Ａとの距離の情報を、３次元座標情報に変換する。たとえば、第１取得部４５０ａは、距離の情報を、３次元座標情報に変換する場合に、距離を３次元座標に変換する変換テーブルを利用する。
　第１取得部４５０ａは、第２距離画像情報を距離画像テーブル４４０ａのテーブル４４２に登録する場合に、各点群とセンサ１０Ｂとの距離の情報を、３次元座標情報に変換する。たとえば、第１取得部４５０ａは、距離の情報を、３次元座標情報に変換する場合に、距離を３次元座標に変換する変換テーブルを利用する。
　提供部４５０ｂは、インストラクション画面の情報を生成し、インストラクション画面の情報を、表示部４３０に出力することで、インストラクション画面を表示させる処理部である。表示部４３０に表示されるインストラクション画面は、図２２～図２４等に示したインストラクション画面５０，５１，５２等に対応する。
　提供部４５０ｂは、距離画像テーブル４４０ａに格納された可視画像を基にして、インストラクション画面を生成する。提供部４５０ｂは、第１ベクトルの選択を受けるためのインストラクション画面を、第１距離画像情報の可視画像を用いて生成する。提供部４５０ｂは、インストラクション画面の情報を生成する場合に、第１ベクトルの始点および終点を選択する旨のコメントを付与する。
　提供部４５０ｂは、第２ベクトルの選択を受け付けるためのインストラクション画面を生成する場合には、次の処理を行う。提供部４５０ｂは、テーブル４４１の各時刻の第１距離画像情報（可視画像）のうち、垂直方向に所定の長さ以上のエッジを有する可視画像を選択する。たとえば、垂直方向に所定の長さ以上のエッジを有する可視画像には、直立した選手が含まれている。提供部４５０ｂは、選択した可視画像を用いて、第２ベクトルの選択を受け付けるためのインストラクション画面を生成する。提供部４５０ｂは、インストラクション画面の情報を生成する場合に、第２ベクトルの始点および終点を選択する旨のコメントを付与する。
　提供部４５０ｂは、第１並進用点の選択を受け付けるためのインストラクション画面を生成する場合には、次の処理を行う。提供部４５０ｂは、テーブル４４１の各時刻の第１距離画像情報（可視画像）のうち、範囲４５Ａおよび範囲４５Ｂの重複する重複領域において、選手が含まれる可視画像を選択する。たとえば、提供部４５０ｂは、重複領域について、背景画像を保持しておき、可視画像の重複領域と、背景画像との差分を用いて、重複画像に選手が含まれるか否かを判定してもよい。提供部４５０ｂは、選択した可視画像を用いて、第１並進用点の選択を受け付けるためのインストラクション画面を生成する。提供部４５０ｂは、インストラクション画面の情報を生成する場合に、第１並進用点を選択する旨のコメントを付与する。
　提供部４５０ｂは、第３ベクトルの選択を受けるためのインストラクション画面を、第２距離画像情報の可視画像を用いて生成する。提供部４５０ｂは、インストラクション画面の情報を生成する場合に、第３ベクトルの始点および終点を選択する旨のコメントを付与する。
　提供部４５０ｂは、第４ベクトルの選択を受け付けるためのインストラクション画面を生成する場合には、次の処理を行う。提供部４５０ｂは、テーブル４４２の各時刻の第２距離画像情報（可視画像）のうち、垂直方向に所定の長さ以上のエッジを有する可視画像を選択する。たとえば、垂直方向に所定の長さ以上のエッジを有する可視画像には、直立した選手が含まれている。提供部４５０ｂは、選択した可視画像を用いて、第４ベクトルの選択を受け付けるためのインストラクション画面を生成する。提供部４５０ｂは、インストラクション画面の情報を生成する場合に、第４ベクトルの始点および終点を選択する旨のコメントを付与する。
　提供部４５０ｂは、第２並進用点の選択を受け付けるためのインストラクション画面を生成する場合には、次の処理を行う。提供部４５０ｂは、テーブル４４２の各時刻の第２距離画像情報（可視画像）のうち、範囲４５Ａおよび範囲４５Ｂの重複する重複領域において、選手が含まれる可視画像を選択する。たとえば、提供部４５０ｂは、重複領域について、背景画像を保持しておき、可視画像の重複領域と、背景画像との差分を用いて、重複画像に選手が含まれるか否かを判定してもよい。提供部４５０ｂは、選択した可視画像を用いて、第２並進用点の選択を受け付けるためのインストラクション画面を生成する。提供部４５０ｂは、インストラクション画面の情報を生成する場合に、第２並進用点を選択する旨のコメントを付与する。
　第２取得部４５０ｃは、インストラクション画面に対してユーザに選択された情報を基にして、第１ベクトル、第２ベクトル、第１並進用点、第３ベクトル、第４ベクトル、第２並進用点を取得する処理部である。第２取得部４５０ｃは、実施例１の第２取得部１５０ｃと同様の処理を行い、第１始点識別情報、第１終点識別情報、第２始点識別情報、第２終点識別情報、第１並進点識別情報を特定する。第２取得部４５０ｃは、実施例１の第２取得部１５０ｃと同様の処理を行い、第３始点識別情報、第３終点識別情報、第４始点識別情報、第４終点識別情報、第２並進点識別情報を特定する。
　第２取得部４５０ｃは、第１始点識別情報、第１終点識別情報、第２始点識別情報、第２終点識別情報、第１並進点識別情報、第３始点識別情報、第３終点識別情報、第４始点識別情報、第４終点識別情報、第２並進点識別情報を、算出部４５０ｄに出力する。
　算出部４５０ｄは、第１ベクトル、第２ベクトル、第３ベクトル、第４ベクトル、第１並進点、第２並進点を基にして、位置合わせのための回転角度および並進距離を算出する処理部である。算出部４５０ｄは、算出した回転角度および並進距離の情報をパラメータ４４０ｂとして、記憶部４４０に記憶する。算出部４５０ｄの処理は、実施例１で説明した算出部１５０ｄの処理と同様である。
　出力部４５０ｅは、パラメータ４４０ｂを、実施例１で説明した採点装置２００等の外部装置に出力する処理部である。
　次に、本実施例３に係る情報処理装置４００の処理手順の一例について説明する。図２７は、本実施例３に係る情報処理装置の処理手順を示すフローチャートである。図２７に示すように、この情報処理装置４００の第１取得部４５０ａは、センサ１０Ａ、１０Ｂから各時刻の第１距離画像情報、第２距離画像情報を取得する（ステップＳ４０１）。
　情報処理装置４００の提供部４５０ｂは、インストラクション画面を生成するための可視画像を選択する（ステップＳ４０２）。提供部４５０ｂは、インストラクション画面の情報を生成し、インストラクション画面を表示部４３０に表示させる（ステップＳ４０３）。
　情報処理装置４００の第２取得部４５０ｃは、ユーザによる選択を基にして、センサ１０Ａの点群から、第１ベクトルの始点および終点、第２ベクトルの始点および終点、第１並進用点を取得する（ステップＳ４０４）。第２取得部４５０ｃは、ユーザによる選択を基にして、センサ１０Ｂの点群から、第３ベクトルの始点および終点、第４ベクトルの始点および終点、第２並進用点を取得する（ステップＳ４０５）。
　情報処理装置４００の算出部４５０ｄは、第１～第４ベクトルを単位ベクトルに変換する（ステップＳ４０６）。算出部４５０ｄは、始点が３次元座標の原点となるように、第１～第４ベクトルを移動させる（ステップＳ４０７）。
　算出部４５０ｄは、合計距離Ｄが最小となるセンサ１０Ｂの終点の回転角度（位置合わせ回転角度）を算出する（ステップＳ４０８）。算出部４５０ｄは、第２並進用点を、位置合わせ回転角度だけ回転させる（ステップＳ４０９）。
　算出部４５０ｄは、第１並進用点の座標と、回転させた第２並進用点の座標との差分を並進距離（位置合わせ並進距離）として算出する（ステップＳ４１０）。算出部４５０ｄは、位置合わせ回転角度と、位置合わせ並進距離とをパラメータ４４０ｂとして記憶部４４０に記憶させる（ステップＳ４１１）。
　次に、本実施例３に係る情報処理装置４００の効果について説明する。情報処理装置４００は、実施例１で説明したマーカの代わりに、体操の平行台が水平であること、選手が直立して一旦動きをとめている瞬間があること等を利用し、インストラクション画面を表示する。このため、実施例１で説明したようなマーカを用いなくても、第１～第４ベクトル、第１、２並進用点を取得することができる。そして、これにより、センサ１０Ａ、センサ１０Ｂの位置合わせを行うことができる。
　なお、本実施例３では、平行台、選手を用いて、第１～第４ベクトル、第１、２並進用点を取得する場合について説明を行ったがこれに限定されるものではない。情報処理装置４００は、第１～第４ベクトルの始点および終点、第１、２並進用点を取得可能な他の器具や被写体から取得してもよい。
　本実施例３では、情報処理装置４００と、採点装置２００とが別々の装置で実現される場合について説明したがこれに限定されるものではない。たとえば、情報処理装置４００の機能に、採点装置２００の機能が含まれていてもよい。すなわち、情報処理装置４００の制御部４５０に、採点装置２００の位置合わせ部２０３、認識部２４０、出力部２０５等が含まれていてもよい。
　次に、本実施例４に係る情報処理装置について説明する。本実施例４に係る情報処理装置は、実施例１と同様にして、センサ１０Ａとセンサ１０Ｂに接続される。
　図２８は、本実施例４で用いるマーカの一例を示す図である。図２８に示すように、マーカ配置台３０には、マーカ３０－１，３０－２，３０－３，３０－４が含まれる。マーカ３０－１～３０－４にはそれぞれ複数のシールが付与されている。各シールは、再帰反射するシールである。センサ１０Ａの測距可能な範囲を、範囲３０Ａとする。センサ１０Ｂの測距可能な範囲を、範囲３０Ｂとする。
　たとえば、マーカ３０－１には、各角にシール３０－１ａ，３０－１ｂ，３０－１ｃ，３０－１ｄが配置されている。マーカ３０－２には、各角にシール３０－２ａ，３０－２ｂ，３０－２ｃ，３０－２ｄが配置されている。マーカ３０－３には、各角にシール３０－３ａ，３０－３ｂ，３０－３ｃ，３０－３ｄが配置されている。マーカ３０－４には、各角にシール３０－４ａ，３０－４ｂ，３０－４ｃ，３０－４ｄが配置されている。
　図２９は、シールが付与された各マーカの反射強度画像の一例を示す図である。図２９に示す例では、反射強度が大きい領域が、反射強度の小さい領域よりも明るくなる。たとえば、反射強度画像６０において、領域６１ａ，６１ｂ，６１ｃ，６１ｄは、シール３０－１ａ，３０－１ｂ，３０－１ｃ，３０－１ｄが配置された領域である。領域６２ａ，６２ｂ，６２ｃ，６２ｄは、シール３０－２ａ，３０－２ｂ，３０－２ｃ，３０－２ｄが配置された領域である。領域６３ａ，６３ｂ，６３ｃ，６３ｄは、シール３０－３ａ，３０－３ｂ，３０－３ｃ，３０－３ｄが配置された領域である。領域６４ａ，６４ｂ，６４ｃ，６４ｄは、シール３０－４ａ，３０－４ｂ，３０－４ｃ，３０－４ｄが配置された領域である。
　本実施例４に係るセンサ１０Ａは、レーザ光を照射して、被写体を構成する点群とセンサ１０Ａとの距離を測距する測定装置である。センサ１０Ａは、可視画像を撮影する。また、センサ１０Ａは、レーザ光の反射強度を測定する。センサ１０Ａは、第１距離画像情報を、情報処理装置に出力する。第１距離画像情報は、被写体を構成する点群とセンサ１０Ａとの距離の情報と、可視画像の情報と、反射強度の情報とを含む。
　本実施例４に係るセンサ１０Ｂは、レーザ光を照射して、被写体を構成する点群とセンサ１０Ｂとの距離を測距する測定装置である。センサ１０Ｂは、可視画像を撮影する。また、センサ１０Ｂは、レーザ光の反射強度を測定する。センサ１０Ｂは、第２距離画像情報を、情報処理装置に出力する。第２距離画像情報は、被写体を構成する点群とセンサ１０Ａとの距離の情報と、可視画像の情報と、反射強度の情報とを含む。
　本実施例４に係る情報処理装置は、マーカ配置台３０の可視画像を基にして、インストラクション画面の情報を生成し、表示部に表示させる。情報処理装置は、インストラクション画面を参照するユーザから、第１～第４ベクトルの始点および終点、第１、２並進用点の選択を受け付ける。
　続いて、情報処理装置は、センサ１０Ａ，１０Ｂから順次入力される反射強度の情報を基にして、各マーカに配置された各シールの位置を特定し、各シールの位置を基にして、各マーカの位置を算出する処理を繰り返し実行する。情報処理装置は、各マーカの位置を基にして、ユーザに選択された第１～第４ベクトルの始点および終点、第１、２並進用点の位置を補正する処理を行う。情報処理装置が、かかる処理を実行することにより、ユーザに選択された第１～第４ベクトルの始点および終点、第１、２並進用点の位置が正確でない場合や、選択された後に何らかの影響で、マーカの位置がずれた場合でも最適な第１～第４ベクトルの始点および終点、第１、２並進用点の位置を特定することができる。
　図３０は、本実施例４に係る情報処理装置の構成を示す機能ブロック図である。図３０に示すように、この情報処理装置５００は、インタフェース部５１０と、入力部５２０と、表示部５３０と、記憶部５４０と、制御部５５０とを有する。
　インタフェース部５１０は、センサ１０Ａおよびセンサ１０Ｂから情報を受信する通信装置である。インタフェース部５１０は、センサ１０Ａから、第１距離画像情報を受信し、受信した第１距離画像情報を、制御部５５０に出力する。インタフェース部５１０は、センサ１０Ｂから、第２距離画像情報を受信し、受信した第２距離画像情報を、制御部５５０に出力する。また、インタフェース部５１０は、実施例１で説明した採点装置２００と接続していてもよい。
　入力部５２０は、各種の情報を情報処理装置５００に入力するための入力装置である。たとえば、入力部５２０は、キーボードやマウス、タッチパネル等に対応する。ユーザはインストラクション画面を参照し、入力部５２０を操作して、第１ベクトルの始点および終点、第２ベクトルの始点および終点、第１並進用点を選択する。また、ユーザは、入力部５２０を操作して、第３ベクトルの始点および終点、第４ベクトルの始点および終点、第２並進用点を選択する。
　表示部５３０は、制御部５５０から出力される各種の情報を表示する表示装置である。たとえば、表示部５３０は、液晶ディスプレイ、タッチパネル等に対応する。たとえば、表示部は、インストラクション画面を表示する。
　記憶部５４０は、距離画像テーブル５４０ａと、パラメータ５４０ｂと、特定テーブル５４０ｃとを有する。記憶部５４０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
　距離画像テーブル５４０ａは、センサ１０Ａから出力される各時刻の第１距離画像情報と、センサ１０Ｂから出力される各時刻の第２距離画像情報とを保持するテーブルである。距離画像テーブル５４０ａのデータ構造は、実施例３の図２６で説明した距離画像テーブル４４０ａのデータ構造と同様である。なお、各時刻の第１距離画像情報は、センサ１０Ａが測定した距離の情報、可視画像の情報、反射強度の情報を含む。各時刻の第２距離画像情報は、距離の情報、可視画像の情報、反射強度の情報を含む。
　パラメータ５４０ｂは、センサ１０Ａに測距される点群と、センサ１０Ｂに測距される点群との位置合わせを行うためのパラメータである。パラメータ５４０ｂには、位置合わせ回転角度の情報と、位置合わせ並進距離の情報とが含まれる。
　特定テーブル５４０ｃは、第１～第４ベクトルの始点および終点、第１、２並進用点の座標を特定する場合に用いられるテーブルである。図３１は、特定テーブルのデータ構造の一例を示す図である。図３１に示すように、この特定テーブル５４０ｃは、座標テーブル５４１と、座標テーブル５４２とを有する。座標テーブル５４１は、第１～第４ベクトルの始点および終点について、インストラクション画面で選択された座標、各時刻の反射強度の情報から特定された座標の情報を保持するテーブルである。座標テーブル５４２は、第１、第２並進用点について、インストラクション画面で選択された座標、各時刻の反射強度の情報から特定された座標の情報を保持するテーブルである。
　座標テーブル５４１は、ベクトル種別、選択始点座標、選択終点座標、候補始点座標、候補終点座標を対応付ける。ベクトル種別は、ベクトルの種別を示す情報である。ベクトル種別は、第１ベクトル、第２ベクトル、第３ベクトル、第４ベクトルのうち、いずれかのベクトルとなる。選択始点座標は、インストラクション画面でユーザに選択されるベクトルの始点の座標を示す。選択終点座標は、インストラクション画面でユーザに選択されるベクトルの終点の座標を示す。候補始点座標は、反射強度の情報に基づき算出されるベクトルの始点の座標を示す。候補終点座標は、反射強度の情報に基づき算出されるベクトルの終点の座標を示す。たとえば、候補始点座標および候補終点座標は、時刻毎に算出される。
　座標テーブル５４２は、並進用点種別、選択座標、候補座標を対応付ける。並進点種別は、並進用点の種別を示す情報である。並進用点の種別は、第１並進用点、第２並進用点のいずれかとなる。選択座標は、インストラクション画面でユーザに選択される並進用点の座標を示す。候補座標は、反射強度の情報に基づき算出される並進用点の座標を示す。たとえば、候補座標は、時刻毎に算出される。
　図３０の説明に戻る。制御部５５０は、第１取得部５５０ａと、提供部５５０ｂと、第２取得部５５０ｃと、算出部５５０ｄと、出力部５５０ｅとを有する。制御部５５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部５５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
　第１取得部５５０ａは、インタフェース部５１０を介して、時刻毎にセンサ１０Ａから出力される第１距離画像情報を取得し、取得した第１距離画像情報を距離画像テーブル５４０ａに登録する。第１取得部１５０ａは、時刻毎にセンサ１０Ｂから出力される第２距離画像情報を取得し、取得した第２距離画像情報を距離画像テーブル１４０ａに登録する。第１取得部５５０ａに関するその他の説明は、実施例１で説明した第１取得部１５０ａに関する説明と同様である。
　提供部５５０ｂは、インストラクション画面の情報を生成し、インストラクション画面の情報を、表示部５３０に出力することで、インストラクション画面を表示させる処理部である。たとえば、提供部５５０ｂは、入力部５２０からインストラクション画面の表示要求を受け付けた場合に、かかる要求を受け付けた時刻に対応する第１距離画像情報の可視化画像を用いて、第１ベクトル、第２ベクトル、第１並進用点の選択を受けるためのインストラクション画面を生成する。また、提供部５５ｂは、インストラクション画面の表示要求を受け付けた場合に、かかる要求を受け付けた時刻に対応する第２距離画像情報の可視化画像を用いて、第３ベクトル、第４ベクトル、第２並進用点の選択を受けるためのインストラクション画面を生成する。
　提供部５５０ｂがインストラクション画面を生成するその他の処理は、実施例１で説明した提供部１５０ｂの処理と同様である。
　第２取得部５５０ｃは、インストラクション画面に対してユーザに選択された情報を基にして、第１ベクトル、第２ベクトル、第１並進用点、第３ベクトル、第４ベクトル、第２並進用点を取得する処理部である。
　第２取得部５５０ｃが、インストラクション画面によりユーザに選択される第１～第４ベクトルの選択始点座標および選択終点座標、第１、２並進用点の選択座標を特定する処理について説明する。
　提供部５５０ｂにより、第１ベクトルの始点および終点を選択するインストラクション画面が表示部５３０に表示されると、ユーザは、入力部５２０を操作して、第１ベクトルの始点および終点を選択する。第２取得部５５０ｃは、入力部５２０から、第１ベクトルの始点および終点の情報を取得する。入力部５２０により選択される、第１ベクトルの始点および終点の情報は、可視画像の座標に対応する。
　第２取得部５５０ｃは、距離画像テーブル５４０ａの第１距離画像情報を基にして、インストラクション画面でユーザに選択された第１ベクトルの始点に対応する点の座標を特定し、特定した座標を、ベクトル種別「第１ベクトル」の「選択始点座標」として、座標テーブル５４１に登録する。
　第２取得部５５０ｃは、距離画像テーブル５４０ａの第１距離画像情報を基にして、インストラクション画面でユーザに選択された第１ベクトルの終点に対応する点の座標を特定し、特定した座標を、ベクトル種別「第１ベクトル」の「選択終点座標」として、座標テーブル５４１に登録する。
　提供部５５０ｂにより、第２ベクトルの始点および終点を選択するインストラクション画面が表示部５３０に表示されると、ユーザは、入力部５２０を操作して、第２ベクトルの始点および終点を選択する。第２取得部５５０ｃは、入力部５２０から、第２ベクトルの始点および終点の情報を取得する。第２ベクトルの始点および終点の情報は、可視画像の座標に対応する。
　第２取得部５５０ｃは、距離画像テーブル５４０ａの第１距離画像情報を基にして、インストラクション画面でユーザに選択された第２ベクトルの始点に対応する点の座標を特定し、特定した座標を、ベクトル種別「第２ベクトル」の「選択始点座標」として、座標テーブル５４１に登録する。
　第２取得部５５０ｃは、距離画像テーブル５４０ａの第１距離画像情報を基にして、インストラクション画面でユーザに選択された第１ベクトルの終点に対応する点の座標を特定し、特定した座標を、ベクトル種別「第２ベクトル」の「選択終点座標」として、座標テーブル５４１に登録する。
　提供部５５０ｂにより、第１並進用点を選択するインストラクション画面が表示部５３０に表示されると、ユーザは、入力部５２０を操作して、第１並進用点を選択する。第２取得部５５０ｃは、入力部５２０から、第１並進用点の情報を取得する。入力部５２０により選択される、第１並進用点の情報は、可視画像の座標に対応する。
　第２取得部５５０ｃは、距離画像テーブル５４０ａの第１距離画像情報を基にして、インストラクション画面でユーザに選択された第１並進用点に対応する点の座標を特定し、特定した座標を、並進用点種別「第１並進用点」の「選択座標」として、座標テーブル５４２に登録する。
　提供部５５０ｂにより、第３ベクトルの始点および終点を選択するインストラクション画面が表示部５３０に表示されると、ユーザは、入力部５２０を操作して、第３ベクトルの始点および終点を選択する。第２取得部５５０ｃは、入力部５２０から、第３ベクトルの始点および終点の情報を取得する。入力部５２０により選択される、第３ベクトルの始点および終点の情報は、可視画像の座標に対応する。
　第２取得部５５０ｃは、距離画像テーブル５４０ａの第２距離画像情報を基にして、インストラクション画面でユーザに選択された第３ベクトルの始点に対応する点の座標を特定し、特定した座標を、ベクトル種別「第３ベクトル」の「選択始点座標」として、座標テーブル５４１に登録する。
　第２取得部５５０ｃは、距離画像テーブル５４０ａの第２距離画像情報を基にして、インストラクション画面でユーザに選択された第３ベクトルの終点に対応する点の座標を特定し、特定した座標を、ベクトル種別「第３ベクトル」の「選択終点座標」として、座標テーブル５４１に登録する。
　提供部５５０ｂにより、第４ベクトルの始点および終点を選択するインストラクション画面が表示部５３０に表示されると、ユーザは、入力部５２０を操作して、第４ベクトルの始点および終点を選択する。第２取得部５５０ｃは、入力部５２０から、第４ベクトルの始点および終点の情報を取得する。入力部５２０により選択される、第４ベクトルの始点および終点の情報は、可視画像の座標に対応する。
　第２取得部５５０ｃは、距離画像テーブル５４０ａの第２距離画像情報を基にして、インストラクション画面でユーザに選択された第４ベクトルの始点に対応する点の座標を特定し、特定した座標を、ベクトル種別「第４ベクトル」の「選択始点座標」として、座標テーブル５４１に登録する。
　第２取得部５５０ｃは、距離画像テーブル５４０ａの第２距離画像情報を基にして、インストラクション画面でユーザに選択された第４ベクトルの終点に対応する点の座標を特定し、特定した座標を、ベクトル種別「第４ベクトル」の「選択終点座標」として、座標テーブル５４１に登録する。
　提供部５５０ｂにより、第２並進用点を選択するインストラクション画面が表示部５３０に表示されると、ユーザは、入力部５２０を操作して、第２並進用点を選択する。第２取得部５５０ｃは、入力部５２０から、第２並進用点の情報を取得する。入力部５２０により選択される、第２並進用点の情報は、可視画像の座標に対応する。
　第２取得部５５０ｃは、距離画像テーブル５４０ａの第２距離画像情報を基にして、インストラクション画面でユーザに選択された第２並進用点に対応する点の座標を特定し、特定した座標を、並進用点種別「第２並進用点」の「選択座標」として、座標テーブル５４２に登録する。
　上記の処理により、座標テーブル５４１には、ベクトル種別「第１ベクトル～第４ベクトル」の選択始点座標、選択終点座標が登録される。座標テーブル５４２には、並進用点種別「第１並進用点、第２並進用点」の選択座標が登録される。
　第２取得部５５０ｃが、第１～第４ベクトルの候補始点座標および候補終点座標、第１、２並進用点の選択座標を特定する処理について説明する。ここでは一例として、インストラクション画面を基にして、第１ベクトルの始点としてマーカ３０－１が選択され、第１ベクトルの終点としてマーカ３０－２が選択されたものとする。第２ベクトルの始点としてマーカ３０－２が選択され、第２ベクトルの終点としてマーカ３０－４が選択されたものとする。第１並進用点として、マーカ３０－２が選択されたものとする。
　インストラクション画面を基にして、第３ベクトルの始点としてマーカ３０－２が選択され、第３ベクトルの終点としてマーカ３０－３が選択されたものとする。第４ベクトルの始点としてマーカ３０－２が選択され、第４ベクトルの終点としてマーカ３０－４が選択されたものとする。第２並進用点として、マーカ３０－２が選択されたものとする。
　第２取得部５５０ｃは、時刻Ｔｎ＋１の第１距離画像情報に含まれる反射強度の情報（反射強度画像）を２値化する。時刻Ｔｎは、インストラクション画面を生成した第１距離画像情報に対応する時刻とする。
　たとえば、第２取得部５５０ｃは、反射強度画像において、反射強度が予め定められる閾値未満となる部分を０に設定し、閾値以上となる部分を１に設定する。第２取得部５５０ｃは、２値化した反射強度画像において、１となる部分をラベリングする。図２９に示す反射強度画像６０では、ラベリングされる領域が、領域６１ａ～６１ｄ，６２ａ～６２ｄ，６４ａ～６４ｄ（６３ａ～６３ｄは、センサ１０Ａの測距範囲に含まれない）となる。
　第２取得部５５０ｃは、座標テーブル５４１の各ベクトル種別の選択始点座標、選択主点座標と、ラベリングされた領域の座標とを比較して、距離の近い、ベクトル種別と、ラベリングされた領域との対応付けを行う。
　たとえば、図２９において、領域６１ａ～６１ｄは、ベクトル種別「第１ベクトル」の選択始点座標に最も近いため、領域６１ａ～６１ｄは、ベクトル種別「第１ベクトル」の始点座標に対応付けられる。第２選択部５５０ｃは、領域６１ａの中心座標および領域６１ｃの中心座標を結ぶ線分と、領域６１ｂの中心座標および領域６１ｄの中心座標とを結ぶ線分との交点の座標を、ベクトル種別「第１ベクトル」に対応する一つの候補始点座標として特定し、座標テーブル５４１に登録する。
　領域６２ａ～６２ｄは、ベクトル種別「第１ベクトル」の選択終点座標に最も近いため、領域６２ａ～６２ｄは、ベクトル種別「第１ベクトル」の終点座標に対応付けられる。第２選択部５５０ｃは、領域６２ａの中心座標および領域６２ｃの中心座標を結ぶ線分と、領域６２ｂの中心座標および領域６２ｄの中心座標とを結ぶ線分との交点の座標を、ベクトル種別「第１ベクトル」に対応する一つの候補終点座標として特定し、座標テーブル５４１に登録する。
　領域６２ａ～６２ｄは、ベクトル種別「第２ベクトル」の選択始点座標に最も近いため、領域６２ａ～６２ｄは、ベクトル種別「第２ベクトル」の始点座標に対応付けられる。第２選択部５５０ｃは、領域６２ａの中心座標および領域６２ｃの中心座標を結ぶ線分と、領域６２ｂの中心座標および領域６２ｄの中心座標とを結ぶ線分との交点の座標を、ベクトル種別「第２ベクトル」に対応する一つの候補始点座標として特定し、座標テーブル５４１に登録する。
　領域６４ａ～６４ｄは、ベクトル種別「第２ベクトル」の選択終点座標に最も近いため、領域６４ａ～６４ｄは、ベクトル種別「第２ベクトル」の終点座標にも対応付けられる。第２選択部５５０ｃは、領域６４ａの中心座標および領域６４ｃの中心座標を結ぶ線分と、領域６４ｂの中心座標および領域６４ｄの中心座標とを結ぶ線分との交点の座標を、ベクトル種別「第２ベクトル」に対応する一つの候補終点座標として特定し、座標テーブル５４１に登録する。
　領域６２ａ～６２ｄは、並進用点種別「第１並進用点」の選択座標に最も近いため、領域６２ａ～６２ｄは、並進用点種別「第１並進用点」の座標に対応付けられる。第２選択部５５０ｃは、領域６２ａの中心座標および領域６２ｃの中心座標を結ぶ線分と、領域６２ｂの中心座標および領域６２ｄの中心座標とを結ぶ線分との交点の座標を、並進用点種別「第１並進用点」に対応する一つの候補座標として特定し、座標テーブル５４２に登録する。
　第２取得部５５０ｃは、時刻Ｔｎ＋２、Ｔｎ＋３、Ｔｎ＋４、Ｔｎ＋５の第１距離画像情報についても上記処理を実行することで、第１ベクトル、第２ベクトルに対応する複数の候補始点座標、複数の候補終点座標を、座標テーブル５４１に登録する。また、第２取得部５５０ｃは、第１並進用点に対応する複数の候補座標を、座標テーブル５４２に登録する。
　第２取得部５５０ｃは、時刻Ｔｎ＋１の第２距離画像情報に含まれる反射強度の情報（反射強度画像）を２値化する。時刻Ｔｎは、インストラクション画面を生成した第２距離画像情報に対応する時刻とする。
　たとえば、第２取得部５５０ｃは、反射強度画像において、反射強度が予め定められる閾値未満となる部分を０に設定し、閾値以上となる部分を１に設定する。第２取得部５５０ｃは、２値化した反射強度画像において、１となる部分をラベリングする。図２９に示す反射強度画像６０では、ラベリングされる領域が、領域６２ａ～６２ｄ，６３ａ～６３ｄ，６４ａ～６４ｄ（６１ａ～６１ｄは、センサ１０Ｂの測距範囲に含まれない）となる。
　第２取得部５５０ｃは、座標テーブル５４１の各ベクトル種別の選択始点座標、選択主点座標と、ラベリングされた領域の座標とを比較して、距離の近い、ベクトル種別と、ラベリングされた領域との対応付けを行う。
　たとえば、図２９において、領域６２ａ～６２ｄは、ベクトル種別「第３ベクトル」の選択始点座標に最も近いため、領域６２ａ～６２ｄは、ベクトル種別「第３ベクトル」の始点座標に対応付けられる。第２選択部５５０ｃは、領域６２ａの中心座標および領域６２ｃの中心座標を結ぶ線分と、領域６２ｂの中心座標および領域６２ｄの中心座標とを結ぶ線分との交点の座標を、ベクトル種別「第３ベクトル」に対応する一つの候補始点座標として特定し、座標テーブル５４１に登録する。
　領域６３ａ～６３ｄは、ベクトル種別「第３ベクトル」の選択終点座標に最も近いため、領域６３ａ～６３ｄは、ベクトル種別「第３ベクトル」の終点座標に対応付けられる。第２選択部５５０ｃは、領域６３ａの中心座標および領域６３ｃの中心座標を結ぶ線分と、領域６３ｂの中心座標および領域６３ｄの中心座標とを結ぶ線分との交点の座標を、ベクトル種別「第３ベクトル」に対応する一つの候補終点座標として特定し、座標テーブル５４１に登録する。
　領域６２ａ～６２ｄは、ベクトル種別「第４ベクトル」の選択始点座標に最も近いため、領域６２ａ～６２ｄは、ベクトル種別「第４ベクトル」の始点座標に対応付けられる。第２選択部５５０ｃは、領域６２ａの中心座標および領域６２ｃの中心座標を結ぶ線分と、領域６２ｂの中心座標および領域６２ｄの中心座標とを結ぶ線分との交点の座標を、ベクトル種別「第４ベクトル」に対応する一つの候補始点座標として特定し、座標テーブル５４１に登録する。
　領域６４ａ～６４ｄは、ベクトル種別「第４ベクトル」の選択終点座標に最も近いため、領域６４ａ～６４ｄは、ベクトル種別「第４ベクトル」の終点座標にも対応付けられる。第２選択部５５０ｃは、領域６４ａの中心座標および領域６４ｃの中心座標を結ぶ線分と、領域６４ｂの中心座標および領域６４ｄの中心座標とを結ぶ線分との交点の座標を、ベクトル種別「第４ベクトル」に対応する一つの候補終点座標として特定し、座標テーブル５４１に登録する。
　領域６２ａ～６２ｄは、並進用点種別「第２並進用点」の選択座標に最も近いため、領域６２ａ～６２ｄは、並進用点種別「第２並進用点」の座標に対応付けられる。第２選択部５５０ｃは、領域６２ａの中心座標および領域６２ｃの中心座標を結ぶ線分と、領域６２ｂの中心座標および領域６２ｄの中心座標とを結ぶ線分との交点の座標を、並進用点種別「第２並進用点」に対応する一つの候補座標として特定し、座標テーブル５４２に登録する。
　第２取得部５５０ｃは、時刻Ｔｎ＋２、Ｔｎ＋３、Ｔｎ＋４、Ｔｎ＋５の第２距離画像情報についても上記処理を実行することで、第３ベクトル、第４ベクトルに対応する複数の候補始点座標、複数の候補終点座標を、座標テーブル５４１に登録する。また、第２取得部５５０ｃは、第２並進用点に対応する複数の候補座標を、座標テーブル５４２に登録する。
　第２取得部５５０ｃが、上記処理を実行することで、図３１に示した、座標テーブル５４１，５４２に各座標が登録される。
　第２取得部５５０ｃは、あるベクトル種別の選択始点座標と、このベクトル種別に対応する複数の候補始点座標とを比較し、選択始点座標に最も近い距離の候補始点座標を、ベクトルの最終的な始点座標として特定する。第２取得部５５０ｃは、あるベクトル種別の選択終点座標と、このベクトル種別に対応する複数の候補終点座標とを比較し、選択終点座標に最も近い距離の候補終点座標を、ベクトルの最終的な終点座標として特定する。
　たとえば、第２取得部５５０ｃは、ベクトル種別「第１ベクトル」に対応する選択始点座標と、各候補始点座標とを比較し、最も近い候補始点座標を、第１ベクトルの最終的な始点座標として特定する。第２取得部５５０ｃは、ベクトル種別「第１ベクトル」に対応する選択終点座標と、各候補終点座標とを比較し、最も近い候補終点座標を、第１ベクトルの最終的な終点座標として特定する。
　第２取得部５５０ｃは、他のベクトル種別「第２ベクトル、第３ベクトル、第４ベクトル」についても、同様の処理を行うことで、最終的な始点座標、終点座標を特定する。
　第２取得部５５０ｃは、ある並進用点種別の選択座標と、この並進用点種別に対応する複数の候補座標とを比較し、選択座標に最も近い距離の候補座標を、並進用点の最終的な座標として特定する。
　たとえば、第２取得部５５０ｃは、並進用点種別「第１並進用点」に対応する選択座標と、各候補座標とを比較し、最も近い候補座標を、第１並進用点の最終的な座標として特定する。第２取得部５５０ｃは、並進用点種別「第２並進用点」に対応する選択座標と、各候補座標とを比較し、最も近い候補座標を、第２並進用点の最終的な座標として特定する。
　第２選択部５５０ｃは、距離画像テーブル５４０ａの第１距離画像情報を基にして、第１ベクトルの最終的な始点座標に対応する点の識別情報を、各点群から特定する。第１ベクトルの始点に対応する点の識別情報を、「第１始点識別情報」と表記する。第２取得部５５０ｃは、距離画像テーブル５４０ａの第１距離画像情報を基にして、第１ベクトルの最終的な終点座標に対応する点の識別情報を、各点群から特定する。第１ベクトルの終点に対応する点の識別情報を、「第１終点識別情報」と表記する。
　第２選択部５５０ｃは、距離画像テーブル５４０ａの第１距離画像情報を基にして、第２ベクトルの最終的な始点座標に対応する点の識別情報を、各点群から特定する。第２ベクトルの始点に対応する点の識別情報を、「第２始点識別情報」と表記する。第２取得部５５０ｃは、距離画像テーブル５４０ａの第１距離画像情報を基にして、第２ベクトルの最終的な終点座標に対応する点の識別情報を、各点群から特定する。第２ベクトルの終点に対応する点の識別情報を、「第２終点識別情報」と表記する。
　第２選択部５５０ｃは、距離画像テーブル５４０ａの第２距離画像情報を基にして、第３ベクトルの最終的な始点座標に対応する点の識別情報を、各点群から特定する。第３ベクトルの始点に対応する点の識別情報を、「第３始点識別情報」と表記する。第２取得部５５０ｃは、距離画像テーブル５４０ａの第２距離画像情報を基にして、第３ベクトルの最終的な終点座標に対応する点の識別情報を、各点群から特定する。第３ベクトルの終点に対応する点の識別情報を、「第３終点識別情報」と表記する。
　第２選択部５５０ｃは、距離画像テーブル５４０ａの第２距離画像情報を基にして、第４ベクトルの最終的な始点座標に対応する点の識別情報を、各点群から特定する。第４ベクトルの始点に対応する点の識別情報を、「第４始点識別情報」と表記する。第２取得部５５０ｃは、距離画像テーブル５４０ａの第２距離画像情報を基にして、第４ベクトルの最終的な終点座標に対応する点の識別情報を、各点群から特定する。第４ベクトルの終点に対応する点の識別情報を、「第４終点識別情報」と表記する。
　第２取得部５５０ｃは、距離画像テーブル５４０ａの第１距離画像情報を基にして、第１並進用点の最終的な座標に対応する点の識別情報を、各点群から特定する。第１並進用点に対応する点の識別情報を、「第１並進点識別情報」と表記する。
　第２取得部５５０ｃは、距離画像テーブル５４０ａの第２距離画像情報を基にして、第２並進用点の最終的な座標に対応する点の識別情報を、各点群から特定する。第２並進用点に対応する点の識別情報を、「第２並進点識別情報」と表記する。
　第２取得部５５０ｃは、第１始点識別情報、第１終点識別情報、第２始点識別情報、第２終点識別情報、第１並進点識別情報を、算出部５５０ｄに出力する。第２取得部５５０ｃは、第３始点識別情報、第３終点識別情報、第４始点識別情報、第４終点識別情報、第２並進点識別情報を、算出部５５０ｄに出力する。
　算出部５５０ｄは、第１ベクトル、第２ベクトル、第３ベクトル、第４ベクトル、第１並進点、第２並進点を基にして、位置合わせのための回転角度および並進距離を算出する処理部である。算出部５５０ｄは、算出した回転角度および並進距離の情報をパラメータ５４０ｂとして、記憶部５４０に記憶する。算出部５５０ｄの処理は、実施例１で説明した算出部１５０ｄの処理と同様である。
　出力部５５０ｅは、パラメータ５４０ｂを、実施例１で説明した採点装置２００等の外部装置に出力する処理部である。
　次に、本実施例４に係る情報処理装置４００の処理手順の一例について説明する。図３２および図３３は、本実施例４に係る情報処理装置の処理手順を示すフローチャートである。図３２に示すように、情報処理装置４００の第１取得部５５０ａは、センサ１０Ａ、１０Ｂから第１距離画像情報、第２距離画像情報を取得する（ステップＳ５０１）。
　情報処理装置５００の提供部５５０ｂは、インストラクション画面の情報を生成し、インストラクション画面を表示部５３０に表示させる（ステップＳ５０２）。
　情報処理装置５００の第２取得部５５０ｃは、ユーザによる選択を基にして、センサ１０Ａの点群から、第１ベクトルの始点および終点、第２ベクトルの始点および終点、第１並進用点を取得する（ステップＳ５０３）。第２取得部５５０ｃは、ユーザによる選択を基にして、センサ１０Ｂの点群から、第３ベクトルの始点および終点、第４ベクトルの始点および終点、第２並進用点を取得する（ステップＳ５０４）。
　第２取得部５５０ｃは、次の第１距離画像情報の反射強度画像、次の第２距離画像情報の反射距離画像情報を取得する（ステップＳ５０５）。第２取得部５５０ｃは、第１距離画像情報の反射強度画像、第２距離画像情報の反射距離画像情報を２値化する（ステップＳ５０６）。
　第２取得部５５０ｃは、２値化した反射強度画像をラベリングし、ラベリングした各領域を、第１～第４ベクトルの始点および終点、第１、２並進用点の座標に対応付ける（ステップＳ５０７）。
　第２取得部５５０ｃは、第１ベクトルの候補始点座標および候補終点座標、第２ベクトルの候補始点座標および候補終点座標、第１並進用点の候補座標を特定テーブル５４０ｃに登録する（ステップＳ５０８）。第２取得部５５０ｃは、第３ベクトルの候補始点座標および候補終点座標、第４ベクトルの候補始点座標および候補終点座標、第２並進用点の候補座標を特定テーブル５４０ｃに登録する（ステップＳ５０９）。
　情報処理装置５００は、第１距離画像情報および第２距離画像情報を、所定回数（予め設定される回数）取得してない場合には（ステップＳ５１０，Ｎｏ）、ステップＳ５０５に移行する。一方、情報処理装置５００は、第１距離画像情報および第２距離画像情報を、所定回数取得した場合には（ステップＳ５１０，Ｙｅｓ）、図３３のステップＳ５１１に移行する。
　図３３の説明に移行する。
　第２取得部５５０ｃは、第１ベクトルの選択始点座標および選択終点座標、第２ベクトルの選択始点座標および選択終点、第１並進用点の選択座標と、各候補座標とを比較する（ステップＳ５１１）。第２取得部５５０ｃは、第１ベクトルの始点座標および終点座標、第２ベクトルの始点座標および終点座標、第１並進用点の座標を決定する（ステップＳ５１２）。
　第２取得部５５０ｃは、第３ベクトルの選択始点座標および選択終点座標、第４ベクトルの選択始点座標および選択終点、第２並進用点の選択座標と、各候補座標とを比較する（ステップＳ５１３）。第２取得部５５０ｃは、第４ベクトルの始点座標および終点座標、第４ベクトルの始点座標および終点座標、第２並進用点の座標を決定する（ステップＳ５１４）。
　情報処理装置５００の算出部５５０ｄは、第１～第４ベクトルを単位ベクトルに変換する（ステップＳ５１５）。算出部５５０ｄは、始点が３次元座標の原点となるように、第１～第４ベクトルを移動させる（ステップＳ５１６）。
　算出部５５０ｄは、合計距離Ｄが最小となるセンサ１０Ｂの終点の回転角度（位置合わせ回転角度）を算出する（ステップＳ５１７）。算出部５５０ｄは、第２並進用点を、位置合わせ回転角度だけ回転させる（ステップＳ５１８）。
　算出部５５０ｄは、第１並進用点の座標と、回転させた第２並進用点の座標との差分を並進距離（位置合わせ並進距離）として算出する（ステップＳ５１９）。算出部５５０ｄは、位置合わせ回転角度と、位置合わせ並進距離とをパラメータ５４０ｂとして記憶部５４０に記憶させる（ステップＳ５２０）。
　次に、本実施例４に係る情報処理装置５００の効果について説明する。情報処理装置５００は、センサ１０Ａ，１０Ｂから順次入力される反射強度画像を基にして、各マーカに配置された各シールの座標を特定し、各シールの座標を基にして、各マーカの座標を算出する処理を繰り返し実行する。情報処理装置５００は、各マーカの位置を基にして、ユーザに選択された第１～第４ベクトルの始点および終点、第１、２並進用点の座標を補正する処理を行う。情報処理装置５００が、かかる処理を実行することにより、ユーザに選択された第１～第４ベクトルの始点および終点、第１、２並進用点の位置が正確でない場合や、選択された後に何らかの影響で、マーカの位置がずれた場合でも最適な第１～第４ベクトルの始点および終点、第１、２並進用点の位置を特定することができる。
　次に、実施例に示した情報処理装置１００，３００，４００，５００、採点装置２００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図３４は、本実施例に係る情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
　図３４に示すように、コンピュータ６００は、各種演算処理を実行するＣＰＵ６０１と、ユーザからのデータの入力を受け付ける入力装置６０２と、ディスプレイ６０３とを有する。また、コンピュータ６００は、記憶媒体からプログラム等を読み取る読み取り装置６０４と、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行うインタフェース装置６０５とを有する。インタフェース装置６０５は、センサ１０Ａ，１０Ｂ等に接続される。また、採点装置２００に接続されていてもよい。コンピュータ６００は、各種情報を一時記憶するＲＡＭ６０６と、ハードディスク装置６０７とを有する。そして、各装置６０１～６０７は、バス６０８に接続される。
　ハードディスク装置６０７は、第１取得プログラム６０７ａ、提供プログラム６０７ｂ、第２取得プログラム６０７ｃ、算出プログラム６０７ｄ、出力プログラム６０７ｅを有する。ＣＰＵ６０１は、第１取得プログラム６０７ａ、提供プログラム６０７ｂ、第２取得プログラム６０７ｃ、算出プログラム６０７ｄ、出力プログラム６０７ｅを読み出してＲＡＭ４０６に展開する。
　第１取得プログラム６０７ａは、第１取得プロセス６０６ａとして機能する。提供プログラム６０７ｂは、提供プロセス６０６ｂとして機能する。第２取得プログラム６０７ｃは、第２取得プロセス６０６ｃとして機能する。算出プログラム６０７ｄは、算出プロセス６０７ｄとして機能する。出力プログラム６０７ｅは、出力プロセス６０７ｅとして機能する。
　第１取得プロセス６０６ａの処理は、第１取得部１５０ａ，３５０ａ，４５０ａ，５５０ａの処理に対応する。提供プロセス６０６ｂの処理は、提供部１５０ｂ，４５０ｂ，５５０ｂの処理に対応する。第２取得プロセス６０６ｃの処理は、第２取得部１５０ｃ，３５０ｂ，４５０ｃ，５５０ｃの処理に対応する。算出プロセス６０６ｄの処理は、算出部１５０ｄ，３５０ｃ，４５０ｄ，５５０ｄの処理に対応する。出力プロセス６０６ｅの処理は、出力部１５０ｅ，３５０ｄ，４５０ｅ，５５０ｅの処理に対応する。
　なお、各プログラム６０７ａ～６０７ｅについては、必ずしも最初からハードディスク装置５０７に記憶させておかなくてもよい。例えば、コンピュータ６００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ６００が各プログラム６０７ａ～６０７ｅを読み出して実行するようにしてもよい。
　図３５は、本実施例に係る採点装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
　図３５に示すように、コンピュータ７００は、各種演算処理を実行するＣＰＵ７０１と、ユーザからのデータの入力を受け付ける入力装置７０２と、ディスプレイ７０３とを有する。また、コンピュータ７００は、記憶媒体からプログラム等を読み取る読み取り装置７０４と、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行うインタフェース装置７０５とを有する。コンピュータ７００は、各種情報を一時記憶するＲＡＭ７０６と、ハードディスク装置７０７とを有する。そして、各装置７０１～７０７は、バス７０８に接続される。
　ハードディスク装置７０７は、取得プログラム７０７ａ、位置合わせプログラム７０７ｂ、認識プログラム７０７ｃ、出力プログラム７０７ｄを有する。ＣＰＵ７０１は、取得プログラム７０７ａ、位置合わせプログラム７０７ｂ、認識プログラム７０７ｃ、出力プログラム７０７ｄを読み出してＲＡＭ７０６に展開する。
　取得プログラム７０７ａは、取得プロセス７０６ａとして機能する。位置合わせプログラム７０７ｂは、位置合わせプロセス７０６ｂとして機能する。認識プログラム７０７ｃは、認識プロセス７０６ｃとして機能する。出力プロセス７０６ａの処理は、出力部３５０ｄの処理に対応する。
　なお、各プログラム７０７ａ～７０７ｄについては、必ずしも最初からハードディスク装置７０７に記憶させておかなくてもよい。例えば、コンピュータ７００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ７００が各プログラム７０７ａ～７０７ｄを読み出して実行するようにしてもよい。
　１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ　センサ
　１００，３００，４００，５００　　情報処理装置
　１１０，３１０，４１０，５１０　　インタフェース部
　１２０，３２０，４２０，５２０　　入力部
　１３０，３３０，４３０，５３０　　表示部
　１４０，３４０，４４０，５４０　　記憶部
　１４０ａ，３４０ａ，４４０ａ，５４０ａ　距離画像テーブル
　１４０ｂ，３４０ｂ，４４０ｂ，５４０ｂ　パラメータ
　１５０，３５０，４５０，５５０　　制御部
　１５０ａ，３５０ａ，４５０ａ，５５０ａ　第１取得部
　１５０ｂ，４５０ｂ，５５０ｂ　提供部
　１５０ｃ，３５０ｂ，４５０ｃ，５５０ｃ　第２取得部
　１５０ｄ，３５０ｃ，４５０ｄ，５５０ｄ　算出部
　１５０ｅ，３５０ｄ，４５０ｅ，５５０ｅ　出力部
　２００　　採点装置
　２０１　　記憶部
　２０２　　取得部
　２０３　　位置合わせ部
　２０４　　認識部
　２０５　　出力部
　２５０　　表示装置
　３４０ｃ　マーカ定義情報
　５４０ｃ　特定テーブル

Claims (21)

  1. 　コンピュータが、
    　第１センサにより測距された被写体までの距離の情報を含む第１測定情報と、第２センサにより測距された前記被写体までの距離の情報を含む第２測定情報とを取得し、
    　前記第１測定情報から、第１ベクトルと、前記第１ベクトルとは異なる向きの第２ベクトルと、第１並進用点とを取得し、
    　前記第２測定情報から、前記第１ベクトルと実空間上で平行かつ向きが同じベクトルとして取り扱われる第３ベクトルと、前記第２ベクトルと前記実空間上で平行かつ向きが同じベクトルとして取り扱われる第４ベクトルと、前記実空間上で前記第１並進用点と同じ位置として取り扱われる第２並進用点との情報を取得し、
    　前記第１ベクトルの終点、前記第２ベクトルの終点、前記第１並進用点、前記第３ベクトルの終点、前記第４ベクトルの終点、前記第２並進用点を基にして、前記第１センサに測距される前記被写体の点群に対して、前記第２センサにより測距される前記被写体の点群の位置合わせを行うための、回転角度および並進距離を算出し、
    　前記回転角度および前記並進距離を記憶装置に記憶する
    　処理を実行することを特徴とする算出方法。
  2. 　前記第１センサによる測定結果を示す第１画像と、前記第２センサによる測定結果を示す第２画像とを取得し、前記第１画像および前記第２画像を表示装置に表示させ、前記第１ベクトルの始点および終点と、前記第２ベクトルの始点および終点と、前記第１並進用点と、前記第３ベクトルの始点および終点と、前記第４ベクトルの始点および終点と、前記第２並進用点との選択を受け付ける処理を更に実行することを特徴とする請求項１に記載の算出方法。
  3. 　前記第１画像には、第１形状マーカの画像、第２形状マーカの画像、第３形状マーカの画像が含まれ、前記第２画像には、前記第２形状マーカの画像、前記第３形状マーカの画像、第４形状マーカの画像が含まれ、前記実空間上において、前記第１形状マーカおよび前記第４形状マーカを通る第１線分と、前記第２形状マーカおよび前記第３形状マーカを通る第２線分とは交差し、
    　前記第１測定情報に含まれる点群において、前記第１形状マーカに対応する点から前記第２形状マーカに対応する点に至るベクトルを前記第１ベクトルとして取得し、前記第２形状マーカに対応する点から前記第３形状マーカに対応する点に至るベクトルを、前記第２ベクトルとして取得し、前記第２形状マーカに対応する点を前記第１並進用点として取得し、
    　前記第２測定情報に含まれる点群において、前記第２形状マーカに対応する点から前記第４形状マーカに対応する点に至るベクトルを前記第３ベクトルとして取得し、前記第２形状マーカに対応する点から前記第３形状マーカに対応する点に至るベクトルを、前記第４ベクトルとして取得し、前記第２形状マーカに対応する点を前記第２並進用点として取得する処理を更に実行することを特徴とする請求項２に記載の算出方法。
  4. 　前記第１線分と前記第２線分とは前記実空間上において直交することを特徴とする請求項３に記載の算出方法。
  5. 　前記第１画像および前記第２画像には、水平部分を有する被写体および垂直部分を有する被写体の画像が含まれ、前記水平部分を有する前記被写体および前記垂直部分を有する前記被写体上の点から、前記第１ベクトルの始点および終点と、前記第２ベクトルの始点および終点と、前記第１並進用点と、前記第３ベクトルの始点および終点と、前記第４ベクトルの始点および終点と、前記第２並進用点との選択を受け付けることを特徴とする請求項２に記載の算出方法。
  6. 　前記回転角度および前記並進距離を基にして、前記第１センサに測距された点群と、前記第２センサに測距された点群との位置合わせを更に実行することを特徴とする請求項１に記載の算出方法。
  7. 　前記複数のマーカには複数の反射物がそれぞれ配置され、前記第１測定情報には、複数のマーカの光の第１反射強度情報が更に含まれ、前記第２測定情報には、複数のマーカの光の第２反射強度情報が更に含まれ、
    　複数の前記第１反射強度情報からそれぞれ推定される各マーカの位置を基にして、前記第１ベクトルの始点および終点、前記第２ベクトルの始点および終点、前記第１並進用点を補正し、
    　複数の前記第２反射強度情報からそれぞれ推定される各マーカの位置を基にして、前記第３ベクトルの始点および終点、前記第４ベクトルの始点および終点、前記第２並進用点を補正する処理を更に実行することを特徴とする請求項１に記載の算出方法。
  8. 　第１センサにより測距された被写体までの距離の情報を含む第１測定情報と、第２センサにより測距された前記被写体までの距離の情報を含む第２測定情報とを取得し、
    　前記第１測定情報から、第１ベクトルと、前記第１ベクトルとは異なる向きの第２ベクトルと、第１並進用点とを取得し、
    　前記第２測定情報から、前記第１ベクトルと実空間上で平行かつ向きが同じベクトルとして取り扱われる第３ベクトルと、前記第２ベクトルと前記実空間上で平行かつ向きが同じベクトルとして取り扱われる第４ベクトルと、前記実空間上で前記第１並進用点と同じ位置として取り扱われる第２並進用点との情報を取得し、
    　前記第１ベクトルの終点、前記第２ベクトルの終点、前記第１並進用点、前記第３ベクトルの終点、前記第４ベクトルの終点、前記第２並進用点を基にして、前記第１センサに測距される前記被写体の点群に対して、前記第２センサにより測距される前記被写体の点群の位置合わせを行うための、回転角度および並進距離を算出し、
    　前記回転角度および前記並進距離を記憶装置に記憶する
    　処理をコンピュータに実行させることを特徴とする算出プログラム。
  9. 　前記第１センサによる測定結果を示す第１画像と、前記第２センサによる測定結果を示す第２画像とを取得し、前記第１画像および前記第２画像を表示装置に表示させ、前記第１ベクトルの始点および終点と、前記第２ベクトルの始点および終点と、前記第１並進用点と、前記第３ベクトルの始点および終点と、前記第４ベクトルの始点および終点と、前記第２並進用点との選択を受け付ける処理を更に実行することを特徴とする請求項８に記載の算出プログラム。
  10. 　前記第１画像には、第１形状マーカの画像、第２形状マーカの画像、第３形状マーカの画像が含まれ、前記第２画像には、前記第２形状マーカの画像、前記第３形状マーカの画像、第４形状マーカの画像が含まれ、前記実空間上において、前記第１形状マーカおよび前記第４形状マーカを通る第１線分と、前記第２形状マーカおよび前記第３形状マーカを通る第２線分とは交差し、
    　前記第１測定情報に含まれる点群において、前記第１形状マーカに対応する点から前記第２形状マーカに対応する点に至るベクトルを前記第１ベクトルとして取得し、前記第２形状マーカに対応する点から前記第３形状マーカに対応する点に至るベクトルを、前記第２ベクトルとして取得し、前記第２形状マーカに対応する点を前記第１並進用点として取得し、
    　前記第２測定情報に含まれる点群において、前記第２形状マーカに対応する点から前記第４形状マーカに対応する点に至るベクトルを前記第３ベクトルとして取得し、前記第２形状マーカに対応する点から前記第３形状マーカに対応する点に至るベクトルを、前記第４ベクトルとして取得し、前記第２形状マーカに対応する点を前記第２並進用点として取得する処理を更に実行することを特徴とする請求項９に記載の算出プログラム。
  11. 　前記第１線分と前記第２線分とは前記実空間上において直交することを特徴とする請求項１０に記載の算出プログラム。
  12. 　前記第１画像および前記第２画像には、水平部分を有する被写体および垂直部分を有する被写体の画像が含まれ、前記水平部分を有する前記被写体および前記垂直部分を有する前記被写体上の点から、前記第１ベクトルの始点および終点と、前記第２ベクトルの始点および終点と、前記第１並進用点と、前記第３ベクトルの始点および終点と、前記第４ベクトルの始点および終点と、前記第２並進用点との選択を受け付けることを特徴とする請求項９に記載の算出プログラム。
  13. 　前記回転角度および前記並進距離を基にして、前記第１センサに測距された点群と、前記第２センサに測距された点群との位置合わせを更に実行することを特徴とする請求項８に記載の算出プログラム。
  14. 　前記複数のマーカには複数の反射物がそれぞれ配置され、前記第１測定情報には、複数のマーカの光の第１反射強度情報が更に含まれ、前記第２測定情報には、複数のマーカの光の第２反射強度情報が更に含まれ、
    　複数の前記第１反射強度情報からそれぞれ推定される各マーカの位置を基にして、前記第１ベクトルの始点および終点、前記第２ベクトルの始点および終点、前記第１並進用点を補正し、
    　複数の前記第２反射強度情報からそれぞれ推定される各マーカの位置を基にして、前記第３ベクトルの始点および終点、前記第４ベクトルの始点および終点、前記第２並進用点を補正する処理を更に実行することを特徴とする請求項８に記載の算出プログラム。
  15. 　第１センサにより測距された被写体までの距離の情報を含む第１測定情報と、第２センサにより測距された前記被写体までの距離の情報を含む第２測定情報とを取得する第１取得部と、
    　前記第１測定情報から、第１ベクトルと、前記第１ベクトルとは異なる向きの第２ベクトルと、第１並進用点とを取得し、前記第２測定情報から、前記第１ベクトルと実空間上で平行かつ向きが同じベクトルとして取り扱われる第３ベクトルと、前記第２ベクトルと前記実空間上で平行かつ向きが同じベクトルとして取り扱われる第４ベクトルと、前記実空間上で前記第１並進用点と同じ位置として取り扱われる第２並進用点との情報を取得する第２取得部と、
    　前記第１ベクトルの終点、前記第２ベクトルの終点、前記第１並進用点、前記第３ベクトルの終点、前記第４ベクトルの終点、前記第２並進用点を基にして、前記第１センサに測距される前記被写体の点群に対して、前記第２センサにより測距される前記被写体の点群の位置合わせを行うための、回転角度および並進距離を算出し、前記回転角度および前記並進距離を記憶部に記憶する算出部と
    　を有することを特徴とする情報処理装置。
  16. 　前記第１取得部は、第１センサによる測定結果を示す第１画像と、前記第２センサによる測定結果を示す第２画像とを取得し、前記第１画像および前記第２画像を表示装置に表示させる提示部を更に有し、前記第２取得部は、前記第１ベクトルの始点および終点と、前記第２ベクトルの始点および終点と、前記第１並進用点と、前記第３ベクトルの始点および終点と、前記第４ベクトルの始点および終点と、前記第２並進用点との選択を受け付けることを特徴とする請求項１５に記載の情報処理装置。
  17. 　前記第１画像には、第１形状マーカの画像、第２形状マーカの画像、第３形状マーカの画像が含まれ、前記第２画像には、前記第２形状マーカの画像、前記第３形状マーカの画像、第４形状マーカの画像が含まれ、前記実空間上において、前記第１形状マーカおよび前記第４形状マーカを通る第１線分と、前記第２形状マーカおよび前記第３形状マーカを通る第２線分とは交差し、
    　前記第２取得部は、前記第１測定情報に含まれる点群において、前記第１形状マーカに対応する点から前記第２形状マーカに対応する点に至るベクトルを前記第１ベクトルとして取得し、前記第２形状マーカに対応する点から前記第３形状マーカに対応する点に至るベクトルを、前記第２ベクトルとして取得し、前記第２形状マーカに対応する点を前記第１並進用点として取得し、
    　前記第２測定情報に含まれる点群において、前記第２形状マーカに対応する点から前記第４形状マーカに対応する点に至るベクトルを前記第３ベクトルとして取得し、前記第２形状マーカに対応する点から前記第３形状マーカに対応する点に至るベクトルを、前記第４ベクトルとして取得し、前記第２形状マーカに対応する点を前記第２並進用点として取得することを特徴とする請求項１６に記載の情報処理装置。
  18. 　前記第１線分と前記第２線分とは前記実空間上において直交することを特徴とする請求項１７に記載の情報処理装置。
  19. 　前記第２取得部は、前記第１画像および前記第２画像には、水平部分を有する被写体および垂直部分を有する被写体の画像が含まれ、前記水平部分を有する前記被写体および前記垂直部分を有する前記被写体上の点から、前記第１ベクトルの始点および終点と、前記第２ベクトルの始点および終点と、前記第１並進用点と、前記第３ベクトルの始点および終点と、前記第４ベクトルの始点および終点と、前記第２並進用点との選択を受け付けることを特徴とする請求項１６に記載の情報処理装置。
  20. 　前記回転角度および前記並進距離を基にして、前記第１センサに測距された点群と、前記第２センサに測距された点群との位置合わせ部を更に有することを特徴とする請求項１５に記載の情報処理装置。
  21. 　前記複数のマーカには複数の反射物がそれぞれ配置され、前記第１測定情報には、複数のマーカの光の第１反射強度情報が更に含まれ、前記第２測定情報には、複数のマーカの光の第２反射強度情報が更に含まれ、
    　前記第２取得部は、複数の前記第１反射強度情報からそれぞれ推定される各マーカの位置を基にして、前記第１ベクトルの始点および終点、前記第２ベクトルの始点および終点、前記第１並進用点を補正し、複数の前記第２反射強度情報からそれぞれ推定される各マーカの位置を基にして、前記第３ベクトルの始点および終点、前記第４ベクトルの始点および終点、前記第２並進用点を補正する処理を更に実行することを特徴とする請求項１５に記載の情報処理装置。
PCT/JP2018/038872 2018-10-18 2018-10-18 算出方法、算出プログラムおよび情報処理装置 WO2020079814A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201880098747.1A CN112912927A (zh) 2018-10-18 2018-10-18 计算方法、计算程序及信息处理装置
JP2020551681A JP7078127B2 (ja) 2018-10-18 2018-10-18 算出方法、算出プログラムおよび情報処理装置
EP18937479.6A EP3869461B1 (en) 2018-10-18 2018-10-18 Calculation method, calculation program, and information processing device
PCT/JP2018/038872 WO2020079814A1 (ja) 2018-10-18 2018-10-18 算出方法、算出プログラムおよび情報処理装置
US17/220,434 US11468580B2 (en) 2018-10-18 2021-04-01 Calculation method, computer-readable recording medium recording calculation program, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/038872 WO2020079814A1 (ja) 2018-10-18 2018-10-18 算出方法、算出プログラムおよび情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/220,434 Continuation US11468580B2 (en) 2018-10-18 2021-04-01 Calculation method, computer-readable recording medium recording calculation program, and information processing apparatus

Publications (1)

Publication Number Publication Date
WO2020079814A1 true WO2020079814A1 (ja) 2020-04-23

Family

ID=70284458

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038872 WO2020079814A1 (ja) 2018-10-18 2018-10-18 算出方法、算出プログラムおよび情報処理装置

Country Status (5)

Country Link
US (1) US11468580B2 (ja)
EP (1) EP3869461B1 (ja)
JP (1) JP7078127B2 (ja)
CN (1) CN112912927A (ja)
WO (1) WO2020079814A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546232A (zh) * 2022-04-24 2022-05-27 广州中望龙腾软件股份有限公司 视图平移方法、终端以及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066595A (ja) * 2008-09-11 2010-03-25 Toyota Motor Corp 環境地図生成装置及び環境地図生成方法
JP2013161133A (ja) 2012-02-01 2013-08-19 Toshiba Plant Systems & Services Corp 三次元データ処理装置、三次元データ処理プログラムおよび三次元データ処理方法
WO2017056567A1 (ja) * 2015-10-01 2017-04-06 三菱電機株式会社 寸法計測装置
JP2017106749A (ja) 2015-12-07 2017-06-15 株式会社Ｈｉｅｌｅｒｏ 点群データ取得システム及びその方法
JP2017166846A (ja) 2016-03-14 2017-09-21 株式会社デンソー 物体認識装置
WO2018181249A1 (ja) * 2017-03-31 2018-10-04 パナソニックＩｐマネジメント株式会社 撮像システムおよび校正方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8064730B2 (en) * 2003-09-22 2011-11-22 Asml Netherlands B.V. Device manufacturing method, orientation determination method and lithographic apparatus
JP2008538080A (ja) * 2005-02-03 2008-10-09 ブラッコ イメージング ソチエタ ペル アチオニ 対象物の移動による画像アーチファクトの減少を伴う生物医学画像の登録のための方法と、コンピュータプログラムプロダクト
US20090232388A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data by creation of filtered density images
JP2011188083A (ja) * 2010-03-05 2011-09-22 Sony Corp 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置
CN102169579A (zh) * 2011-03-31 2011-08-31 西北工业大学 密集点云模型快速精确配准方法
US9183631B2 (en) * 2012-06-29 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for registering points and planes of 3D data in multiple coordinate systems
CN103236064B (zh) * 2013-05-06 2016-01-13 东南大学 一种基于法向量的点云自动配准方法
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
CN103679741B (zh) * 2013-12-30 2017-01-18 北京建筑大学 一种基于三维线特征的激光点云数据自动配准方法
WO2017033300A1 (ja) * 2015-08-26 2017-03-02 株式会社イノベーション・アイ ３次元形状データの作成方法
JPWO2017038659A1 (ja) * 2015-09-01 2018-06-14 国立大学法人 東京大学 運動検出装置及びそれを用いた三次元形状測定装置
US11397088B2 (en) * 2016-09-09 2022-07-26 Nanyang Technological University Simultaneous localization and mapping methods and apparatus
US9972067B2 (en) * 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration
JP6396982B2 (ja) * 2016-12-28 2018-09-26 セコム株式会社 空間モデル処理装置
US10580114B2 (en) * 2017-03-29 2020-03-03 Zhijing George Mou Methods and systems for real time 3D-space search and point-cloud registration using a dimension-shuffle transform
WO2018195986A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser sensors
US10529089B2 (en) * 2018-02-23 2020-01-07 GM Global Technology Operations LLC Crowd-sensed point cloud map
CN111819601A (zh) * 2018-02-26 2020-10-23 英特尔公司 为图像处理进行点云配准的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066595A (ja) * 2008-09-11 2010-03-25 Toyota Motor Corp 環境地図生成装置及び環境地図生成方法
JP2013161133A (ja) 2012-02-01 2013-08-19 Toshiba Plant Systems & Services Corp 三次元データ処理装置、三次元データ処理プログラムおよび三次元データ処理方法
WO2017056567A1 (ja) * 2015-10-01 2017-04-06 三菱電機株式会社 寸法計測装置
JP2017106749A (ja) 2015-12-07 2017-06-15 株式会社Ｈｉｅｌｅｒｏ 点群データ取得システム及びその方法
JP2017166846A (ja) 2016-03-14 2017-09-21 株式会社デンソー 物体認識装置
WO2018181249A1 (ja) * 2017-03-31 2018-10-04 パナソニックＩｐマネジメント株式会社 撮像システムおよび校正方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
P. J. BESLN. D. MCKAY: "A method for registration of 3-D shapes", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 14, no. 2, 1992, pages 239 - 256
See also references of EP3869461A4

Also Published As

Publication number Publication date
EP3869461A4 (en) 2021-11-03
JP7078127B2 (ja) 2022-05-31
EP3869461A1 (en) 2021-08-25
EP3869461B1 (en) 2022-10-05
US20210225016A1 (en) 2021-07-22
JPWO2020079814A1 (ja) 2021-09-02
CN112912927A (zh) 2021-06-04
US11468580B2 (en) 2022-10-11

Similar Documents

Publication Publication Date Title
EP2993490B1 (en) Operating device, operating method, and program therefor
JP4885584B2 (ja) レンジファインダ校正方法及び装置
CN103411553B (zh) 多线结构光视觉传感器的快速标定方法
US9467682B2 (en) Information processing apparatus and method
US9704248B2 (en) Position and orientation measuring apparatus, information processing apparatus and information processing method
US20160117824A1 (en) Posture estimation method and robot
CN106651752A (zh) 三维点云数据配准方法及拼接方法
US20190003830A1 (en) Detection device and detection method
CN105139416A (zh) 一种基于图像信息和深度信息的物体识别方法
JP2001524228A (ja) 機械視覚較正標的並びに画像内で標的の位置及び方向を決定する方法
JP2015194478A (ja) 情報処理装置、情報処理方法、プログラム
CN113096183B (zh) 一种基于激光雷达与单目相机的障碍物检测与测量方法
US20180290300A1 (en) Information processing apparatus, information processing method, storage medium, system, and article manufacturing method
US20110235898A1 (en) Matching process in three-dimensional registration and computer-readable storage medium storing a program thereof
JP2016109669A (ja) 情報処理装置、情報処理方法、プログラム
JP2016179534A (ja) 情報処理装置、情報処理方法、プログラム
Samper et al. Analysis of Tsai calibration method using two-and three-dimensional calibration objects
JP5311465B2 (ja) ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム
WO2020079814A1 (ja) 算出方法、算出プログラムおよび情報処理装置
US20200134801A1 (en) Image processing apparatus and image processing method
EP3088983B1 (en) Moving object controller and program
Song et al. Calibration of event-based camera and 3d lidar
JP2005140547A (ja) ３次元計測方法、３次元計測装置、及びコンピュータプログラム
JP2011047830A (ja) 位置計測システム、位置計測用演算装置およびプログラム
JP2016057079A (ja) モデル化データ算出方法及びモデル化データ算出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18937479

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020551681

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018937479

Country of ref document: EP

Effective date: 20210518