WO2025057751A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
WO2025057751A1
WO2025057751A1 PCT/JP2024/030928 JP2024030928W WO2025057751A1 WO 2025057751 A1 WO2025057751 A1 WO 2025057751A1 JP 2024030928 W JP2024030928 W JP 2024030928W WO 2025057751 A1 WO2025057751 A1 WO 2025057751A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
camera
point
pair
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/030928
Other languages
English (en)
French (fr)
Inventor
篤志 大城
邦光 相原
和成 築山
哲也 赤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of WO2025057751A1 publication Critical patent/WO2025057751A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • the present invention relates to registration for multiple cameras.
  • spatial recognition is necessary.
  • a method using multiple images captured by multiple cameras may be adopted.
  • alignment between the multiple cameras is required.
  • the external parameters of the cameras are determined by registration.
  • Patent Document 1 discloses a multi-sensor composite calibration method that includes internal parameter calibration of a camera and external parameter calibration of a laser radar camera.
  • One objective of the present invention is to provide a new method for evaluating the accuracy of registration.
  • An information processing device includes a synthesis unit that generates a synthetic image by synthesizing a first image obtained by capturing an image of a reference object on which a reference marker is arranged with a first camera and a second image obtained by capturing an image of the reference object with a second camera on the same coordinate system based on the correspondence between the first camera coordinate system of the first camera and the second camera coordinate system of the second camera; a first point cloud generation unit that extracts a first point cloud included in a first area determined based on the reference marker from the point cloud generated based on information about the reference object; a second point cloud generation unit that extracts a second point cloud included in a second area determined based on the reference marker from the point cloud included in the synthetic image; a search unit that searches for a second point pair in the second point cloud that corresponds to the first point pair for a first point pair selected from the first point cloud; and an evaluation unit that evaluates the accuracy of the correspondence based on the shape and dimensions of the first point pair and the second
  • a first point pair selected from the first point cloud and a second point pair corresponding to the first point pair in the second point cloud are obtained based on a reference object on which a reference marker is placed, and the accuracy of the correspondence can be evaluated based on the shape and dimensions of the first point pair and the second point pair. Since the absolute error can also be evaluated based on the shape and dimensions of the first point pair and the second point pair, the accuracy of safety design, etc. can be improved.
  • the information processing device may further include a determination unit that determines the correspondence based on the difference between the position and orientation of the reference marker calculated based on an image obtained by capturing an image of the reference object with the first camera and the position and orientation of the reference marker calculated based on an image obtained by capturing an image of the reference object with the second camera.
  • a determination unit that determines the correspondence based on the difference between the position and orientation of the reference marker calculated based on an image obtained by capturing an image of the reference object with the first camera and the position and orientation of the reference marker calculated based on an image obtained by capturing an image of the reference object with the second camera.
  • the information processing device may further include an optimization unit that optimizes the correspondence so that the difference in shape and dimensions between the first point pair and the second point pair is reduced.
  • the search unit may determine coordinates in the second point cloud corresponding to each point of the first point pair, and determine each point of the second point pair based on the center of gravity of one or more points that exist within a predetermined distance from the determined coordinates. With this configuration, it is possible to determine points in the second point cloud corresponding to each point of the first point pair in a statistically robust manner.
  • Each of the first and second regions may be determined based on the surface on which the reference marker of the reference object is arranged. With this configuration, by using the surface on which the reference marker is arranged as the reference, it is possible to optimize the point cloud required to associate the first point pair with the second point pair.
  • the shape dimensions may include length and angle.
  • the evaluation unit may output a histogram of length error and a histogram of angle error. With this configuration, accuracy can be evaluated from the perspective of each of the length and angle included in the shape dimensions.
  • the evaluation unit may calculate the variation in the error in the shape dimensions by repeating the calculation of the error in the shape dimensions of the second pair of points. This configuration makes it possible to predict fluctuations that occur during measurement.
  • the first point pair may be selected based on the geometric features of the reference object. With this configuration, the first point pair is selected more stably.
  • An information processing method includes: generating a composite image by combining a first image obtained by capturing an image of a reference object on which a reference marker is arranged with a first camera and a second image obtained by capturing an image of the reference object with a second camera on the same coordinate system based on a correspondence between a first camera coordinate system of the first camera and a second camera coordinate system of the second camera; extracting a first point cloud included in a first area determined based on the reference marker from the point cloud generated based on information about the reference object; extracting a second point cloud included in a second area determined based on the reference marker from the point cloud included in the composite image; searching for a second point pair in the second point cloud that corresponds to the first point pair for a first point pair selected from the first point cloud; and evaluating the accuracy of the correspondence based on the shape and dimensions of the first point pair and the second point pair.
  • An information processing program causes a computer to execute the following operations: generate a composite image by combining a first image obtained by capturing an image of a reference object on which a reference marker is arranged with a first camera and a second image obtained by capturing an image of the reference object with a second camera on the same coordinate system based on a correspondence between a first camera coordinate system of the first camera and a second camera coordinate system of the second camera; extract a first point cloud included in a first area determined based on the reference marker from the point cloud generated based on information about the reference object; extract a second point cloud included in a second area determined based on the reference marker from the point cloud included in the composite image; search for a second point pair in the second point cloud that corresponds to the first point pair for a first point pair selected from the first point cloud; and evaluate the accuracy of the correspondence based on the shape and dimensions of the first point pair and the second point pair.
  • the present invention makes it possible to evaluate the accuracy of registration.
  • FIG. 7 is a diagram for explaining a process of calculating a homogeneous transformation matrix in the rough calibration process shown in FIGS. 5 and 6 .
  • FIG. FIG. 2 is a diagram showing an example of a marker coordinate system for markers arranged on each surface of an object.
  • 11A and 11B are diagrams illustrating examples of relationships between markers in terms of rotation and translation based on a CAD canonical coordinate system.
  • 11A to 11C are diagrams for explaining an example of the ROI point cloud extraction process according to the present embodiment.
  • 11A to 11C are diagrams for explaining an example of a CAD-derived point cloud generation process according to the present embodiment.
  • 11 is a diagram for explaining an example of a key point search in the identification process according to the present embodiment.
  • FIG. 13 is a diagram for explaining a method of searching for key points by a minimum distance method.
  • FIG. 13 is a diagram for explaining a method for searching for key points by the centroid method.
  • FIG. 13 is a diagram for explaining a method for searching for key points by the average center of gravity method.
  • 11 is a diagram for explaining a method of searching for key points by the average center of gravity method and M-estimation.
  • 11A to 11C are diagrams for explaining an example of geometry calculation in the identification processing according to the present embodiment.
  • FIG. 10A and 10B are diagrams for explaining a method of searching for key points using the average center of gravity method and the RANSAC method;
  • 11A to 11C are diagrams for explaining an example of
  • FIG. 11 is a diagram showing an example of information processing according to the present embodiment.
  • FIG. 11 is a diagram showing an example of information processing according to the present embodiment.
  • FIG. 11 is a diagram showing an example of information processing according to the present embodiment.
  • 1 is a schematic diagram showing a configuration example of a reference object used in an information processing system according to the present embodiment.
  • FIG. 1 is a schematic diagram showing a configuration example of a reference object used in an information processing system according to the present embodiment.
  • FIG. 1 is a schematic diagram showing a configuration example of a reference object used in an information processing system according to the present embodiment.
  • FIG. 1 is a schematic diagram showing a configuration example of a reference object used in an information processing system according to the present embodiment.
  • FIG. 1 is a schematic diagram showing a configuration example of a reference object used in an information processing system according to the present embodiment.
  • FIG. 11 is a diagram for explaining an example of absolute error evaluation in the accuracy evaluation process according to the present embodiment.
  • FIG. 11 is a diagram for explaining an example of repeated error evaluation of the accuracy evaluation process according to the present embodiment.
  • FIG. 13 is a schematic diagram showing an example of an output of an accuracy evaluation result according to the present embodiment.
  • FIG. 11 is a diagram for explaining an example of a penalty term in the fine-tuning process according to the present embodiment.
  • 13A and 13B are diagrams illustrating an example of a change in length error due to fine tuning processing according to the present embodiment.
  • 11A and 11B are diagrams illustrating an example of a change in angle error due to fine tuning processing according to the present embodiment.
  • FIG. 13A to 13C are diagrams for explaining accuracy check using a point cloud thickness in the information processing method according to the present embodiment.
  • 11A to 11C are diagrams for explaining a method of calculating precision spatial distribution according to the present embodiment.
  • 10 is a flowchart showing an example of a processing procedure of a calculation method for precision spatial distribution according to the present embodiment.
  • 11 is a diagram showing an example of visualization of the precision spatial distribution obtained by the precision spatial distribution calculation method according to the present embodiment.
  • FIG. FIG. 2 is a schematic diagram showing an example of a functional configuration of an information processing system according to the present embodiment.
  • 11 is a diagram for explaining a method of setting an arbitrary world coordinate system in the information processing system according to the present embodiment.
  • Application Examples> 1 is a schematic diagram showing an example of the configuration of an information processing system 1 according to the present embodiment.
  • the information processing system 1 includes an information processing device 100 and a plurality of cameras 10-1, 10-2, ..., 10-N (N is an integer of 2 or more) (hereinafter, sometimes collectively referred to as "cameras 10").
  • Camera 10 captures, for example, a two-dimensional image (RGB image) and a depth image simultaneously. Camera 10 may also capture a three-dimensional image.
  • RGB image two-dimensional image
  • Camera 10 may also capture a three-dimensional image.
  • the information processing device 100 performs alignment (registration or camera registration) between multiple cameras 10.
  • the cameras 10-1, 10-2, ..., 10-N each have a camera coordinate system 12-1, 12-2, ..., 12-N (hereinafter, sometimes collectively referred to as "camera coordinate system 12").
  • the camera coordinate system 12 corresponds to the field of view of each camera 10.
  • Registration is a process for determining the correspondence between the camera coordinate systems 12 for multiple cameras 10.
  • the correspondence between the camera coordinate systems 12 is determined based on one or more points in the space SP.
  • the correspondence between the camera coordinate systems 12 may be, for example, a homogeneous transformation matrix, which is an external parameter of the camera.
  • a homogeneous transformation matrix is explained as an example of the correspondence between the camera coordinate systems 12, but any parameter, transformation matrix, or transformation function may be used.
  • the homogeneous transformation matrix T is the extrinsic parameter of one camera 10 relative to another camera 10.
  • a homogeneous transformation matrix T 1 2 from the camera coordinate system 12-1 to the camera coordinate system 12-2 is calculated.
  • a homogeneous transformation matrix T 1 N from the camera coordinate system 12-1 to the camera coordinate system 12-N is calculated.
  • the homogeneous transformation matrix is a matrix that indicates rotation and translation (position).
  • the information processing system 1 evaluates the accuracy of the correspondence (homogeneous transformation matrix T) between the calculated camera coordinate systems 12.
  • FIG. 2 is a schematic diagram showing an example of the hardware configuration of an information processing device 100 according to the present embodiment.
  • the information processing device 100 is an example of a computer, and includes one or more processors 102, a memory 104, an input interface 106, a display interface 110, a camera interface 114, a network controller 116, and storage 120.
  • the one or more processors 102 execute computer-readable instructions contained in a program stored in the storage 120 to provide the processes and functions described below.
  • the one or more processors 102 execute computer-readable instructions contained in a program, part or all of the program may be deployed in the memory 104.
  • Storage 120 is an example of a non-transitory computer-readable medium.
  • storage 120 stores an OS (Operating System) 122 and an information processing program 124.
  • OS 122 includes computer-readable instructions for providing the functions required by a computer, and computer-readable instructions for generating an environment for executing information processing program 124.
  • the information processing program 124 includes computer-readable instructions for the processing described below.
  • the input interface 106 accepts input commands from an input device 108 such as a keyboard, a touch panel, a mouse, or a tablet.
  • the input device 108 may be part of the configuration of the information processing device 100.
  • the display interface 110 outputs a video signal to the display 112.
  • the display 112 may be part of the configuration of the information processing device 100.
  • the camera interface 114 exchanges data with multiple cameras 10 .
  • the network controller 116 exchanges data with other information processing devices via the network.
  • processor includes hardwired circuits as well as arithmetic circuits that sequentially execute computer-readable instructions, such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • hardwired circuits include an ASIC (Application Specific Integrated Circuit) and an FPGA (Field Programmable Gate Array).
  • processor includes a SoC (System on a chip) that integrates a core, memory, and peripheral circuits.
  • FIG. 3 is a flowchart showing an example of a processing procedure of an information processing method according to the present embodiment.
  • the processing shown in FIG. 3 includes registration and accuracy evaluation.
  • Each step shown in FIG. 3 may be realized by the processor 102 of the information processing device 100 executing the information processing program 124.
  • Step S1 the information processing device 100 executes a rough calibration process (step S1). After the rough calibration process is executed, the correspondence between the camera coordinate systems 12 is determined. Step S1 may be executed in advance, independently of the processing of the other steps.
  • the information processing device 100 executes a ROI (Region of Interest) point cloud extraction process (step S2). By executing the ROI point cloud extraction process, the information processing device 100 extracts a point cloud included in the ROI (hereinafter also referred to as the "ROI point cloud").
  • ROI point cloud a point cloud included in the ROI
  • the information processing device 100 executes a CAD (Computer Aided Design) derived point cloud generation process (step S3).
  • the information processing device 100 executes the CAD derived point cloud generation process to generate a point cloud based on CAD information (hereinafter also referred to as a "CAD derived point cloud").
  • Step S3 may be executed in advance, independently of the processing of the other steps.
  • a “point cloud” refers to a collection of points that include position information.
  • a “point cloud” may include color information in addition to position information.
  • the position information may be three-dimensional data or 2.5-dimensional data.
  • the position information may include two-dimensional data and depth information (distance information) that are independent of each other.
  • the identification process includes a process for determining the correspondence between the ROI point cloud extracted by the ROI point cloud extraction process and the CAD-derived point cloud generated by the CAD-derived point cloud generation process.
  • the identification process includes a process for calculating the shape dimensions of the key point pairs of the CAD-derived point cloud and the shape dimensions of the key point pairs of the ROI point cloud.
  • the accuracy evaluation process includes a process of calculating accuracy based on the shape dimensions calculated in the identification process.
  • accuracy refers to the direct or indirect accuracy of the homogeneous transformation matrix T (external parameters) that is the result of registration.
  • accuracy can also refer to the accuracy of spatial information reconstructed based on images captured by multiple cameras.
  • accuracy can also refer to the accuracy of the result of combining images captured by multiple cameras.
  • the output of the accuracy evaluation result includes, for example, a spatial visualization of the calculated accuracy.
  • a fine-tuning process may be performed to optimize the correspondence between the camera coordinate systems 12.
  • FIG. 4 is a flowchart showing another example of the processing procedure of the information processing method according to the present embodiment.
  • the processing shown in FIG. 4 includes fine tuning processing.
  • Each step shown in FIG. 4 may be realized by the processor 102 of the information processing device 100 executing the information processing program 124.
  • Step S1 The information processing device 100 executes a rough calibration process (step S1).
  • Step S1 may be executed in advance, independently of the processing of the other steps.
  • the information processing device 100 executes an ROI point cloud extraction process (step S2).
  • the information processing device 100 executes a CAD-derived point cloud generation process (step S3).
  • Step S3 may be executed in advance, independently of the processing of the other steps.
  • the information processing device 100 executes an identification process (step S4).
  • the information processing device 100 executes a fine-tuning process (step S7).
  • the information processing device 100 determines whether the end condition of the fine-tuning process is satisfied (step S8). If the end condition of the fine-tuning process is not satisfied (NO in step S8), the process from step S2 onwards is repeated.
  • step S8 If the termination condition of the fine-tuning process is satisfied (YES in step S8), the information processing device 100 executes the accuracy evaluation process (step S5). Next, the information processing device 100 outputs the accuracy evaluation result (step S6). Then, the process ends.
  • Step S1 Rough Calibration Processing
  • the rough calibration process determines the correspondence between the camera coordinate systems 12. More specifically, a homogeneous transformation matrix T C T of a camera coordinate system 12C of a reference camera (hereinafter also referred to as a "reference camera 10C”) to a camera coordinate system 12T of another camera (hereinafter also referred to as a “target camera 10T " ) is calculated.
  • a homogeneous transformation matrix T C T of a camera coordinate system 12C of a reference camera hereinafter also referred to as a "reference camera 10C”
  • target camera 10T another camera
  • Any method may be used to calculate the homogeneous transformation matrix T C T.
  • a method using a reference marker and a method using a point group will be illustrated as examples.
  • FIG. 5 is a diagram for explaining an example of rough calibration processing according to the present embodiment.
  • an example of rough calibration processing using a reference marker hereinafter, also simply referred to as a "marker”.
  • a reference object (hereinafter also simply referred to as "object") 20 exists within the field of view (FOV) 14C of each of the reference camera 10C and the target camera 10T.
  • a marker 22 is disposed on the object 20. The marker 22 exists within the field of view 14C of the reference camera 10C and within the field of view 14T of the target camera 10T.
  • the marker 22 is, for example, one that can detect the position and orientation in three-dimensional space.
  • the marker 22 may be, for example, a two-dimensional marker.
  • a surface on which the two-dimensional marker is arranged hereinafter also referred to as the "effective surface" is defined.
  • FIG. 6 is a diagram for explaining another example of the rough calibration process according to the present embodiment.
  • FIG. 6 shows a case where multiple cameras 10 cannot measure the same marker 22.
  • marker 22-1 is placed on one surface of object 20, and marker 22-2 is placed on another surface of object 20.
  • marker 22-1 is within the field of view 14C of reference camera 10C
  • marker 22-2 is within the field of view 14T of target camera 10T.
  • identification information indicating the marker 22 may be detectable.
  • the marker 22 for example, AprilTag developed by The APRIL Robotics Laboratory at the University of Michigan may be used.
  • FIG. 7 is a diagram showing an example of an AprilTag. Three AprilTags are shown as examples in FIG. 7. The position and orientation in three-dimensional space, as well as the identification information, of each AprilTag can be visually measured.
  • a homogeneous transformation matrix T is calculated based on the difference in the position and orientation of the marker 22 in each camera coordinate system 12 measured from the images captured by each camera 10.
  • the position and orientation of the marker 22 are expressed, for example, by a six-dimensional vector of position coordinates (three dimensions) and orientation angle (three dimensions).
  • the rough calibration process involves determining the correspondence (homogeneous transformation matrix T) between the camera coordinate systems 12 based on the difference between the position and orientation of the marker 22 calculated based on an image obtained by capturing an image of the object 20 with the reference camera 10C and the position and orientation of the marker 22 calculated based on an image obtained by capturing an image of the object 20 with the target camera 10T.
  • the position and orientation of the marker 22 can also be defined as a marker coordinate system 26 based on the surface (effective surface 24) on which the marker 22 is placed.
  • a marker coordinate system 26 based on the surface (effective surface 24) on which the marker 22 is placed.
  • FIG. 8 is a diagram for explaining the process of calculating the homogeneous transformation matrix in the rough calibration process shown in FIGS. 5 and 6.
  • the homogeneous transformation matrix (rotation and translation) from the CAD canonical coordinate system 21, which is set in advance based on CAD information, to the markers 22 placed on each surface of the object 20 is calculated in advance.
  • the geometric calculation of the rotation and translation of the markers 22 can be made easier to handle.
  • a homogeneous transformation matrix T CAD mrk1 from the CAD canonical coordinate system 21 to the marker coordinate system 26-1 of the marker 22-1 is calculated
  • a homogeneous transformation matrix T CAD mrk2 from the CAD canonical coordinate system 21 to the marker coordinate system 26-2 of the marker 22-2 is calculated.
  • a homogeneous transformation matrix T C T from the camera coordinate system 12C of the reference camera 10C to the camera coordinate system 12T of the target camera 10T is calculated by T C mrkC ⁇ T mrkC mrkT ⁇ (T T mrkT ) ⁇ 1 .
  • the homogeneous transformation matrix T C mrkC corresponds to the position and orientation of the marker 22 calculated based on an image obtained by capturing an image of the object 20 with the reference camera 10C.
  • the homogeneous transformation matrix T T mrkT corresponds to the position and orientation of the marker 22 calculated based on an image obtained by capturing an image of the object 20 with the target camera 10T.
  • the homogeneous transformation matrix T mrkC mrkT corresponds to the rotation and translation from the marker 22 present in the field of view 14C of the reference camera 10C to the marker 22 present in the field of view 14T of the target camera 10T.
  • the homogeneous transformation matrix T C T T C mrk1 ⁇ (T T mrk2 ) ⁇ 1 is calculated.
  • the homogeneous transformation matrix T mrkC mrkT is not E (unit matrix) but is determined as follows:
  • FIG. 9 is a diagram showing an example of a marker coordinate system 26 for markers 22 arranged on each surface of an object 20. Referring to FIG. 9, when a marker 22 having identification information such as AprilTag is used, the identification information of the marker 22 shown in the captured image is obtained.
  • a homogeneous transformation matrix from the CAD canonical coordinate system 21 to the marker 22 is calculated in advance.
  • FIG. 10 is a diagram showing an example of the relationship between rotation and translation between markers based on the CAD canonical coordinate system. Referring to FIG. 10, information indicating the amount of rotation and translation is prepared in advance in association with the identification information (ID: 0 to ID: 5) of the markers 22.
  • the rotation amount and translation amount shown in FIG. 10 are values calculated based on the CAD canonical coordinate system 21 of the marker 22 with ID: 0.
  • the information shown in FIG. 10 may be stored in the information processing device 100 as a homogeneous transformation matrix table.
  • a homogeneous transformation matrix table T CAD mrki corresponding to the identification information of the marker 22 present within the field of view 14C of the reference camera 10C and a homogeneous transformation matrix table T CAD mrki corresponding to the identification information of the marker 22 present within the field of view 14T of the target camera 10T are selected, and a homogeneous transformation matrix T mrkTC mrkT is calculated.
  • a homogeneous transformation matrix T C T T C mrkC ⁇ T mrkC mrkT ⁇ (T T mrkT ) ⁇ 1 is calculated.
  • an object 20 on which one or more markers 22 are placed is imaged by multiple cameras, and a homogeneous transformation matrix, which is an external parameter of the camera, is calculated.
  • the information processing device 100 determines the correspondence between the camera coordinate system 12C of the reference camera 10C and the camera coordinate system 12T of the target camera 10T based on the point clouds (representing a common object 20) extracted from each image. That is, the information processing device 100 estimates a homogeneous transformation matrix T C T of the camera coordinate system 12T from the camera coordinate system 12C of the reference camera 10C to the target camera 10T.
  • FPFH Fast Point Feature Histogram
  • ICP Iterative Closest Point
  • Step S2 ⁇ E. ROI Point Cloud Extraction Process
  • a first image obtained by capturing an image of the object 20 on which the markers 22 are placed using the reference camera 10C, and a second image obtained by capturing an image of the object 20 using the target camera 10T are converted into a composite image.
  • the two images may be a collection of point clouds.
  • an ROI for extracting the point cloud used in the identification process is determined, and the point cloud contained in the ROI (ROI point cloud) is extracted from the composite image.
  • two images are obtained by capturing images of the object 20 on which the markers 22 are arranged using the reference camera 10C and the target camera 10T.
  • the two images obtained are synthesized on the same coordinate system (camera coordinate system 12C) based on the correspondence (homogeneous transformation matrix T C T ) between the camera coordinate system 12C of the reference camera 10C and the camera coordinate system 12T of the target camera 10T.
  • the ROI is determined and the ROI point cloud is extracted for the synthesized image generated by such transformation.
  • the ROI point cloud extraction process can be executed using the homogeneous transformation matrix TCT .
  • FIG. 11 is a diagram for explaining an example of the ROI point cloud extraction process according to the present embodiment.
  • 11A when the position and orientation in three-dimensional space of the marker 22 of the object 20 is measured, a marker coordinate system 26 is determined based on the surface (effective surface 24) on which the marker 22 is arranged. The origin of the marker coordinate system 26 is set to a predetermined position (e.g., the center position) of the marker 22.
  • ROI 50 a predetermined area is determined as ROI 50, with the origin of the determined marker coordinate system 26 as the center.
  • ROI 50 may be a hexahedron of any size.
  • the size of ROI 50 may be a predetermined fixed value, or may be a variable value that changes according to any condition.
  • a point cloud (ROI point cloud 56) contained in the determined ROI 50 is extracted.
  • the ROI point cloud 56 may be expressed, for example, in a 2.5-dimensional data format.
  • the 2.5-dimensional data format adds depth information (distance information) to two-dimensional image data.
  • the ROI point cloud extraction process includes a process of extracting, from the point clouds contained in the composite image, ROI point cloud 56 (corresponding to the second point cloud) contained in ROI 50 (corresponding to the second region) determined based on marker 22.
  • ROI 50 may be determined based on the surface (effective surface 24) on which marker 22 of object 20 is located.
  • Identification processing is performed based on the extracted ROI point cloud 56.
  • an object 20 on which one marker 22 is placed is shown as an example, but if multiple markers 22 are placed on the object 20, an ROI may be determined for each marker 22 (effective surface 24) and an ROI point cloud may be extracted.
  • step S3 ⁇ F. CAD-derived point cloud generation process (step S3)> Next, the CAD-derived point cloud generation process (step S3) will be described.
  • the information on the object 20 used in the rough calibration process (step S1) and the ROI point cloud extraction process (step S2) is prepared.
  • the information on the object 20 may be design information or actual measurement information.
  • design information CAD information 30 of the object 20 may be used.
  • the design information is not limited to the term "CAD" and may be data in any format.
  • actual measurement information information obtained by optically measuring the object 20 may be used.
  • the actual measurement information may be information measured by any method and may be data in any format.
  • a three-dimensional point cloud 32 indicating the shape of the object 20 is generated.
  • a point cloud that exists within a target region 34 that corresponds to the effective surface 24 of the marker 22 is extracted as a CAD-derived point cloud 36.
  • the CAD-derived point cloud 36 does not need to include all points of the object 20, but only needs to include at least the point cloud in the vicinity of the effective surface 24 of the marker 22.
  • the three-dimensional point cloud 32 is represented, for example, in a three-dimensional data format.
  • the point cloud present in the target region 34 may be converted from the three-dimensional data format to a 2.5-dimensional data format.
  • the ROI point cloud 56 and the CAD-derived point cloud 36 can be associated with each other in the 2.5-dimensional data format.
  • the CAD-derived point cloud generation process includes a process of extracting, from a point cloud generated based on information about the object 20 (e.g., CAD information 30), a CAD-derived point cloud 36 (corresponding to a first point cloud) included in a target region 34 (corresponding to a first region) determined based on the marker 22.
  • the CAD-derived point cloud 36 may be determined based on a surface (effective surface 24) on which the marker 22 of the object 20 is located.
  • an object 20 on which one marker 22 is placed is shown as an example, but if multiple markers 22 are placed on the object 20, a CAD-derived point cloud 36 may be generated for each marker 22 (effective surface 24).
  • Step S4 Next, the identification process (step S4) will be described.
  • the correspondence between the ROI point cloud 56 and the CAD-derived point cloud 36 is determined.
  • the shape dimensions of the key point pairs of the CAD-derived point cloud and the shape dimensions of the key point pairs of the ROI point cloud are calculated.
  • a key point in the CAD-derived point cloud 36 is selected.
  • a search is made for a key point in the ROI point cloud 56 that corresponds to the selected key point in the CAD-derived point cloud 36.
  • the key points in the CAD-derived point cloud 36 are determined in units of "key point pairs," which are pairs of two key points.
  • key point pairs are calculated.
  • the key point pairs are the targets for calculating the shape and dimensions.
  • FIG. 13 is a diagram for explaining an example of key point search in the identification process according to this embodiment.
  • key point pair 40-1, 40-2 (hereinafter sometimes collectively referred to as "key point pair 40") are selected in the CAD-derived point cloud 36.
  • the key point pair 40 (and key point 42) may be selected based on the geometric characteristics of the object 20 on which the marker 22 is placed.
  • the key point pair 40 (and the key point 42) may be automatically selected according to one or more coordinates preset for the CAD information.
  • the key point pair 40 (and the key point 42) may be selected according to a user instruction for the CAD-derived point cloud 36.
  • the information processing device 100 may provide a user interface screen for the user to select the key point pair 40 (and the key point 42).
  • key point pair 40-1 is a pair of key points 42-1 and 42-2.
  • Key point pair 40-2 is a pair of key points 42-3 and 42-4.
  • key points 42-1 to 42-4 may be collectively referred to as "key points 42.”
  • Key points 62-1 to 62-4 (hereinafter sometimes collectively referred to as "key points 62") in the ROI point cloud 56 that correspond to key points 42-1 to 42-4 in the CAD-derived point cloud 36 are searched for. That is, the identification process includes a process of searching for a set of key points 62 (corresponding to a second point pair) in the ROI point cloud 56 that corresponds to a key point pair 40 (corresponding to a first point pair) selected from the CAD-derived point cloud 36 (first point cloud).
  • FIG. 14 is a diagram for explaining a method for searching for key points using the minimum distance method.
  • coordinates corresponding to key points 42 in CAD-derived point cloud 36 are given to ROI point cloud 56.
  • the distance from the coordinates corresponding to key point 42 in CAD-derived point cloud 36 to each point is calculated.
  • the point with the smallest distance from the coordinates corresponding to key point 42 in CAD-derived point cloud 36 is estimated as key point 62.
  • centroid method which is another example of the key point searching method, will be described.
  • FIG. 15 is a diagram for explaining a method for searching for key points using the centroid method.
  • coordinates corresponding to key points 42 in CAD-derived point cloud 36 are assigned to ROI point cloud 56.
  • a number of points existing within a predetermined radius R are determined from the coordinates corresponding to key points 42 in CAD-derived point cloud 36.
  • the centroid of the multiple points existing within radius R is estimated as key point 62.
  • the centroid method involves determining coordinates in the ROI point cloud 56 (second point cloud) that correspond to each point of the key point pair 40 (first point pair) in the CAD-derived point cloud 36, and determining the key point 62 of the key point pair 60 (second point pair) based on the centroid of one or more points that exist within a predetermined distance from the determined coordinates.
  • FIG. 16 is a diagram for explaining a method for searching for key points using the average center of gravity method.
  • multiple points that exist within a predetermined radius R are selected from the coordinates that correspond to the key point 42 in the CAD-derived point cloud 36.
  • the center of gravity 64 of the multiple points that exist within the radius R is calculated.
  • the center of gravity 64 can be calculated for each ROI point cloud 56. For example, multiple centers of gravity 64-1 to 64-6 are calculated, and the average of the multiple centers of gravity 64-1 to 64-6 is estimated as the key point 62.
  • FIG. 17 is a diagram for explaining a method of searching for key points using the average center of gravity method and M-estimation.
  • the center of gravity 64 can be calculated for each ROI point cloud 56, as with the average center of gravity method described above. Once the multiple centers of gravity 64 have been calculated, the average of the calculated centers of gravity 64 is calculated. Based on the calculated average, the deviation and standard deviation ⁇ of each of the multiple centers of gravity 64 are calculated.
  • centroids 64 those with a deviation exceeding the standard deviation ⁇ are determined to be outliers, and the other centroids 64 are determined to be inliers. In the example shown in FIG. 17, three centroids 64-1, 64-3, and 64-4 are determined to be inliers.
  • One of the centroids 64 determined as the appropriate value is estimated as the key point 62.
  • the average of the centroids 64 determined as the appropriate value is estimated as the key point 62.
  • FIGS. 18 and 19 are diagrams for explaining a method for searching for key points using the average centroid method and the RANSAC method.
  • a number of centroids 64 are calculated from a number of samples of the ROI point cloud 56.
  • the multiple centroids 64 are classified into outliers and inliers.
  • centroids 64-5, 64-3, and 64-2 are determined to be proper values, and the remaining three centroids 64-4, 64-1, and 64-4 are determined to be outliers.
  • the average of the centroids determined to be proper values and the average of the centroids determined to be outliers are each determined as RANSAC key points.
  • the difference between the proper RANSAC key points and the outlier RANSAC key points is calculated as the error for key points 42 in CAD-derived point group 36.
  • centroids 64-1, 64-5, and 64-6 are determined to be correct values, and the remaining three centroids 64-3, 64-2, and 64-4 are determined to be outliers.
  • the difference between the correct RANSAC key points and the outlier RANSAC key points is calculated as the error for key point 42 in CAD-derived point group 36.
  • the error for a number of sample groups with respect to key point 42 in CAD-derived point cloud 36 is calculated, and the sample group with the smallest error is determined as the optimal sample group.
  • the average of the centroids of the optimal sample groups is estimated as key point 62.
  • the key point search method is not limited to the above-mentioned method, and any method can be used. However, since the key point search method is an important factor that affects the accuracy evaluation process described later, multiple key point search methods may be evaluated and then one or more appropriate key point search methods may be determined.
  • the key point search method is used to search for key points 62 in the ROI point cloud 56 that correspond to key points 42 in the CAD-derived point cloud 36, and the shape dimensions are calculated.
  • FIG. 20 is a diagram for explaining an example of the shape and dimension calculation in the identification process according to this embodiment.
  • key points 62-1 to 62-4 in the ROI point cloud 56 that correspond to key points 42-1 to 42-4 in the CAD-derived point cloud 36, respectively, are searched for.
  • a key point pair 60-1 is determined that corresponds to the key point pair 40-1, 40-2 in the CAD-derived point cloud 36
  • a key point pair 60-2 is determined that corresponds to the key point pair 40-3, 40-4 in the CAD-derived point cloud 36.
  • the geometric dimensions of each of the key point pairs 40-1, 40-2 in the CAD-derived point cloud 36 are calculated.
  • the geometric dimensions of each of the key point pairs 60-1, 60-2 (hereinafter sometimes collectively referred to as "key point pairs 60") in the ROI point cloud 56 are calculated.
  • the geometric dimensions may be, for example, the length of the key point pair (one-dimensional: scalar quantity), or the length and angle of the key point pair (vector quantity).
  • the length and direction of the geometric dimensions may be expressed using a component indicating the length and a rotational component indicating the angle.
  • 21 to 23 are diagrams showing an example of information processing according to the present embodiment. After the rough calibration process, a homogeneous transformation matrix T C T from the camera coordinate system 12C of the reference camera 10C to the camera coordinate system 12T of the target camera 10T is calculated.
  • the marker coordinate system 26 in the camera coordinate system 12C of the target camera 10T is coordinate-transformed into the marker coordinate system 26 in the camera coordinate system 12C of the reference camera 10C using a homogeneous transformation matrix T C T.
  • This coordinate transformation causes the point cloud obtained by imaging with the reference camera 10C and the point cloud obtained by imaging with the target camera 10T to be synthesized on the same coordinate system. That is, the point clouds are aggregated after matching the references through coordinate transformation using the homogeneous transformation matrix T C T.
  • an ROI is determined based on the effective surface 24, and a point cloud included in the ROI (ROI point cloud 56) is extracted.
  • a point cloud of the surface layer in the vicinity of the effective surface 24 is extracted.
  • the ROI point cloud 56 is transformed into the CAD canonical coordinate system 21. This transformation of coordinates results in a consistent standard for calculating the shape dimensions in the identification process.
  • key points 42 and key point pairs 40 are selected based on CAD information of the object 20 on which the markers 22 are placed.
  • the key points 42 may be selected based on the geometric characteristics of the object 20.
  • the key point search method searches for key point 62 in ROI point cloud 56 that corresponds to key point 42 in CAD-derived point cloud 36.
  • the object 20 has an active surface 24 on which the markers 22 are placed, and may have geometric features for selecting the key points 42. Some examples of shapes that can be used as reference objects are given below.
  • FIG. 24 is a schematic diagram showing an example of the configuration of a reference object 20A used in the information processing system 1 according to this embodiment.
  • the reference object 20A is based on a cube.
  • Markers 22 are placed on each face of the reference object 20A (six faces in total). In FIG. 24, only markers 22-1 to 22-3 are depicted positioned on three faces, but markers 22 are also placed on each of the remaining faces not shown.
  • the reference object 20A has portions cut out that correspond to the four vertices of a cube. More specifically, cube-shaped cutouts 28-1, 28-2 are provided at a pair of opposing vertices on the top surface of the reference object 20A. In addition, chamfered portions 29-1, 29-2 are provided at another pair of opposing vertices on the top surface of the reference object 20A.
  • the notches 28-1, 28-2 and the chamfers 29-1, 29-2 are geometric features of the reference object 20A and can serve as criteria for selecting the key points 42 and key point pairs 40.
  • FIG. 25 is a schematic diagram showing an example of the configuration of a reference object 20B used in the information processing system 1 according to this embodiment.
  • the reference object 20B includes a main pyramid 250 and pyramids 252 and 254 whose bases coincide with one face of the pyramid 250. Markers may be placed on the faces of the pyramid 250 where the pyramids 252 and 254 are not present.
  • the vertices of pyramid 250 and pyramids 252 and 254 are geometric features of reference object 20B and can serve as criteria for selecting key points 42 and key point pairs 40.
  • FIG. 26 is a schematic diagram showing an example configuration of reference objects 20C and 20D used in the information processing system 1 according to this embodiment.
  • reference object 20C is based on a cube. Markers 22-1 to 22-3 are placed on each of the three faces of reference object 20C.
  • the reference object 20C has portions of its top surface that correspond to each side cut out. More specifically, the portions of the top surface of the reference object 20C that correspond to each side have cutouts 28-3 to 28-6.
  • Each of the cutouts 28-3 to 28-6 is formed so that the cutout section and length are different from each other.
  • the cutouts 28-3 to 28-6 have shapes that are distinguishable from each other.
  • the notches 28-3 to 28-6 are geometric features of the reference object 20C and can serve as criteria for selecting the key points 42 and key point pairs 40.
  • reference object 20D is based on a cube. Markers 22-1 to 22-3 are placed on each of the three faces of reference object 20D.
  • the reference object 20D has portions of two faces cut out. More specifically, the two side faces of the reference object 20D each have a cutout 28-7, 28-8.
  • cutout 28-7 is rectangular, and the cross section of cutout 28-8 is triangular. Cutouts 28-7 and 28-8 may have a shape in which the cross-sectional area decreases toward the inside of reference object 20D. In this way, the cross-sectional shapes of cutouts 28-7 and 28-8 are different, making them distinguishable from each other.
  • the notches 28-7 and 28-8 are geometric features of the reference object 20D and can serve as criteria for selecting the key points 42 and key point pairs 40.
  • FIG. 27 is a schematic diagram showing an example of the configuration of a reference object 20E used in an information processing system 1 according to this embodiment.
  • the reference object 20E includes a main pillar 260 and five planar plates 261 to 265 on which markers 22 can be placed.
  • Planar plate 262 is supported by main pillar 260.
  • Planar plates 261, 263, 264, and 265 are supported by support members 271, 273, 274, and 275 connected to main pillar 260.
  • the arrangement of the planar plates 261-265 is a geometric feature of the reference object 20E and can be a criterion for selecting the key points 42 and key point pairs 40.
  • the reference object (object 20) may be a cube or a rectangular parallelepiped without any cutouts or the like.
  • the reference object (object 20) is not limited to the shapes described above and may be any shape.
  • the key points 42 and key point pairs 40 may be selected based on geometric features of a reference object.
  • a reference object having geometric features may be employed to set the key points 42 and key point pairs 40.
  • step S5 Next, the accuracy evaluation process (step S5) will be described.
  • the accuracy evaluation process includes a process of evaluating the accuracy of the homogeneous transformation matrix T (correspondence between camera coordinate systems 12) based on the shape dimensions of the key point pair 40 (first point pair) in the CAD-derived point cloud 36 and the key point pair 60 (second point pair) in the ROI point cloud 56.
  • the calculated accuracy includes, for example, at least one of the absolute error and the repeatability error.
  • Fig. 28 is a diagram for explaining an example of absolute error evaluation in the accuracy evaluation process according to the present embodiment. With reference to Fig. 28, for each key point pair, the difference between the geometric dimensions of key point pair 40 in CAD-derived point cloud 36 and key point pair 60 in ROI point cloud 56 is calculated. The calculated difference is the absolute error.
  • the absolute error in the target information processing system 1 is calculated by statistically processing the absolute error calculated for each of the multiple key point pairs. Also, the absolute error in the target information processing system 1 is calculated by statistically processing the shape error of each key point pair calculated from multiple samples.
  • the absolute error is calculated as the accuracy based on the difference between the geometric dimensions of the key point pairs 40 in the CAD-derived point cloud 36 and the geometric dimensions of the key point pairs 60 in the ROI point cloud 56.
  • Fig. 29 is a diagram for explaining an example of the repetitive error evaluation of the accuracy evaluation process according to the present embodiment.
  • the variation in the shape and dimensions of key point pairs 60 in ROI point cloud 56 is calculated for each key point pair.
  • the calculated variation (e.g., standard deviation) becomes the repetitive error.
  • the standard deviation of the shape dimensions of the same key point pair is calculated as the repeat error.
  • the accuracy evaluation process includes a process of calculating the variation in the geometric dimension error by repeatedly calculating the geometric dimension error of the key point pair 60 (second point pair) in the ROI point cloud 56.
  • the shape dimensions of the key point pair 40 in the CAD-derived point cloud 36 and the shape dimensions of the key point pair 60 in the ROI point cloud 56 are obtained, so that any accuracy evaluation process can be performed using at least one of the two types of shape dimensions.
  • Step S6 Next, the output of the accuracy evaluation result (step S6) will be described.
  • FIG. 30 is a schematic diagram showing an example of the output of the accuracy evaluation result according to the present embodiment.
  • the output screen 200 of the accuracy evaluation result includes information 210 indicating the error in the length of the shape dimension, and information 220 indicating the error in the angle of the shape dimension.
  • Information 210 includes statistical information 212 and a histogram 214 for length errors.
  • the histogram 214 indicates the number (frequency) of key point pairs for each magnitude of length error.
  • Information 220 includes statistical information 222 and a histogram 224 for angle errors.
  • the histogram 224 indicates the number (frequency) of key point pairs for each magnitude of angle error.
  • the information processing device 100 may output a histogram 214 of length errors and a histogram 224 of angle errors.
  • Step S7 Next, the fine-tuning process (step S7) will be described. If the calculated accuracy (absolute error and repeat error) does not satisfy a predetermined condition, a process including the fine-tuning process may be executed.
  • the fine-tuning process is a process of optimizing the homogeneous transformation matrix T so as to minimize the error in the shape dimensions calculated by the identification process.
  • the fine-tuning process includes a process of optimizing the homogeneous transformation matrix T (the correspondence between the camera coordinate systems 12) so as to reduce the difference in the shape dimensions between the key point pair 40 (first point pair) in the CAD-derived point cloud 36 and the key point pair 60 (second point pair) in the ROI point cloud 56.
  • the optimization of the homogeneous transformation matrix T can be reduced to a nonlinear programming problem for minimizing (or maximizing) an evaluation function using the shape dimensions.
  • the evaluation function includes the sum of squares of the absolute errors between the geometric dimensions of the key point pairs 40 in the CAD-derived point cloud 36 and the geometric dimensions of the key point pairs 60 in the ROI point cloud 56 for all key point pairs.
  • minimizing the evaluation function means minimizing the sum of squares of the absolute errors between the geometric dimensions of the key point pairs 40 in the CAD-derived point cloud 36 and the geometric dimensions of the key point pairs 60 in the ROI point cloud 56.
  • the above evaluation function may include a penalty term such as:
  • FIG. 31 is a diagram illustrating an example of a penalty term in the fine-tuning process according to this embodiment.
  • the radius R may be increased stepwise until a predetermined number of points are found.
  • the increase in the search radius from the reference radius R to radius R' may be reflected in the penalty term.
  • the penalty term may be a value obtained by multiplying
  • an evaluation function may be adopted that uses the L2 regularization term as a penalty term in addition to the length error and angle error of the shape dimensions.
  • the following evaluation function may be used.
  • the evaluation function used in the fine-tuning process can be any function that uses the calculation results of the shape dimensions of the key point pairs obtained in the identification process.
  • Fig. 32 is a diagram showing an example of change in length error due to fine-tuning processing according to the present embodiment.
  • the histogram before the fine-tuning processing shows a multi-peak distribution
  • the histogram shows an exponential distribution.
  • the more the distribution is biased to the left the better the accuracy. In this way, it can be seen that the fine-tuning processing brings the error distribution closer to an ideal one.
  • FIG. 33 shows an example of how the angle error changes due to fine-tuning processing according to this embodiment.
  • the histogram before the fine-tuning processing deviated from the exponential distribution
  • the histogram shows an exponential distribution.
  • the parameter ⁇ becomes larger after the fine-tuning processing.
  • the histogram shows a sharper exponential distribution.
  • the fine-tuning process can reduce errors in the shape dimensions.
  • Examples of algorithms for comparing the distribution shapes of histograms include a method using a histogram intersection kernel and a method using histogram Euclidean distance.
  • a facility maintenance technician can generate and save a histogram of the error before starting operation, and then regenerate the histogram of the error during daily inspections and compare it with the saved histogram.
  • the facility maintenance technician can determine whether the accuracy has decreased based on changes in the distribution shape of the histogram.
  • a facility maintainer Before starting operation, a facility maintainer generates a histogram of the error, approximates the generated histogram with an exponential distribution, and saves the determined parameter ⁇ . During routine inspections, the facility maintainer regenerates the histogram of the error, approximates the generated histogram with an exponential distribution, and calculates the parameter ⁇ . The facility maintainer can manage the trend of the accuracy based on changes in the value of the parameter ⁇ .
  • a margin I ⁇ margin calculated according to the following formula may be used for trend management of accuracy.
  • ⁇ Exp_crite indicates a reference value of the parameter ⁇
  • ⁇ Exp_curr indicates a value of the parameter ⁇ calculated from the histogram to be evaluated.
  • the margin I ⁇ margin 0, when it is improving the margin I ⁇ margin > 0, when it is worsening the margin I ⁇ margin ⁇ 0.
  • the absolute value of the margin I ⁇ margin indicates the degree of the trend (improvement or deterioration).
  • the parameter ⁇ calculated from a histogram of such errors, can also be used to trend-manage accuracy.
  • the thickness of the point cloud (point cloud thickness) may be used as a method for checking the accuracy in detail.
  • FIG. 34 is a diagram for explaining accuracy check using point cloud thickness in the information processing method according to this embodiment.
  • a composite point cloud 270 is generated by combining the point cloud extracted from the image captured by the reference camera 10C and the point cloud extracted from the image captured by the target camera 10T.
  • the point cloud thickness is calculated from each of the regions 282 corresponding to the composite seams and the regions 284 corresponding to areas other than the composite seams.
  • the point cloud thickness indicates the degree of variation in the point cloud within a region. In other words, the smaller the calculated point cloud thickness, the higher the accuracy.
  • the point cloud thickness of region 284 corresponding to the non-composite seams depends on the accuracy of the camera 10 (sensor) itself. Ideally, it is preferable that the point cloud thickness of region 282 corresponding to the composite seams is the same as the point cloud thickness of region 284 corresponding to the non-composite seams. In other words, it is possible to quantitatively evaluate how appropriately the rough calibration process or fine tuning process was performed based on how close the point cloud thickness of region 282 is to the point cloud thickness of region 284.
  • a reference plane Q is estimated from the point cloud included in the specified region.
  • the reference plane Q is determined based on the coordinates of the point cloud included in the specified region, for example, by the least squares method.
  • the Euclidean distance L(i) between a point P(i) included in the point cloud and the reference plane Q is calculated.
  • the variance of the Euclidean distance L(i) is determined as the point cloud thickness.
  • the synthesis accuracy is calculated by comparing the point cloud thickness between the area 282 corresponding to the synthesis seam and the area 284 corresponding to the non-synthetic seam.
  • the identification process is based on a point cloud extracted from the vicinity of the effective surface 24 of the marker 22. Therefore, the calculated accuracy is for the vicinity of the effective surface 24. If the object 20 on which the marker 22 is arranged is placed at multiple positions in the space SP and the accuracy at each position is calculated, the spatial distribution of accuracy in the space SP can be obtained.
  • the uniformity (flatness) of precision in the space SP can be evaluated.
  • the spatial distribution of precision in the space SP can be visualized.
  • FIG. 35 is a diagram for explaining a method for calculating the spatial distribution of precision according to this embodiment. Referring to FIG. 35, a reference camera 10C and a target camera 10T are placed in a space SP.
  • the object 20 on which the marker 22 is placed is successively placed at different measurement positions Pos1, Pos2, Pos3, .... At each measurement position, the accuracy is calculated by the process described above.
  • FIG. 36 is a flowchart showing an example of the processing procedure of the method for calculating the spatial distribution of precision according to the present embodiment. Each step shown in FIG. 36 may be realized by the processor 102 of the information processing device 100 executing the information processing program 124.
  • the information processing device 100 executes a rough calibration process (step S1). At this time, the object 20 on which the marker 22 is placed is placed at an arbitrary measurement position. Step S3 may be executed in advance, independently of the processing of the other steps.
  • the information processing device 100 executes an ROI point cloud extraction process (step S2).
  • the information processing device 100 executes a CAD-derived point cloud generation process (step S3).
  • Step S3 may be executed in advance, independent of the processing of the other steps. Also, step S3 may be executed only the first time during the loop processing including step S10.
  • the information processing device 100 executes an identification process (step S4). Then, the information processing device 100 executes an accuracy evaluation process (step S5). The information processing device 100 stores the calculated accuracy in association with the coordinates obtained by converting the marker coordinate system 26 used in the accuracy calculation into the global coordinate system (step S9).
  • the information processing device 100 determines whether the object 20 on which the marker 22 is placed has been moved to another measurement position (step S10).
  • the user may give an instruction to the information processing device 100, which may cause the information processing device 100 to determine whether the object 20 has been moved to another measurement position.
  • step S10 If the object 20 on which the marker 22 is placed has been moved to another measurement position (YES in step S10), the processing from step S2 onwards is repeated.
  • the information processing device 100 calculates the accuracy spatial distribution based on a pair of the calculated accuracy and the coordinates obtained by converting the marker coordinate system 26 used to calculate the accuracy into the global coordinate system (step S11).
  • the information processing device 100 may use a known interpolation method to calculate the accuracy of each measurement position within the space SP from the stored information.
  • the information processing device 100 visualizes and outputs the precision spatial distribution in the calculated space SP (step S12). Then, the processing ends.
  • the process of calculating the spatial distribution of precision includes a process of calculating the precision of the correspondence (homogeneous transformation matrix T) between the camera coordinate systems 12 based on the shape and dimensions of the key point pair 40 (first point pair) of the CAD-derived point cloud 36 and the key point pair 60 (second point pair) of the ROI point cloud 56, and a process of visualizing the precision of the correspondence (homogeneous transformation matrix T) between the camera coordinate systems 12 calculated for each measurement position when the object 20 is placed at multiple measurement positions in space, in relation to each measurement position.
  • FIG. 37 is a diagram showing an example of visualization of the spatial accuracy distribution obtained by the method for calculating the spatial accuracy distribution according to this embodiment.
  • the accuracy of each measurement position is expressed by shading or color.
  • an image may be output in which the accuracy value of the correspondence relationship (homogeneous transformation matrix T) between the camera coordinate systems 12 is expressed by at least one of shading and color.
  • the visualized spatial distribution of accuracy can help the user recognize areas in the space SP where error variation and error bias exist. Areas where error variation and error bias exist provide useful information for optimizing the installation location of a robot, for example. Furthermore, information on the presence or absence of areas where error variation and error bias exist provides useful information for determining whether or not there is a need to add a camera.
  • FIG. 38 is a schematic diagram showing an example of the functional configuration of an information processing system 1 according to this embodiment. Each component shown in FIG. 38 may be realized by the processor 102 of the information processing device 100 executing the information processing program 124.
  • the information processing device 100 includes, as components, a synthesis unit 150, a determination unit 152, a first point cloud generation unit 154, a second point cloud generation unit 156, a search unit 158, an evaluation unit 160, an output unit 164, and an optimization unit 166.
  • the synthesis unit 150 converts two images captured by the reference camera 10C and the target camera 10T into a synthetic image using a homogeneous transformation matrix T C T.
  • the synthesis unit 150 executes a process of generating a synthetic image of the ROI point cloud extraction process (step S3).
  • the determination unit 152 determines the homogeneous transformation matrix T C T based on the difference between the position and orientation of the marker 22 calculated based on an image obtained by capturing an image of the object 20 with the reference camera 10C and the position and orientation of the marker 22 calculated based on an image obtained by capturing an image of the object 20 with the target camera 10T .
  • the determination unit 152 executes a rough calibration process (step S1).
  • the first point cloud generator 154 extracts the CAD-derived point cloud 36 from the point cloud generated based on the information of the object 20 (CAD information 30).
  • the first point cloud generator 154 executes the CAD-derived point cloud generation process (step S3).
  • the second point cloud generation unit 156 extracts, from the point clouds contained in the composite image, an ROI point cloud 56 contained in the ROI 50 determined based on the marker 22.
  • the second point cloud generation unit 156 executes the process of determining the ROI and the process of extracting the ROI point cloud in the ROI point cloud extraction process (step S3).
  • the search unit 158 searches for key points in the ROI point cloud 56 that correspond to the key points in the selected CAD-derived point cloud 36.
  • the search unit 158 calculates the shape and dimensions of the searched key point pairs.
  • the search unit 158 calculates the shape and dimensions of the key point pairs in the CAD-derived point cloud and the ROI point cloud.
  • the search unit 158 executes the identification process (step S4).
  • the evaluation unit 160 calculates the accuracy based on the shape dimensions of the key point pairs calculated by the search unit 158.
  • the evaluation unit 160 may include a calculation unit 162 for calculating the accuracy.
  • the evaluation unit 160 executes an accuracy evaluation process (step S5).
  • the output unit 164 outputs the calculation results obtained by the evaluation unit 160.
  • the output unit 164 executes a process (step S6) for outputting the accuracy evaluation results.
  • the output unit 164 may generate and output the accuracy spatial distribution.
  • the output unit 164 performs the following steps: matching accuracy with coordinates (step S9), calculating the accuracy spatial distribution (step S11), and visualizing the accuracy spatial distribution (step S12).
  • the optimization unit 166 optimizes the homogeneous transformation matrix T C T so as to reduce the difference in shape and dimensions between the key point pairs 40 of the CAD-derived point cloud 36 and the key point pairs 60 of the ROI point cloud 56.
  • the optimization unit 166 executes a fine-tuning process (step S7).
  • FIG. 39 is a diagram for explaining a method for setting an arbitrary world coordinate system in an information processing system according to this embodiment. Referring to FIG. 39, cameras 10-1, 10-2, and 10-3 are placed in a space SP.
  • a homogeneous transformation matrix T 1 2 from (the camera coordinate system of) the camera 10-1 to (the camera coordinate system of) the camera 10-2 is determined by the rough calibration process or the fine tuning process.
  • a homogeneous transformation matrix T 1 3 from (the camera coordinate system of) the camera 10-1 to (the camera coordinate system of) the camera 10-3 is determined.
  • the reference object 20 is positioned so that it is included in at least a portion of the field of view of each of the cameras 10-1 to 10-3.
  • the reference object 20 is positioned at a position where the user wishes to set a world coordinate system.
  • the reference object 20 has a CAD canonical coordinate system 21 that is set in advance based on CAD information.
  • the CAD canonical coordinate system 21 of the reference object 20 is used as the world coordinate system.
  • the reference object 20 is captured by the cameras 10-1 to 10-3, and the position and orientation of the CAD canonical coordinate system 21 in the camera coordinate system of each camera 10 is calculated based on the image.
  • the position and orientation of the CAD canonical coordinate system 21 are determined based on the surface (effective surface) on which the marker 22 of the reference object 20 is located.
  • the position and orientation of the CAD canonical coordinate system 21 calculated based on the image captured by the reference camera 10-1 may be set as the world coordinate system as is.
  • the world coordinate system may be determined using a homogeneous transformation matrix. More specifically, the position and orientation of the CAD canonical coordinate system 21 calculated based on the image captured by the camera 10-2 or 10-3 are transformed into the position and orientation of the camera coordinate system of the camera 10-1 using a homogeneous transformation matrix. In this way, the world coordinate system may be determined via the camera coordinate system of the reference camera.
  • the camera coordinate system of the reference camera can be used as the world coordinate system.
  • the marker 22 is not limited to AprilTag, and any AR (Augmented Reality) marker can be used.
  • the AR marker is generated using, for example, "ARToolKit," which is an example of an AR development library.
  • the marker 22 may be any QR code (registered trademark).
  • the markers 22 used in the above-described rough calibration process may be different from the markers 22 used in other processes. That is, in the rough calibration process, any method may be adopted as long as it is possible to determine a homogeneous transformation matrix T C T from the camera coordinate system 12C of the reference camera 10C to the camera coordinate system 12T of the target camera 10T. Therefore, the homogeneous transformation matrix T C T may be determined using any machine-learned model.
  • the information processing device 100 executes the main processing
  • multiple information processing devices 100 may work together to execute processing.
  • some or all of the processing may be executed using computing resources on the cloud.
  • a synthesis unit (S2; 150) that synthesizes a first image obtained by imaging a reference object (20) on which a reference marker (22) is arranged with a first camera (10C) and a second image obtained by imaging the reference object with a second camera (10T) on the same coordinate system based on a correspondence relationship between a first camera coordinate system of the first camera and a second camera coordinate system of the second camera to generate a synthetic image; a first point cloud generating unit (S3; 154) for extracting a first point cloud (36) included in a first region (34) determined based on the reference marker, from the point cloud generated based on the information (30) of the reference object; a second point cloud generation unit (S2; 156) for extracting a second point cloud (56) included in a second region (50) determined based on the reference marker from the point cloud included in the composite image; a search unit (S4; 158) for searching for a second point pair (60) in the second point group that corresponds to a first point pair (
  • the information processing device further comprising a determination unit (S1; 152) that determines the correspondence relationship based on a difference between a position and orientation of the reference marker calculated based on an image obtained by capturing an image of the reference object with the first camera, and a position and orientation of the reference marker calculated based on an image obtained by capturing an image of the reference object with the second camera.
  • a determination unit S1; 152 that determines the correspondence relationship based on a difference between a position and orientation of the reference marker calculated based on an image obtained by capturing an image of the reference object with the first camera, and a position and orientation of the reference marker calculated based on an image obtained by capturing an image of the reference object with the second camera.
  • the geometry includes a length and an angle. 6.
  • the information processing device according to any one of configurations 1 to 5, wherein the evaluation unit outputs a histogram (214) of length errors and a histogram (224) of angle errors.
  • [Configuration 9] generating a composite image (S2) by combining a first image obtained by capturing an image of a reference object (20) on which a reference marker (22) is placed with a first camera (10C) and a second image obtained by capturing an image of the reference object with a second camera (10T) on the same coordinate system based on a correspondence between a first camera coordinate system of the first camera and a second camera coordinate system of the second camera; Extracting (S3) a first point cloud (36) included in a first region (34) determined based on the reference marker from the point cloud generated based on the information (30) of the reference object; Extracting (S2) a second point group (56) included in a second region (50) determined based on the reference marker from the point group included in the composite image; For a first pair of points (40) selected from the first set of points, searching (S4) for a second pair of points (60) in the second set of points that corresponds to the first pair of points; and evaluating (S6) accuracy of the correspondence based on geometric dimensions
  • a computer (100) generating a composite image (S2) by combining a first image obtained by capturing an image of a reference object (20) on which a reference marker (22) is placed with a first camera (10C) and a second image obtained by capturing an image of the reference object with a second camera (10T) on the same coordinate system based on a correspondence between a first camera coordinate system of the first camera and a second camera coordinate system of the second camera; Extracting (S3) a first point cloud included in a first region (34) determined based on the reference marker from the point cloud generated based on the information (30) of the reference object; Extracting (S2) a second point group (56) included in a second region (50) determined based on the reference marker from the point group included in the composite image; For a first pair of points selected from the first set of points, searching (S4) for a second pair of points (60) in the second set of points that corresponds to the first pair of points; and evaluating (S6) the accuracy of the correspondence based on the geometric
  • ⁇ S. Advantages> According to the information processing system 1 of the present embodiment, by performing registration using a reference object whose shape, etc. is defined in advance, it is possible to evaluate the accuracy of the homogeneous transformation matrix, which is the result of registration. Since the evaluated accuracy is based on the absolute error, it is possible to ensure the safety of the robot design.
  • a spatial accuracy distribution can be generated by placing reference objects at multiple measurement positions in the target space and calculating the accuracy.
  • the spatial accuracy distribution it is possible to efficiently optimize the camera position and consider whether or not to add additional cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

レジストレーションの精度を評価するための新たな方法を提供する。　情報処理装置は、リファレンス物体の情報に基づいて生成された点群のうち、リファレンスマーカを基準として決定される第１の領域に含まれる第１の点群を抽出する第１の点群生成部と、合成画像に含まれる点群のうち、リファレンスマーカを基準として決定される第２の領域に含まれる第２の点群を抽出する第２の点群生成部と、第１の点群のうちから選択される第１の点ペアについて、第２の点群において第１の点ペアに対応する第２の点ペアを探索する探索部と、第１の点ペアおよび第２の点ペアの形状寸法に基づいて、対応関係の精度を評価する評価部とを含む。

Description

情報処理装置、情報処理方法および情報処理プログラム
　本発明は、複数のカメラについてのレジストレーションに関する。
　例えば、自立ロボットを実現するためには、空間の認識が必要である。空間の認識には、例えば、複数のカメラで撮像される複数の画像を用いる方法が採用されてもよい。複数のカメラを用いる場合には、当該複数のカメラ間の位置合わせ（レジストレーションあるいはカメラレジストレーション）が必要となる。レジストレーションにより、カメラの外部パラメータ（同次変換行列）が決定される。
　例えば、特開２０２２－０３９９０６号公報（特許文献１）は、カメラの内部パラメータキャリブレーションと、レーザーレーダ－カメラの外部パラメータキャリブレーションとを含むマルチセンサによる複合キャリブレーション方法などを開示する。
特開２０２２－０３９９０６号公報
　上述の先行技術文献においては、キャリブレーションの精度が向上されていると開示されているが、キャリブレーションの精度自体を評価する方法については開示されていない。
　本発明は、レジストレーションの精度を評価するための新たな方法を提供することを一つの目的とする。
　本発明の一例に従う情報処理装置は、リファレンスマーカが配置されたリファレンス物体を第１のカメラで撮像して得られる第１の画像とリファレンス物体を第２のカメラで撮像して得られる第２の画像とを、第１のカメラの第１のカメラ座標系と第２のカメラの第２のカメラ座標系との対応関係に基づいて、同一の座標系上に合成して合成画像を生成する合成部と、リファレンス物体の情報に基づいて生成された点群のうち、リファレンスマーカを基準として決定される第１の領域に含まれる第１の点群を抽出する第１の点群生成部と、合成画像に含まれる点群のうち、リファレンスマーカを基準として決定される第２の領域に含まれる第２の点群を抽出する第２の点群生成部と、第１の点群のうちから選択される第１の点ペアについて、第２の点群において第１の点ペアに対応する第２の点ペアを探索する探索部と、第１の点ペアおよび第２の点ペアの形状寸法に基づいて、対応関係の精度を評価する評価部とを含む。
　この構成によれば、リファレンスマーカが配置されたリファレンス物体に基づいて、第１の点群のうちから選択される第１の点ペアと、第２の点群において第１の点ペアに対応する第２の点ペアとを取得することで、第１の点ペアおよび第２の点ペアの形状寸法に基づいて、対応関係の精度を評価できる。第１の点ペアおよび第２の点ペアの形状寸法に基づくことで、絶対誤差を評価することもできるので、安全設計などの精度を高めることができる。
　情報処理装置は、第１のカメラでリファレンス物体を撮像して得られる画像に基づいて計算されるリファレンスマーカの位置および姿勢と、第２のカメラでリファレンス物体を撮像して得られる画像に基づいて計算されるリファレンスマーカの位置および姿勢との差に基づいて、対応関係を決定する決定部をさらに含んでもよい。この構成によれば、対応関係の精度を評価するために用いられるリファレンスマーカを用いて、カメラ座標系間の対応関係も決定できる。
　情報処理装置は、第１の点ペアと第２の点ペアとの形状寸法の差が小さくなるように、対応関係を最適化する最適化部をさらに含んでもよい。この構成によれば、第１の点ペアおよび第２の点ペアの形状寸法に基づいて、カメラ座標系間の対応関係の精度を高めることができる。
　探索部は、第１の点ペアの各点に対応する第２の点群における座標を決定し、当該決定された座標から予め定められた距離内に存在する１または複数の点の重心に基づいて、第２の点ペアの各点を決定してもよい。この構成によれば、第１の点ペアの各点に対応する第２の点群における点を統計的にロバストに決定できる。
　第１の領域および第２の領域の各々は、リファレンス物体のリファレンスマーカが配置された面を基準として決定されてもよい。この構成によれば、リファレンスマーカが配置された面を基準とすることで、第１の点ペアと第２の点ペアとの対応付けに必要な点群を最適化できる。
　形状寸法は、長さおよび角度を含んでもよい。評価部は、長さの誤差についてのヒストグラムと、角度の誤差についてのヒストグラムとを出力してもよい。この構成によれば、形状寸法に含まれる長さおよび角度のそれぞれの観点から、精度を評価できる。
　評価部は、第２の点ペアの形状寸法の誤差の計算を繰り返すことで、形状寸法の誤差のばらつきを計算してもよい。この構成によれば、計測によって生じるゆらぎなどの予測が可能となる。
　第１の点ペアは、リファレンス物体の形状的な特徴に基づいて選択されてもよい。この構成によれば、第１の点ペアがより安定的に選択される。
　本発明の別の一例に従う情報処理方法は、リファレンスマーカが配置されたリファレンス物体を第１のカメラで撮像して得られる第１の画像とリファレンス物体を第２のカメラで撮像して得られる第２の画像とを、第１のカメラの第１のカメラ座標系と第２のカメラの第２のカメラ座標系との対応関係に基づいて、同一の座標系上に合成して合成画像を生成することと、リファレンス物体の情報に基づいて生成された点群のうち、リファレンスマーカを基準として決定される第１の領域に含まれる第１の点群を抽出することと、合成画像に含まれる点群のうち、リファレンスマーカを基準として決定される第２の領域に含まれる第２の点群を抽出することと、第１の点群のうちから選択される第１の点ペアについて、第２の点群において第１の点ペアに対応する第２の点ペアを探索することと、第１の点ペアおよび第２の点ペアの形状寸法に基づいて、対応関係の精度を評価することとを含む。
　本発明のさらに別の一例に従う情報処理プログラムは、コンピュータに、リファレンスマーカが配置されたリファレンス物体を第１のカメラで撮像して得られる第１の画像とリファレンス物体を第２のカメラで撮像して得られる第２の画像とを、第１のカメラの第１のカメラ座標系と第２のカメラの第２のカメラ座標系との対応関係に基づいて、同一の座標系上に合成して合成画像を生成することと、リファレンス物体の情報に基づいて生成された点群のうち、リファレンスマーカを基準として決定される第１の領域に含まれる第１の点群を抽出することと、合成画像に含まれる点群のうち、リファレンスマーカを基準として決定される第２の領域に含まれる第２の点群を抽出することと、第１の点群のうちから選択される第１の点ペアについて、第２の点群において第１の点ペアに対応する第２の点ペアを探索することと、第１の点ペアおよび第２の点ペアの形状寸法に基づいて、対応関係の精度を評価することとを実行させる。
　本発明によれば、レジストレーションの精度を評価できる。
本実施の形態に従う情報処理システムの構成例を示す模式図である。 本実施の形態に従う情報処理装置のハードウェア構成例を示す模式図である。 本実施の形態に従う情報処理方法の処理手順の一例を示すフローチャートである。 本実施の形態に従う本実施の形態に従う情報処理方法の処理手順の別の一例を示すフローチャートである。 本実施の形態に従うラフキャリブレーション処理の一例を説明するための図である。 本実施の形態に従うラフキャリブレーション処理の別の一例を説明するための図である。 AprilTagの一例を示す図である。 図５および図６に示すラフキャリブレーション処理における同次変換行列を計算する処理を説明するための図である。 物体の各面に配置されたマーカのマーカ座標系の一例を示す図である。 ＣＡＤ正準座標系に基づくマーカ間の回転および平行移動の関係例を示す図である。 本実施の形態に従うＲＯＩ点群抽出処理の一例を説明するための図である。 本実施の形態に従うＣＡＤ由来点群生成処理の一例を説明するための図である。 本実施の形態に従うアイデンティフィケーション処理のキー点探索の一例を説明するための図である。 最小距離法によりキー点を探索する方法を説明するための図である。 重心法によりキー点を探索する方法を説明するための図である。 平均重心法によりキー点を探索する方法を説明するための図である。 平均重心法およびＭ推定によりキー点を探索する方法を説明するための図である。 平均重心法およびＲＡＮＳＡＣ法によりキー点を探索する方法を説明するための図である。 平均重心法およびＲＡＮＳＡＣ法によりキー点を探索する方法を説明するための図である。 本実施の形態に従うアイデンティフィケーション処理の形状寸法計算の一例を説明するための図である。 本実施の形態に従う情報処理の処理例を示す図である。 本実施の形態に従う情報処理の処理例を示す図である。 本実施の形態に従う情報処理の処理例を示す図である。 本実施の形態に従う情報処理システムにおいて用いられるリファレンス物体の構成例を示す模式図である。 本実施の形態に従う情報処理システムにおいて用いられるリファレンス物体の構成例を示す模式図である。 本実施の形態に従う情報処理システムにおいて用いられるリファレンス物体の構成例を示す模式図である。 本実施の形態に従う情報処理システムにおいて用いられるリファレンス物体の構成例を示す模式図である。 本実施の形態に従う精度評価処理の絶対誤差評価の一例を説明するための図である。 本実施の形態に従う精度評価処理の繰り返し誤差評価の一例を説明するための図である。 本実施の形態に従う精度評価結果の出力の一例を示す模式図である。 本実施の形態に従うファインチューニング処理のペナルティ項の一例を説明するための図である。 本実施の形態に従うファインチューニング処理による長さの誤差の変化例を示す図である。 本実施の形態に従うファインチューニング処理による角度の誤差の変化例を示す図である。 本実施の形態に従う情報処理方法の点群厚を利用した精度確認を説明するための図である。 本実施の形態に従う精度空間分布の計算方法を説明するための図である。 本実施の形態に従う精度空間分布の計算方法の処理手順の一例を示すフローチャートである。 本実施の形態に従う精度空間分布の計算方法により得られた精度空間分布を可視化した例を示す図である。 本実施の形態に従う情報処理システムの機能構成例を示す模式図である。 本実施の形態に従う情報処理システムにおける任意の世界座標系を設定する方法を説明するための図である。
　本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
　＜Ａ．適用例＞
　図１は、本実施の形態に従う情報処理システム１の構成例を示す模式図である。図１を参照して、情報処理システム１は、情報処理装置１００と、複数のカメラ１０－１，１０－２，…，１０－Ｎ（Ｎは２以上の整数）（以下、「カメラ１０」と総称することもある。）とを含む。
　カメラ１０は、例えば、２次元画像（ＲＧＢ画像）およびデプス画像を同時に撮像する。カメラ１０は、３次元画像を撮像してもよい。
　情報処理装置１００は、複数のカメラ１０間の位置合わせ（レジストレーションあるいはカメラレジストレーション）を行う。カメラ１０－１，１０－２，…，１０－Ｎは、カメラ座標系１２－１，１２－２，…，１２－Ｎ（以下、「カメラ座標系１２」と総称することもある。）をそれぞれ有する。カメラ座標系１２は、各カメラ１０の視野に応じたものである。
　レジストレーションは、複数のカメラ１０について、カメラ座標系１２間の対応関係を決定するための処理である。レジストレーションにおいて、空間ＳＰにある１または複数の点に基づいて、カメラ座標系１２間の対応関係が決定される。カメラ座標系１２間の対応関係は、例えば、カメラの外部パラメータである同次変換行列であってもよい。以下の説明においては、同次変換行列をカメラ座標系１２間の対応関係の一例として説明するが、どのようなパラメータ、変換行列または変換関数を用いてもよい。
　レジストレーションが成功すると、あるカメラ１０のカメラ座標系１２と別のカメラ１０のカメラ座標系１２との間の対応関係を示す同次変換行列Ｔの計算が可能である。同次変換行列Ｔは、あるカメラ１０に対する別のカメラ１０の外部パラメータである。
　例えば、カメラ１０－１のカメラ座標系１２－１を基準（criteria）とすると、カメラ座標系１２－１からカメラ座標系１２－２への同次変換行列Ｔ１ ２が計算される。同様に、カメラ座標系１２－１からカメラ座標系１２－Ｎへの同次変換行列Ｔ１ Ｎが計算される。同次変換行列は、回転および平行移動（位置）を示す行列である。
　本実施の形態に従う情報処理システム１は、計算されるカメラ座標系１２間の対応関係（同次変換行列Ｔ）の精度を評価する。
　＜Ｂ．ハードウェア構成例＞
　次に、本実施の形態に従う情報処理システム１の情報処理装置１００のハードウェア構成例について説明する。
　図２は、本実施の形態に従う情報処理装置１００のハードウェア構成例を示す模式図である。図２を参照して、情報処理装置１００は、コンピュータの一例であり、１または複数のプロセッサ１０２と、メモリ１０４と、入力インターフェイス１０６と、表示インターフェイス１１０と、カメラインターフェイス１１４と、ネットワークコントローラ１１６と、ストレージ１２０とを含む。
　１または複数のプロセッサ１０２は、ストレージ１２０に格納されているプログラムに含まれるコンピュータ読取可能命令を実行することで、後述するような処理および機能を提供する。１または複数のプロセッサ１０２がプログラムに含まれるコンピュータ読取可能命令を実行する場合には、プログラムの一部または全部がメモリ１０４に展開されてもよい。
　ストレージ１２０は、非一過性のコンピュータ読取可能媒体の一例である。ストレージ１２０には、例えば、ＯＳ（Operating　System）１２２と、情報処理プログラム１２４とが格納される。ＯＳ１２２は、コンピュータとして必要な機能を提供するためのコンピュータ読取可能命令と、情報処理プログラム１２４を実行する環境を生成するためのコンピュータ読取可能命令とを含む。
　情報処理プログラム１２４は、後述する処理のためのコンピュータ読取可能命令を含む。
　入力インターフェイス１０６は、キーボード、タッチパネル、マウス、および、タブレットなどの入力装置１０８からの入力指令を受け付ける。入力装置１０８は、情報処理装置１００の構成の一部であってもよい。
　表示インターフェイス１１０は、映像信号をディスプレイ１１２に出力する。ディスプレイ１１２は、情報処理装置１００の構成の一部であってもよい。
　カメラインターフェイス１１４は、複数のカメラ１０とデータをやり取りする。
　ネットワークコントローラ１１６は、ネットワークを介して、他の情報処理装置などとデータをやり取りする。
　本明細書において、「プロセッサ」との用語は、ＣＰＵ（Central　Processing　Unit）およびＧＰＵ（Graphics　Processing　Unit）などのコンピュータ読取可能命令を順次実行する演算回路に加えて、ハードワイヤード回路も包含する。ハードワイヤード回路の一例としては、ＡＳＩＣ（Application　Specific　Integrated　Circuit）およびＦＰＧＡ（Field　Programmable　Gate　Array）などが挙げられる。「プロセッサ」は、コア、メモリおよび周辺回路を統合したＳｏＣ（System　on　a　chip）を包含する。
　＜Ｃ．処理手順例＞
　次に、本実施の形態に従う情報処理システム１において実行される処理の手順例について説明する。
　図３は、本実施の形態に従う情報処理方法の処理手順の一例を示すフローチャートである。図３に示す処理は、レジストレーションおよび精度評価を含む。図３に示す各ステップは、情報処理装置１００のプロセッサ１０２が情報処理プログラム１２４を実行することで、実現されてもよい。
　図３を参照して、情報処理装置１００は、ラフキャリブレーション処理を実行する（ステップＳ１）。ラフキャリブレーション処理の実行後、カメラ座標系１２間の対応関係が決定される。ステップＳ１は、他のステップの処理とは独立して、予め実行されてもよい。
　情報処理装置１００は、ＲＯＩ（Region　of　Interest；関心領域）点群抽出処理を実行する（ステップＳ２）。情報処理装置１００は、ＲＯＩ点群抽出処理を実行することで、ＲＯＩに含まれる点群（以下、「ＲＯＩ点群」とも称する。）を抽出する。
　情報処理装置１００は、ＣＡＤ（Computer　Aided　Design）由来点群生成処理を実行する（ステップＳ３）。情報処理装置１００は、ＣＡＤ由来点群生成処理を実行することで、ＣＡＤ情報に基づく点群（以下、「ＣＡＤ由来点群」とも称す。）を生成する。ステップＳ３は、他のステップの処理とは独立して、予め実行されてもよい。
　本明細書において、「点群（ポイントクラウド）」は、位置情報を含む点（ポイント）の集合を意味する。「点群」は、位置情報に加えて、色情報を含んでもよい。位置情報は、３次元データであってもよいし、２．５次元データであってもよい。位置情報は、２次元データと奥行情報（距離情報）とを互いに独立して有するものであってもよい。
　続いて、情報処理装置１００は、アイデンティフィケーション処理を実行する（ステップＳ４）。アイデンティフィケーション処理は、ＲＯＩ点群抽出処理により抽出されたＲＯＩ点群と、ＣＡＤ由来点群生成処理により生成されたＣＡＤ由来点群との対応関係を決定する処理を含む。アイデンティフィケーション処理は、ＣＡＤ由来点群のキー点ペアの形状寸法およびＲＯＩ点群のキー点ペアの形状寸法を計算する処理を含む。
　続いて、情報処理装置１００は、精度評価処理を実行する（ステップＳ５）。精度評価処理は、アイデンティフィケーション処理において計算された形状寸法に基づいて、精度を計算する処理を含む。
　本明細書において、「精度」は、レジストレーションの結果である同次変換行列Ｔ（外部パラメータ）の直接的または間接的な精度を意味する。ただし、「精度」は、複数のカメラが撮像する画像に基づいて再構成される空間情報の精度を意味する場合もある。また、「精度」は、複数のカメラが撮像する画像を合成した結果の精度を意味する場合もある。
　続いて、情報処理装置１００は、精度評価結果を出力する（ステップＳ６）。精度評価結果の出力は、例えば、計算された精度の空間的なビジュアライゼーションを含む。
　ラフキャリブレーション処理に加えて、カメラ座標系１２間の対応関係を最適化するためのファインチューニング処理が実行されてもよい。
　図４は、本実施の形態に従う本実施の形態に従う情報処理方法の処理手順の別の一例を示すフローチャートである。図４に示す処理は、ファインチューニング処理を含む。図４に示す各ステップは、情報処理装置１００のプロセッサ１０２が情報処理プログラム１２４を実行することで、実現されてもよい。
　情報処理装置１００は、ラフキャリブレーション処理を実行する（ステップＳ１）。ステップＳ１は、他のステップの処理とは独立して、予め実行されてもよい。
　情報処理装置１００は、ＲＯＩ点群抽出処理を実行する（ステップＳ２）。情報処理装置１００は、ＣＡＤ由来点群生成処理を実行する（ステップＳ３）。ステップＳ３は、他のステップの処理とは独立して、予め実行されてもよい。
　情報処理装置１００は、アイデンティフィケーション処理を実行する（ステップＳ４）。情報処理装置１００は、ファインチューニング処理を実行する（ステップＳ７）。
　情報処理装置１００は、ファインチューニング処理の終了条件が満たされたか否かを判断する（ステップＳ８）。ファインチューニング処理の終了条件が満たされていなければ（ステップＳ８においてＮＯ）、ステップＳ２以下の処理が繰り返される。
　ファインチューニング処理の終了条件が満たされていれば（ステップＳ８においてＹＥＳ）、情報処理装置１００は、精度評価処理を実行する（ステップＳ５）。続いて、情報処理装置１００は、精度評価結果を出力する（ステップＳ６）。そして、処理は終了する。
　以下、各ステップの詳細について説明する。
　＜Ｄ．ラフキャリブレーション処理（ステップＳ１）＞
　次に、ラフキャリブレーション処理（ステップＳ１）について説明する。
　上述したように、ラフキャリブレーション処理においては、カメラ座標系１２間の対応関係が決定される。より具体的には、基準となるカメラ（以下、「基準カメラ１０Ｃ」とも称す。）のカメラ座標系１２Ｃから別のカメラ（以下、「ターゲットカメラ１０Ｔ」とも称す。）へのカメラ座標系１２Ｔの同次変換行列ＴＣ Ｔが計算される。
　同次変換行列ＴＣ Ｔの計算はどのような方法を用いてもよいが、以下では、リファレンスマーカを用いる方法、および、点群を用いる方法について例示する。
　（ｄ１：リファレンスマーカを用いる方法）
　図５は、本実施の形態に従うラフキャリブレーション処理の一例を説明するための図である。図５には、リファレンスマーカ（以下、単に「マーカ」とも略称する。）を用いたラフキャリブレーション処理の一例が示される。
　図５を参照して、基準カメラ１０Ｃおよびターゲットカメラ１０Ｔのそれぞれの視野（ＦＯＶ：Field　Of　View）１４Ｃ内にリファレンス物体（以下、単に「物体」とも称す。）２０が存在する。物体２０には、マーカ２２が配置されている。マーカ２２は、基準カメラ１０Ｃの視野１４Ｃ内に存在するとともに、ターゲットカメラ１０Ｔの視野１４Ｔ内に存在する。
　マーカ２２は、例えば、３次元空間における位置および姿勢を検出可能なものが用いられる。マーカ２２は、例えば、２次元マーカであってもよい。マーカ２２が２次元マーカである場合には、２次元マーカが配置された面（以下、「有効面」とも称す。）が規定される。
　図６は、本実施の形態に従うラフキャリブレーション処理の別の一例を説明するための図である。図６には、複数のカメラ１０が同一のマーカ２２を計測できない場合が示される。
　図６を参照して、物体２０のある面上にマーカ２２－１が配置され、物体２０の別の面上にマーカ２２－２が配置されている。このような配置によって、基準カメラ１０Ｃの視野１４Ｃ内にマーカ２２－１が存在し、ターゲットカメラ１０Ｔの視野１４Ｔ内にマーカ２２－２が存在する。
　複数のマーカが同時に用いられる場合には、マーカ２２を示す識別情報が検出可能であってもよい。マーカ２２としては、例えば、The　APRIL　Robotics　Laboratory　at　the　University　of　Michiganにより開発されたAprilTagを用いることができる。
　図７は、AprilTagの一例を示す図である。図７には、３つのAprilTagが例示されている。各AprilTagは、３次元空間における位置および姿勢、ならびに、識別情報を視覚的に計測可能である。
　図５および図６に示すように、各カメラ１０が撮像する画像により計測される、それぞれのカメラ座標系１２におけるマーカ２２の位置および姿勢の差に基づいて、同次変換行列Ｔが計算される。マーカ２２の位置および姿勢は、例えば、位置座標（３次元）および姿勢角度（３次元）の６次元のベクトルで表現される。
　ラフキャリブレーション処理は、基準カメラ１０Ｃで物体２０を撮像して得られる画像に基づいて計算されるマーカ２２の位置および姿勢と、ターゲットカメラ１０Ｔで物体２０を撮像して得られる画像に基づいて計算されるマーカ２２の位置および姿勢との差に基づいて、カメラ座標系１２間の対応関係（同次変換行列Ｔ）を決定する処理を含む。
　マーカ２２の位置および姿勢は、マーカ２２が配置された面（有効面２４）を基準とするマーカ座標系２６として定義することもできる。以下の説明においては、マーカ座標系２６を用いてカメラ座標系１２間の対応関係（同次変換行列Ｔ）を決定する処理を説明する。
　図８は、図５および図６に示すラフキャリブレーション処理における同次変換行列を計算する処理を説明するための図である。
　ＣＡＤ情報に基づいて予め設定されるＣＡＤ正準座標系２１から物体２０の各面に配置されたマーカ２２への同次変換行列（回転および平行移動）が、予め計算される。ＣＡＤ正準座標系２１を用いることで、マーカ２２の回転および平行移動の幾何計算の取扱性を容易化できる。
　例えば、図８（Ａ）に示すように、ＣＡＤ正準座標系２１からマーカ２２－１のマーカ座標系２６－１への同次変換行列ＴＣＡＤ ｍｒｋ１が計算される。また、図８（Ｂ）に示すように、ＣＡＤ正準座標系２１からマーカ２２－２のマーカ座標系２６－２への同次変換行列ＴＣＡＤ ｍｒｋ２が計算される。
　基準カメラ１０Ｃのカメラ座標系１２Ｃからターゲットカメラ１０Ｔのカメラ座標系１２Ｔへの同次変換行列ＴＣ Ｔは、ＴＣ ｍｒｋＣ×ＴｍｒｋＣ ｍｒｋＴ×（ＴＴ ｍｒｋＴ）－１で計算される。
　同次変換行列ＴＣ ｍｒｋＣは、基準カメラ１０Ｃで物体２０を撮像して得られる画像に基づいて計算されるマーカ２２の位置および姿勢に相当する。同次変換行列ＴＴ ｍｒｋＴは、ターゲットカメラ１０Ｔで物体２０を撮像して得られる画像に基づいて計算されるマーカ２２の位置および姿勢に相当する。
　同次変換行列ＴｍｒｋＣ ｍｒｋＴは、基準カメラ１０Ｃの視野１４Ｃに存在するマーカ２２からターゲットカメラ１０Ｔの視野１４Ｔ内に存在するマーカ２２への回転および平行移動に相当する。
　図８（Ａ）に示すように、基準カメラ１０Ｃおよびターゲットカメラ１０Ｔのそれぞれの視野内に同一のマーカ２２が存在する場合には、同次変換行列ＴｍｒｋＴＣ ｍｒｋＴは、同一のマーカへの回転および平行移動に相当する。すなわち、同次変換行列ＴｍｒｋＣ ｍｒｋＴ＝Ｅ（単位行列）となる。
　その結果、同次変換行列ＴＣ Ｔ＝ＴＣ ｍｒｋ１×（ＴＴ ｍｒｋ２）－１で計算される。
　一方、図８（Ｂ）に示すように、基準カメラ１０Ｃの視野１４Ｃ内に存在するマーカ２２と、ターゲットカメラ１０Ｔの視野１４Ｔ内に存在するマーカ２２とが異なる場合には、同次変換行列ＴｍｒｋＣ ｍｒｋＴがＥ（単位行列）ではなく、以下のように決定される。
　図９は、物体２０の各面に配置されたマーカ２２のマーカ座標系２６の一例を示す図である。図９を参照して、AprilTagのような識別情報を有するマーカ２２を用いる場合には、撮像された画像に写るマーカ２２の識別情報が取得される。
　マーカ２２の識別情報毎に、ＣＡＤ正準座標系２１からマーカ２２への同次変換行列が予め計算される。
　図１０は、ＣＡＤ正準座標系に基づくマーカ間の回転および平行移動の関係例を示す図である。図１０を参照して、マーカ２２の識別情報（ＩＤ：０～ＩＤ：５）に対応付けて、回転量および並行移動量を示す情報が予め用意される。
　図１０に示す回転量および並行移動量は、ＩＤ：０のマーカ２２のＣＡＤ正準座標系２１に基づいて計算された値である。図１０に示す情報は、同次変換行列テーブルとして情報処理装置１００に格納されてもよい。
　例えば、基準カメラ１０Ｃで物体２０を撮像して得られる画像に基づいて取得されたマーカ２２の識別情報（ＩＤ）が「１」であり、ターゲットカメラ１０Ｔで物体２０を撮像して得られる画像に基づいて取得されたマーカ２２の識別情報（ＩＤ）が「２」である場合には、同次変換行列ＴｍｒｋＣ ｍｒｋＴ＝Ｔｍｒｋ１ ｍｒｋ２＝（ＴＣＡＤ ｍｒｋ１）－１×ＴＣＡＤ ｍｒｋ２と計算される。
　すなわち、図１０に示す同次変換行列テーブルにおいて、基準カメラ１０Ｃの視野１４Ｃ内に存在するマーカ２２の識別情報に対応する同次変換行列テーブルＴＣＡＤ ｍｒｋｉと、ターゲットカメラ１０Ｔの視野１４Ｔ内に存在するマーカ２２の識別情報に対応する同次変換行列テーブルＴＣＡＤ ｍｒｋｉとが選択され、同次変換行列ＴｍｒｋＴＣ ｍｒｋＴが計算される。
　計算された同次変換行列ＴｍｒｋＴＣ ｍｒｋＴを用いて、同次変換行列ＴＣ Ｔ＝ＴＣ ｍｒｋＣ×ＴｍｒｋＣ ｍｒｋＴ×（ＴＴ ｍｒｋＴ）－１が計算される。
　このように、ラフキャリブレーション処理においては、１または複数のマーカ２２が配置された物体２０を複数のカメラでそれぞれ撮像することで、カメラの外部パラメータである同次変換行列が計算される。
　（ｄ２：点群を用いる方法）
　上述の図５に示すように、基準カメラ１０Ｃの視野１４Ｃ内およびターゲットカメラ１０Ｔの視野１４Ｔ内のいずれにも物体２０が存在している場合を想定する。ラフキャリブレーション処理に用いる物体２０が決定された上で、基準カメラ１０Ｃが撮像する画像およびターゲットカメラ１０Ｔが撮像する画像の各々から、物体２０の外形を示す点群が抽出される。
　ＦＰＦＨ（Fast　Point　Feature　Histogram）法およびＩＣＰ（Iterative　Closest　Point）法を組み合わせることで、情報処理装置１００は、それぞれの画像から抽出された点群（共通の物体２０を示す）に基づいて、基準カメラ１０Ｃのカメラ座標系１２Ｃとターゲットカメラ１０Ｔのカメラ座標系１２Ｔとの対応関係を決定する。すなわち、情報処理装置１００は、基準カメラ１０Ｃのカメラ座標系１２Ｃからターゲットカメラ１０Ｔへのカメラ座標系１２Ｔの同次変換行列ＴＣ Ｔを推定する。
　以上のような処理によって、カメラ座標系１２間の対応関係（同次変換行列Ｔ）が計算される。
　＜Ｅ．ＲＯＩ点群抽出処理（ステップＳ２）＞
　次に、ＲＯＩ点群抽出処理（ステップＳ２）について説明する。
　上述したように、ＲＯＩ点群抽出処理においては、マーカ２２が配置された物体２０を基準カメラ１０Ｃで撮像して得られる第１の画像と、物体２０をターゲットカメラ１０Ｔで撮像して得られる第２の画像とが合成画像に変換される。なお、２つの画像は、点群の集合であってもよい。そして、アイデンティフィケーション処理において用いられる点群を抽出するためのＲＯＩが決定され、合成画像からＲＯＩに含まれる点群（ＲＯＩ点群）が抽出される。
　上述の図５に示すように、マーカ２２が配置された物体２０を基準カメラ１０Ｃおよびターゲットカメラ１０Ｔで撮像することで２つの画像が得られる。得られた２つの画像は、基準カメラ１０Ｃのカメラ座標系１２Ｃとターゲットカメラ１０Ｔのカメラ座標系１２Ｔとの対応関係（同次変換行列ＴＣ Ｔ）に基づいて、同一の座標系（カメラ座標系１２Ｃ）上に合成される。このような変換によって生成された合成画像に対して、ＲＯＩの決定およびＲＯＩ点群の抽出が行われる。
　なお、図６に示すように、基準カメラ１０Ｃの視野１４Ｃ内およびターゲットカメラ１０Ｔの視野１４Ｔ内に共通のマーカ２２が存在しない場合であっても、同次変換行列ＴＣ Ｔを用いて、ＲＯＩ点群抽出処理を実行できる。
　図１１は、本実施の形態に従うＲＯＩ点群抽出処理の一例を説明するための図である。
　図１１（Ａ）を参照して、物体２０のマーカ２２の３次元空間における位置および姿勢が計測されると、マーカ２２が配置された面（有効面２４）を基準とするマーカ座標系２６が決定される。マーカ座標系２６の原点は、マーカ２２の予め定められた位置（例えば、中心位置）に設定される。
　図１１（Ｂ）を参照して、決定されたマーカ座標系２６の原点を中心として、所定の領域がＲＯＩ５０として決定される。ＲＯＩ５０は、任意の大きさの６面体であってもよい。ＲＯＩ５０の大きさは、予め定められた固定値であってもよいし、任意の条件に応じて変化する可変値であってもよい。
　図１１（Ｃ）を参照して、決定されたＲＯＩ５０に含まれる点群（ＲＯＩ点群５６）が抽出される。ＲＯＩ点群５６は、例えば、２．５次元データ形式で表現されてもよい。２．５次元データ形式は、２次元画像データに奥行情報（距離情報）を付加したものである。
　このように、ＲＯＩ点群抽出処理は、合成画像に含まれる点群のうち、マーカ２２を基準として決定されるＲＯＩ５０（第２の領域に相当）に含まれるＲＯＩ点群５６（第２の点群に相当）を抽出する処理を含む。ＲＯＩ５０は、物体２０のマーカ２２が配置された面（有効面２４）を基準として決定されてもよい。抽出されたＲＯＩ点群５６に基づいて、アイデンティフィケーション処理が実行される。
　なお、説明の便宜上、１つのマーカ２２が配置された物体２０を例示するが、複数のマーカ２２が物体２０に配置されている場合には、マーカ２２（有効面２４）毎にＲＯＩを決定し、ＲＯＩ点群を抽出してもよい。
　＜Ｆ．ＣＡＤ由来点群生成処理（ステップＳ３）＞
　次に、ＣＡＤ由来点群生成処理（ステップＳ３）について説明する。
　上述したように、ＣＡＤ由来点群生成処理においては、ＣＡＤ由来点群が生成される。
　図１２は、本実施の形態に従うＣＡＤ由来点群生成処理の一例を説明するための図である。
　図１２を参照して、ラフキャリブレーション処理（ステップＳ１）およびＲＯＩ点群抽出処理（ステップＳ２）において用いられた物体２０の情報が用意される。物体２０の情報は、設計情報であってもよいし、実測情報であってもよい。設計情報の一例として、物体２０のＣＡＤ情報３０を用いてもよい。設計情報は、「ＣＡＤ」との用語に限定されず、どのような形式のデータであってもよい。実測情報の一例として、物体２０を光学的に測定して得られた情報を用いてもよい。実測情報は、どのような方法で測定された情報であってもよいし、どのような形式のデータであってもよい。
　ＣＡＤ情報３０に基づいて、物体２０の形状を示す３次元点群３２が生成される。生成された３次元点群３２のうち、マーカ２２の有効面２４に対応する対象領域３４内に存在する点群がＣＡＤ由来点群３６として抽出される。ＣＡＤ由来点群３６は、物体２０のすべての点群を含まなくてもよく、少なくとも、マーカ２２の有効面２４の近傍の点群を含んでいればよい。
　３次元点群３２は、例えば、３次元データ形式で表現される。アイデンティフィケーション処理を簡素化するために、対象領域３４内に存在する点群は、３次元データ形式から２．５次元データ形式に変換されてもよい。
　ＣＡＤ由来点群３６が２．５次元データ形式であれば、２．５次元データ形式において、ＲＯＩ点群５６とＣＡＤ由来点群３６とを対応付けることができる。
　このように、ＣＡＤ由来点群生成処理は、物体２０の情報（例えば、ＣＡＤ情報３０）に基づいて生成された点群のうち、マーカ２２を基準として決定される対象領域３４（第１の領域に相当）に含まれるＣＡＤ由来点群３６（第１の点群に相当）を抽出する処理を含む。ＣＡＤ由来点群３６は、物体２０のマーカ２２が配置された面（有効面２４）を基準として決定されてもよい。
　なお、説明の便宜上、１つのマーカ２２が配置された物体２０を例示するが、複数のマーカ２２が物体２０に配置されている場合には、マーカ２２（有効面２４）毎にＣＡＤ由来点群３６を生成してもよい。
　＜Ｇ．アイデンティフィケーション処理（ステップＳ４）＞
　次に、アイデンティフィケーション処理（ステップＳ４）について説明する。
　上述したように、アイデンティフィケーション処理においては、ＲＯＩ点群５６とＣＡＤ由来点群３６との対応関係が決定される。また、アイデンティフィケーション処理においては、ＣＡＤ由来点群のキー点ペアの形状寸法およびＲＯＩ点群のキー点ペアの形状寸法が計算される。
　アイデンティフィケーション処理においては、ＣＡＤ由来点群３６中のキー点が選択される。選択されたＣＡＤ由来点群３６中のキー点に対応する、ＲＯＩ点群５６中のキー点が探索される。ＣＡＤ由来点群３６中のキー点は、２つのキー点を組にした「キー点ペア」の単位で決定される。後述の処理において、キー点ペアの形状寸法が計算される。すなわち、キー点ペアは、形状寸法を計算する対象となる。
　図１３は、本実施の形態に従うアイデンティフィケーション処理のキー点探索の一例を説明するための図である。図１３を参照して、ＣＡＤ由来点群３６において、キー点ペア４０－１，４０－２（以下、「キー点ペア４０」と総称することもある。）が選択される。キー点ペア４０（および、キー点４２）は、マーカ２２が配置された物体２０の形状的な特徴に基づいて選択されてもよい。
　キー点ペア４０（および、キー点４２）は、ＣＡＤ情報に対して予め設定された１または複数の座標に従って、自動的に選択されてもよい。キー点ペア４０（および、キー点４２）は、ＣＡＤ由来点群３６に対するユーザの指示に応じて選択されてもよい。この場合には、情報処理装置１００は、ユーザがキー点ペア４０（および、キー点４２）を選択するためのユーザインターフェイス画面を提供してもよい。
　図１３に示す例において、キー点ペア４０－１は、キー点４２－１とキー点４２－２との組である。キー点ペア４０－２は、キー点４２－３とキー点４２－４との組である。以下では、キー点４２－１～４２－４を「キー点４２」と総称することもある。
　ＣＡＤ由来点群３６中のキー点４２－１～４２－４にそれぞれ対応するＲＯＩ点群５６中のキー点６２－１～６２－４（以下、「キー点６２」と総称することもある。）が探索される。すなわち、アイデンティフィケーション処理は、ＣＡＤ由来点群３６（第１の点群）のうちから選択されるキー点ペア４０（第１の点ペアに相当）について、ＲＯＩ点群５６においてキー点ペア４０に対応するキー点６２の組（第２の点ペアに相当）を探索する処理を含む。
　以下、ＣＡＤ由来点群３６中のキー点４２に対応するＲＯＩ点群５６中のキー点６２を探索するためのキー点探索法のいくつかについて例示する。
　（ｇ１：最小距離（Minimum　distance）法）
　まず、キー点探索法の一例である最小距離法について説明する。
　図１４は、最小距離法によりキー点を探索する方法を説明するための図である。図１４を参照して、ＲＯＩ点群５６に対して、ＣＡＤ由来点群３６中のキー点４２に対応する座標が与えられる。ＣＡＤ由来点群３６中のキー点４２に対応する座標から各点までの距離が計算される。ＣＡＤ由来点群３６中のキー点４２に対応する座標からの距離が最小となる点がキー点６２として推定される。
　（ｇ２：重心（Center　of　gravity）法）
　次に、キー点探索法の別の一例である重心法について説明する。
　図１５は、重心法によりキー点を探索する方法を説明するための図である。図１５を参照して、ＲＯＩ点群５６に対して、ＣＡＤ由来点群３６中のキー点４２に対応する座標が与えられる。ＣＡＤ由来点群３６中のキー点４２に対応する座標から所定の半径Ｒ内に存在する複数の点が決定される。半径Ｒ内に存在する複数の点の重心がキー点６２として推定される。
　このように、重心法は、ＣＡＤ由来点群３６中のキー点ペア４０（第１の点ペア）の各点に対応するＲＯＩ点群５６（第２の点群）における座標を決定し、当該決定された座標から予め定められた距離内に存在する１または複数の点の重心に基づいて、キー点ペア６０（第２の点ペア）のキー点６２を決定する処理を含む。以下に説明する重心法をベースとした各種方法についても同様である。
　（ｇ３：平均重心（Average　Center　of　gravity）法）
　次に、キー点探索法のさらに別の一例である平均重心法について説明する。
　図１６は、平均重心法によりキー点を探索する方法を説明するための図である。図１６を参照して、上述の重心法と同様に、ＣＡＤ由来点群３６中のキー点４２に対応する座標から所定の半径Ｒ内に存在する複数の点が選択される。半径Ｒ内に存在する複数の点の重心６４が計算される。
　カメラ１０が複数回撮像することにより、ＲＯＩ点群５６のサンプルを複数用意できる場合には、ＲＯＩ点群５６毎に重心６４を計算できる。例えば、複数の重心６４－１～６４－６を計算した上で、複数の重心６４－１～６４－６の平均がキー点６２として推定される。
　（ｇ４：平均重心法＋Ｍ推定（M-estimation））
　次に、キー点探索法のさらに別の一例である平均重心法にＭ推定を加えた方法について説明する。
　図１７は、平均重心法およびＭ推定によりキー点を探索する方法を説明するための図である。図１７を参照して、カメラ１０が複数回撮像することにより、ＲＯＩ点群５６のサンプルを複数用意できる場合には、上述の平均重心法と同様に、ＲＯＩ点群５６毎に重心６４を計算できる。複数の重心６４が計算されると、計算された複数の重心６４の平均が計算される。計算された平均に基づいて、複数の重心６４の各々の偏差および標準偏差σが計算される。
　複数の重心６４のうち標準偏差σを超える偏差がある重心６４は、外れ値（outlier）と決定され、それ以外の重心６４が適正値（inlier）と決定される。図１７に示す例では、３つの重心６４－１，６４－３，６４－４が適正値と決定される。
　適正値として決定された重心６４のうち１つがキー点６２として推定される。あるいは、適正値として決定された重心６４の平均がキー点６２として推定される。
　（ｇ５：平均重心法＋ＲＡＮＳＡＣ（Random　sample　consensus）法）
　次に、キー点探索法のさらに別の一例である平均重心法にＲＡＮＳＡＣ法を加えた方法について説明する。
　図１８および図１９は、平均重心法およびＲＡＮＳＡＣ法によりキー点を探索する方法を説明するための図である。図１８を参照して、ＲＯＩ点群５６の複数のサンプルから複数の重心６４が計算される。複数の重心６４は、外れ値（outlier）と適正値（inlier）とに分類される。
　サンプル群１においては、３つの重心６４－５，６４－３，６４－２が適正値と決定され、残りの３つの重心６４－４，６４－１，６４－４が外れ値と決定される。適正値と決定された重心の平均、および、外れ値と決定された重心の平均がそれぞれＲＡＮＳＡＣ用キー点として決定される。適正値のＲＡＮＳＡＣ用キー点と外れ値のＲＡＮＳＡＣ用キー点との差がＣＡＤ由来点群３６中のキー点４２に対する誤差として計算される。
　同様に、サンプル群２においては、３つの重心６４－１，６４－５，６４－６が適正値と決定され、残りの３つの重心６４－３，６４－２，６４－４が外れ値と決定される。適正値のＲＡＮＳＡＣ用キー点と外れ値のＲＡＮＳＡＣ用キー点との差がＣＡＤ由来点群３６中のキー点４２に対する誤差として計算される。
　図１９を参照して、複数のサンプル群に対して、ＣＡＤ由来点群３６中のキー点４２に対する誤差が計算され、誤差が最小値となるサンプル群が最適なサンプル群として決定される。最適なサンプル群の重心の平均がキー点６２として推定される。
　（ｇ５：小括）
　キー点探索法としては、上述した方法に限られず、任意の方法を用いることができる。ただし、キー点探索法は、後述の精度評価処理に影響を与える重要なファクタであるため、複数のキー点探索法を評価した上で、適切な１または複数のキー点探索法を決定してもよい。
　キー点探索法を用いて、ＣＡＤ由来点群３６中のキー点４２に対応するＲＯＩ点群５６中のキー点６２が探索されると、形状寸法が計算される。
　図２０は、本実施の形態に従うアイデンティフィケーション処理の形状寸法計算の一例を説明するための図である。図２０を参照して、ＣＡＤ由来点群３６中のキー点４２－１～４２－４にそれぞれ対応するＲＯＩ点群５６中のキー点６２－１～６２－４が探索される。
　ＲＯＩ点群５６中のキー点６２－１～６２－４に基づいて、ＣＡＤ由来点群３６中のキー点ペア４０－１，４０－２に対応するキー点ペア６０－１が決定され、ＣＡＤ由来点群３６中のキー点ペア４０－３，４０－４に対応するキー点ペア６０－２が決定される。
　ＣＡＤ由来点群３６中のキー点ペア４０－１，４０－２の各々の形状寸法が計算される。また、ＲＯＩ点群５６中のキー点ペア６０－１，６０－２（以下、「キー点ペア６０」と総称することもある。）の各々の形状寸法が計算される。形状寸法は、例えば、キー点ペアの長さ（１次元：スカラ量）であってもよいし、キー点ペアの長さおよび角度（ベクトル量）であってもよい。形状寸法の長さおよび方向は、長さを示す成分と、角度を示す回転成分とを用いて表現されてもよい。
　＜Ｈ．処理例＞
　次に、ＲＯＩ点群抽出処理、ＣＡＤ由来点群生成処理、および、アイデンティフィケーション処理の処理例を説明する。
　図２１～図２３は、本実施の形態に従う情報処理の処理例を示す図である。
　ラフキャリブレーション処理の後、基準カメラ１０Ｃのカメラ座標系１２Ｃからターゲットカメラ１０Ｔのカメラ座標系１２Ｔへの同次変換行列ＴＣ Ｔが計算される。
　図２１（Ａ）を参照して、同次変換行列ＴＣ Ｔを用いて、ターゲットカメラ１０Ｔのカメラ座標系１２Ｃにおけるマーカ座標系２６が基準カメラ１０Ｃのカメラ座標系１２Ｃにおけるマーカ座標系２６に座標変換される。この座標変換によって、基準カメラ１０Ｃの撮像により得られた点群、および、ターゲットカメラ１０Ｔの撮像によって得られた点群が同一の座標系上に合成される。すなわち、同次変換行列ＴＣ Ｔを用いた座標変換により基準を一致させた上で、点群が集約される。
　続いて、図２１（Ｂ）を参照して、有効面２４を基準としたＲＯＩが決定され、ＲＯＩに含まれる点群（ＲＯＩ点群５６）が抽出される。すなわち、有効面２４の近傍にある表層の点群が抽出される。
　続いて、図２１（Ｃ）を参照して、ＲＯＩ点群５６は、ＣＡＤ正準座標系２１に座標変換される。この座標変換により、アイデンティフィケーション処理において、形状寸法を計算するための基準が一致する。
　図２２を参照して、マーカ２２が配置された物体２０のＣＡＤ情報に基づいて、キー点４２およびキー点ペア４０が選択される。キー点４２は、物体２０の形状的な特徴に基づいて選択されてもよい。
　図２３（Ａ）を参照して、ＲＯＩ点群５６に対して、ＣＡＤ由来点群３６中のキー点４２に対応する座標が与えられる。
　図２３（Ｂ）を参照して、キー点探索法により、ＣＡＤ由来点群３６中のキー点４２に対応するＲＯＩ点群５６中のキー点６２が探索される。
　＜Ｉ．リファレンス物体＞
　次に、リファレンス物体（物体２０）の形状の一例について説明する。
　上述したように、物体２０は、マーカ２２が配置される有効面２４を有しているとともに、キー点４２を選択するための形状的な特徴を有してもよい。リファレンス物体としてのいくつかの形状について例示する。
　図２４は、本実施の形態に従う情報処理システム１において用いられるリファレンス物体２０Ａの構成例を示す模式図である。図２４を参照して、リファレンス物体２０Ａは、立方体をベースとする。リファレンス物体２０Ａの各面には、マーカ２２がそれぞれ配置される（合計６面分）。図２４には、３つの面には位置されたマーカ２２－１～２２－３のみが表現されているが、図示されない残りの面の各々にもマーカ２２が配置されている。
　リファレンス物体２０Ａは、立方体の４つの頂点に相当する部分が切り欠かれている。より具体的には、リファレンス物体２０Ａの上面の対向する一対の頂点には、立方体状の切欠部２８－１，２８－２が設けられている。また、リファレンス物体２０Ａの上面の別の対向する一対の頂点には、面取り部２９－１，２９－２が設けられている。
　切欠部２８－１，２８－２および面取り部２９－１，２９－２は、リファレンス物体２０Ａの形状的な特徴であり、キー点４２およびキー点ペア４０を選択する基準になり得る。
　図２５は、本実施の形態に従う情報処理システム１において用いられるリファレンス物体２０Ｂの構成例を示す模式図である。図２５を参照して、リファレンス物体２０Ｂは、主となる四角錐２５０と、四角錐２５０の１つの面に底面が一致する四角錐２５２，２５４とを含む。四角錐２５０の四角錐２５２，２５４が存在しない面には、マーカが配置されてもよい。
　四角錐２５０および四角錐２５２，２５４の各頂点などは、リファレンス物体２０Ｂの形状的な特徴であり、キー点４２およびキー点ペア４０を選択する基準になり得る。
　図２６は、本実施の形態に従う情報処理システム１において用いられるリファレンス物体２０Ｃ，２０Ｄの構成例を示す模式図である。
　図２６（Ａ）を参照して、リファレンス物体２０Ｃは、立方体をベースとする。リファレンス物体２０Ｃの３つの面には、それぞれマーカ２２－１～２２－３が配置される。
　リファレンス物体２０Ｃは、上面の各辺に相当する部分が切り欠かれている。より具体的には、リファレンス物体２０Ｃの上面の各辺に相当する部分には、切欠部２８－３～２８－６が設けられている。
　切欠部２８－３～２８－６の各々は、切り欠かれた区間および長さが互いに異なるように形成される。すなわち、切欠部２８－３～２８－６は、互いに識別可能な形状となっている。
　切欠部２８－３～２８－６は、リファレンス物体２０Ｃの形状的な特徴であり、キー点４２およびキー点ペア４０を選択する基準になり得る。
　図２６（Ｂ）を参照して、リファレンス物体２０Ｄは、立方体をベースとする。リファレンス物体２０Ｄの３つの面には、それぞれマーカ２２－１～２２－３が配置される。
　リファレンス物体２０Ｄは、２つの面の一部が切り欠かれている。より具体的には、リファレンス物体２０Ｄの２つの側面の各々には、切欠部２８－７，２８－８が設けられている。
　切欠部２８－７の断面は長方形となっており、切欠部の２８－８の断面は三角形となっている。切欠部２８－７，２８－８は、リファレンス物体２０Ｄの内部に向かうに連れて、断面積が減少する形状であってもよい。このように、切欠部２８－７，２８－８の断面形状が異なることで、互いに識別可能な形状となっている。
　切欠部２８－７，２８－８は、リファレンス物体２０Ｄの形状的な特徴であり、キー点４２およびキー点ペア４０を選択する基準になり得る。
　図２７は、本実施の形態に従う情報処理システム１において用いられるリファレンス物体２０Ｅの構成例を示す模式図である。図２７を参照して、リファレンス物体２０Ｅは、主柱２６０と、マーカ２２を配置可能な５つの平面板２６１～２６５を含む。平面板２６２は主柱２６０により支持される。平面板２６１，２６３，２６４，２６５は、主柱２６０に接続された支持部材２７１，２７３，２７４，２７５により支持される。
　平面板２６１～２６５の配置は、リファレンス物体２０Ｅの形状的な特徴であり、キー点４２およびキー点ペア４０を選択する基準になり得る。
　リファレンス物体（物体２０）は、切欠部などが形成されていない立方体または直方体であってもよい。リファレンス物体（物体２０）は、上述した形状に限られず、任意の形状であってもよい。
　上述したように、キー点４２およびキー点ペア４０は、リファレンス物体の形状的な特徴に基づいて選択されてもよい。キー点４２およびキー点ペア４０を設定するために、形状的な特徴を有するリファレンス物体を採用してもよい。
　＜Ｊ．精度評価処理（ステップＳ５）＞
　次に、精度評価処理（ステップＳ５）について説明する。
　上述したように、精度評価処理においては、アイデンティフィケーション処理において計算された形状寸法に基づいて、精度が計算される。すなわち、精度評価処理は、ＣＡＤ由来点群３６中のキー点ペア４０（第１の点ペア）およびＲＯＩ点群５６中のキー点ペア６０（第２の点ペア）の形状寸法に基づいて、同次変換行列Ｔ（カメラ座標系１２間の対応関係）の精度を評価する処理を含む。
　計算される精度としては、例えば、絶対誤差および繰り返し誤差のうち少なくとも一方を含む。
　（ｊ１：絶対誤差）
　図２８は、本実施の形態に従う精度評価処理の絶対誤差評価の一例を説明するための図である。図２８を参照して、キー点ペア毎に、ＣＡＤ由来点群３６中のキー点ペア４０の形状寸法と、ＲＯＩ点群５６中のキー点ペア６０の形状寸法との差が計算される。計算された差が絶対誤差となる。
　複数のキー点ペアの各々について計算された絶対誤差を統計処理することで、対象の情報処理システム１における絶対誤差が計算される。また、複数のサンプルから計算されるそれぞれのキー点ペアの形状誤差を統計処理することで、対象の情報処理システム１における絶対誤差が計算される。
　例えば、キー点ペアｐ１について、キー点ペア４０における形状寸法の長さがＬｃａｄ１であり、キー点ペア６０における形状寸法の長さがＬＲＯＩ１であれば、絶対誤差Δｐ１＝｜Ｌｃａｄ１－ＬＲＯＩ１｜となる。同様に、キー点ペアｐ２について、キー点ペア４０における形状寸法がＬｃ２であり、キー点ペア６０における形状寸法がＬＲＯＩ２であれば、絶対誤差Δｐ２＝｜Ｌｃａｄ２－ＬＲＯＩ２｜となる。
　あるいは、キー点ペアｐ１とキー点ペアｐ２とのなす角度について、キー点ペア４０における角度がθｃａｄ１であり、キー点ペア６０における角度がθＲＯＩ１であれば、絶対誤差Δｐθ１＝｜θｃａｄ１－θＲＯＩ１｜となる。
　このように、ＣＡＤ由来点群３６中のキー点ペア４０の形状寸法と、ＲＯＩ点群５６中のキー点ペア６０の形状寸法との差に基づいて、精度として絶対誤差が計算される。
　（ｊ２：繰り返し誤差）
　図２９は、本実施の形態に従う精度評価処理の繰り返し誤差評価の一例を説明するための図である。図２９を参照して、複数のサンプルについて、キー点ペア毎に、ＲＯＩ点群５６中のキー点ペア６０の形状寸法のばらつきが計算される。計算されたばらつき（例えば、標準偏差）が繰り返し誤差となる。
　例えば、キー点ペアｐ１について、サンプル１における形状寸法がＬＲＯＩ１１であり、サンプル２における形状寸法がＬＲＯＩ１２である場合には、ＬＲＯＩ１１とＬＲＯＩ１２との誤差が繰り返し誤差となる。
　同様に、キー点ペアｐ２について、サンプル１における形状寸法がＬＲＯＩ２１であり、サンプル２における形状寸法がＬＲＯＩ２２である場合には、ＬＲＯＩ２１とＬＲＯＩ２２との誤差が繰り返し誤差となる。
　あるいは、キー点ペアｐ１について、サンプル１における角度がθｃａｄ１１であり、サンプル２における角度がθＲＯＩ１２である場合には、θＲＯＩ２１とθＲＯＩ２２との誤差が繰り返し誤差となる。
　３つ以上のサンプルについて繰り返し誤差を計算する場合には、同一のキー点ペアの形状寸法の標準偏差が繰り返し誤差として計算される。
　このように、精度評価処理は、ＲＯＩ点群５６中のキー点ペア６０（第２の点ペア）の形状寸法の誤差の計算を繰り返すことで、形状寸法の誤差のばらつきを計算する処理を含む。
　（ｊ３：その他）
　キー点ペア毎に、ＣＡＤ由来点群３６中のキー点ペア４０の形状寸法と、ＲＯＩ点群５６中のキー点ペア６０の形状寸法とが得られるので、２種類の形状寸法のうち少なくとも一方を用いて、任意の精度評価処理を行うことができる。
　＜Ｋ．精度評価結果の出力（ステップＳ６）＞
　次に、精度評価結果の出力（ステップＳ６）について説明する。
　図３０は、本実施の形態に従う精度評価結果の出力の一例を示す模式図である。図３０を参照して、精度評価結果の出力画面２００は、形状寸法の長さの誤差を示す情報２１０と、形状寸法の角度の誤差を示す情報２２０とを含む。
　情報２１０は、統計情報２１２と、長さの誤差についてのヒストグラム２１４とを含む。ヒストグラム２１４は、長さの誤差の大きさ毎にキー点ペアの数（頻度）を示す。情報２２０は、統計情報２２２と、角度の誤差についてのヒストグラム２２４とを含む。ヒストグラム２２４は、角度の誤差の大きさ毎にキー点ペアの数（頻度）を示す。
　このように、情報処理装置１００は、長さの誤差についてのヒストグラム２１４と、角度の誤差についてのヒストグラム２２４とを出力してもよい。
　ヒストグラムにおいては、左側に分布が偏るほど精度が良好であると判断できる。図３０に示すように、長さおよび角度の誤差についてのヒストグラムの分布形状を参照することで、誤差のばらつきなども評価することができる。
　＜Ｌ．ファインチューニング処理（ステップＳ７）＞
　次に、ファインチューニング処理（ステップＳ７）について説明する。計算された精度（絶対誤差および繰り返し誤差）が予め定められた条件を満たさない場合に、ファインチューニング処理を含む処理が実行されてもよい。
　ファインチューニング処理は、アイデンティフィケーション処理により計算される形状寸法の誤差を最小化するように、同次変換行列Ｔを最適化する処理である。すなわち、ファインチューニング処理は、ＣＡＤ由来点群３６中のキー点ペア４０（第１の点ペア）およびＲＯＩ点群５６中のキー点ペア６０（第２の点ペア）との形状寸法の差が小さくなるように、同次変換行列Ｔ（カメラ座標系１２間の対応関係）を最適化する処理を含む。同次変換行列Ｔの最適化は、形状寸法を用いた評価関数を最小化（または、最大化）するための非線形計画問題に帰結できる。
　ファインチューニング処理においては、コストを示す評価関数を定義するとともに、評価関数が示すコストを最小化するように、同次変換行列Ｔの各パラメータが探索される。
　より具体的には、同次変換行列Ｔ＊（Ｒ＊，ｔ＊）に関して、以下のような評価関数を用いることができる。
Figure JPOXMLDOC01-appb-M000001
　評価関数は、すべてのキー点ペアについての、ＣＡＤ由来点群３６中のキー点ペア４０の形状寸法と、ＲＯＩ点群５６中のキー点ペア６０の形状寸法との絶対誤差の二乗総和を含む。すなわち、評価関数を最小化することは、ＣＡＤ由来点群３６中のキー点ペア４０の形状寸法と、ＲＯＩ点群５６中のキー点ペア６０の形状寸法との絶対誤差の二乗総和を最小化することを意味する。
　上述の評価関数は、以下のようなペナルティ項を含んでもよい。
Figure JPOXMLDOC01-appb-M000002
　図３１は、本実施の形態に従うファインチューニング処理のペナルティ項の一例を説明するための図である。
　図３１を参照して、ラフキャリブレーション処理の精度、および、点群のゆらぎなどによって、ＣＡＤ由来点群３６中のキー点４２に対応する座標から所定の半径Ｒ内に所定数の点が存在しない場合がある。図３０の左側（現実）の例では、半径Ｒ内に１つの点のみが存在する。
　このような場合には、所定数の点が見つかるまで、半径Ｒを段階的に大きくしてもよい。ただし、探索半径が基準の半径Ｒから半径Ｒ’まで増大したことをペナルティ項に反映してもよい。例えば、｜半径Ｒ’－半径Ｒ｜に係数を乗じた値をペナルティ項としてもよい。
　また、形状寸法の長さの誤差および角度の誤差に加えて、Ｌ２正則化項をペナルティ項とする評価関数を採用してもよい。例えば、以下のような評価関数を用いることができる。
Figure JPOXMLDOC01-appb-M000003
　以上のように、ファインチューニング処理に用いる評価関数は、アイデンティフィケーション処理において得られるキー点ペアの形状寸法の計算結果を用いるものであれば、どのようなものであってもよい。
　以下、ファインチューニング処理の効果の一例について説明する。
　図３２は、本実施の形態に従うファインチューニング処理による長さの誤差の変化例を示す図である。図３２を参照して、ファインチューニング処理前においては、ヒストグラムが多峰性を示していたのに対して、ファインチューニング処理後においては、ヒストグラムが指数分布を示しているのが分かる。ヒストグラムにおいては、左側に分布が偏るほど精度が良好である。このように、ファインチューニング処理によって、理想的な誤差分布に近付いていることが分かる。
　図３３は、本実施の形態に従うファインチューニング処理による角度の誤差の変化例を示す図である。図３３を参照して、ファインチューニング処理前においては、指数分布から外れたヒストグラムであったのに対して、ファインチューニング処理後においては、ヒストグラムが指数分布を示しているのが分かる。指数分布ｐ（ｘ）＝λｅｘｐ（－λ）について、ファインチューニング処理後においては、パラメータλが大きくなっている。すなわち、ヒストグラムは、より鋭い指数分布を示すようになる。
　このように、ファインチューニング処理によって、形状寸法の誤差を低減させることができる。
　＜Ｍ．精度評価の応用例＞
　次に、本実施の形態に従う情報処理方法のいくつかの精度評価の応用例について説明する。上述の精度評価結果の出力は、ラフキャリブレーション処理およびファインチューニング処理の実行結果に基づくものであったが、本実施の形態に従う情報処理方法は、精度の経年的な変化および定期的な精度の管理などに用いることもできる。
　（ｍ１：ヒストグラムに基づく精度管理）
　上述の図３２に示すように、精度はヒストグラムの分布形状に反映される。ヒストグラムの分布形状を所定のアルゴリズムを用いて比較することで、精度の変化などを定量的に計算できる。
　ヒストグラムの分布形状を比較するアルゴリズムとしては、例えば、ヒストグラム交差カーネルを用いる方法、および、ヒストグラムユークリッド距離を用いる方法などが挙げられる。
　例えば、設備保全者は、運用開始前に、誤差についてのヒストグラムを生成および保存しておき、日常点検時などに、誤差についてのヒストグラムを再生成し、保存されているヒストグラムと比較してもよい。設備保全者は、ヒストグラムの分布形状の変化に基づいて、精度が低下しているか否かを判断できる。
　このような誤差についてのヒストグラムの分布形状の変化に基づく観測を設備保全業務としてもよい。
　あるいは、指数分布ｐ（ｘ）＝λｅｘｐ（－λ）を用いて誤差についてのヒストグラムを近似することで推定されるパラメータλに基づいて、精度のトレンド管理を行ってもよい。
　例えば、設備保全者は、運用開始前に、誤差についてのヒストグラムを生成し、生成されたヒストグラムを指数分布で近似して決定されたパラメータλを保存する。設備保全者は、日常点検時などに、誤差についてのヒストグラムを再生成し、生成されたヒストグラムを指数分布で近似してパラメータλを計算する。設備保全者は、パラメータλの値の変化に基づいて、精度をトレンド管理できる。
　精度のトレンド管理には、例えば、以下のような式に従って計算される余裕度Ｉλｍａｒｇｉｎを用いてもよい。
Figure JPOXMLDOC01-appb-M000004
　ただし、λＥｘｐ＿ｃｒｉｔｅは、パラメータλの基準値を示し、λＥｘｐ＿ｃｕｒｒは評価対象のヒストグラムから計算あれたパラメータλの値を示す。
　パラメータλが基準値から変化しない場合には余裕度Ｉλｍａｒｇｉｎ＝０となり、改善方向であれば余裕度Ｉλｍａｒｇｉｎ＞０となり、悪化方向は余裕度Ｉλｍａｒｇｉｎ＜０となる。余裕度Ｉλｍａｒｇｉｎの絶対値は、（改善または悪化）傾向の度合いを示す。
　このような誤差についてのヒストグラムから計算されるパラメータλを用いて、精度をトレンド管理することもできる。
　（ｍ２：点群厚に基づく精度管理）
　ファインチューニング処理後に、精度を詳細に確認する方法として、点群の厚み（点群厚）を用いてもよい。
　図３４は、本実施の形態に従う情報処理方法の点群厚を利用した精度確認を説明するための図である。
　図３４（Ａ）を参照して、ラフキャリブレーション処理またはファインチューニング処理の実行後、基準カメラ１０Ｃが撮像した画像から抽出された点群と、ターゲットカメラ１０Ｔが撮像した画像から抽出された点群とを合成した合成点群２７０が生成される。
　合成点群２７０に対して、合成の繋ぎ目に相当する領域２８２、および、合成の繋ぎ目以外に相当する領域２８４の各々から点群厚が計算される。
　点群厚は、領域内の点群のばらつきの度合い示す。すなわち、計算される点群厚が小さいほど、精度が高いことを示す。
　合成の繋ぎ目以外に相当する領域２８４の点群厚は、カメラ１０（センサ）自体の精度に依存するものである。理想的には、合成の繋ぎ目に相当する領域２８２の点群厚は、合成の繋ぎ目以外に相当する領域２８４の点群厚と同じであることが好ましい。すなわち、領域２８２の点群厚が領域２８４の点群厚にどれだけ近接しているかに基づいて、ラフキャリブレーション処理またはファインチューニング処理がどの程度適切に実行されたかを定量的に評価できる。
　図３４（Ｂ）を参照して、指定された領域に含まれる点群から基準平面Ｑが推定される。基準平面Ｑは、例えば、最小二乗法により、指定された領域に含まれる点群の座標に基づいて決定される。点群に含まれる点Ｐ（ｉ）における基準平面Ｑとのユークリッド距離Ｌ（ｉ）が計算される。最終的に、ユークリッド距離Ｌ（ｉ）の分散が点群厚として決定される。すなわち、点群厚Ｔｈｉｃｋｎｅｓｓ＝ｖａｒｉａｎｃｅ（Ｌ（ｉ：１→ｎ））として計算される。
　点群厚の値が大きいほど、基準平面Ｑに対して点群が乱れて存在していることを示す。合成の繋ぎ目に相当する領域２８２と合成の繋ぎ目以外に相当する領域２８４との間で、点群厚を比較することで、合成精度が計算される。
　＜Ｎ．精度空間分布＞
　上述したように、アイデンティフィケーション処理は、マーカ２２の有効面２４の近傍から抽出された点群に基づく。そのため、計算される精度は、有効面２４の近傍に対するものである。マーカ２２が配置された物体２０を空間ＳＰの複数の位置に配置した上で、各位置における精度を計算すれば、空間ＳＰにおける精度空間分布が得られる。
　空間ＳＰにおける精度空間分布を用いることで、空間ＳＰにおける精度の一様性（フラットネス）を評価できる。また、空間ＳＰにおける精度空間分布を可視化してもよい。
　図３５は、本実施の形態に従う精度空間分布の計算方法を説明するための図である。図３５を参照して、空間ＳＰにおいて、基準カメラ１０Ｃおよびターゲットカメラ１０Ｔが配置されている。
　基準カメラ１０Ｃおよびターゲットカメラ１０Ｔの配置位置は維持したまま、マーカ２２が配置された物体２０は、計測位置Ｐｏｓ１，Ｐｏｓ２，Ｐｏｓ３，…と順次異なる位置に配置される。各計測位置において、上述したような処理によって精度が計算される。
　図３６は、本実施の形態に従う精度空間分布の計算方法の処理手順の一例を示すフローチャートである。図３６に示す各ステップは、情報処理装置１００のプロセッサ１０２が情報処理プログラム１２４を実行することで、実現されてもよい。
　情報処理装置１００は、ラフキャリブレーション処理を実行する（ステップＳ１）。このとき、マーカ２２が配置された物体２０は、任意の計測位置に配置される。ステップＳ３は、他のステップの処理とは独立して、予め実行されてもよい。
　情報処理装置１００は、ＲＯＩ点群抽出処理を実行する（ステップＳ２）。情報処理装置１００は、ＣＡＤ由来点群生成処理を実行する（ステップＳ３）。ステップＳ３は、他のステップの処理とは独立して、予め実行されてもよい。また、ステップＳ３は、ステップＳ１０を含むループ処理中において、最初の１回のみ実行されてもよい。
　情報処理装置１００は、アイデンティフィケーション処理を実行する（ステップＳ４）。続いて、情報処理装置１００は、精度評価処理を実行する（ステップＳ５）。情報処理装置１００は、計算された精度と、精度の計算に用いられたマーカ座標系２６をグローバル座標系に変換した座標とを対応付けて格納する（ステップＳ９）。
　情報処理装置１００は、マーカ２２が配置された物体２０が別の計測位置に移動されたか否かを判断する（ステップＳ１０）。ユーザが情報処理装置１００に指示を与えることで、情報処理装置１００は、物体２０が別の計測位置に移動された否かを判断してもよい。
　マーカ２２が配置された物体２０が別の計測位置に移動されていれば（ステップＳ１０においてＹＥＳ）、ステップＳ２以下の処理が繰り返される。
　マーカ２２が配置された物体２０が別の計測位置に移動されていなければ（ステップＳ１０においてＮＯ）、情報処理装置１００は、計算された精度と、精度の計算に用いられたマーカ座標系２６をグローバル座標系に変換した座標との組に基づいて、精度空間分布を計算する（ステップＳ１１）。
　物体２０を空間ＳＰ内でまんべんなく移動させることができない場合もあるので、情報処理装置１００は、公知の補間方法を用いて、格納されている情報から空間ＳＰ内の各計測位置の精度を計算してもよい。
　情報処理装置１００は、計算された空間ＳＰにおける精度空間分布を可視化して出力する（ステップＳ１２）。そして、処理は終了する。
　このように、精度空間分布を計算する処理は、ＣＡＤ由来点群３６のキー点ペア４０（第１の点ペア）とＲＯＩ点群５６のキー点ペア６０（第２の点ペア）の形状寸法に基づいて、カメラ座標系１２間の対応関係（同次変換行列Ｔ）の精度を計算する処理と、物体２０が空間の複数の計測位置に配置されたときに、それぞれの計測位置について計算されるカメラ座標系１２間の対応関係（同次変換行列Ｔ）の精度をそれぞれの計測位置に関連付けて可視化する処理とを含む。
　図３７は、本実施の形態に従う精度空間分布の計算方法により得られた精度空間分布を可視化した例を示す図である。図３７に示す精度空間分布においては、各計測位置の精度が濃淡または色で表現される。このように、カメラ座標系１２間の対応関係（同次変換行列Ｔ）の精度の値が、濃淡および色の少なくとも一方で表現された画像が出力されてもよい。
　可視化された精度空間分布によれば、空間ＳＰ内において、誤差のばらつきおよび誤差のバイアスなどが存在する領域をユーザが認識することを支援できる。誤差のばらつきおよび誤差のバイアスが存在する領域は、例えば、ロボットの設置場所を最適化するための有効な情報となる。また、誤差のばらつきおよび誤差のバイアスが存在する領域の有無の情報は、カメラを追加する必要性があるか否かを判断するための有効な情報となる。
　＜Ｏ．機能構成例＞
　次に、本実施の形態に従う情報処理システム１の機能構成例について説明する。
　図３８は、本実施の形態に従う情報処理システム１の機能構成例を示す模式図である。図３８に示す各コンポーネントは、情報処理装置１００のプロセッサ１０２が情報処理プログラム１２４を実行することで、実現されてもよい。
　図３８を参照して、情報処理装置１００は、コンポーネントとして、合成部１５０と、決定部１５２と、第１の点群生成部１５４と、第２の点群生成部１５６と、探索部１５８と、評価部１６０と、出力部１６４と、最適化部１６６とを含む。
　合成部１５０は、同次変換行列ＴＣ Ｔを用いて、基準カメラ１０Ｃおよびターゲットカメラ１０Ｔが撮像して得られる２つの画像を合成画像に変換する。合成部１５０は、ＲＯＩ点群抽出処理（ステップＳ３）の合成画像を生成する処理を実行する。
　決定部１５２は、基準カメラ１０Ｃで物体２０を撮像し得られる画像に基づいて計算されるマーカ２２の位置および姿勢と、ターゲットカメラ１０Ｔで物体２０を撮像し得られる画像に基づいて計算されるマーカ２２の位置および姿勢との差に基づいて、同次変換行列ＴＣ Ｔを決定する。決定部１５２は、ラフキャリブレーション処理（ステップＳ１）を実行する。
　第１の点群生成部１５４は、物体２０の情報（ＣＡＤ情報３０）に基づいて生成された点群からＣＡＤ由来点群３６を抽出する。第１の点群生成部１５４は、ＣＡＤ由来点群生成処理（ステップＳ３）を実行する。
　第２の点群生成部１５６は、合成画像に含まれる点群のうち、マーカ２２を基準として決定されるＲＯＩ５０に含まれるＲＯＩ点群５６を抽出する。第２の点群生成部１５６は、ＲＯＩ点群抽出処理（ステップＳ３）のＲＯＩを決定する処理およびＲＯＩ点群を抽出する処理を実行する。
　探索部１５８は、選択されたＣＡＤ由来点群３６中のキー点に対応する、ＲＯＩ点群５６中のキー点を探索する。探索部１５８は、探索したキー点ペアの形状寸法を計算する。探索部１５８は、ＣＡＤ由来点群のキー点ペアの形状寸法およびＲＯＩ点群のキー点ペアの形状寸法を計算する。探索部１５８は、アイデンティフィケーション処理（ステップＳ４）を実行する。
　評価部１６０は、探索部１５８により計算されたキー点ペアの形状寸法に基づいて精度を計算する。評価部１６０は、精度を計算するための計算部１６２を含んでもよい。評価部１６０は、精度評価処理（ステップＳ５）を実行する。
　出力部１６４は、評価部１６０による計算結果を出力する。出力部１６４は、精度評価結果を出力する処理（ステップＳ６）を実行する。
　出力部１６４は、精度空間分布を生成および出力してもよい。出力部１６４は、精度と座標との対応付け（ステップＳ９）、精度空間分布の計算（ステップＳ１１）、および、精度空間分布の可視化（ステップＳ１２）を実行する。
　最適化部１６６は、ＣＡＤ由来点群３６のキー点ペア４０とＲＯＩ点群５６のキー点ペア６０との形状寸法の差が小さくなるように、同次変換行列ＴＣ Ｔを最適化する。最適化部１６６は、ファインチューニング処理（ステップＳ７）を実行する。
　＜Ｐ．世界座標系の設定＞
　次に、任意の世界座標系を設定する処理について説明する。ラフキャリブレーション処理またはファインチューニング処理によって、カメラ座標系１２間の対応関係が決定された後、リファレンス物体２０を用いて、任意の位置に世界座標系が設定されてもよい。
　図３９は、本実施の形態に従う情報処理システムにおける任意の世界座標系を設定する方法を説明するための図である。図３９を参照して、カメラ１０－１，１０－２，１０－３が空間ＳＰに配置されている。
　例えば、カメラ１０－１が基準カメラであり、カメラ１０－２，１０－３がターゲットカメラであるとする。ラフキャリブレーション処理またはファインチューニング処理によって、カメラ１０－１（のカメラ座標系）からカメラ１０－２（のカメラ座標系）への同次変換行列Ｔ１ ２が決定されている。同様に、カメラ１０－１（のカメラ座標系）からカメラ１０－３（のカメラ座標系）への同次変換行列Ｔ１ ３が決定されている。
　まず、カメラ１０－１～１０－３のそれぞれの視野のうち少なくとも一部に含まれるようにリファレンス物体２０が配置される。リファレンス物体２０は、ユーザが世界座標系を設定したい位置に配置される。リファレンス物体２０は、ＣＡＤ情報に基づいて予め設定されるＣＡＤ正準座標系２１を有している。レファアレンス物体２０のＣＡＤ正準座標系２１が世界座標系として用いられる。
　レファアレンス物体２０をカメラ１０－１～１０－３で撮像して画像に基づいて、各カメラ１０のカメラ座標系におけるＣＡＤ正準座標系２１の位置および姿勢が計算される。ＣＡＤ正準座標系２１の位置および姿勢は、レファアレンス物体２０のマーカ２２が配置された面（有効面）を基準として決定される。
　基準カメラであるカメラ１０－１で撮像した画像に基づいて計算されたＣＡＤ正準座標系２１の位置および姿勢は、そのまま世界座標系として設定されてもよい。
　基準カメラであるカメラ１０－１の視野内にレファアレンス物体２０が存在せず、カメラ１０－２またはカメラ１０－３の視野内にレファアレンス物体２０が存在する場合には、同次変換行列を用いて、世界座標系が決定されてもよい。より具体的には、カメラ１０－２またはカメラ１０－３で撮像した画像に基づいて計算されたＣＡＤ正準座標系２１の位置および姿勢は、同次変換行列を用いて、カメラ１０－１のカメラ座標系の位置および姿勢に変換される。このように、世界座標系は、基準カメラのカメラ座標系を経由して決定されてもよい。
　なお、世界座標系を設定しない場合には、基準カメラのカメラ座標系を世界座標系として用いることができる。
　＜Ｑ．変形例＞
　上述の説明においては、２次元マーカの一例であるAprilTagを用いる構成例を説明したが、マーカ２２は、AprilTagに限られず、任意のＡＲ（Augmented　Reality）マーカを用いることができる。ＡＲマーカは、例えば、ＡＲ開発ライブラリの一例である「ＡＲＴｏｏｌＫｉｔ」を用いて生成される。マーカ２２は、任意のＱＲコード（登録商標）であってもよい。
　上述のラフキャリブレーション処理において用いられるマーカ２２と、それ以外の処理において用いられるマーカ２２とは別のものであってもよい。すなわち、ラフキャリブレーション処理においては、基準カメラ１０Ｃのカメラ座標系１２Ｃからターゲットカメラ１０Ｔのカメラ座標系１２Ｔへの同次変換行列ＴＣ Ｔを決定できれば、どのような方法が採用されてもよい。そのため、任意の機械学習済みモデルを用いて、同次変換行列ＴＣ Ｔが決定されてもよい。
　上述の説明においては、情報処理装置１００が主たる処理を実行する構成例を示したが、複数の情報処理装置１００が連係して処理を実行してもよい。また、クラウド上のコンピューティングリソースを用いて、一部または全部の処理を実行してもよい。
　＜Ｒ．付記＞
　上述したような本実施の形態は、以下のような技術思想を含む。
　［構成１］
　リファレンスマーカ（２２）が配置されたリファレンス物体（２０）を第１のカメラ（１０Ｃ）で撮像して得られる第１の画像と前記リファレンス物体を第２のカメラ（１０Ｔ）で撮像して得られる第２の画像とを、前記第１のカメラの第１のカメラ座標系と前記第２のカメラの第２のカメラ座標系との対応関係に基づいて、同一の座標系上に合成して合成画像を生成する合成部（Ｓ２；１５０）と、
　前記リファレンス物体の情報（３０）に基づいて生成された点群のうち、前記リファレンスマーカを基準として決定される第１の領域（３４）に含まれる第１の点群（３６）を抽出する第１の点群生成部（Ｓ３；１５４）と、
　前記合成画像に含まれる点群のうち、前記リファレンスマーカを基準として決定される第２の領域（５０）に含まれる第２の点群（５６）を抽出する第２の点群生成部（Ｓ２；１５６）と、
　前記第１の点群のうちから選択される第１の点ペア（４０）について、前記第２の点群において前記第１の点ペアに対応する第２の点ペア（６０）を探索する探索部（Ｓ４；１５８）と、
　前記第１の点ペアおよび前記第２の点ペアの形状寸法に基づいて、前記対応関係の精度を評価する評価部（Ｓ６；１６０）とを備える、情報処理装置。
　［構成２］
　前記第１のカメラで前記リファレンス物体を撮像して得られる画像に基づいて計算される前記リファレンスマーカの位置および姿勢と、前記第２のカメラで前記リファレンス物体を撮像して得られる画像に基づいて計算される前記リファレンスマーカの位置および姿勢との差に基づいて、前記対応関係を決定する決定部（Ｓ１；１５２）をさらに備える、構成１に記載の情報処理装置。
　［構成３］
　前記第１の点ペアと前記第２の点ペアとの形状寸法の差が小さくなるように、前記対応関係を最適化する最適化部（Ｓ７；１６６）をさらに備える、構成１または２に記載の情報処理装置。
　［構成４］
　前記探索部は、前記第１の点ペアの各点に対応する前記第２の点群における座標を決定し、当該決定された座標から予め定められた距離内に存在する１または複数の点の重心（６４）に基づいて、前記第２の点ペアの各点を決定する、構成１～３のいずれか１項に記載の情報処理装置。
　［構成５］
　前記第１の領域および前記第２の領域の各々は、前記リファレンス物体の前記リファレンスマーカが配置された面（２４）を基準として決定される、構成１～４のいずれか１項に記載の情報処理装置。
　［構成６］
　前記形状寸法は、長さおよび角度を含み、
　前記評価部は、長さの誤差についてのヒストグラム（２１４）と、角度の誤差についてのヒストグラム（２２４）とを出力する、構成１～５のいずれか１項に記載の情報処理装置。
　［構成７］
　前記評価部は、前記第２の点ペアの形状寸法の誤差の計算を繰り返すことで、形状寸法の誤差のばらつきを計算する、構成１～６のいずれか１項に記載の情報処理装置。
　［構成８］
　前記第１の点ペアは、前記リファレンス物体の形状的な特徴に基づいて選択される、構成１～７のいずれか１項に記載の情報処理装置。
　［構成９］
　リファレンスマーカ（２２）が配置されたリファレンス物体（２０）を第１のカメラ（１０Ｃ）で撮像して得られる第１の画像と前記リファレンス物体を第２のカメラ（１０Ｔ）で撮像して得られる第２の画像とを、前記第１のカメラの第１のカメラ座標系と前記第２のカメラの第２のカメラ座標系との対応関係に基づいて、同一の座標系上に合成して合成画像を生成すること（Ｓ２）と、
　前記リファレンス物体の情報（３０）に基づいて生成された点群のうち、前記リファレンスマーカを基準として決定される第１の領域（３４）に含まれる第１の点群（３６）を抽出すること（Ｓ３）と、
　前記合成画像に含まれる点群のうち、前記リファレンスマーカを基準として決定される第２の領域（５０）に含まれる第２の点群（５６）を抽出すること（Ｓ２）と、
　前記第１の点群のうちから選択される第１の点ペア（４０）について、前記第２の点群において前記第１の点ペアに対応する第２の点ペア（６０）を探索すること（Ｓ４）と、
　前記第１の点ペアおよび前記第２の点ペアの形状寸法に基づいて、前記対応関係の精度を評価すること（Ｓ６）とを備える、情報処理方法。
　［構成１０］
　コンピュータ（１００）に、
　リファレンスマーカ（２２）が配置されたリファレンス物体（２０）を第１のカメラ（１０Ｃ）で撮像して得られる第１の画像と前記リファレンス物体を第２のカメラ（１０Ｔ）で撮像して得られる第２の画像とを、前記第１のカメラの第１のカメラ座標系と前記第２のカメラの第２のカメラ座標系との対応関係に基づいて、同一の座標系上に合成して合成画像を生成すること（Ｓ２）と、
　前記リファレンス物体の情報（３０）に基づいて生成された点群のうち、前記リファレンスマーカを基準として決定される第１の領域（３４）に含まれる第１の点群を抽出すること（Ｓ３）と、
　前記合成画像に含まれる点群のうち、前記リファレンスマーカを基準として決定される第２の領域（５０）に含まれる第２の点群（５６）を抽出すること（Ｓ２）と、
　前記第１の点群のうちから選択される第１の点ペアについて、前記第２の点群において前記第１の点ペアに対応する第２の点ペア（６０）を探索すること（Ｓ４）と、
　前記第１の点ペアおよび前記第２の点ペアの形状寸法に基づいて、前記対応関係の精度を評価すること（Ｓ６）とを実行させる、情報処理プログラム（１２４）。
　＜Ｓ．利点＞
　本実施の形態に従う情報処理システム１によれば、予め形状などが定義されたリファレンス物体を用いて、レジストレーションを行うことで、レジストレーションの結果である同次変換行列の精度を評価できる。評価される精度は、絶対誤差に基づくものであるので、ロボットの安全設計を担保できる。
　本実施の形態に従う情報処理システム１によれば、対象の空間において複数の計測位置にリファレンス物体をそれぞれ配置して精度を計算することで、精度空間分布を生成できる。精度空間分布を用いることで、カメラ位置の最適化およびカメラ追加の要否検討などを効率化できる。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１０　カメラ、１０Ｃ　基準カメラ、１０Ｔ　ターゲットカメラ、１２，１２Ｃ，１２Ｔ　カメラ座標系、１４Ｃ，１４Ｔ　視野、２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ　リファレンス物体（物体）、２１　ＣＡＤ正準座標系、２２　マーカ、２４　有効面、２６　マーカ座標系、２８　切欠部、２９　面取り部、３０　ＣＡＤ情報、３２　３次元点群、３４　対象領域、３６　ＣＡＤ由来点群、４０，６０　キー点ペア、４２，６２　キー点、５０　ＲＯＩ、５６　ＲＯＩ点群、６４　重心、１００　情報処理装置、１０２　プロセッサ、１０４　メモリ、１０６　入力インターフェイス、１０８　入力装置、１１０　表示インターフェイス、１１２　ディスプレイ、１１４　カメラインターフェイス、１１６　ネットワークコントローラ、１２０　ストレージ、１２２　ＯＳ、１２４　情報処理プログラム、１５０　合成部、１５２　決定部、１５４　第１の点群生成部、１５６　第２の点群生成部、１５８　探索部、１６０　評価部、１６２　計算部、１６４　出力部、１６６　最適化部、２００　出力画面、２１０，２２０　情報、２１２，２２２　統計情報、２１４，２２４　ヒストグラム、２５０，２５２，２５４　四角錐、２６０　主柱、２６１，２６２，２６３，２６４，２６５　平面板、２７０　合成点群、２７１，２７３，２７４，２７５　支持部材、２８２，２８４　領域。

Claims (10)

  1. 　リファレンスマーカが配置されたリファレンス物体を第１のカメラで撮像して得られる第１の画像と前記リファレンス物体を第２のカメラで撮像して得られる第２の画像とを、前記第１のカメラの第１のカメラ座標系と前記第２のカメラの第２のカメラ座標系との対応関係に基づいて、同一の座標系上に合成して合成画像を生成する合成部と、
    　前記リファレンス物体の情報に基づいて生成された点群のうち、前記リファレンスマーカを基準として決定される第１の領域に含まれる第１の点群を抽出する第１の点群生成部と、
    　前記合成画像に含まれる点群のうち、前記リファレンスマーカを基準として決定される第２の領域に含まれる第２の点群を抽出する第２の点群生成部と、
    　前記第１の点群のうちから選択される第１の点ペアについて、前記第２の点群において前記第１の点ペアに対応する第２の点ペアを探索する探索部と、
    　前記第１の点ペアおよび前記第２の点ペアの形状寸法に基づいて、前記対応関係の精度を評価する評価部とを備える、情報処理装置。
  2. 　前記第１のカメラで前記リファレンス物体を撮像して得られる画像に基づいて計算される前記リファレンスマーカの位置および姿勢と、前記第２のカメラで前記リファレンス物体を撮像して得られる画像に基づいて計算される前記リファレンスマーカの位置および姿勢との差に基づいて、前記対応関係を決定する決定部をさらに備える、請求項１に記載の情報処理装置。
  3. 　前記第１の点ペアと前記第２の点ペアとの形状寸法の差が小さくなるように、前記対応関係を最適化する最適化部をさらに備える、請求項１に記載の情報処理装置。
  4. 　前記探索部は、前記第１の点ペアの各点に対応する前記第２の点群における座標を決定し、当該決定された座標から予め定められた距離内に存在する１または複数の点の重心に基づいて、前記第２の点ペアの各点を決定する、請求項１～３のいずれか１項に記載の情報処理装置。
  5. 　前記第１の領域および前記第２の領域の各々は、前記リファレンス物体の前記リファレンスマーカが配置された面を基準として決定される、請求項１～３のいずれか１項に記載の情報処理装置。
  6. 　前記形状寸法は、長さおよび角度を含み、
    　前記評価部は、長さの誤差についてのヒストグラムと、角度の誤差についてのヒストグラムとを出力する、請求項１～３のいずれか１項に記載の情報処理装置。
  7. 　前記評価部は、前記第２の点ペアの形状寸法の誤差の計算を繰り返すことで、形状寸法の誤差のばらつきを計算する、請求項１～３のいずれか１項に記載の情報処理装置。
  8. 　前記第１の点ペアは、前記リファレンス物体の形状的な特徴に基づいて選択される、請求項１～３のいずれか１項に記載の情報処理装置。
  9. 　リファレンスマーカが配置されたリファレンス物体を第１のカメラで撮像して得られる第１の画像と前記リファレンス物体を第２のカメラで撮像して得られる第２の画像とを、前記第１のカメラの第１のカメラ座標系と前記第２のカメラの第２のカメラ座標系との対応関係に基づいて、同一の座標系上に合成して合成画像を生成することと、
    　前記リファレンス物体の情報に基づいて生成された点群のうち、前記リファレンスマーカを基準として決定される第１の領域に含まれる第１の点群を抽出することと、
    　前記合成画像に含まれる点群のうち、前記リファレンスマーカを基準として決定される第２の領域に含まれる第２の点群を抽出することと、
    　前記第１の点群のうちから選択される第１の点ペアについて、前記第２の点群において前記第１の点ペアに対応する第２の点ペアを探索することと、
    　前記第１の点ペアおよび前記第２の点ペアの形状寸法に基づいて、前記対応関係の精度を評価することとを備える、情報処理方法。
  10. 　コンピュータに、
    　リファレンスマーカが配置されたリファレンス物体を第１のカメラで撮像して得られる第１の画像と前記リファレンス物体を第２のカメラで撮像して得られる第２の画像とを、前記第１のカメラの第１のカメラ座標系と前記第２のカメラの第２のカメラ座標系との対応関係に基づいて、同一の座標系上に合成して合成画像を生成することと、
    　前記リファレンス物体の情報に基づいて生成された点群のうち、前記リファレンスマーカを基準として決定される第１の領域に含まれる第１の点群を抽出することと、
    　前記合成画像に含まれる点群のうち、前記リファレンスマーカを基準として決定される第２の領域に含まれる第２の点群を抽出することと、
    　前記第１の点群のうちから選択される第１の点ペアについて、前記第２の点群において前記第１の点ペアに対応する第２の点ペアを探索することと、
    　前記第１の点ペアおよび前記第２の点ペアの形状寸法に基づいて、前記対応関係の精度を評価することとを実行させる、情報処理プログラム。
PCT/JP2024/030928 2023-09-15 2024-08-29 情報処理装置、情報処理方法および情報処理プログラム Ceased WO2025057751A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023150219 2023-09-15
JP2023-150219 2023-09-15

Publications (1)

Publication Number Publication Date
WO2025057751A1 true WO2025057751A1 (ja) 2025-03-20

Family

ID=95021268

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/030928 Ceased WO2025057751A1 (ja) 2023-09-15 2024-08-29 情報処理装置、情報処理方法および情報処理プログラム

Country Status (2)

Country Link
TW (1) TW202514536A (ja)
WO (1) WO2025057751A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017106749A (ja) * 2015-12-07 2017-06-15 株式会社Ｈｉｅｌｅｒｏ 点群データ取得システム及びその方法
JP2023022517A (ja) * 2021-08-03 2023-02-15 株式会社東芝 計測システム及び計測プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017106749A (ja) * 2015-12-07 2017-06-15 株式会社Ｈｉｅｌｅｒｏ 点群データ取得システム及びその方法
JP2023022517A (ja) * 2021-08-03 2023-02-15 株式会社東芝 計測システム及び計測プログラム

Also Published As

Publication number Publication date
TW202514536A (zh) 2025-04-01

Similar Documents

Publication Publication Date Title
JP7646762B2 (ja) ビジョンシステムにより画像特徴におけるエッジと法線を同時に考慮するためのシステム及び方法
JP6216508B2 (ja) ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法
JP5251080B2 (ja) 物体認識方法
JP5430456B2 (ja) 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置
JP4900204B2 (ja) 物体認識方法
US10115035B2 (en) Vision system and analytical method for planar surface segmentation
JP5092711B2 (ja) 物体認識装置およびロボット装置
KR20180014677A (ko) 3d 이미지 데이터에서 3d 포즈와 기생포인트 제거의 스코어링을 개선하는 시스템 및 방법
CN119832043B (zh) 用于生成点云直方图的方法和装置
CN112927353A (zh) 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
CN112712062A (zh) 基于解耦截断物体的单目三维物体检测方法和装置
CN117994329A (zh) 一种基于立体视觉点云的目标定位方法及系统
Sølund et al. A large-scale 3D object recognition dataset
KR20150002157A (ko) 단일 깊이 영상을 이용한 내용기반 3차원 모델 검색 방법, 이를 수행하는 3차원 모델 검색 서버 및 컴퓨터로 판독 가능한 기록매체
JP5104248B2 (ja) 物体認識装置およびロボット装置
CN120543508B (zh) 元器件倾斜检测方法、装置、系统和可读存储介质
Wan et al. A performance comparison of feature detectors for planetary rover mapping and localization
JP2025042978A (ja) 情報処理装置、情報処理方法および情報処理プログラム
Hillemann et al. Novel view synthesis with neural radiance fields for industrial robot applications
CN110728222B (zh) 一种用于机械臂抓取系统中目标物体的位姿估计方法
Pohudina et al. Possibilities of position determination
CN119228865A (zh) 一种基于物体图像的物体尺寸测量方法及装置
TW202514536A (zh) 資訊處理裝置、資訊處理方法及資訊處理程式
Hołowko et al. Color-based algorithm for automatic merging of multiview 3D point clouds
Chen et al. Precise 6dof localization of robot end effectors using 3d vision and registration without referencing targets

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24865253

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE