WO2023175798A1 - モデル訓練装置、モデル訓練方法、及び記録媒体 - Google Patents

モデル訓練装置、モデル訓練方法、及び記録媒体 Download PDF

Info

Publication number
WO2023175798A1
WO2023175798A1 PCT/JP2022/012046 JP2022012046W WO2023175798A1 WO 2023175798 A1 WO2023175798 A1 WO 2023175798A1 JP 2022012046 W JP2022012046 W JP 2022012046W WO 2023175798 A1 WO2023175798 A1 WO 2023175798A1
Authority
WO
WIPO (PCT)
Prior art keywords
patch
model
model training
training device
dimensional data
Prior art date
Application number
PCT/JP2022/012046
Other languages
English (en)
French (fr)
Inventor
次朗 安倍
達哉 住谷
一峰 小倉
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/012046 priority Critical patent/WO2023175798A1/ja
Publication of WO2023175798A1 publication Critical patent/WO2023175798A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a model training device, a model training method, and a recording medium.
  • Non-Patent Document 1 describes that a plurality of spherical patches, which are subsets, are generated from three-dimensional data so as to cover the entire three-dimensional data, and these plural spherical patches are used as training data. ing.
  • Non-Patent Document 1 cannot learn all the spherical patches that can be generated. Therefore, the performance when inferring using the generated model becomes more dependent on patch division during inference.
  • Non-Patent Document 2 describes that in each epoch during training, three-dimensional data is read out, spherical patches are randomly generated, and the generated patches are input to a point cloud learning device. Also in Non-Patent Document 2, a spherical patch is generated to cover the entire three-dimensional data.
  • Non-Patent Document 2 it was necessary to read three-dimensional data indicating the shape of the object at each epoch during training. For this reason, the load on the training device has increased.
  • an example of an object of the present invention is to provide a model training device, a model training method, and a recording medium that reduce the load when training a model that evaluates three-dimensional data indicating the shape of an object. It is in.
  • three-dimensional data indicating the shape of an object is used to generate at least one first patch that is a subset of the three-dimensional data, and the first patch is stored in a storage means.
  • a first patch generating means for generating a first patch
  • a second patch generating means for reading one of the first patches from the storage means and generating at least one second patch that is a subset of the first patch
  • training means for training a model for evaluating a three-dimensional shape using the second patch as training data
  • Equipped with A model training device is provided in which the second patch generation means and the training means repeat processing until a criterion is satisfied.
  • the computer Using three-dimensional data indicating the shape of the object, generating at least one first patch that is a subset of the three-dimensional data, and storing the first patch in a storage means; reading one of the first patches from the storage means and generating at least one second patch that is a subset of the first patch; training a model for evaluating a three-dimensional shape using the second patch as training data; A model training method is provided in which generating the second patch and training the model is repeated until a criterion is met.
  • a computer a first patch generation function that uses three-dimensional data indicating the shape of the object to generate at least one first patch that is a subset of the three-dimensional data, and stores the first patch in a storage means; a second patch generation function that reads one of the first patches from the storage means and generates at least one second patch that is a subset of the first patch; a training function for training a model for evaluating a three-dimensional shape using the second patch as training data;
  • We have recorded a program to have A computer-readable recording medium is provided in which the second patch generation function and the training function repeat the process until a criterion is met.
  • a model training device a model training method, and a recording medium that reduce the load when training a model that evaluates three-dimensional data indicating the shape of an object.
  • FIG. 1 is a diagram showing an overview of a model training device according to an embodiment.
  • 1 is a diagram illustrating the configuration of a model training device together with the usage environment of the model training device.
  • FIG. 3 is a diagram for explaining processing performed by a first patch generation unit of the model training device.
  • FIG. 3 is a diagram for explaining processing performed by a second patch generation unit of the model training device.
  • FIG. 3 is a diagram for explaining an example of a problem that may arise when using the first patch generation section.
  • FIG. 7 is a diagram for explaining an example of a problem that may arise when using the second patch generation section.
  • (A) and (B) are diagrams for explaining a method for solving the problem shown in FIG. 6, and
  • (C) is a diagram for explaining a method for solving the problem shown in FIG.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of a model training device. It is a figure which shows the 1st example of the process performed by the 1st patch generation part of a model training apparatus. It is a figure which shows the 2nd example of the process performed by the 1st patch generation part of a model training apparatus. It is a figure which shows an example of the process performed by the 2nd patch generation part and training part of a model training device.
  • FIG. 1 is a diagram showing an overview of a model training device 10 according to an embodiment.
  • the model training device 10 includes a first patch generation section 110, a second patch generation section 120, and a training section 130.
  • the first patch generation unit 110 generates at least one first patch that is a subset of the three-dimensional data using three-dimensional data indicating the shape of the object, and stores the first patch in the first storage unit 20. to be memorized.
  • the second patch generation unit 120 reads any first patch from the first storage unit 20 and generates at least one second patch that is a subset of the first patch.
  • the training unit 130 uses the second patch as training data to train a model for evaluating a three-dimensional shape. Then, the second patch generation unit 120 and the training unit 130 repeat the process until the criteria are met.
  • the second patch is used for training.
  • the second patch is a subset of the first patch. That is, in each epoch, the data read from the first storage unit 20 is not three-dimensional data but a first patch that is a subset of three-dimensional data. Therefore, the load when training the model is reduced.
  • model training device 10 A detailed example of the model training device 10 will be described below.
  • FIG. 2 is a diagram showing the configuration of the model training device 10 along with the environment in which the model training device 10 is used.
  • FIG. 3 is a diagram for explaining the processing performed by the first patch generation unit 110 of the model training device 10.
  • FIG. 4 is a diagram for explaining the processing performed by the second patch generation unit 120 of the model training device 10.
  • the model training device 10 is used together with the first storage section 20, the second storage section 30, and the evaluation device 40.
  • the first storage unit 20 stores the first patch.
  • the model training device 10 When the model training device 10 generates a plurality of first patches, the first storage unit 20 stores the plurality of first patches.
  • the first storage unit 20 also stores the model trained by the model training device 10.
  • the second storage unit 30 stores at least one piece of three-dimensional data used by the model training device 10. As described above, the three-dimensional data indicates the shape of the object.
  • the target object is, for example, a structure such as a bridge or a building, or a part of a structure such as a bridge pier or a bridge girder, but is not limited thereto.
  • the second storage unit 30 may store three-dimensional data of each of a plurality of objects.
  • the three-dimensional data is, for example, point cloud data generated using LiDAR.
  • the three-dimensional data is a set of points having coordinate data that can be converted into XYZ coordinates.
  • the coordinate data used here may directly indicate XYZ coordinates, or may be polar coordinate data (a set of elevation angle, horizontal angle, and distance) with the sensor position as the origin.
  • the target object is a large-scale structure such as a bridge or a building
  • the number of points included in the point cloud data may exceed 10 million.
  • the three-dimensional data may be data other than point cloud data.
  • the three-dimensional data may be mesh data that expresses three-dimensional information as a set of vertices, edges, and faces.
  • the three-dimensional data may have labels set for each of a plurality of parts within the object.
  • a label is set for each of the plurality of points that make up the point cloud data.
  • An example of a label used here is whether the part is abnormal or not.
  • the unit of data to which a label is attached and the content of the label are not limited to the above example.
  • the evaluation device 40 uses the model trained by the model training device 10 to process three-dimensional data of the object to be evaluated.
  • the model training device 10 includes the first patch generation section 110, the second patch generation section 120, and the training section 130.
  • the first patch generation unit 110 performs processing before training the model.
  • the second patch generation unit 120 and the training unit 130 perform processing for each epoch.
  • the first patch generation unit 110 reads three-dimensional data from the second storage unit 30 and generates at least one first patch using the read three-dimensional data.
  • the first patch is a subset of three-dimensional data and indicates the shape of a part of the object. It is preferable that the first patch generation unit 110 generates a plurality of first patches from one three-dimensional data. Further, when the second storage unit 30 stores a plurality of three-dimensional data, the first patch generation unit 110 generates at least one first patch, preferably a plurality of first patches, from each of the plurality of three-dimensional data. generate.
  • the amount of data of the first patch is, for example, 1/100 or less of the three-dimensional data used to generate the first patch, but is not limited thereto. Further, when the three-dimensional data is point cloud data, the number of points included in the first patch is, for example, 100,000 or less, but is not limited to this.
  • the first patch generation unit 110 causes all parts of the three-dimensional data to be included in at least one first patch.
  • at least a portion of the three-dimensional data may be included in the plurality of first patches.
  • the first patch generation unit 110 stores the generated first patch in the first storage unit 20.
  • the first patch generation unit 110 associates the first patch with the three-dimensional data used when generating the first patch, and 1 storage unit 20 is preferable.
  • the first patch generation unit 110 may generate the first patch using labels included in the three-dimensional data. For example, there may be a large difference in the number of data having the label between labels. In this case, it is preferable that the first patch generation unit 110 generates the first patch so that the content of the training data is not biased due to this difference.
  • the first number which is the number of parts that have the first label
  • the second number which is the number of parts that have the second label. If the number of first patches including the first label is the first number of patches, and the number of first patches including the second label is the second number of patches, the first patch generation unit 110 generates the second patch number. The ratio of the first number of patches to the number of patches is made higher than the ratio of the first number to the second number. In this way, the number of training data having the first label increases compared to the case where nothing is done.
  • the first patch generation unit 110 preferentially generates a first patch that includes data having a label indicating an abnormality. In other words, the first patch generation unit 110 generates a first patch corresponding to a minority label (for example, the above-mentioned first label) from a first patch corresponding to a majority label (for example, the above-mentioned second label). Also, try to leave it with a high probability.
  • a minority label for example, the above-mentioned first label
  • a majority label for example, the above-mentioned second label
  • the operation of the first patch generation unit 110 in semantic segmentation where the three-dimensional data is point cloud data and the number of labels is two will be described. It is assumed that label 0 or label 1 is assigned to each point of three-dimensional data, and that label 0 is in the majority than label 1. In this case, the first patch generation unit 110 operates to leave the first patch that includes the point with label 1 with a higher probability than the first patch that does not include label 1. The first patch generation unit 110 may leave only the first patch including label 1.
  • the second patch generation unit 120 reads the first patch from the first storage unit 20 and generates at least one second patch using the read first patch.
  • the second patch is a subset of the first patch, and shows the shape of a further part of the part of the object shown by the first patch.
  • the second patch generation method performed by the second patch generation unit 120 may be any method as long as it can generate a patch as training data. Examples of methods used here include the following (1) to (3).
  • the second patch generation unit 120 superimposes a predetermined shape on the first patch, and generates a second patch using the result of the superposition.
  • the predetermined shape is, for example, a convex figure such as a sphere, a rectangular parallelepiped, a cylinder, and an ellipsoid, or a union or difference set of a plurality of convex figures.
  • the second patch generation unit 120 sets, for example, a common portion between the first patch and this predetermined shape as a second patch.
  • the portion of the first patch that overlaps with the predetermined shape and the orientation of the predetermined shape may be randomly selected.
  • the second patch generation unit 120 generates the second patch by selecting a reference point in the first patch and selecting another part from the reference point according to a predetermined rule. For example, if the three-dimensional data is point cloud data, the first patch and second patch will also be point cloud data. In this case, the second patch generation unit 120 first selects a point to be a reference point from a plurality of points included in the first patch. This selection may be made randomly. Then, the second patch generation unit 120 selects a predetermined number of points from this reference point according to a predetermined rule. The second patch generation unit 120 then creates a second patch using these points and the reference point.
  • a predetermined rule For example, if the three-dimensional data is point cloud data, the first patch and second patch will also be point cloud data. In this case, the second patch generation unit 120 first selects a point to be a reference point from a plurality of points included in the first patch. This selection may be made randomly. Then, the second patch generation unit 120 selects a predetermined number of points from
  • the second patch generation unit 120 can use, for example, the following two methods (2-1) and (2-2) when selecting points other than the reference point.
  • the second patch generation unit 120 selects a point that is close in distance to the reference point.
  • the second patch generation unit 120 may select a predetermined number of points in order of proximity to the reference point. This technique is, for example, K-nearest neighbor search.
  • the second patch generation unit 120 selects a point that is close in distance and characteristics to the reference point.
  • the second patch generation unit 120 may randomly select the reference point. Then, the second patch generation unit 120 selects points whose similarity to the reference point of shape information such as normals and PCA feature values satisfies the criteria, and selects a predetermined number of points from among these points in order of proximity to the reference point. may be selected.
  • This technique is, for example, a region expansion method.
  • the second patch generation unit 120 generates a second patch by dividing the first patch into a plurality of subsets that are similar to each other in at least one of distance and shape.
  • the second patch generation unit 120 generates the second patch from the first patch using a segmentation technique, such as the RANSAC method or the cut pursuit method.
  • the RANSAC method is a technique for extracting flat parts from three-dimensional data.
  • the cut pursuit method is a technology that divides three-dimensional data into multiple subsets that are similar in distance and shape. For example, see the following URL ⁇ https://github.com/loicland/cut-pursuit> for details. Examples are disclosed. Then, a subset that becomes the second patch is randomly selected.
  • the training unit 130 trains the model using the second patch generated by the second patch generation unit 120, as shown in FIG.
  • the model used here is a model for recognizing the state of a three-dimensional shape. Recognition tasks used in this model include, but are not limited to, at least one of class classification, semantic segmentation, and autoencoder. Further, the recognition model is, for example, PointNet++, but is not limited thereto. Note that a detailed example of PointNet++ is disclosed, for example, at the following URL ⁇ https://arxiv.org/abs/1706.02413>.
  • the explanatory variable is the above-mentioned second patch
  • the objective variable is set using, for example, a label included in the second patch that is the explanatory variable. For example, if a label indicates whether something is abnormal or not, that label becomes an explanatory variable. If the three-dimensional data, the first patch, and the second patch are point cloud data, an example of an explanatory variable is whether the second patch includes a point labeled as abnormal.
  • the second patch generation unit 120 and training unit 130 repeat the process until the criteria are met.
  • the criteria used here are, for example, that the number of iterations (the number of epochs) reaches a predetermined value, that the value of the loss function of the model after training satisfies a predetermined condition, or that the accuracy of the model after training reaches a predetermined value.
  • the following conditions must be met. However, other criteria may be used.
  • the model trained by the training unit 130 detects an abnormal location in the object, for example, a structure. become a model for
  • the training unit 130 stores the trained model in the first storage unit 20.
  • the model training device 10 transmits the model stored in the first storage unit 20 to the evaluation device 40 as necessary.
  • the evaluation device 40 evaluates the object using this model.
  • FIG. 5 is a diagram for explaining an example of a problem that may arise when using the first patch generation unit 110. If the conditions used to generate the first patch are not set appropriately, there is a possibility that part of the three-dimensional data will be an area that is not included in any of the first patches, as shown in Figure 5. It's coming.
  • FIG. 6 is a diagram for explaining an example of a problem that may arise when using the second patch generation section 120. If the conditions used to generate the second patch are not set appropriately, the second patch may have a data structure that cannot occur if the patch is directly generated from three-dimensional data, as shown in Figure 6. There is. In the example shown in FIG. 6, data should exist in the lower right area of the second patch because a part of the object originally exists. However, in the example shown in this figure, this area is outside the first patch, so it ends up being an area that does not contain data.
  • 7(A) and 7(B) are diagrams for explaining conditions for solving the problem shown in FIG. 6.
  • all parts of the second patch must be included in the first patch. The conditions necessary for this will be explained below.
  • the first patch generation unit 110 randomly generates a first patch from three-dimensional data
  • the second patch generation unit 120 randomly generates a second patch from the first patch.
  • the first patch generation section 110 and the second patch generation section 120 use parameters that control randomness. For example, if the first patch and the second patch are both spheres, this parameter is the center position of the sphere. Then, as shown in FIG. 7(A), if the radius of the second patch is r and the radius of the first patch is r + ⁇ r, then the center of the second patch is a sphere with radius ⁇ r from the center of the first patch. If it is located inside, all parts of the second patch will be included in the first patch.
  • the second patch generation unit 120 says, ⁇ When selecting a second patch from the m-th first patch, the second patch is selected under the condition that the second patch is included in the first patch. It is necessary to select a parameter from the range of parameters Param (Pm) to be obtained.
  • Param (Pm) is "a sphere with a radius ⁇ r from the center of the first patch”.
  • Param (Pm) is a condition that the second patch generated from the m-th first patch can also be directly generated from three-dimensional data, as explained using FIG. 7(C). In cases where the conditions are met, the range that the parameter can take may be indicated.
  • FIG. 7(C) is a diagram for explaining conditions for solving the problem shown in FIG. 5.
  • the first patch generation unit 110 needs to ensure that any part of the three-dimensional data is included in at least one first patch.
  • the first patch generation unit 110 needs to generate a plurality of first patches at intervals d so as to cover the entire three-dimensional data.
  • d is less than or equal to (2/ ⁇ 3) ⁇ r.
  • FIG. 7(B) when the center of the second patch is located within a sphere with radius ⁇ r from the center of the first patch, the second patch that can be generated is three-dimensional. There is no difference between patches generated directly from data, including randomness and coverage.
  • Param (Pm) indicates the range that the parameter can take when the condition that the second patch generated from the m-th first patch can also be directly generated from three-dimensional data is satisfied.
  • the first patch generation unit 110 Param(P1) ⁇ Param(P2) ⁇ ... ⁇ Param(PN) ⁇ PX'...(1) N first patches are generated so as to satisfy the following.
  • PX' is included in the union.
  • the above equation (1) indicates that "the entire patch generated from X based on PX' is covered by the union of all the patches generated from X based on each Param".
  • Q(p, P) be the second patch generated by the second patch generation unit 120 based on an arbitrary first patch P and an arbitrary parameter p.
  • Param(P) be a set of parameters p for which Q(p, P) and Q(p, X) are the same.
  • the second patch generation unit 120 generates the second patch based on the parameter p included in Param(P)
  • a unique second patch as shown in FIG. 6 is not generated.
  • the first patch generation unit 110 generates at least N first patches P1, P2, . . . , PN. At this time, the first patch generation unit 110 generates these N first patches according to the above formula (1), that is, Param(P1) ⁇ Param(P2) ⁇ ... ⁇ Param(PN) ⁇ PX' Generate it so that it holds true.
  • the second patch generation unit 120 selects at least one parameter p included in Param(P) based on the first patch P, and generates at least one second patch Q(p,P).
  • the second patch generated can cover "the second patch that includes even a part of X'". This is because from the definition of Param(P), the second patch Q(p, P) is always the same as Q(p, This is because it can be done.
  • FIG. 8 is a diagram showing an example of the hardware configuration of the model training device 10.
  • Model training device 10 has a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input/output interface 1050, and a network interface 1060.
  • the bus 1010 is a data transmission path through which the processor 1020, memory 1030, storage device 1040, input/output interface 1050, and network interface 1060 exchange data with each other.
  • the method of connecting the processors 1020 and the like to each other is not limited to bus connection.
  • the processor 1020 is a processor implemented by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main storage device implemented by RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by a removable medium such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, or a ROM (Read Only Memory), and has a recording medium. There is.
  • the recording medium of the storage device 1040 stores program modules that implement each function of the model training device 10 (for example, the first patch generation section 110, the second patch generation section 120, and the training section 130).
  • the processor 1020 reads each of these program modules onto the memory 1030 and executes them, each function corresponding to the program module is realized.
  • the storage device 1040 may function as at least one of the first storage unit 20 and the second storage unit 30.
  • the input/output interface 1050 is an interface for connecting the model training device 10 and various input/output devices.
  • the model training device 10 communicates with the first storage unit 20 and the second storage unit 30 via the input/output interface 1050.
  • the network interface 1060 is an interface for connecting the model training device 10 to a network.
  • This network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the method by which the network interface 1060 connects to the network may be a wireless connection or a wired connection.
  • Model training device 10 may communicate with evaluation device 40 via network interface 1060.
  • FIG. 9 is a diagram showing a first example of processing performed by the first patch generation unit 110 of the model training device 10.
  • the first patch generation unit 110 generates the first patch in advance before the second patch generation unit 120 and the training unit 130 perform processing.
  • the first patch generation unit 110 reads three-dimensional data to be processed from the second storage unit 30 (step S10). Next, the first patch generation unit 110 generates a first patch from the read three-dimensional data (step S20), and stores the generated first patch in the first storage unit 20 (step S30). The first patch generation unit 110 repeats step S20 and step S30 until the number of first patches stored in the first storage unit 20 satisfies the criteria (step S40).
  • the first patch generation unit 110 performs the processing shown in FIG. 9 for each of the plurality of three-dimensional data.
  • FIG. 10 is a diagram illustrating a second example of processing performed by the first patch generation unit 110 of the model training device 10.
  • the first patch generation unit 110 is the same as the example shown in FIG. 9, except that the first patch generation unit 110 generates the first patch using the label included in the three-dimensional data (step S22).
  • a specific example of how to use the label is as described using FIG. 2.
  • FIG. 11 is a diagram illustrating an example of processing performed by the second patch generation unit 120 and training unit 130 of the model training device 10.
  • the second patch generation unit 120 reads the first patch from the first storage unit 20.
  • the first storage unit 20 stores a plurality of first patches
  • the second patch generation unit 120 selects one first patch from the plurality of first patches, and converts the selected first patch into read out.
  • the second patch generation unit 120 randomly selects the first patch (step S110).
  • the second patch generation unit 120 generates at least one second patch using the read first patch (step S120).
  • the training unit 130 trains the model using the second patch generated by the second patch generation unit 120, and stores the trained model in the first storage unit 20 (step S130).
  • the second patch generation unit 120 and the training unit 130 repeat the processes shown in steps S110 to S130 until the criteria are met (step S140).
  • the model training device 10 includes the first patch generation section 110.
  • the first patch generation unit 110 generates a first patch that is a subset of three-dimensional data, and stores it in the first storage unit 20.
  • the second patch generation unit 120 uses the first patch stored in the first storage unit 20 to generate a second patch that becomes training data. Since the first patch is a subset of two-dimensional data, the load on the model training device 10 is reduced compared to the case where patches serving as training data are directly generated from three-dimensional data. Therefore, the load on the model training device 10 when training a model for evaluating three-dimensional data representing the shape of an object is reduced.
  • first patch generating means for generating at least one first patch that is a subset of the three-dimensional data using three-dimensional data indicating the shape of the object, and storing the first patch in a storage means; a second patch generating means for reading one of the first patches from the storage means and generating at least one second patch that is a subset of the first patch; training means for training a model for evaluating a three-dimensional shape using the second patch as training data; Equipped with The second patch generation means and the training means repeat processing until a criterion is satisfied. 2.
  • the first patch generation means generates the N first patches using a parameter for controlling patch randomness
  • the second patch generation means generates the second patch using the parameters, Assuming that the three-dimensional data or a subset of the three-dimensional data is X', The set of parameters satisfying the condition that the second patch can be used as training data and includes at least a part of the X' is defined as PX', For the m-th first patch, when the condition that the second patch generated from the first patch can be directly generated from the three-dimensional data is satisfied, the range that the parameter can take is set as Param.
  • the second patch generation means selects the parameter from the Param (Pm). 4.
  • the second patch generation means selects a parameter of the second patch from Param(Pm)′, which is a subset of Param(Pm).
  • the three-dimensional data has labels set for each of a plurality of parts within the object
  • the first patch generation means is a model training device that generates a plurality of first patches using the labels. 6.
  • a first number the number of the parts having a first said label, is less than a second number, the number of the parts having a second said label;
  • the first patch generation means makes a ratio of the first number of patches to the second number of patches higher than a ratio of the first number to the second number. 7.
  • the second patch generation means is a model training device that superimposes a predetermined shape on the first patch and generates the second patch using the result of the superposition.
  • the second patch generation means generates the second patch by selecting a reference point in the first patch and selecting another part from the first patch from the reference point according to a predetermined rule. A model training device.
  • the second patch generating means generates the second patch by dividing the first patch into a plurality of subsets that are similar to each other in at least one of distance and shape. 10.
  • the training data includes information indicating whether or not the second patch includes an abnormal location that occurs in the object
  • the model is a model training device, wherein the model is a model for detecting an abnormal location in a target object.
  • the computer is Using three-dimensional data indicating the shape of the object, generating at least one first patch that is a subset of the three-dimensional data, and storing the first patch in a storage means; reading one of the first patches from the storage means and generating at least one second patch that is a subset of the first patch; training a model for evaluating a three-dimensional shape using the second patch as training data; A model training method, wherein generating the second patch and training the model are repeated until a criterion is satisfied. 12.
  • the model training method wherein the computer selects the parameter from the Param (Pm). 14.
  • the computer selects a parameter of the second patch from Param(Pm)' that is a subset of Param(Pm),
  • the three-dimensional data has labels set for each of a plurality of parts within the object, The model training method, wherein the computer generates the plurality of first patches using the labels. 16.
  • a first number, the number of the parts having a first said label is less than a second number, the number of the parts having a second said label;
  • the computer makes a ratio of the first number of patches to the second number of patches higher than a ratio of the first number to the second number.
  • the computer generates the second patch by selecting a reference point in the first patch and selecting another part from the first patch according to a predetermined rule from the reference point.
  • Method. 19 In the model training method according to any one of items 11 to 16 above, The model training method, wherein the computer generates the second patch by dividing the first patch into a plurality of subsets that are similar to each other in at least one of distance and shape. 20.
  • the training data includes information indicating whether or not the second patch includes an abnormal location that occurs in the object,
  • the model is a model training method, wherein the model is a model for detecting an abnormal location in a target object. 31.
  • a first patch generation function that uses three-dimensional data indicating the shape of the object to generate at least one first patch that is a subset of the three-dimensional data, and stores the first patch in a storage means; a second patch generation function that reads one of the first patches from the storage means and generates at least one second patch that is a subset of the first patch; a training function for training a model for evaluating a three-dimensional shape using the second patch as training data;
  • the first patch generation function generates N first patches using a parameter for controlling patch randomness
  • the second patch generation function generates the second patch using the parameters, Assuming that the three-dimensional data or a subset of the three-dimensional data is X', The set of parameters satisfying the condition that the second patch can be used as training data and includes at least a part of the X' is defined as PX', For the m-th first patch, when the condition that the second patch generated from the first patch can be directly generated from the three-dimensional data is satisfied, the range that the parameter can take is set as Param.
  • the second patch generation function selects the parameter from the Param (Pm). 34.
  • the three-dimensional data has labels set for each of a plurality of parts within the object,
  • the first patch generation function generates a plurality of first patches using the label.
  • a first number the number of the parts having a first said label, is less than a second number, the number of the parts having a second said label;
  • the first patch generation function makes a ratio of the first number of patches to the second number of patches higher than a ratio of the first number to the second number.
  • the second patch generation function superimposes a predetermined shape on the first patch, and generates the second patch using the result of the superposition. 38.
  • the second patch generation function generates the second patch by selecting a reference point in the first patch and selecting another part from the first patch from the reference point according to a predetermined rule.
  • the second patch generation function generates the second patch by dividing the first patch into a plurality of subsets that are similar to each other in at least one of distance and shape. 40.
  • the training data includes information indicating whether or not the second patch includes an abnormal location that occurs in the object
  • the model is a recording medium that is a model for detecting an abnormal location of an object. 41.
  • Model training device 110 First patch generation section 120 Second patch generation section 130 Training section 20 First storage section 30 Second storage section 40 Evaluation device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Processing Or Creating Images (AREA)

Abstract

モデル訓練装置（１０）は、第１パッチ生成部（１１０）、第２パッチ生成部（１２０）、及び訓練部（１３０）を備えている。第１パッチ生成部（１１０）は、対象物の形状を示す３次元データを用いて、当該３次元データの部分集合である第１パッチを少なくとも一つ生成し、当該第１パッチを第１記憶部（２０）に記憶させる。第２パッチ生成部（１２０）は、第１記憶部（２０）からいずれかの第１パッチを読み出し、当該第１パッチの部分集合である第２パッチを少なくとも一つ生成する。訓練部（１３０）は、第２パッチを訓練データとして、３次元形状を評価するためのモデルを訓練する。そして、第２パッチ生成部（１２０）及び訓練部（１３０）は、基準が満たされるまで処理を繰り返す。

Description

モデル訓練装置、モデル訓練方法、及び記録媒体
　本発明は、モデル訓練装置、モデル訓練方法、及び記録媒体に関する。
　対象物の形状を示す３次元データを用いて、対象物の異常を検出することが検討されている。近年は、機械学習により訓練されたモデルを用いてこの異常を検出することが検討されている。
　例えば非特許文献１には、３次元データから、部分集合である球体パッチを、当該３次元データの全体をカバーするように複数生成し、これら複数の球体パッチを訓練データとして用いることが記載されている。
　上記した非特許文献１に記載の技術では、生成され得る球体パッチの全てを学習できるわけではない。このため、生成されたモデルを用いて推論するときの性能が、推論時のパッチ分割に依存しやすくなる。
　これに対して非特許文献２には、訓練時の各エポックにおいて、３次元データを読み出し、球体状パッチをランダムに生成して、点群学習器に入力することが記載されている。非特許文献２においても、球体状パッチは、３次元データの全体をカバーするように生成される。
"Transforms," in the API document of TorchPoints3D、［２０２２年３月４日検索］＜ＵＲＬ：https://torch-points3d.readthedocs.io/en/latest/src/api/transforms.html＞ Thomas, et al., "KPConv: Flexible and deformable convolution for point clouds," 2019、［２０２２年２月２８日検索］＜ＵＲＬ：https://arxiv.org/pdf/1904.08889.pdf＞
　上述した非特許文献２においては、訓練時の各エポックにおいて、対象物の形状を示す３次元データを読み出す必要があった。このため、訓練を行う装置の負荷が大きくなっていた。
　本発明の目的の一例は、上述した課題を鑑み、対象物の形状を示す３次元データを評価するモデルを訓練する際の負荷が小さいモデル訓練装置、モデル訓練方法、及び記録媒体を提供することにある。
　本発明の一態様によれば、対象物の形状を示す３次元データを用いて、当該３次元データの部分集合である第１パッチを少なくとも一つ生成し、当該第１パッチを記憶手段に記憶させる第１パッチ生成手段と、
　前記記憶手段からいずれかの前記第１パッチを読み出し、当該第１パッチの部分集合である第２パッチを少なくとも一つ生成する第２パッチ生成手段と、
　前記第２パッチを訓練データとして、３次元形状を評価するためのモデルを訓練する訓練手段と、
を備え、
　前記第２パッチ生成手段及び前記訓練手段は、基準が満たされるまで処理を繰り返す、モデル訓練装置が提供される。
　本発明の一態様によれば、コンピュータが、
　　対象物の形状を示す３次元データを用いて、当該３次元データの部分集合である第１パッチを少なくとも一つ生成し、当該第１パッチを記憶手段に記憶させ、
　　前記記憶手段からいずれかの前記第１パッチを読み出し、当該第１パッチの部分集合である第２パッチを少なくとも一つ生成し、
　　前記第２パッチを訓練データとして、３次元形状を評価するためのモデルを訓練し、
　前記第２パッチの生成及び前記モデルの訓練を、基準が満たされるまで繰り返す、モデル訓練方法が提供される。
　本発明の一態様によれば、コンピュータに、
　　対象物の形状を示す３次元データを用いて、当該３次元データの部分集合である第１パッチを少なくとも一つ生成し、当該第１パッチを記憶手段に記憶させる第１パッチ生成機能と、
　　前記記憶手段からいずれかの前記第１パッチを読み出し、当該第１パッチの部分集合である第２パッチを少なくとも一つ生成する第２パッチ生成機能と、
　　前記第２パッチを訓練データとして、３次元形状を評価するためのモデルを訓練する訓練機能と、
を持たせるプログラムを記録しており、
　前記第２パッチ生成機能及び前記訓練機能は、基準が満たされるまで処理を繰り返す、コンピュータで読み取り可能な記録媒体が提供される。
　本発明の一態様によれば、対象物の形状を示す３次元データを評価するモデルを訓練する際の負荷が小さいモデル訓練装置、モデル訓練方法、及び記録媒体を提供できる。
実施形態に係るモデル訓練装置の概要を示す図である。 モデル訓練装置の構成を、モデル訓練装置の使用環境と共に示す図である。 モデル訓練装置の第１パッチ生成部が行う処理を説明するための図である。 モデル訓練装置の第２パッチ生成部が行う処理を説明するための図である。 第１パッチ生成部を用いることにより生じうる課題の一例を説明するための図である。 第２パッチ生成部を用いることにより生じうる課題の一例を説明するための図である。 （Ａ）及び（Ｂ）は図６に示した課題を解決する方法を説明するための図であり、（Ｃ）は図５に示した課題を解決する方法を説明するための図である。 モデル訓練装置のハードウェア構成例を示す図である。 モデル訓練装置の第１パッチ生成部が行う処理の第１例を示す図である。 モデル訓練装置の第１パッチ生成部が行う処理の第２例を示す図である。 モデル訓練装置の第２パッチ生成部及び訓練部が行う処理の一例を示す図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
　図１は、実施形態に係るモデル訓練装置１０の概要を示す図である。モデル訓練装置１０は、第１パッチ生成部１１０、第２パッチ生成部１２０、及び訓練部１３０を備えている。
　第１パッチ生成部１１０は、対象物の形状を示す３次元データを用いて、当該３次元データの部分集合である第１パッチを少なくとも一つ生成し、当該第１パッチを第１記憶部２０に記憶させる。第２パッチ生成部１２０は、第１記憶部２０からいずれかの第１パッチを読み出し、当該第１パッチの部分集合である第２パッチを少なくとも一つ生成する。訓練部１３０は、第２パッチを訓練データとして、３次元形状を評価するためのモデルを訓練する。そして、第２パッチ生成部１２０及び訓練部１３０は、基準が満たされるまで処理を繰り返す。
　モデル訓練装置１０において、訓練には第２パッチが用いられる。第２パッチは、第１パッチの部分集合である。すなわち、各エポックにおいて、第１記憶部２０から読み出されるデータは、３次元データではなく、３次元データの部分集合である第１パッチである。従って、モデルを訓練する際の負荷は小さくなる。
　以下、モデル訓練装置１０の詳細例について説明する。
　図２は、モデル訓練装置１０の構成を、モデル訓練装置１０の使用環境と共に示す図である。図３は、モデル訓練装置１０の第１パッチ生成部１１０が行う処理を説明するための図である。図４は、モデル訓練装置１０の第２パッチ生成部１２０が行う処理を説明するための図である。
　図２に示す例において、モデル訓練装置１０は、第１記憶部２０、第２記憶部３０、及び評価装置４０と共に使用される。
　第１記憶部２０は、第１パッチを記憶している。モデル訓練装置１０が複数の第１パッチを生成した場合、第１記憶部２０は、これら複数の第１パッチを記憶している。また第１記憶部２０は、モデル訓練装置１０が訓練したモデルも記憶している。
　第２記憶部３０は、モデル訓練装置１０が使用する３次元データを少なくとも一つ記憶している。上記したように、３次元データは対象物の形状を示している。対象物は、例えば橋梁や建物などの構造物、または橋脚や橋桁などの構造物の一部分であるが、これに限定されない。第２記憶部３０は、複数の対象物それぞれの３次元データを記憶していてもよい。
　３次元データは、例えばＬｉＤＡＲを用いて生成された点群データである。この場合、３次元データは、ＸＹＺ座標に変換可能な座標データを持つ点の集合である。ここで用いられる座標データは、ＸＹＺ座標を直接示していてもよいし、センサ位置を原点とする極座標データ（仰角、水平角、及び距離の組）でもよい。対象物が橋梁や建物などの大規模な構造物である場合、点群データに含まれる点の数は１０００万を超えることもある。
　なお、３次元データは点群データ以外のデータでもよい。例えば３次元データは、頂点、辺、及び面の集合として三次元情報を表現するメッシュデータでもよい。
　また３次元データは、対象物内の複数の部分別に設定されたラベルを有していてもよい。例えば３次元データが点群データの場合、点群データを構成する複数の点毎にラベルが設定されている。ここで用いられるラベルの一例は、その部分が異常であるか否かである。ただし、ラベルが付与されるデータの単位及びラベルの内容は、上記した例に限定されない。
　評価装置４０は、モデル訓練装置１０が訓練したモデルを用いて、評価対象となる対象物の３次元データを処理する。
　そして、モデル訓練装置１０は、上記したように、第１パッチ生成部１１０、第２パッチ生成部１２０、及び訓練部１３０を有している。これらのうち第１パッチ生成部１１０は、モデルの訓練を行う前に処理を行う。これに対して第２パッチ生成部１２０及び訓練部１３０は、エポック毎に処理を行う。
　第１パッチ生成部１１０は、図３に示すように、第２記憶部３０から３次元データを読み出し、読み出した３次元データを用いて少なくとも一つの第１パッチを生成する。第１パッチは、３次元データの部分集合であり、対象物の一部の形状を示している。第１パッチ生成部１１０は、一つの３次元データから複数の第１パッチを生成するのが好ましい。また第２記憶部３０が複数の３次元データを記憶している場合、第１パッチ生成部１１０は、複数の３次元データのそれぞれから、少なくとも一つの第１パッチ、好ましくは複数の第１パッチを生成する。
　第１パッチのデータ量は、例えば当該第１パッチを生成する際に用いられた３次元データの１／１００以下であるが、これに限定されない。また、３次元データが点群データである場合、第１パッチに含まれる点の数は、例えば１０万以下であるが、これに限定されない。
　第１パッチ生成部１１０は、３次元データのすべての部分が、少なくとも一つの第１パッチに含まれるようにするのが好ましい。ここで、３次元データの少なくとも一部は、複数の第１パッチに含まれていてもよい。
　そして第１パッチ生成部１１０は、生成した第１パッチを第１記憶部２０に記憶させる。ここで第１パッチ生成部１１０は、複数の３次元データのそれぞれから第１パッチを生成した場合、第１パッチを、当該第１パッチを生成する際に用いた３次元データに紐づけて第１記憶部２０に記憶させるのが好ましい。
　第１パッチ生成部１１０は、３次元データに含まれるラベルを用いて第１パッチを生成してもよい。例えば、ラベル間で、当該ラベルを有するデータ数に大きな差が生じることがある。この場合、第１パッチ生成部１１０は、この差に起因して訓練データの内容に偏りが生じないように、第１パッチを生成するのが好ましい。
　例えば、３次元データが複数の部分を含んでおり、これら複数の部分別にラベルが付与されている場合を考える。第１のラベルを有している部分の数である第１数は、第２のラベルを有している部分の数である第２数よりも少ない、とする。第１のラベルを含む第１パッチの数を第１のパッチ数、第２のラベルを含む第１パッチの数を第２のパッチ数とした場合、第１パッチ生成部１１０は、第２のパッチ数に対する第１のパッチ数の比を、第２数に対する第１数の比よりも高くする。このようにすると、第１のラベルを有する訓練データの数は、何もしない場合と比較して多くなる。
　一例として、ラベルが、当該部分が異常を含んでいるか否かを示している場合を考える。この場合、異常であるデータは、異常ではないデータよりも少ない場合が多い。この場合、異常であることを示すラベルは、上記した第１のラベルに相当し、異常でないことを示すラベルは、上記した第２のラベルに相当する。第１パッチ生成部１１０は、異常であることを示すラベルを有するデータを含む第１パッチを優先的に生成する。換言すると、第１パッチ生成部１１０は、少数派ラベル（例えば上記した第１のラベル）に対応する第１パッチを、多数派ラベル（例えば上記した第２のラベル）に対応する第１パッチよりも、高い確率で残すようにする。
　一例として、３次元データが点群データであり、かつ、ラベル数２のセマンティックセグメンテーションにおける、第１パッチ生成部１１０の動作を説明する。３次元データの各点にラベル０またはラベル１が割り当てられており、ラベル０はラベル１よりも多数派であるとする。この場合，第１パッチ生成部１１０は、ラベル１の点を含む第１パッチを、ラベル１を含まない第１パッチよりも、高い確率で残すように動作する。第１パッチ生成部１１０は、ラベル１を含む第１パッチのみを残してもよい。
　図２に戻る。第２パッチ生成部１２０は、図４に示すように、第１記憶部２０から第１パッチを読み出し、読み出した第１パッチを用いて少なくとも一つの第２パッチを生成する。第２パッチは、図１を用いて説明したように、第１パッチの部分集合であり、対象物のうち第１パッチが示す部分の、さらに一部の形状を示している。
　第２パッチ生成部１２０が行う第２パッチの生成方法は、訓練データとしてのパッチを生成することができる方法であれば、どのような方法でもよい。ここで用いられる方法の例としては、以下の（１）～（３）が挙げられる。
（１）第２パッチ生成部１２０は、予め定められた形状を第１パッチに重ね合わせ、当該重ね合わせた結果を用いて第２パッチを生成する。
　予め定められた形状は、例えば球体、直方体、円柱、及び楕円体などの凸図形、もしくは複数の凸図形の和集合又は差集合である。そして第２パッチ生成部１２０は、例えば第１パッチと、この予め定められた形状との共通部分を、第２パッチとする。ここで、第１パッチのうち予め定められた形状と重なる部分や予め定められた形状の向きは、ランダムに選択され得る。
（２）第２パッチ生成部１２０は、第１パッチの中で、基準点を選択するとともに当該基準点から所定の規則で他の部分を選択することにより、第２パッチを生成する。
　例えば３次元データが点群データの場合、第１パッチ及び第２パッチも点群データになる。この場合、第２パッチ生成部１２０は、最初に、第１パッチに含まれている複数の点から、基準点となる点を選択する。この選択は、ランダムに行われてもよい。そして第２パッチ生成部１２０は、この基準点から所定の規則で所定の数の点を選択する。そして第２パッチ生成部１２０は、これらの点及び基準点を、第２パッチにする。
　ここで、第２パッチ生成部１２０は、基準点以外の点を選択するときに、例えば以下の（２－１）及び（２－２）の２つの方法を用いることができる。
（２－１）第２パッチ生成部１２０は、基準点から距離的に近い点を選ぶ。ここで第２パッチ生成部１２０は、基準点から近い順に、所定の個数の点を選択してもよい。この技術は、例えばＫ近傍探索である。
（２－２）第２パッチ生成部１２０は、基準点から距離的及び特徴的に近い点を選ぶ。ここで第２パッチ生成部１２０は、基準点をランダムに選択してもよい。そして第２パッチ生成部１２０は、法線やＰＣＡ特徴量などの形状情報の基準点に対する類似度が基準を満たす点を選択し、これらの点のうち基準点から近い順に、所定の個数の点を選択してもよい。この技術は、例えば領域拡張法である。
（３）第２パッチ生成部１２０は、第１パッチを、距離的および形状的の少なくとも一方において互いに類似した複数の部分集合に分割することにより、第２パッチを生成する。
　第２パッチ生成部１２０は、セグメンテーション技術、例えばＲＡＮＳＡＣ法、又はＣｕｔ　ｐｕｒｓｕｉｔ法を用いて、第１パッチから第２パッチを生成する。ＲＡＮＳＡＣ法は、三次元データから平面部分を抽出する技術である。またＣｕｔ　ｐｕｒｓｕｉｔ法は、三次元データを距離的および形状的に類似した複数の部分集合に分割する技術であり、例えば次のＵＲＬ＜https://github.com/loicland/cut-pursuit＞に詳細例が開示されている。そして、第２パッチとなる部分集合は、ランダムに選択される。
　訓練部１３０は、図４に示すように、第２パッチ生成部１２０が生成した第２パッチを用いてモデルを訓練する。ここで用いられるモデルは、３次元形状の状態を認識するためのモデルである。このモデルで用いられる認識タスクは、例えばクラス分類、セマンティックセグメンテーション、及びオートエンコーダの少なくとも一つであるが、これらに限定されない。また認識モデルは、例えばＰｏｉｎｔＮｅｔ＋＋であるが、これに限定されない。なお、ＰｏｉｎｔＮｅｔ＋＋の詳細例は、例えば次のＵＲＬ＜https://arxiv.org/abs/1706.02413＞に開示されている。
　訓練部１３０が用いる訓練データにおいて、説明変数は上記した第２パッチであり、目的変数は、例えば説明変数となる第２パッチに含まれるラベルを用いて設定される。例えばラベルが、異常であるか否かを示している場合、そのラベルが説明変数になる。３次元データ、第１パッチ、及び第２パッチが点群データの場合、説明変数の一例は、第２パッチが異常というラベルを付与された点を含んでいるか否かである。
　第２パッチ生成部１２０及び訓練部１３０は、基準が満たされるまで、処理を繰り返す。ここで用いられる基準は、例えば、繰り返し回数（エポック回数）が所定の値に達すること、訓練後のモデルの損失関数による値が所定の条件を満たすこと、又は、訓練後のモデルの精度が所定の条件を満たすこと、である。ただし、これ以外の基準が用いられてもよい。
　なお、訓練データの目的変数が、説明変数である第２パッチが異常を含んでいるか否かである場合、訓練部１３０が訓練したモデルは、対象物、例えば構造物が有する異常個所を検出するためのモデルになる。
　そして訓練部１３０は、訓練後のモデルを第１記憶部２０に記憶させる。モデル訓練装置１０は、第１記憶部２０に記憶されたモデルを、必要に応じて評価装置４０に送信する。評価装置４０は、このモデルを用いて対象物の評価を行う。
　次に、図５～図７を用いて、第１パッチ生成部１１０及び第２パッチ生成部１２０の動作の詳細例について説明する。
　図５は、第１パッチ生成部１１０を用いることにより生じうる課題の一例を説明するための図である。第１パッチの生成する際に用いられる条件を適切に設定しない場合、図５に示すように、３次元データの一部が、いずれの第１パッチにも含まれない領域となる可能性が出てくる。
　図６は、第２パッチ生成部１２０を用いることにより生じうる課題の一例を説明するための図である。第２パッチの生成する際に用いられる条件を適切に設定しない場合、第２パッチは、図６に示すように、３次元データからパッチを直接生成した場合には生じ得ないデータ構成を有することがある。図６に示す例において、第２パッチの右下側の領域には、本来は対象物の一部が存在しているため、データが存在しているはずである。しかし、本図に示す例において、この領域は第１パッチから外れているため、データが含まれない領域となってしまう。
　図７（Ａ）及び図７（Ｂ）は、図６に示した課題を解決するための条件を説明するための図である。図６に示した課題を解決するためには、第２パッチのすべての部分が第１パッチに含まれている必要がある。以下に、このために必要な条件を説明する。
　第１パッチ生成部１１０は３次元データからランダムに第１パッチを生成し、第２パッチ生成部１２０は、第１パッチからランダムに第２パッチを生成する。この際、第１パッチ生成部１１０及び第２パッチ生成部１２０は、ランダム性を制御するパラメータを用いる。例えば第１パッチ及び第２パッチがいずれも球である場合、このパラメータは、球の中心位置である。そして、図７（Ａ）に示すように、第２パッチの半径をｒとして、第１パッチの半径をｒ＋Δｒとした場合、第２パッチの中心が、第１パッチの中心から半径Δｒの球の中に位置している場合、第２パッチのすべての部分が第１パッチに含まれることになる。
　これを一般化すると、第２パッチ生成部１２０は、「ｍ番目の第１パッチから第２パッチを選択する場合、第２パッチが第１パッチに内包されるという条件下で第２パッチがとり得るパラメータの範囲Ｐａｒａｍ（Ｐｍ）から、パラメータを選択する」必要がある。ここで、Ｐａｒａｍ（Ｐｍ）の一例は、「第１パッチの中心から半径Δｒの球」である。なお、Ｐａｒａｍ（Ｐｍ）は、図７（Ｃ）を用いて説明するように、ｍ番目の第１パッチから生成された第２パッチが３次元データからも直接生成することができる、という条件を満たす場合において、パラメータが取り得る範囲を示していてもよい。
　図７（Ｃ）は、図５に示した課題を解決するための条件を説明するための図である。第１パッチ生成部１１０は、本図に示すように、３次元データのいずれの部分も、少なくとも一つの第１パッチに含まれるようにする必要がある。このためには、第１パッチ生成部１１０は、３次元データ全体をカバーするように間隔ｄで複数の第１パッチを生成する必要がある。この場合、ｄは、（２／√３）Δｒ以下である。そして、図７（Ｂ）に示したように、第２パッチの中心が、第１パッチの中心から半径Δｒの球の中に位置するようにした場合、生成され得る第２パッチは、３次元データから直接生成されたパッチと、ランダム性やカバー性を含めてそん色がなくなる。
　これを一般化すると、以下のようになる。
・３次元データ又は当該３次元データの部分集合をＸ´とする。
・第２パッチが、訓練データとして利用可能かつＸ´の少なくとも一部を含む、という条件を満たすパラメータの集合をＰＸ´とする。このＰＸ´は、「Ｘからパッチを生成する際に、生成されたパッチが訓練データとして利用可能かつＸ'の少なくとも一部を含む」ようなパラメータの集合である。
・ｍ番目の第１パッチについて、第２パッチがとり得るパラメータの範囲は上記したＰａｒａｍ（Ｐｍ）である。Ｐａｒａｍ（Ｐｍ）は、ｍ番目の第１パッチから生成された第２パッチが３次元データからも直接生成することができる、という条件を満たす場合において、パラメータが取り得る範囲を示している。
　この場合において、第１パッチ生成部１１０は、
　　Ｐａｒａｍ（Ｐ１）∪Ｐａｒａｍ（Ｐ２）∪...∪Ｐａｒａｍ（ＰＮ）⊇ＰＸ´・・・（１）
を満たすように、Ｎ個の第１パッチを生成する。言い換えると、ｍ＝１～Ｎの間でＰａｒａｍ（Ｐｍ）の和集合を算出した時に、ＰＸ´は当該和集合に含まれる。上記（１）式は、「ＰＸ'に基づいてＸから生成されるパッチ全体が、各Ｐａｒａｍに基づいてＸから生成されるパッチ全体の和集合によってカバーされる」ことを示す。
　なお、図７（Ｂ）に示した例において、Ｐａｒａｍ（Ｐｍ）からパラメータすなわち球の中心を選ぶ際に、Ｐａｒａｍ（Ｐｍ）となる球に内接する立方体から当該パラメータを選ぶようにするのが好ましい。このようにすると、隣り合うＰａｒａｍ（Ｐｍ）間での重なりは無くなるため、パラメータの選ばれやすさを３次元データ全体で均一にすることができる。
　これを一般化すると、次のようになる。第２パッチ生成部１２０は、ｍ番目の第１パッチから第２パッチを生成する際、Ｐａｒａｍ（Ｐｍ）の部分集合であるＰａｒａｍ（Ｐｍ）´から第２パッチのパラメータを選択するとした場合、
　Ｐａｒａｍ（Ｐ１）´∩Ｐａｒａｍ（Ｐ２）´∩・・・Ｐａｒａｍ（ＰＮ）´＝空集合
を満たすのが好ましい。言い換えると、ｍ＝１～Ｎの間でＰａｒａｍ（Ｐｍ）´の積集合を算出した時に、この積集合は空集合になる。このようにすると、第２パッチ生成部１２０は、第２パッチのパラメータを、ＰＸ´から均一に選び出すことが可能になる。
　図７の各図を用いて説明した内容を論理的に説明すると、以下のようになる。
　任意の第１パッチＰおよび任意のパラメータｐに基づいて第２パッチ生成部１２０が生成する第２パッチをＱ（ｐ，Ｐ）とする。
　任意の第１パッチＰに対して、Ｑ（ｐ，Ｐ）とＱ（ｐ，Ｘ）が同一であるパラメータｐの集合をＰａｒａｍ（Ｐ）とする。換言すれば、第２パッチ生成部１２０がＰａｒａｍ（Ｐ）に含まれるパラメータｐに基づいて第２パッチを生成する限りにおいて、図６に示したような特異な第２パッチは生成されない。
　Ｑ（ｐ，Ｘ）が、訓練データとして利用可能かつＸ´を一部でも含む、という条件を満たすパラメータｐの集合をＰＸ´と書き表す。換言すれば、パラメータｐがＰＸ´に含まれることと、Ｑ（ｐ，Ｘ）が「Ｘ´を一部でも含む第２パッチ」であること、とは同値である。
　第１パッチ生成部１１０は、少なくともＮ個の第１パッチＰ１，Ｐ２，...，ＰＮを生成する。この時、第１パッチ生成部１１０はこれらＮ個の第１パッチを、上記式（１）すなわち
　Ｐａｒａｍ（Ｐ１）∪Ｐａｒａｍ（Ｐ２）∪...∪Ｐａｒａｍ（ＰＮ）⊇ＰＸ´
が成り立つように生成する。
　さらに、第２パッチ生成部１２０は第１パッチＰに基づいて、Ｐａｒａｍ（Ｐ）に含まれる少なくとも１つのパラメータｐを選択し、少なくとも１つの第２パッチＱ（ｐ，Ｐ）を生成する。
　この時、生成される第２パッチは「Ｘ´を一部でも含む第２パッチ」を網羅しうる。なぜならば、Ｐａｒａｍ（Ｐ）の定義から第２パッチＱ（ｐ，Ｐ）はＱ（ｐ，Ｘ）と常に同一であり、さらに上記式（１）から、選択されるパラメータｐはＰＸ´を網羅しうるからである。
　図８は、モデル訓練装置１０のハードウェア構成例を示す図である。モデル訓練装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
　メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
　ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどのリムーバブルメディア、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置であり、記録媒体を有している。ストレージデバイス１０４０の記録媒体はモデル訓練装置１０の各機能（例えば第１パッチ生成部１１０、第２パッチ生成部１２０、及び訓練部１３０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は第１記憶部２０及び第２記憶部３０の少なくとも一方として機能してもよい。
　入出力インタフェース１０５０は、モデル訓練装置１０と各種入出力機器とを接続するためのインタフェースである。例えばモデル訓練装置１０は、入出力インタフェース１０５０を介して第１記憶部２０及び第２記憶部３０と通信する。
　ネットワークインタフェース１０６０は、モデル訓練装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。モデル訓練装置１０は、ネットワークインタフェース１０６０を介して評価装置４０と通信してもよい。
　図９は、モデル訓練装置１０の第１パッチ生成部１１０が行う処理の第１例を示す図である。第１パッチ生成部１１０は、第２パッチ生成部１２０及び訓練部１３０が処理を行う前に、予め第１パッチを生成しておく。
　具体的には、第１パッチ生成部１１０は、第２記憶部３０から、処理対象となる３次元データを読み出す（ステップＳ１０）。次いで、第１パッチ生成部１１０は、読み出した３次元データから第１パッチを生成し（ステップＳ２０）、生成した第１パッチを第１記憶部２０に記憶させる（ステップＳ３０）。第１パッチ生成部１１０は、第１記憶部２０が記憶している第１パッチの数が基準を満たすまで、ステップＳ２０及びステップＳ３０を繰り返す（ステップＳ４０）。
　なお、第２記憶部３０が複数の３次元データを記憶している場合、第１パッチ生成部１１０は、複数の３次元データのそれぞれに対して図９に示した処理を行う。
　図１０は、モデル訓練装置１０の第１パッチ生成部１１０が行う処理の第２例を示す図である。本図に示す例において、第１パッチ生成部１１０は、３次元データに含まれるラベルを用いて第１パッチを生成する点（ステップＳ２２）を除いて、図９に示した例と同様である。ラベルの使い方の具体例は、図２を用いて説明した通りである。
　図１１は、モデル訓練装置１０の第２パッチ生成部１２０及び訓練部１３０が行う処理の一例を示す図である。まず第２パッチ生成部１２０は、第１記憶部２０から第１パッチを読み出す。ここで第１記憶部２０が複数の第１パッチを記憶している場合、第２パッチ生成部１２０は、これら複数の第１パッチから一つの第１パッチを選択し、選択した第１パッチを読み出す。この際、第２パッチ生成部１２０は、ランダムに第１パッチを選択する（ステップＳ１１０）。
　次いで第２パッチ生成部１２０は、読み出した第１パッチを用いて、少なくとも一つの第２パッチを生成する（ステップＳ１２０）。次いで訓練部１３０は、第２パッチ生成部１２０が生成した第２パッチを用いてモデルを訓練し、訓練後のモデルを第１記憶部２０に記憶させる（ステップＳ１３０）。
　第２パッチ生成部１２０及び訓練部１３０は、基準を満たすまで、ステップＳ１１０～ステップＳ１３０に示した処理を繰り返す（ステップＳ１４０）。
　以上、本実施形態によれば、モデル訓練装置１０は、第１パッチ生成部１１０を備えている。第１パッチ生成部１１０は、３次元データの部分集合である第１パッチを生成し、第１記憶部２０に記憶させる。そして第２パッチ生成部１２０は、第１記憶部２０に記憶されている第１パッチを用いて、訓練データとなる第２パッチを生成する。第１パッチは２次元データの部分集合であるため、訓練データとなるパッチを３次元データから直接生成する場合と比較して、モデル訓練装置１０の負荷は小さくなる。従って、対象物の形状を示す３次元データを評価するモデルを訓練する際のモデル訓練装置１０の負荷は小さくなる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．対象物の形状を示す３次元データを用いて、当該３次元データの部分集合である第１パッチを少なくとも一つ生成し、当該第１パッチを記憶手段に記憶させる第１パッチ生成手段と、
　前記記憶手段からいずれかの前記第１パッチを読み出し、当該第１パッチの部分集合である第２パッチを少なくとも一つ生成する第２パッチ生成手段と、
　前記第２パッチを訓練データとして、３次元形状を評価するためのモデルを訓練する訓練手段と、
を備え、
　前記第２パッチ生成手段及び前記訓練手段は、基準が満たされるまで処理を繰り返す、モデル訓練装置。
２．上記１に記載のモデル訓練装置において、
　前記第１パッチ生成手段は、パッチのランダム性を制御するためのパラメータを用いて、Ｎ個の前記第１パッチを生成し、
　前記第２パッチ生成手段は、前記パラメータを用いて前記第２パッチを生成し、
　前記３次元データ又は当該３次元データの部分集合をＸ´として、
　前記第２パッチが、訓練データとして利用可能かつ前記Ｘ´の少なくとも一部を含む、という条件を満たす前記パラメータの集合をＰＸ´として、
　ｍ番目の前記第１パッチについて、当該第１パッチから生成された前記第２パッチが前記３次元データからも直接生成することができる、という条件を満たす場合において、前記パラメータが取り得る範囲をＰａｒａｍ（Ｐｍ）とした場合、
　前記第１パッチ生成手段は、ｍ＝１～Ｎの間で前記Ｐａｒａｍ（Ｐｍ）の和集合を算出した時に、前記ＰＸ´が当該和集合に含まれるようにする、モデル訓練装置。
３．上記２に記載のモデル訓練装置において、
　前記第２パッチ生成手段は、前記Ｐａｒａｍ（Ｐｍ）から、前記パラメータを選択する、モデル訓練装置。
４．上記２又は３に記載のモデル訓練装置において、
　前記第２パッチ生成手段は、ｍ番目の前記第１パッチから前記第２パッチを生成する際、前記Ｐａｒａｍ（Ｐｍ）の部分集合であるＰａｒａｍ（Ｐｍ）´から前記第２パッチのパラメータを選択し、
　ｍ＝１～Ｎの間で前記Ｐａｒａｍ（Ｐｍ）´の積集合を算出した時に、当該積集合は空集合になる、モデル訓練装置。
５．上記１～４のいずれか一項に記載のモデル訓練装置において、
　前記３次元データは、前記対象物内の複数の部分別に設定されたラベルを有しており、
　前記第１パッチ生成手段は、前記ラベルを用いて複数の前記第１パッチを生成する、モデル訓練装置。
６．上記５に記載のモデル訓練装置において、
　第１の前記ラベルを有している前記部分の数である第１数は、第２の前記ラベルを有している前記部分の数である第２数よりも少なく、
　前記第１のラベルを含む前記第１パッチの数を第１のパッチ数、前記第２のラベルを含む前記第１パッチの数を第２のパッチ数とした場合、
　前記第１パッチ生成手段は、前記第２のパッチ数に対する前記第１のパッチ数の比を、前記第２数に対する前記第１数の比よりも高くする、モデル訓練装置。
７．上記１～６のいずれか一項に記載のモデル訓練装置において、
　前記第２パッチ生成手段は、予め定められた形状を前記第１パッチに重ね合わせ、当該重ね合わせた結果を用いて前記第２パッチを生成する、モデル訓練装置。
８．上記１～６のいずれか一項に記載のモデル訓練装置において、
　前記第２パッチ生成手段は、前記第１パッチの中で、基準点を選択するとともに当該基準点から所定の規則で前記第１パッチから他の部分を選択することにより、前記第２パッチを生成する、モデル訓練装置。
９．上記１～６のいずれか一項に記載のモデル訓練装置において、
　前記第２パッチ生成手段は、前記第１パッチを、距離的および形状的の少なくとも一方において互いに類似した複数の部分集合に分割することにより、前記第２パッチを生成する、モデル訓練装置。
１０．上記１～９のいずれか一項に記載のモデル訓練装置において、
　前記訓練データは、前記第２パッチが前記対象物に生じた異常個所を含んでいるか否かを示す情報を含んでおり、
　前記モデルは、対象物が有する異常個所を検出するためのモデルである、モデル訓練装置。
１１．コンピュータが、
　　対象物の形状を示す３次元データを用いて、当該３次元データの部分集合である第１パッチを少なくとも一つ生成し、当該第１パッチを記憶手段に記憶させ、
　　前記記憶手段からいずれかの前記第１パッチを読み出し、当該第１パッチの部分集合である第２パッチを少なくとも一つ生成し、
　　前記第２パッチを訓練データとして、３次元形状を評価するためのモデルを訓練し、
　前記第２パッチの生成及び前記モデルの訓練を、基準が満たされるまで繰り返す、モデル訓練方法。
１２．上記１１に記載のモデル訓練方法において、
　前記コンピュータは、パッチのランダム性を制御するためのパラメータを用いて、Ｎ個の前記第１パッチを生成し、
　　前記パラメータを用いて前記第２パッチを生成し、
　　前記３次元データ又は当該３次元データの部分集合をＸ´として、
　　前記第２パッチが、訓練データとして利用可能かつ前記Ｘ´の少なくとも一部を含む、という条件を満たす前記パラメータの集合をＰＸ´として、
　　ｍ番目の前記第１パッチについて、当該第１パッチから生成された前記第２パッチが前記３次元データからも直接生成することができる、という条件を満たす場合において、前記パラメータが取り得る範囲をＰａｒａｍ（Ｐｍ）とした場合、
　前記コンピュータは、ｍ＝１～Ｎの間で前記Ｐａｒａｍ（Ｐｍ）の和集合を算出した時に、前記ＰＸ´が当該和集合に含まれるようにする、モデル訓練方法。
１３．上記１２に記載のモデル訓練方法において、
　前記コンピュータは、前記Ｐａｒａｍ（Ｐｍ）から、前記パラメータを選択する、モデル訓練方法。
１４．上記１２又は１３に記載のモデル訓練方法において、
　前記コンピュータは、ｍ番目の前記第１パッチから前記第２パッチを生成する際、前記Ｐａｒａｍ（Ｐｍ）の部分集合であるＰａｒａｍ（Ｐｍ）´から前記第２パッチのパラメータを選択し、
　ｍ＝１～Ｎの間で前記Ｐａｒａｍ（Ｐｍ）´の積集合を算出した時に、当該積集合は空集合になる、モデル訓練方法。
１５．上記１１～１４のいずれか一項に記載のモデル訓練方法において、
　前記３次元データは、前記対象物内の複数の部分別に設定されたラベルを有しており、
　前記コンピュータは、前記ラベルを用いて複数の前記第１パッチを生成する、モデル訓練方法。
１６．上記１５に記載のモデル訓練方法において、
　第１の前記ラベルを有している前記部分の数である第１数は、第２の前記ラベルを有している前記部分の数である第２数よりも少なく、
　前記第１のラベルを含む前記第１パッチの数を第１のパッチ数、前記第２のラベルを含む前記第１パッチの数を第２のパッチ数とした場合、
　前記コンピュータは、前記第２のパッチ数に対する前記第１のパッチ数の比を、前記第２数に対する前記第１数の比よりも高くする、モデル訓練方法。
１７．上記１１～１６のいずれか一項に記載のモデル訓練方法において、
　前記コンピュータは、予め定められた形状を前記第１パッチに重ね合わせ、当該重ね合わせた結果を用いて前記第２パッチを生成する、モデル訓練方法。
１８．上記１１～１６のいずれか一項に記載のモデル訓練方法において、
　前記コンピュータは、前記第１パッチの中で、基準点を選択するとともに当該基準点から所定の規則で前記第１パッチから他の部分を選択することにより、前記第２パッチを生成する、モデル訓練方法。
１９．上記１１～１６のいずれか一項に記載のモデル訓練方法において、
　前記コンピュータは、前記第１パッチを、距離的および形状的の少なくとも一方において互いに類似した複数の部分集合に分割することにより、前記第２パッチを生成する、モデル訓練方法。
２０．上記１１～１９のいずれか一項に記載のモデル訓練方法において、
　前記訓練データは、前記第２パッチが前記対象物に生じた異常個所を含んでいるか否かを示す情報を含んでおり、
　前記モデルは、対象物が有する異常個所を検出するためのモデルである、モデル訓練方法。
３１．コンピュータに、
　　対象物の形状を示す３次元データを用いて、当該３次元データの部分集合である第１パッチを少なくとも一つ生成し、当該第１パッチを記憶手段に記憶させる第１パッチ生成機能と、
　　前記記憶手段からいずれかの前記第１パッチを読み出し、当該第１パッチの部分集合である第２パッチを少なくとも一つ生成する第２パッチ生成機能と、
　　前記第２パッチを訓練データとして、３次元形状を評価するためのモデルを訓練する訓練機能と、
を持たせるプログラムを記録しており、
　前記第２パッチ生成機能及び前記訓練機能は、基準が満たされるまで処理を繰り返す、コンピュータで読み取り可能な記録媒体。
３２．上記３１に記載の記録媒体において、
　前記第１パッチ生成機能は、パッチのランダム性を制御するためのパラメータを用いて、Ｎ個の前記第１パッチを生成し、
　前記第２パッチ生成機能は、前記パラメータを用いて前記第２パッチを生成し、
　　前記３次元データ又は当該３次元データの部分集合をＸ´として、
　　前記第２パッチが、訓練データとして利用可能かつ前記Ｘ´の少なくとも一部を含む、という条件を満たす前記パラメータの集合をＰＸ´として、
　　ｍ番目の前記第１パッチについて、当該第１パッチから生成された前記第２パッチが前記３次元データからも直接生成することができる、という条件を満たす場合において、前記パラメータが取り得る範囲をＰａｒａｍ（Ｐｍ）とした場合、
　前記第１パッチ生成機能は、ｍ＝１～Ｎの間で前記Ｐａｒａｍ（Ｐｍ）の和集合を算出した時に、前記ＰＸ´が当該和集合に含まれるようにする、記録媒体。
３３．上記３２に記載の記録媒体において、
　前記第２パッチ生成機能は、前記Ｐａｒａｍ（Ｐｍ）から、前記パラメータを選択する、記録媒体。
３４．上記３２又は３３に記載の記録媒体において、
　前記第２パッチ生成機能は、ｍ番目の前記第１パッチから前記第２パッチを生成する際、前記Ｐａｒａｍ（Ｐｍ）の部分集合であるＰａｒａｍ（Ｐｍ）´から前記第２パッチのパラメータを選択し、
　ｍ＝１～Ｎの間で前記Ｐａｒａｍ（Ｐｍ）´の積集合を算出した時に、当該積集合は空集合になる、記録媒体。
３５．上記３１～３４のいずれか一項に記載の記録媒体において、
　前記３次元データは、前記対象物内の複数の部分別に設定されたラベルを有しており、
　前記第１パッチ生成機能は、前記ラベルを用いて複数の前記第１パッチを生成する、記録媒体。
３６．上記３５に記載の記録媒体において、
　第１の前記ラベルを有している前記部分の数である第１数は、第２の前記ラベルを有している前記部分の数である第２数よりも少なく、
　前記第１のラベルを含む前記第１パッチの数を第１のパッチ数、前記第２のラベルを含む前記第１パッチの数を第２のパッチ数とした場合、
　前記第１パッチ生成機能は、前記第２のパッチ数に対する前記第１のパッチ数の比を、前記第２数に対する前記第１数の比よりも高くする、記録媒体。
３７．上記３１～３６のいずれか一項に記載の記録媒体において、
　前記第２パッチ生成機能は、予め定められた形状を前記第１パッチに重ね合わせ、当該重ね合わせた結果を用いて前記第２パッチを生成する、記録媒体。
３８．上記３１～３６のいずれか一項に記載の記録媒体において、
　前記第２パッチ生成機能は、前記第１パッチの中で、基準点を選択するとともに当該基準点から所定の規則で前記第１パッチから他の部分を選択することにより、前記第２パッチを生成する、記録媒体。
３９．上記３１～３６のいずれか一項に記載の記録媒体において、
　前記第２パッチ生成機能は、前記第１パッチを、距離的および形状的の少なくとも一方において互いに類似した複数の部分集合に分割することにより、前記第２パッチを生成する、記録媒体。
４０．上記３１～３９のいずれか一項に記載の記録媒体において、
　前記訓練データは、前記第２パッチが前記対象物に生じた異常個所を含んでいるか否かを示す情報を含んでおり、
　前記モデルは、対象物が有する異常個所を検出するためのモデルである、記録媒体。
４１．上記３１～４０のいずれか一項に記載のプログラム。
１０　　　　モデル訓練装置
１１０　　　　第１パッチ生成部
１２０　　　　第２パッチ生成部
１３０　　　　訓練部
２０　　　　第１記憶部
３０　　　　第２記憶部
４０　　　　評価装置

Claims (12)

  1. 　対象物の形状を示す３次元データを用いて、当該３次元データの部分集合である第１パッチを少なくとも一つ生成し、当該第１パッチを記憶手段に記憶させる第１パッチ生成手段と、
    　前記記憶手段からいずれかの前記第１パッチを読み出し、当該第１パッチの部分集合である第２パッチを少なくとも一つ生成する第２パッチ生成手段と、
    　前記第２パッチを訓練データとして、３次元形状を評価するためのモデルを訓練する訓練手段と、
    を備え、
    　前記第２パッチ生成手段及び前記訓練手段は、基準が満たされるまで処理を繰り返す、モデル訓練装置。
  2. 　請求項１に記載のモデル訓練装置において、
    　前記第１パッチ生成手段は、パッチのランダム性を制御するためのパラメータを用いて、Ｎ個の前記第１パッチを生成し、
    　前記第２パッチ生成手段は、前記パラメータを用いて前記第２パッチを生成し、
    　前記３次元データ又は当該３次元データの部分集合をＸ´として、
    　前記第２パッチが、訓練データとして利用可能かつ前記Ｘ´の少なくとも一部を含む、という条件を満たす前記パラメータの集合をＰＸ´として、
    　ｍ番目の前記第１パッチについて、当該第１パッチから生成された前記第２パッチが前記３次元データからも直接生成することができる、という条件を満たす場合において、前記パラメータが取り得る範囲をＰａｒａｍ（Ｐｍ）とした場合、
    　前記第１パッチ生成手段は、ｍ＝１～Ｎの間で前記Ｐａｒａｍ（Ｐｍ）の和集合を算出した時に、前記ＰＸ´が当該和集合に含まれるようにする、モデル訓練装置。
  3. 　請求項２に記載のモデル訓練装置において、
    　前記第２パッチ生成手段は、前記Ｐａｒａｍ（Ｐｍ）から、前記パラメータを選択する、モデル訓練装置。
  4. 　請求項２又は３に記載のモデル訓練装置において、
    　前記第２パッチ生成手段は、ｍ番目の前記第１パッチから前記第２パッチを生成する際、前記Ｐａｒａｍ（Ｐｍ）の部分集合であるＰａｒａｍ（Ｐｍ）´から前記第２パッチのパラメータを選択し、
    　ｍ＝１～Ｎの間で前記Ｐａｒａｍ（Ｐｍ）´の積集合を算出した時に、当該積集合は空集合になる、モデル訓練装置。
  5. 　請求項１～４のいずれか一項に記載のモデル訓練装置において、
    　前記３次元データは、前記対象物内の複数の部分別に設定されたラベルを有しており、
    　前記第１パッチ生成手段は、前記ラベルを用いて複数の前記第１パッチを生成する、モデル訓練装置。
  6. 　請求項５に記載のモデル訓練装置において、
    　第１の前記ラベルを有している前記部分の数である第１数は、第２の前記ラベルを有している前記部分の数である第２数よりも少なく、
    　前記第１のラベルを含む前記第１パッチの数を第１のパッチ数、前記第２のラベルを含む前記第１パッチの数を第２のパッチ数とした場合、
    　前記第１パッチ生成手段は、前記第２のパッチ数に対する前記第１のパッチ数の比を、前記第２数に対する前記第１数の比よりも高くする、モデル訓練装置。
  7. 　請求項１～６のいずれか一項に記載のモデル訓練装置において、
    　前記第２パッチ生成手段は、予め定められた形状を前記第１パッチに重ね合わせ、当該重ね合わせた結果を用いて前記第２パッチを生成する、モデル訓練装置。
  8. 　請求項１～６のいずれか一項に記載のモデル訓練装置において、
    　前記第２パッチ生成手段は、前記第１パッチの中で、基準点を選択するとともに当該基準点から所定の規則で前記第１パッチから他の部分を選択することにより、前記第２パッチを生成する、モデル訓練装置。
  9. 　請求項１～６のいずれか一項に記載のモデル訓練装置において、
    　前記第２パッチ生成手段は、前記第１パッチを、距離的および形状的の少なくとも一方において互いに類似した複数の部分集合に分割することにより、前記第２パッチを生成する、モデル訓練装置。
  10. 　請求項１～９のいずれか一項に記載のモデル訓練装置において、
    　前記訓練データは、前記第２パッチが前記対象物に生じた異常個所を含んでいるか否かを示す情報を含んでおり、
    　前記モデルは、対象物が有する異常個所を検出するためのモデルである、モデル訓練装置。
  11. 　コンピュータが、
    　　対象物の形状を示す３次元データを用いて、当該３次元データの部分集合である第１パッチを少なくとも一つ生成し、当該第１パッチを記憶手段に記憶させ、
    　　前記記憶手段からいずれかの前記第１パッチを読み出し、当該第１パッチの部分集合である第２パッチを少なくとも一つ生成し、
    　　前記第２パッチを訓練データとして、３次元形状を評価するためのモデルを訓練し、
    　前記第２パッチの生成及び前記モデルの訓練を、基準が満たされるまで繰り返す、モデル訓練方法。
  12. 　コンピュータに、
    　　対象物の形状を示す３次元データを用いて、当該３次元データの部分集合である第１パッチを少なくとも一つ生成し、当該第１パッチを記憶手段に記憶させる第１パッチ生成機能と、
    　　前記記憶手段からいずれかの前記第１パッチを読み出し、当該第１パッチの部分集合である第２パッチを少なくとも一つ生成する第２パッチ生成機能と、
    　　前記第２パッチを訓練データとして、３次元形状を評価するためのモデルを訓練する訓練機能と、
    を持たせるプログラムを記録しており、
    　前記第２パッチ生成機能及び前記訓練機能は、基準が満たされるまで処理を繰り返す、コンピュータで読み取り可能な記録媒体。
PCT/JP2022/012046 2022-03-16 2022-03-16 モデル訓練装置、モデル訓練方法、及び記録媒体 WO2023175798A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/012046 WO2023175798A1 (ja) 2022-03-16 2022-03-16 モデル訓練装置、モデル訓練方法、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/012046 WO2023175798A1 (ja) 2022-03-16 2022-03-16 モデル訓練装置、モデル訓練方法、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2023175798A1 true WO2023175798A1 (ja) 2023-09-21

Family

ID=88022560

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/012046 WO2023175798A1 (ja) 2022-03-16 2022-03-16 モデル訓練装置、モデル訓練方法、及び記録媒体

Country Status (1)

Country Link
WO (1) WO2023175798A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089530A1 (en) * 2015-05-11 2018-03-29 Siemens Healthcare Gmbh Method and system for landmark detection in medical images using deep neural networks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089530A1 (en) * 2015-05-11 2018-03-29 Siemens Healthcare Gmbh Method and system for landmark detection in medical images using deep neural networks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DENG HAOWEN; BIRDAL TOLGA; ILIC SLOBODAN: "PPFNet: Global Context Aware Local Features for Robust 3D Point Matching", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, IEEE, 18 June 2018 (2018-06-18), pages 195 - 205, XP033475979, DOI: 10.1109/CVPR.2018.00028 *

Similar Documents

Publication Publication Date Title
US11163299B2 (en) Control device, control method, and program recording medium
US11941719B2 (en) Learning robotic tasks using one or more neural networks
JP6678778B2 (ja) 画像内の物体を検出する方法及び物体検出システム
US11562167B2 (en) Method of training neural network classification model using selected data
CN111989195B (zh) 在一个或更多个处理器上存储离散化环境的机器人的运动规划及其改进的操作
WO2019014625A1 (en) OBJECT DETECTION USING NEURONAL NETWORK SYSTEMS
Gergel et al. Globalizer: A novel supercomputer software system for solving time-consuming global optimization problems
US11111785B2 (en) Method and device for acquiring three-dimensional coordinates of ore based on mining process
KR102531645B1 (ko) 모델의 성능 테스트를 위한 컴퓨터 프로그램
Khan et al. Open source machine learning frameworks for industrial internet of things
Chhikara et al. Data dimensionality reduction techniques for Industry 4.0: Research results, challenges, and future research directions
Soni et al. Digital twin: intersection of mind and machine
CN111897660A (zh) 模型部署方法、模型部署装置及终端设备
Fan et al. RPR-Net: A point cloud-based rotation-aware large scale place recognition network
EP4092587A1 (en) Scheduling jobs of a manufacturing or logistics process
WO2023175798A1 (ja) モデル訓練装置、モデル訓練方法、及び記録媒体
US8078826B2 (en) Effective memory clustering to minimize page fault and optimize memory utilization
Saha et al. Federated learning–based global road damage detection
US20220375205A1 (en) Aggregating Nested Vision Transformers
US20220067532A1 (en) Method to Train Model
CN113627646A (zh) 一种基于神经网络的路径规划方法、装置、设备及介质
WO2021262139A1 (en) Distributed machine learning models
US20230259665A1 (en) Occupancy mapping based on geometric entities with hierarchical relationships
CN116935233B (zh) 用于激光雷达的目标检测方法和装置
KR102467429B1 (ko) 항만 장비 유지 보수를 위한 가상 훈련 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22932075

Country of ref document: EP

Kind code of ref document: A1