WO2022239245A1 - 学習方法、推論方法、学習装置、推論装置、及びプログラム - Google Patents

学習方法、推論方法、学習装置、推論装置、及びプログラム Download PDF

Info

Publication number
WO2022239245A1
WO2022239245A1 PCT/JP2021/018484 JP2021018484W WO2022239245A1 WO 2022239245 A1 WO2022239245 A1 WO 2022239245A1 JP 2021018484 W JP2021018484 W JP 2021018484W WO 2022239245 A1 WO2022239245 A1 WO 2022239245A1
Authority
WO
WIPO (PCT)
Prior art keywords
multidimensional data
inference
attribute
binning
attributes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/018484
Other languages
English (en)
French (fr)
Inventor
雄貴 蔵内
祥章 瀧本
修平 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2023520731A priority Critical patent/JP7616361B2/ja
Priority to PCT/JP2021/018484 priority patent/WO2022239245A1/ja
Publication of WO2022239245A1 publication Critical patent/WO2022239245A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a learning method, an inference method, a learning device, an inference device, and a program.
  • CMOS complementary metal-oxide-semiconductor
  • N-dimensional convolution see Non-Patent Document 1.
  • N-dimensional convolution inference is performed using an attribute value set and its adjacent attribute value sets.
  • attribute values such as ⁇ (year/month, gender, age)
  • Specific information for example, the number of contracts
  • N-dimensional convolution is difficult to apply to categorical attributes that do not have adjacency definition (eg, occupation, country name, etc.).
  • the number of dimensions is N
  • the number of attribute value sets adjacent to a certain attribute value set is 3 N ⁇ 1, and there is a problem that the number of adjacencies increases exponentially as the number of dimensions N increases.
  • An embodiment of the present invention has been made in view of the above points, and aims at estimating specific information from multidimensional data with high accuracy and low computational complexity.
  • a learning method generates multidimensional data having an estimation target attribute indicating an attribute to be estimated and two or more non-estimation target attributes indicating attributes other than the estimation target attribute.
  • a dimensionality reduction procedure for reducing the number of dimensions of the non-estimation target attribute of the multidimensional data
  • a binning procedure for binning the values of the non-estimation target attribute of the multidimensional data after the dimensionality reduction
  • An information addition procedure for adding predetermined additional information to multidimensional data after binning, and an inference model for estimating the value of the attribute to be estimated using the multidimensional data to which the additional information is added.
  • a computer performs a learning procedure for learning the parameters.
  • FIG. 10 is a diagram showing an example of a multidimensional data set with a dimensionally reduced correct answer in tabular form
  • FIG. 4 is a diagram showing an example of a binned multidimensional data set with correct answers in tabular form.
  • FIG. 4 is a diagram showing an example of a multidimensional data set for learning in tabular form; It is a figure which shows an example of an inference model.
  • FIG. 10 is a diagram showing another example of an inference model
  • 6 is a flowchart showing an example of inference processing according to the embodiment
  • It is a figure which shows an example of a multi-dimensional data set without a correct answer in tabular form.
  • FIG. 10 is a diagram showing an example of a dimension-reduced no-correct multidimensional data set in tabular form
  • FIG. 4 is a diagram showing an example of a binned non-correct multidimensional data set in tabular form.
  • FIG. 4 is a diagram showing an example of a multidimensional data set for inference in tabular form;
  • An embodiment of the present invention will be described below.
  • An inference device 10 capable of estimating specific information from multidimensional data with high accuracy and low computational complexity will be described.
  • FIG. 1 is a diagram showing an example of the hardware configuration of an inference device 10 according to this embodiment.
  • the inference device 10 is realized by the hardware configuration of a general computer or computer system, and includes an input device 101, a display device 102, an external I/F 103, and a communication I/F. F 104 , processor 105 and memory device 106 . Each of these pieces of hardware is communicably connected via a bus 107 .
  • the input device 101 is, for example, a keyboard, mouse, touch panel, or the like.
  • the display device 102 is, for example, a display. Note that the inference device 10 may not have at least one of the input device 101 and the display device 102, for example.
  • the external I/F 103 is an interface with an external device such as the recording medium 103a.
  • the inference device 10 can perform reading, writing, etc. of the recording medium 103 a via the external I/F 103 .
  • Examples of the recording medium 103a include CD (Compact Disc), DVD (Digital Versatile Disk), SD memory card (Secure Digital memory card), USB (Universal Serial Bus) memory card, and the like.
  • the communication I/F 104 is an interface for connecting the inference device 10 to a communication network.
  • the processor 105 is, for example, various arithmetic units such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the memory device 106 is, for example, various storage devices such as HDD (Hard Disk Drive), SSD (Solid State Drive), RAM (Random Access Memory), ROM (Read Only Memory), and flash memory.
  • the inference device 10 has the hardware configuration shown in FIG. 1, so that learning processing and inference processing, which will be described later, can be realized.
  • the hardware configuration shown in FIG. 1 is merely an example, and the inference device 10 may have, for example, multiple processors 105 or multiple memory devices 106 .
  • FIG. 2 is a diagram showing an example of the functional configuration of the inference device 10 according to this embodiment.
  • the inference device 10 has a learning unit 201 and an inference unit 202 . These units are implemented by, for example, processing that one or more programs installed in the inference apparatus 10 cause the processor 105 to execute.
  • the reasoning apparatus 10 includes a multidimensional data with correct answer storage unit 203, a learning dimensionality reduction model storage unit 204, a learning inference model storage unit 205, and a trained dimensionality reduction model storage unit 206. , a learned inference model storage unit 207 , a no-correct multidimensional data storage unit 208 , and an estimation result storage unit 209 .
  • Each of these units is realized by the memory device 106, for example. At least one of these units may be realized by a storage device or the like connected to the inference device 10 via a communication network.
  • the learning unit 201 learns a dimensionality reduction model for reducing the number of dimensions of multidimensional data, and an inference model for estimating specific information from the multidimensional data subjected to dimensionality reduction by the dimensionality reduction model. .
  • the inference unit 202 uses the trained dimensionality reduction model and the trained inference model to estimate specific information from the multidimensional data.
  • the multidimensional data with correct answers storage unit 203 stores a set of multidimensional data with correct answers (hereinafter also referred to as a multidimensional data set with correct answers) used when learning the dimensionality reduction model and the inference model.
  • a multidimensional data set with correct answers is a set of multidimensional data to which correct answers (that is, so-called teacher data) of specific information to be estimated by an inference model are added.
  • an attribute that can take specific information to be estimated as a value is also referred to as an "estimation target attribute", and the other attributes are also referred to as "non-estimation target attributes”.
  • estimate target attribute an attribute that can take specific information to be estimated as a value
  • non-estimation target attributes A specific example of the multidimensional data set with correct answers will be described later.
  • the learning dimensionality reduction model storage unit 204 stores a dimensionality reduction model to be learned by the learning unit 201 (hereinafter also referred to as a learning dimensionality reduction model).
  • a dimensionality reduction model is a model for reducing the number of dimensions of multidimensional data, such as principal component analysis (PCA).
  • PCA principal component analysis
  • the dimensionality reduction model is PCA, but this is an example and other dimensionality reduction models may be used.
  • the learning inference model storage unit 205 stores an inference model to be learned by the learning unit 201 (hereinafter also referred to as a learning inference model).
  • An inference model is a model for estimating an attribute value to be estimated from multidimensional data that has undergone dimensionality reduction or the like, and is, for example, a neural network. A specific example of the inference model will be described later.
  • the learned dimensionality reduction model storage unit 206 stores the learned dimensionality reduction model learned by the learning unit 201 .
  • the learned inference model storage unit 207 stores the learned inference model learned by the learning unit 201.
  • the non-correct answer multidimensional data storage unit 208 stores a set of non-correct answer multidimensional data to which estimation target attribute values are not assigned and multidimensional data with correct answer (hereinafter also referred to as a non-correct answer multidimensional data set).
  • a multidimensional data set without correct answer is a multidimensional data set that includes multidimensional data to which an estimation target attribute value is not assigned.
  • a specific example of the non-correct answer multidimensional data set will be described later.
  • the estimation result storage unit 209 stores the estimation result by the inference unit 202 (that is, the estimation target attribute value estimated from the non-correct multidimensional data).
  • the learning unit 201 includes a dimension reduction unit 211, a binning unit 212, an information addition unit 213, and a learning processing unit 214.
  • the dimension reduction unit 211 receives the multidimensional data set with correct answer and the dimensionality reduction model for learning as input, and reduces the number of dimensions of non-estimation target attributes of each multidimensional data included in the multidimensional data set with correct answer.
  • the dimensionality reduction unit 211 outputs a set of multidimensional data after this dimensionality reduction (hereinafter also referred to as a dimensionality-reduced multidimensional data set with correct answers) and a trained dimensionality reduction model.
  • a dimensionality-reduced multidimensional data set with correct answers a set of multidimensional data after this dimensionality reduction
  • a trained dimensionality reduction model A specific example of the dimension-reduced correct multidimensional data set will be described later.
  • the binning unit 212 receives the dimension-reduced correct answer multidimensional data set as an input, and performs binning on non-estimation target attributes of each multidimensional data included in the dimension-reduced correct answer multidimensional data set. Then, the binning unit 212 outputs a set of multidimensional data after this binning (hereinafter also referred to as a binned multidimensional data set with correct answer). Binning is also called discretization, and divides the possible range of non-estimation target attributes contained in multidimensional data into bins of a certain interval, and determines which bin the value of the non-estimation target attribute belongs to. It is a method of replacing with a value that expresses
  • the information addition unit 213 receives the binned multidimensional data set with correct answer as input, and creates a learning multidimensional data set by adding additional information to each multidimensional data included in the binned multidimensional data set with correct answer. do.
  • the additional information refers to each non-estimation target attribute of each multidimensional data included in the binned correct answer multidimensional data set, while fixing the value of the non-estimation target attribute other than the non-estimation target attribute. It is information configured by the value of the inference target attribute when the value of the non-inference target attribute is changed.
  • the information addition unit 213 outputs the learning multidimensional data set.
  • a specific example of the learning multidimensional data set will be described later.
  • the learning processing unit 214 receives the multidimensional data set for learning and the inference model for learning as input, learns the inference model for learning, and creates a trained inference model. Then, the learning processing unit 214 outputs a learned inference model.
  • the inference unit 202 also includes a dimension reduction unit 221 , a binning unit 222 , an information addition unit 223 , and an estimation processing unit 224 .
  • the dimension reduction unit 221 receives the non-correct multidimensional data set and the trained dimensionality reduction model as input, and reduces the dimension of the non-estimation target attribute of each multidimensional data included in the non-correct multidimensional data set. Then, the dimension reduction unit 221 outputs a set of multidimensional data after the dimension reduction (hereinafter also referred to as a dimension-reduced non-correct multidimensional data set).
  • the binning unit 222 receives the dimension-reduced non-correct multidimensional data set as input, and performs binning on non-estimation target attributes of each multidimensional data included in the dimension-reduced non-correct multidimensional data set. Then, the binning unit 222 outputs a set of multidimensional data after this binning (hereinafter also referred to as a binned non-correct multidimensional data set).
  • the information addition unit 223 receives the binned non-correct answer multidimensional data set as an input, and creates an inference multidimensional data set by adding additional information to each multidimensional data included in the binned non-correct answer multidimensional data set. do.
  • the estimation processing unit 224 receives the inference multidimensional data set and the learned inference model as input, and estimates an inference target attribute value using the learned inference model. Then, the estimation processing unit 224 outputs the estimation target attribute value as an estimation result.
  • each unit shown in FIG. 1 may be distributed among a plurality of devices.
  • the learning unit 201 and the inference unit 202 may be included in different devices.
  • the device having the learning unit 201 may be called a “learning device”.
  • FIG. 3 is a flowchart showing an example of learning processing according to this embodiment.
  • Step S101 First, the dimension reduction unit 211 of the learning unit 201 inputs the multidimensional data set with correct answer stored in the multidimensional data with correct answer storage unit 203 .
  • FIG. 4 is a diagram showing an example of a multidimensional data set with correct answers in tabular form.
  • FIG. 4 is a tabular representation of a set of multidimensional data having "year/month”, “gender”, “age”, etc. as non-estimated attributes and "number of contracts" as an estimated target attribute. .
  • “Year and month” can take values indicating the year and month, such as “2019/4" and “2019/5”.
  • “Gender” can take the value of either “male” or “female”.
  • "Age” can take values indicating ages such as “teens”, “twenties”, and “thirties”.
  • the "number of contracts” takes as a value the number of contracts in the relevant year/month, gender, and age group.
  • the multidimensional data set with correct answer shown in FIG. 4 is an example, and the present embodiment can be applied to multidimensional data sets having various attributes.
  • the values that each attribute can take can be defined in various ways. For example, in the example shown in FIG. 4, "year and month” can take values for each month of a certain year, but it may take values for every other month of a certain year. It may take a value.
  • the "age” is not limited to taking values separated by 10 years, for example, it may take values such as “young age group” or "old age group", or "20 years old to 25 years old". The value may be a range such as "years old” or a specific age value such as "20 years old".
  • the "number of contracts" may be the number of contracted customers or the total number of contracts.
  • each multidimensional data contained in the multidimensional data set with correct answers has various non-estimable attributes other than “year/month”, “gender”, and “age”, and there are a total of N non-estimable attributes. attribute. That is, each multidimensional data included in the multidimensional data set with correct answers has N non-estimation target attributes and one estimation target attribute.
  • Step S102 Next, the dimensionality reduction unit 211 of the learning unit 201 inputs the multidimensional data set with correct answer and the dimensionality reduction model for learning stored in the dimensionality reduction model for learning storage unit 204, Reduce the number of dimensions of non-estimable attributes of each multidimensional data contained in the multidimensional dataset. As a result, the dimensionality reduction model for learning is learned, and a learned dimensionality reduction model is obtained.
  • N dimensions the number of dimensions of non-estimation target attributes has been reduced to three dimensions of the first principal component, the second principal component, and the third principal component by principal component analysis. Since the principal component analysis is a well-known method, detailed description thereof will be omitted.
  • the dimension reduction unit 211 of the learning unit 201 outputs the dimension-reduced multidimensional data set with correct answer to the binning unit 212 and outputs the trained dimension reduction model to the trained dimension reduction model storage unit 206 .
  • the trained dimensionality reduction model for example, converts N-dimensional data having N non-estimation target attributes into three-dimensional data having a first principal component, a second principal component, and a third principal component as attributes. It is the information representing the mapping and its parameters.
  • FIG. 5 is a diagram showing an example of a multidimensional data set with correct answers after dimensionality reduction in tabular form.
  • FIG. 5 is a tabular representation of a set of multidimensional data in which non-estimable attributes of each multidimensional data included in the multidimensional data set with correct answer shown in FIG. 4 are reduced to three dimensions. .
  • first principal component "first principal component”, “second principal component” and “third principal component” take the values of the first principal component, second principal component and third principal component, respectively, in principal component analysis. These first to third principal components may be non-estimable attributes of each multidimensional data contained in the multidimensional data set with correct answer shown in FIG. 4, or newly defined attributes may be
  • the multidimensional data set with correct answer after dimension reduction shown in FIG. It is possible to In general, the smaller the number of dimensions after dimensionality reduction, the more the amount of calculation can be reduced, but the estimation accuracy at the time of inference is reduced. Therefore, the number of dimensions after dimension reduction is appropriately determined in consideration of the type of target task, the calculation time required for the task, and the like.
  • Step S103 Next, the binning unit 212 of the learning unit 201 receives the dimensionality-reduced correct multidimensional data set as input, and non-estimation target attributes of each multidimensional data included in the dimensionality-reduced correct multidimensional data set. binning. Then, the binning unit 212 of the learning unit 201 outputs the binned multidimensional data set with correct answer to the information adding unit 213 .
  • FIG. 6 is a diagram showing an example of a binned multidimensional data set with correct answers in tabular form.
  • the example shown in FIG. 6 is a tabular representation of a set of multidimensional data obtained by binning the non-estimable attributes of each multidimensional data contained in the multidimensional data set with the dimension-reduced correct answer shown in FIG. It is.
  • Each multidimensional data included in the binned multidimensional data set with correct answer shown in FIG. ” as an inferred target attribute, and the values of each non-inferred target attribute are binned.
  • the binned multidimensional data set with correct answer shown in FIG. 6 is an example, and for example, the interval width of the bins during binning can be appropriately set to any value.
  • Step S104 Next, the information addition unit 213 of the learning unit 201 receives the binned multidimensional data set with correct answer as input, and adds additional information to each multidimensional data included in the binned multidimensional data set with correct answer. Create a given training multidimensional dataset. Then, the information addition unit 213 of the learning unit 201 outputs the learning multidimensional data set to the learning processing unit 214 .
  • the additional information is, as described above, fixed values of non-estimation target attributes other than the non-estimation target attributes for each non-estimation target attribute of each multidimensional data included in the binned multidimensional data set with correct answers. It is information composed of the value of the inference target attribute when the value of the non-inference target attribute is changed (within the range of values that the non-inference target attribute can take) while the value of the inference target attribute is changed.
  • the value of such an inference target attribute is the binned correct answer of the value of the inference target attribute when the value of the non-estimation target attribute is changed while the value of the non-estimation target attribute other than the non-estimation target attribute is fixed. It is obtained by searching from a multidimensional data set with and aggregating those estimated target attribute values.
  • FIG. 7 is a diagram showing an example of a learning multidimensional data set in tabular form.
  • FIG. 7 is a tabular representation of a set of multidimensional data in which additional information is added to each piece of multidimensional data included in the binned multidimensional data set with correct answers shown in FIG. Each piece of multidimensional data included in the multidimensional data set for learning shown in FIG. additional information is added.
  • “Fixed other than 1st principal component” tabulates the value of the non-estimable attribute (number of contracts) when the value of the 1st principal component is changed while the values of the 2nd and 3rd principal components are fixed. It is what I did. In the example shown in FIG. 7, the number of contracts is tabulated when the value of the first principal component is changed to "0", "1", etc., respectively.
  • “Fixed other than 2nd principal component” tabulates the value of the non-estimable attribute (number of contracts) when the value of the 2nd principal component is changed while the values of the 1st and 3rd principal components are fixed. It is what I did. In the example shown in FIG. 7, the number of contracts is tabulated when the value of the second principal component is changed to "0", "1", etc., respectively.
  • “Fixed other than the 3rd principal component” aggregates the value of the non-estimable attribute (number of contracts) when the value of the 3rd principal component is changed while the values of the 1st and 2nd principal components are fixed. It is what I did. In the example shown in FIG. 7, the number of contracts is totaled when the value of the third principal component is changed to "0", "1", etc., respectively.
  • a non-estimation target attribute value set is defined as a set of values of the "first principal component”, “second principal component”, and “third principal component” of each multidimensional data included in the multidimensional data set for learning. It is also called W, and the set of additional information is represented by X.
  • Multidimensional data set for learning shown in FIG. 7 is an example.
  • Multidimensional data may be created with unknowns (for example, set to "-" or null value).
  • Step S105 Next, the learning processing unit 214 of the learning unit 201 inputs the learning multidimensional data set and the learning inference model stored in the learning inference model storage unit 205, and and create a trained inference model. That is, the learning processing unit 214 of the learning unit 201 receives a vector w ⁇ W representing a set of non-estimation target attribute values and additional information x ⁇ X corresponding to w, and correctly estimates the estimation target attribute value y. (that is, to minimize the error between the estimated target attribute value y estimated by the learning inference model and its correct answer), the parameters of the learning inference model are set using a known error backpropagation method, etc. learn. Note that x corresponding to w is x in the same row as the set of non-estimation target attribute values represented by w in the learning multidimensional data set.
  • the inference model is not particularly limited, but for example, a neural network as shown in Fig. 8 may be used as the inference model.
  • the neural network shown in FIG. 8 is a model that receives as input a vector w representing a set of non-estimation target attribute values and its additional information x, and outputs an estimation target attribute value y.
  • a neural network as shown in FIG. 9 may be used as an inference model.
  • the neural network shown in FIG. 9 receives a vector w representing a set of non-estimation target attribute values and its additional information x, and outputs a vector w′ representing a set of estimation target attribute values y and non-estimation target attribute values.
  • a neural network as shown in FIG. 9 as an inference model, it is possible to appropriately extract features from the additional information x. High estimation accuracy can be expected.
  • Step S106 Finally, the learning processing unit 214 of the learning unit 201 outputs the learned inference model to the learned inference model storage unit 207.
  • FIG. 10 is a flowchart showing an example of inference processing according to this embodiment.
  • Step S201 First, the dimension reduction unit 221 of the inference unit 202 inputs the multidimensional data without correct answers stored in the multidimensional data storage unit 208 without correct answers.
  • FIG. 11 is a diagram showing an example of a non-correct multidimensional data set in tabular form.
  • the example shown in FIG. 11 is a tabular representation of a set of multidimensional data having "year/month”, “sex”, “age”, etc. as non-estimation target attributes and "number of contracts" as an estimation target attribute. .
  • the multidimensional data in the first row of the multidimensional data set without correct answer shown in FIG. 200).
  • (year/month, sex, age, ..., number of contracts) (2020/5, female, twenties, ..., -). That is, in the multidimensional data in the second row, the number of contracts, which is the attribute value to be estimated, is unknown.
  • the non-correct multidimensional data set includes at least multidimensional data whose attribute values to be estimated are unknown.
  • Step S202 Next, the dimensionality reduction unit 221 of the inference unit 202 inputs the non-correct multidimensional data set and the learned dimensionality reduction model stored in the learned dimensionality reduction model storage unit 206.
  • the dimensionality reduction model is used to reduce the number of dimensions of non-estimation target attributes of each multidimensional data included in the non-correct answer multidimensional data set. Then, the dimension reduction unit 221 of the inference unit 202 outputs the dimension-reduced non-correct multidimensional data set to the binning unit 212 .
  • FIG. 12 is a diagram showing an example of a dimension-reduced non-correct multidimensional data set in tabular form.
  • the example shown in FIG. 12 is a tabular representation of a set of multidimensional data obtained by reducing the non-estimable attributes of each multidimensional data contained in the non-correct multidimensional data set shown in FIG. 11 to three dimensions. .
  • Step S203 Next, the binning unit 222 of the inference unit 202 receives the dimension-reduced non-correct multidimensional data set as input, and the non-estimation target attribute of each multidimensional data included in the dimension-reduced non-correct multidimensional data set. binning. Then, the binning unit 222 of the inference unit 202 outputs the binned non-correct multidimensional data set to the information adding unit 223 .
  • FIG. 13 is a diagram showing an example of a binned non-correct multidimensional data set in tabular form.
  • the example shown in FIG. 13 is a tabular representation of a set of multidimensional data obtained by binning non-estimable attributes of each multidimensional data included in the dimension-reduced non-correct multidimensional data set shown in FIG. It is.
  • Each multidimensional data included in the binned non-correct answer multidimensional data set shown in FIG. ” as an inferred target attribute, and the values of each non-inferred target attribute are binned.
  • Step S204 Next, the information addition unit 223 of the inference unit 202 receives the binned non-correct answer multidimensional data set as input, and adds additional information to each multidimensional data included in the binned non-correct answer multidimensional data set. Create a given inference multidimensional dataset. Then, the information addition unit 223 of the inference unit 202 outputs the inference multidimensional data set to the estimation processing unit 224 .
  • FIG. 14 is a diagram showing an example of a multidimensional data set for inference in tabular form.
  • FIG. 14 is a tabular representation of a set of multidimensional data in which additional information is added to each piece of multidimensional data included in the binned non-correct answer multidimensional data set shown in FIG. Each multidimensional data included in the multidimensional data set for inference shown in FIG. additional information is added.
  • a set of sets of values of “first principal component”, “second principal component” and “third principal component” of each multidimensional data included in the inference multidimensional data set is It is also called non-estimation target attribute value set W, and the set of additional information is represented by X.
  • Step S205 Next, the estimation processing unit 224 of the inference unit 202 inputs the inference multidimensional data set and the learned inference model stored in the learned inference model storage unit 207, and Estimates the attribute value to be estimated by That is, the estimation processing unit 224 of the inference unit 202 receives as input a vector w ⁇ W representing a set of non-estimation target attribute values and additional information x ⁇ X corresponding to w, and uses the learned inference model to determine the estimation target attribute. Estimate the value y.
  • Step S ⁇ b>206 Finally, the estimation processing unit 224 of the inference unit 202 outputs the estimation result of the learned inference model (that is, the estimation target attribute value y) to the estimation result storage unit 209 .
  • the inference apparatus 10 changes the value of each non-estimation target attribute while fixing the value of the non-estimation target attribute other than the non-estimation target attribute. After creating additional information composed of the value of the attribute to be estimated at the time, learning and inference are performed using this additional information as well. As a result, global features can be extracted, enabling more accurate inference.
  • the inference device 10 reduces the number of dimensions of non-estimation target attributes and reduces the number of attribute values of each non-estimation target attribute by binning before creating additional information. This makes it possible to reduce the amount of calculation even when the number of non-estimation target attributes and the number of attribute values are large. For example, if the number of non-estimable attributes before dimensionality reduction is N and the average of the attribute values is M, calculation must be performed for N ⁇ M attribute values without dimensionality reduction and binning. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一実施形態に係る学習方法は、推定対象の属性を示す推定対象属性と、前記推定対象属性以外の属性を示す２以上の非推定対象属性とを持つ多次元データを入力する入力手順と、前記多次元データの非推定対象属性の次元数を削減する次元削減手順と、前記次元削減後の多次元データの前記非推定対象属性の値をビニングするビニング手順と、前記ビニング後の多次元データに対して、所定の付加情報を付加する情報付加手順と、前記付加情報が付加された多次元データを用いて、前記推定対象属性の値を推定するための推論モデルのパラメータを学習する学習手順と、をコンピュータが実行する。

Description

学習方法、推論方法、学習装置、推論装置、及びプログラム
　本発明は、学習方法、推論方法、学習装置、推論装置、及びプログラムに関する。
　年月、性別、年代等といった複数の属性を有する多次元データを用いて、或る特定の情報を推定するタスクが広く行われている。
　多次元データを用いて情報を推定する手法としては、例えば、多重パーセプトロン（ＭＬＰ：multi layer perceptron）、Ｎ次元の畳み込み（非特許文献１参照）等が知られている。
「Ｎ次元の畳み込み」、インターネット＜ＵＲＬ：https://jp.mathworks.com/help/matlab/ref/convn.html＞
　上記のＭＬＰでは、属性値集合のみを用いて推論が行われる。例えば、（年月，性別，年代）＝（２０２０年４月，男性，３０代）といった属性値集合のみを入力として、特定の情報（例えば、契約数）が推定される。しかしながら、ＭＬＰでは広範囲の傾向（例えば、時系列の周期性等）を捉えることが困難であり、推定精度が高くない場合がある。
　また、上記のＮ次元の畳み込みでは、属性値集合とそれに隣接する属性値集合とを用いて推論が行われる。例えば、｛（年月，性別，年代）｜年月＝２０２０年３月，２０２０年４月，２０２０年５月，性別＝男性，女性，年代＝２０代，３０代，４０代｝といった属性値集合の集まりを入力として特定情報（例えば、契約数）が推定される。しかしながら、Ｎ次元の畳み込みでは、隣接の定義がないカテゴリカルな属性（例えば、職業、国名等）に対しては適用が困難である。また、次元数がＮのとき或る属性値集合に隣接する属性値集合の数は３Ｎ－１であり、次元数Ｎが増えると隣接数が指数的に増えるという問題がある。
　本発明の一実施形態は、上記の点に鑑みてなされたもので、多次元データから特定の情報を高精度かつ低計算量で推定することを目的とする。
　上記目的を達成するため、一実施形態に係る学習方法は、推定対象の属性を示す推定対象属性と、前記推定対象属性以外の属性を示す２以上の非推定対象属性とを持つ多次元データを入力する入力手順と、前記多次元データの非推定対象属性の次元数を削減する次元削減手順と、前記次元削減後の多次元データの前記非推定対象属性の値をビニングするビニング手順と、前記ビニング後の多次元データに対して、所定の付加情報を付加する情報付加手順と、前記付加情報が付加された多次元データを用いて、前記推定対象属性の値を推定するための推論モデルのパラメータを学習する学習手順と、をコンピュータが実行する。
　多次元データから特定の情報を高精度かつ低計算量で推定することができる。
本実施形態に係る推論装置のハードウェア構成の一例を示す図である。 本実施形態に係る推論装置の機能構成の一例を示す図である。 本実施形態に係る学習処理の一例を示すフローチャートである。 正解付き多次元データセットの一例を表形式で示す図である。 次元削減済み正解付き多次元データセットの一例を表形式で示す図である。 ビニング済み正解付き多次元データセットの一例を表形式で示す図である。 学習用多次元データセットの一例を表形式で示す図である。 推論モデルの一例を示す図である。 推論モデルの他の例を示す図である。 本実施形態に係る推論処理の一例を示すフローチャートである。 正解無し多次元データセットの一例を表形式で示す図である。 次元削減済み正解無し多次元データセットの一例を表形式で示す図である。 ビニング済み正解無し多次元データセットの一例を表形式で示す図である。 推論用多次元データセットの一例を表形式で示す図である。
　以下、本発明の一実施形態について説明する。多次元データから特定の情報を高精度かつ低計算量で推定することができる推論装置１０について説明する。
　＜ハードウェア構成＞
　まず、本実施形態に係る推論装置１０のハードウェア構成について、図１を参照しながら説明する。図１は、本実施形態に係る推論装置１０のハードウェア構成の一例を示す図である。
　図１に示すように、本実施形態に係る推論装置１０は一般的なコンピュータ又はコンピュータシステムのハードウェア構成で実現され、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、プロセッサ１０５と、メモリ装置１０６とを有する。これらの各ハードウェアは、それぞれがバス１０７により通信可能に接続される。
　入力装置１０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置１０２は、例えば、ディスプレイ等である。なお、推論装置１０は、例えば、入力装置１０１及び表示装置１０２のうちの少なくとも一方を有していなくてもよい。
　外部Ｉ／Ｆ１０３は、記録媒体１０３ａ等の外部装置とのインタフェースである。推論装置１０は、外部Ｉ／Ｆ１０３を介して、記録媒体１０３ａの読み取りや書き込み等を行うことができる。なお、記録媒体１０３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。
　通信Ｉ／Ｆ１０４は、推論装置１０を通信ネットワークに接続するためのインタフェースである。プロセッサ１０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。メモリ装置１０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。
　本実施形態に係る推論装置１０は、図１に示すハードウェア構成を有することにより、後述する学習処理と推論処理を実現することができる。なお、図１に示すハードウェア構成は一例であって、推論装置１０は、例えば、複数のプロセッサ１０５を有していてもよいし、複数のメモリ装置１０６を有していてもよい。
　＜機能構成＞
　次に、本実施形態に係る推論装置１０の機能構成について、図２を参照しながら説明する。図２は、本実施形態に係る推論装置１０の機能構成の一例を示す図である。
　図２に示すように、本実施形態に係る推論装置１０は、学習部２０１と、推論部２０２とを有する。これら各部は、例えば、推論装置１０にインストールされた１以上のプログラムがプロセッサ１０５に実行させる処理により実現される。
　また、本実施形態に係る推論装置１０は、正解付き多次元データ記憶部２０３と、学習用次元削減モデル記憶部２０４と、学習用推論モデル記憶部２０５と、学習済み次元削減モデル記憶部２０６と、学習済み推論モデル記憶部２０７と、正解無し多次元データ記憶部２０８と、推定結果記憶部２０９とを有する。これら各部は、例えば、メモリ装置１０６により実現される。なお、これら各部のうちの少なくとも１つが、推論装置１０と通信ネットワークを介して接続される記憶装置等により実現されてもよい。
　学習部２０１は、多次元データの次元数を削減するための次元削減モデルと、この次元削減モデルによる次元削減等を行った多次元データから特定の情報を推定するための推論モデルとを学習する。
　推論部２０２は、学習済み次元削減モデルと学習済み推論モデルとを用いて、多次元データから特定の情報を推定する。
　正解付き多次元データ記憶部２０３は、次元削減モデルと推論モデルの学習時に用いられる正解付き多次元データの集合（以下、正解付き多次元データセットともいう）を記憶する。正解付き多次元データセットとは、推論モデルの推定対象となる特定の情報の正解（つまり、いわゆる教師データ）が付与された多次元データの集合のことである。以下では、多次元データの各属性のうち、推定対象となる特定の情報を値として取り得る属性を「推定対象属性」、それ以外の属性の「非推定対象属性」ともいう。なお、正解付き多次元データセットの具体例については後述する。
　学習用次元削減モデル記憶部２０４は、学習部２０１による学習対象となる次元削減モデル（以下、学習用次元削減モデルともいう。）を記憶する。次元削減モデルとは、多次元データの次元数を削減するためのモデルのことであり、例えば、主成分分析（ＰＣＡ：principal component analysis）等である。本実施形態では、次元削減モデルはＰＣＡであるものとするが、これは一例であって、他の次元削減モデルが用いられてもよい。
　学習用推論モデル記憶部２０５は、学習部２０１による学習対象となる推論モデル（以下、学習用推論モデルともいう。）を記憶する。推論モデルとは、次元削減等を行った多次元データから推定対象属性値を推定するためのモデルのことであり、例えば、ニューラルネットワーク等のことである。なお、推論モデルの具体例については後述する。
　学習済み次元削減モデル記憶部２０６は、学習部２０１によって学習された学習済み次元削減モデルを記憶する。
　学習済み推論モデル記憶部２０７は、学習部２０１によって学習された学習済み推論モデルを記憶する。
　正解無し多次元データ記憶部２０８は、推定対象属性値が付与されていない正解無し多次元データと、正解付き多次元データとの集合（以下、正解無し多次元データセットともいう）を記憶する。正解無し多次元データセットとは、推定対象属性値が付与されていない多次元データが含まれる多次元データセットのことである。なお、正解無し多次元データセットの具体例については後述する。
　推定結果記憶部２０９は、推論部２０２による推定結果（つまり、正解無し多次元データから推定された推定対象属性値）を記憶する。
　ここで、学習部２０１には、次元削減部２１１と、ビニング部２１２と、情報付加部２１３と、学習処理部２１４とが含まれる。
　次元削減部２１１は、正解付き多次元データセットと学習用次元削減モデルとを入力として、当該正解付き多次元データセットに含まれる各多次元データの非推定対象属性の次元数を削減する。
　そして、次元削減部２１１は、この次元削減後の多次元データの集合（以下、次元削減済み正解付き多次元データセットともいう）と、学習済み次元削減モデルとを出力する。なお、次元削減済み正解付き多次元データセットの具体例については後述する。
　ビニング部２１２は、次元削減済み正解付き多次元データセットを入力として、当該次元削減済み正解付き多次元データセットに含まれる各多次元データの非推定対象属性に対してビニングを行う。そして、ビニング部２１２は、このビニング後の多次元データの集合（以下、ビニング済み正解付き多次元データセットともいう）を出力する。なお、ビニングとは離散化とも呼ばれ、多次元データに含まれる非推定対象属性の取り得る範囲を或る一定区間のビンに分割し、その非推定対象属性の値を、どのビンに属するかを表現する値に置き換える手法のことである。
　情報付加部２１３は、ビニング済み正解付き多次元データセットを入力として、当該ビニング済み正解付き多次元データセットに含まれる各多次元データに対して付加情報を付与した学習用多次元データセットを作成する。ここで、付加情報とは、ビニング済み正解付き多次元データセットに含まれる各多次元データの各非推定対象属性に関して、その非推定対象属性以外の非推定対象属性の値を固定したまま、その非推定対象属性の値を変化させたときの推定対象属性の値で構成される情報のことである。
　そして、情報付加部２１３は、学習用多次元データセットを出力する。なお、学習用多次元データセットの具体例については後述する。
　学習処理部２１４は、学習用多次元データセットと学習用推論モデルとを入力として、当該学習用推論モデルを学習し、学習済み推論モデルを作成する。そして、学習処理部２１４は、学習済み推論モデルを出力する。
　また、推論部２０２には、次元削減部２２１と、ビニング部２２２と、情報付加部２２３と、推定処理部２２４とが含まれる。
　次元削減部２２１は、正解無し多次元データセットと学習済み次元削減モデルとを入力として、当該正解無し多次元データセットに含まれる各多次元データの非推定対象属性の次元を削減する。そして、次元削減部２２１は、この次元削減後の多次元データの集合（以下、次元削減済み正解無し多次元データセットともいう）を出力する。
　ビニング部２２２は、次元削減済み正解無し多次元データセットを入力として、当該次元削減済み正解無し多次元データセットに含まれる各多次元データの非推定対象属性に対してビニングを行う。そして、ビニング部２２２は、このビニング後の多次元データの集合（以下、ビニング済み正解無し多次元データセットともいう）を出力する。
　情報付加部２２３は、ビニング済み正解無し多次元データセットを入力として、当該ビニング済み正解無し多次元データセットに含まれる各多次元データに対して付加情報を付与した推論用多次元データセットを作成する。
　推定処理部２２４は、推論用多次元データセットと学習済み推論モデルとを入力として、当該学習済み推論モデルにより推定対象属性値を推定する。そして、推定処理部２２４は、推定対象属性値を推定結果として出力する。
　なお、図１に示す各部は複数の装置が分散して有していてもよい。特に、例えば、学習部２０１と推論部２０２は異なる装置が有していてもよい。このとき、学習部２０１を有する装置を「学習装置」と呼んでもよい。
　＜学習処理＞
　次に、本実施形態に係る学習処理について、図３を参照しながら説明する。図３は、本実施形態に係る学習処理の一例を示すフローチャートである。
　ステップＳ１０１：まず、学習部２０１の次元削減部２１１は、正解付き多次元データ記憶部２０３に記憶されている正解付き多次元データセットを入力する。
　ここで、正解付き多次元データセットの具体例について、図４を参照しながら説明する。図４は、正解付き多次元データセットの一例を表形式で示す図である。
　図４に示す例は、「年月」、「性別」、「年代」等を非推定対象属性、「契約数」を推定対象属性として持つ多次元データの集合を表形式で表したものである。
　「年月」は、「２０１９／４」、「２０１９／５」等といった年及び月を示す値を取り得る。「性別」は、「男性」又は「女性」のいずれかの値を取り得る。「年代」は、「１０代」、「２０代」、「３０代」等といった年代を示す値を取り得る。「契約数」は、当該年月、性別及び年代における契約数を値として取る。
　例えば、図４に示す正解付き多次元データセットの１行目の多次元データでは、（年月，性別，年代，・・・，契約数）＝（２０１９／４，男性，３０代，・・・，２００）である。同様に、２行目の多次元データでは、（年月，性別，年代，・・・，契約数）＝（２０１９／５，女性，２０代，・・・，１００）である。
　なお、図４に示す正解付き多次元データセットは一例であって、本実施形態は様々な属性を持つ多次元データの集合に対して適用可能である。また、各属性が取り得る値も様々に定義され得る。例えば、図４に示す例では「年月」は或る年の毎月の値を取り得るが、例えば、或る年の隔月の値を取るものであってもよいし、隔年の毎月又は隔月の値を取るものであってもよい。同様に、「年代」は１０歳毎に区切られた値を取る場合に限られず、例えば、「若年層」や「高齢層」といった値を取るものであってもよいし、「２０歳～２５歳」等といった範囲を値に取るものであってもよいし、「２０歳」等といった特定の年齢の値に取るものであってもよい。また、「契約数」についても、契約した顧客数であってもよいし、契約の延べ数等であってもよい。
　以下では、正解付き多次元データセットに含まれる各多次元データは「年月」、「性別」、「年代」以外にも様々な非推定対象属性を持っており、合計Ｎ個の非推定対象属性を持っているものとする。すなわち、正解付き多次元データセットに含まれる各多次元データは、Ｎ個の非推定対象属性と、１個の推定対象属性とを持っているものとする。
　ステップＳ１０２：次に、学習部２０１の次元削減部２１１は、正解付き多次元データセットと、学習用次元削減モデル記憶部２０４に記憶されている学習用次元削減モデルとを入力として、当該正解付き多次元データセットに含まれる各多次元データの非推定対象属性の次元数を削減する。これにより、学習用次元削減モデルが学習され、学習済み次元削減モデルが得られる。以下では、一例として、主成分分析により非推定対象属性の次元数（Ｎ次元）が、第１主成分、第２主成分及び第３主成分の３次元に削減されたものとする。なお、主成分分析は既知の手法であるため、その詳細な説明は省略する。
　そして、学習部２０１の次元削減部２１１は、次元削減済み正解付き多次元データセットをビニング部２１２に出力すると共に、学習済み次元削減モデルを学習済み次元削減モデル記憶部２０６に出力する。なお、学習済み次元削減モデルとは、例えば、Ｎ個の非推定対象属性を持つＮ次元データを、第１主成分、第２主成分及び第３主成分を属性として持つ３次元データに変換する写像やそのパラメータ等を表す情報のことである。
　ここで、次元削減済み正解付き多次元データセットの具体例について、図５を参照しながら説明する。図５は、次元削減済み正解付き多次元データセットの一例を表形式で示す図である。
　図５に示す例は、図４に示す正解付き多次元データセットに含まれる各多次元データの非推定対象属性を３次元に次元削減した多次元データの集合を表形式で表したものである。図５に示す次元削減済み正解付き多次元データセットに含まれる各多次元データは、「第１主成分」、「第２主成分」、「第３主成分」を非推定対象属性、「契約数」を推定対象属性として持つ。
　「第１主成分」、「第２主成分」及び「第３主成分」は、主成分分析でそれぞれ第１主成分、第２主成分及び第３主成分とした値を取る。なお、これらの第１主成分～第３主成分は、図４に示す正解付き多次元データセットに含まれる各多次元データが持つ非推定対象属性であってもよいし、新たに定義した属性であってもよい。
　例えば、図５に示す次元削減済み正解付き多次元データセットの１行目の多次元データは、図４に示す正解付き多次元データセットの１行目の多次元データを次元削減したものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（５３，２８，１０３，２００）である。同様に、２行目の多次元データは、図４に示す正解付き多次元データセットの２行目の多次元データを次元削減したものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（２４，８０，９，１００）である。
　なお、図５に示す次元削減済み正解付き多次元データセットは一例であって、例えば、次元削減後の次元数は、適宜、任意の値（ただし、Ｎよりも小さい２以上の整数値）とすることが可能である。一般に、次元削減後の次元数が小さい方が、より計算量を削減できる一方で、推論時の推定精度が低下する。このため、次元削減後の次元数は、目的とするタスクの種類やそのタスクで要求される計算時間等を考慮して適宜決定される。
　ステップＳ１０３：次に、学習部２０１のビニング部２１２は、次元削減済み正解付き多次元データセットを入力として、当該次元削減済み正解付き多次元データセットに含まれる各多次元データの非推定対象属性に対してビニングを行う。そして、学習部２０１のビニング部２１２は、ビニング済み正解付き多次元データセットを情報付加部２１３に出力する。
　ここで、ビニング済み正解付き多次元データセットの具体例について、図６を参照しながら説明する。図６は、ビニング済み正解付き多次元データセットの一例を表形式で示す図である。
　図６に示す例は、図５に示す次元削減済み正解付き多次元データセットに含まれる各多次元データの非推定対象属性に対してビニングを行った多次元データの集合を表形式で表したものである。図６に示すビニング済み正解付き多次元データセットに含まれる各多次元データは、「第１主成分」、「第２主成分」、「第３主成分」を非推定対象属性、「契約数」を推定対象属性として持ち、各非推定対象属性の値はビニングされている。
　例えば、図６に示すビニング済み正解付き多次元データセットの１行目の多次元データは、図５に示す次元削減済み正解付き多次元データセットの１行目の多次元データの非推定対象属性の値をビニングしたものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（５，３，１０，２００）である。同様に、２行目の多次元データは、図５に示す次元削減済み正解付き多次元データセットの２行目の多次元データの非推定対象属性の値をビニングしたものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（２，８，１，１００）である。
　なお、図６に示すビニング済み正解付き多次元データセットは一例であって、例えば、ビニングする際のビンの区間幅等は、適宜、任意の値とすることが可能である。
　ステップＳ１０４：次に、学習部２０１の情報付加部２１３は、ビニング済み正解付き多次元データセットを入力として、当該ビニング済み正解付き多次元データセットに含まれる各多次元データに対して付加情報を付与した学習用多次元データセットを作成する。そして、学習部２０１の情報付加部２１３は、学習用多次元データセットを学習処理部２１４に出力する。
　なお、付加情報とは、上述したように、ビニング済み正解付き多次元データセットに含まれる各多次元データの各非推定対象属性に関して、その非推定対象属性以外の非推定対象属性の値を固定したまま、その非推定対象属性の値を変化（ただし、その非推定対象属性が取り得る値の範囲内で変化）させたときの推定対象属性の値で構成される情報のことである。このような推定対象属性の値は、当該非推定対象属性以外の非推定対象属性の値を固定したまま、当該非推定対象属性の値を変化させたときの推定対象属性の値をビニング済み正解付き多次元データセットから検索し、それらの推定対象属性値を集計することで得られる。
　ここで、学習用多次元データセットの具体例について、図７を参照しながら説明する。図７は、学習用多次元データセットの一例を表形式で示す図である。
　図７に示す例は、図６に示すビニング済み正解付き多次元データセットに含まれる各多次元データに対して付加情報を付加した多次元データの集合を表形式で表したものである。図７に示す学習用多次元データセットに含まれる各多次元データには、「第１主成分以外固定」と「第２主成分以外固定」と「第３主成分以外固定」とで構成される付加情報が付加されている。
　「第１主成分以外固定」は、第２主成分及び第３主成分の値を固定したまま、第１主成分の値を変化させたときの非推定対象属性の値（契約数）を集計したものである。図７に示す例では、第１主成分の値を「０」、「１」等にそれぞれ変化させたときの契約数を集計したものである。
　「第２主成分以外固定」は、第１主成分及び第３主成分の値を固定したまま、第２主成分の値を変化させたときの非推定対象属性の値（契約数）を集計したものである。図７に示す例では、第２主成分の値を「０」、「１」等にそれぞれ変化させたときの契約数を集計したものである。
　「第３主成分以外固定」は、第１主成分及び第２主成分の値を固定したまま、第３主成分の値を変化させたときの非推定対象属性の値（契約数）を集計したものである。図７に示す例では、第３主成分の値を「０」、「１」等にそれぞれ変化させたときの契約数を集計したものである。
　例えば、図７に示す学習用多次元データセットの１行目の多次元データの「第１主成分以外固定」の「０」は、図６に示すビニング済み正解付き多次元データセットの１行目の多次元データセットの第１主成分の値を「０」に変化させたときの契約数を集計したものである。すなわち、図７に示す学習用多次元データセットの１行目の多次元データの「第１主成分以外固定」の「０」は、図６に示すビニング済み正解付き多次元データセットで（第１主成分，第２主成分，第３主成分）＝（０，３，１０）である契約数を集計した値「４００」である。
　同様に、図７に示す学習用多次元データセットの１行目の多次元データの「第１主成分以外固定」の「１」は、図６に示すビニング済み正解付き多次元データセットの１行目の多次元データセットの第１主成分の値を「１」に変化させたときの契約数を集計したものである。すなわち、図７に示す学習用多次元データセットの１行目の多次元データの「第１主成分以外固定」の「１」は、図６に示すビニング済み正解付き多次元データセットで（第１主成分，第２主成分，第３主成分）＝（１，３，１０）である契約数を集計した値「７００」である。
　同様に、図７に示す学習用多次元データセットの１行目の多次元データの「第２主成分以外固定」の「０」は、図６に示すビニング済み正解付き多次元データセットの１行目の多次元データセットの第２主成分の値を「０」に変化させたときの契約数を集計したものである。すなわち、図７に示す学習用多次元データセットの１行目の多次元データの「第２主成分以外固定」の「０」は、図６に示すビニング済み正解付き多次元データセットで（第１主成分，第２主成分，第３主成分）＝（５，０，１０）である契約数を集計した値「４００」である。
　同様に、図７に示す学習用多次元データセットの１行目の多次元データの「第２主成分以外固定」の「１」は、図６に示すビニング済み正解付き多次元データセットの１行目の多次元データセットの第２主成分の値を「１」に変化させたときの契約数を集計したものである。すなわち、図７に示す学習用多次元データセットの１行目の多次元データの「第２主成分以外固定」の「１」は、図６に示すビニング済み正解付き多次元データセットで（第１主成分，第２主成分，第３主成分）＝（５，１，１０）である契約数を集計した値「５００」である。
　付加情報のその他の属性についても同様である。以下では、学習用多次元データセットに含まれる各多次元データの「第１主成分」、「第２主成分」及び「第３主成分」の値の組の集合を非推定対象属性値集合Ｗともいい、その付加情報の集合をＸで表すものとする。
　なお、図７に示す学習用多次元データセットは一例であって、例えば、データ拡張等の手法を利用して、学習用多次元データセットに含まれる多次元データからその付加情報の一部を未知（例えば、「－」又は空値等を設定）にした多次元データを作成してもよい。
　ステップＳ１０５：次に、学習部２０１の学習処理部２１４は、学習用多次元データセットと、学習用推論モデル記憶部２０５に記憶されている学習用推論モデルとを入力として、当該学習用推論モデルを学習し、学習済み推論モデルを作成する。すなわち、学習部２０１の学習処理部２１４は、非推定対象属性値の組を表すベクトルｗ∈Ｗと、このｗに対応する付加情報ｘ∈Ｘとを入力として、推定対象属性値ｙが正しく推定されるように（つまり、学習用推論モデルで推定した推定対象属性値ｙとその正解との誤差を最小化するように）、既知の誤差逆伝播法等を用いて学習用推論モデルのパラメータを学習する。なお、ｗに対応するｘとは、学習用多次元データセットでｗが表す非推定対象属性値の組同一行のｘのことである。
　ここで、推論モデルは特に限定されないが、例えば、図８に示すようなニューラルネットワークを推論モデルとすることが考えられる。図８に示すニューラルネットワークは、非推定対象属性値の組を表すベクトルｗとその付加情報ｘとを入力として、推定対象属性値ｙを出力するモデルである。
　また、例えば、図９に示すようなニューラルネットワークを推論モデルとしてもよい。図９に示すニューラルネットワークは、非推定対象属性値の組を表すベクトルｗとその付加情報ｘとを入力として、推定対象属性値ｙと非推定対象属性値の組を表すベクトルｗ'とを出力するモデルである。このモデルを用いる場合には、推定対象属性値ｙに加えて、ｗ'がｗを正しく再現するように、学習用推論モデルのパラメータを学習する。すなわち、推定対象属性値ｙに加えて、元のｗを再現するｗ'がマルチタスクに推定されるように、学習用推論モデルのパラメータを学習する。図９に示すようなニューラルネットワークを推論モデルとすることで、付加情報ｘから特徴を適切に抽出することができるため、推定対象属性値ｙに当該特徴を十分に反映させることが可能となり、より高い推定精度が得られることが期待できる。
　ステップＳ１０６：最後に、学習部２０１の学習処理部２１４は、学習済み推論モデルを学習済み推論モデル記憶部２０７に出力する。
　＜推論処理＞
　次に、本実施形態に係る推論処理について、図１０を参照しながら説明する。図１０は、本実施形態に係る推論処理の一例を示すフローチャートである。
　ステップＳ２０１：まず、推論部２０２の次元削減部２２１は、正解無し多次元データ記憶部２０８に記憶されている正解無し多次元データを入力する。
　ここで、正解無し多次元データセットの具体例について、図１１を参照しながら説明する。図１１は、正解無し多次元データセットの一例を表形式で示す図である。
　図１１に示す例は、「年月」、「性別」、「年代」等を非推定対象属性、「契約数」を推定対象属性として持つ多次元データの集合を表形式で表したものである。図１１に示す正解無し多次元データセットの１行目の多次元データでは、（年月，性別，年代，・・・，契約数）＝（２０２０／４，男性，３０代，・・・，２００）である。一方で、２行目の多次元データでは、（年月，性別，年代，・・・，契約数）＝（２０２０／５，女性，２０代，・・・，－）である。つまり、２行目の多次元データでは、推定対象属性値である契約数が未知である。このように、正解無し多次元データセットには、推定対象属性値が未知である多次元データが少なくとも含まれている。
　ステップＳ２０２：次に、推論部２０２の次元削減部２２１は、正解無し多次元データセットと、学習済み次元削減モデル記憶部２０６に記憶されている学習済み次元削減モデルとを入力として、当該学習済み次元削減モデルにより、当該正解無し多次元データセットに含まれる各多次元データの非推定対象属性の次元数を削減する。そして、推論部２０２の次元削減部２２１は、次元削減済み正解無し多次元データセットをビニング部２１２に出力する。
　ここで、次元削減済み正解無し多次元データセットの具体例について、図１２を参照しながら説明する。図１２は、次元削減済み正解無し多次元データセットの一例を表形式で示す図である。
　図１２に示す例は、図１１に示す正解無し多次元データセットに含まれる各多次元データの非推定対象属性を３次元に次元削減した多次元データの集合を表形式で表したものである。図１２に示す次元削減済み正解無し多次元データセットに含まれる各多次元データは、「第１主成分」、「第２主成分」、「第３主成分」を非推定対象属性、「契約数」を推定対象属性として持つ。
　例えば、図１２に示す次元削減済み正解無し多次元データセットの１行目の多次元データは、図１１に示す正解無し多次元データセットの１行目の多次元データを次元削減したものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（５８，２１，１０９，２００）である。同様に、２行目の多次元データは、図１１に示す正解無し多次元データセットの２行目の多次元データを次元削減したものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（２０，８１，６，－）である。
　ステップＳ２０３：次に、推論部２０２のビニング部２２２は、次元削減済み正解無し多次元データセットを入力として、当該次元削減済み正解無し多次元データセットに含まれる各多次元データの非推定対象属性に対してビニングを行う。そして、推論部２０２のビニング部２２２は、ビニング済み正解無し多次元データセットを情報付加部２２３に出力する。
　ここで、ビニング済み正解無し多次元データセットの具体例について、図１３を参照しながら説明する。図１３は、ビニング済み正解無し多次元データセットの一例を表形式で示す図である。
　図１３に示す例は、図１２に示す次元削減済み正解無し多次元データセットに含まれる各多次元データの非推定対象属性に対してビニングを行った多次元データの集合を表形式で表したものである。図１３に示すビニング済み正解無し多次元データセットに含まれる各多次元データは、「第１主成分」、「第２主成分」、「第３主成分」を非推定対象属性、「契約数」を推定対象属性として持ち、各非推定対象属性の値はビニングされている。
　例えば、図１３に示す次元削減済み正解無し多次元データセットの１行目の多次元データは、図１２に示す次元削減済み正解無し多次元データセットの１行目の多次元データの非推定対象属性の値をビニングしたものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（５，３，１０，２００）である。同様に、２行目の多次元データは、図１２に示す次元削減済み正解無し多次元データセットの２行目の多次元データの非推定対象属性の値をビニングしたものであり、（第１主成分，第２主成分，第３主成分，契約数）＝（２，８，１，－）である。
　ステップＳ２０４：次に、推論部２０２の情報付加部２２３は、ビニング済み正解無し多次元データセットを入力として、当該ビニング済み正解無し多次元データセットに含まれる各多次元データに対して付加情報を付与した推論用多次元データセットを作成する。そして、推論部２０２の情報付加部２２３は、推論用多次元データセットを推定処理部２２４に出力する。
　ここで、推論用多次元データセットの具体例について、図１４を参照しながら説明する。図１４は、推論用多次元データセットの一例を表形式で示す図である。
　図１４に示す例は、図１３に示すビニング済み正解無し多次元データセットに含まれる各多次元データに対して付加情報を付加した多次元データの集合を表形式で表したものである。図１４に示す推論用多次元データセットに含まれる各多次元データには、「第１主成分以外固定」と「第２主成分以外固定」と「第３主成分以外固定」とで構成される付加情報が付加されている。
　例えば、図１４に示す推論用多次元データセットの１行目の多次元データの「第１主成分以外固定」の「０」は、図１３に示すビニング済み正解無し多次元データセットの１行目の多次元データセットの第１主成分の値を「０」に変化させたときの契約数を集計したものである。すなわち、図１４に示す推論用多次元データセットの１行目の多次元データの「第１主成分以外固定」の「０」は、図１３に示すビニング済み正解無し多次元データセットで（第１主成分，第２主成分，第３主成分）＝（０，３，１０）である契約数を集計した値「４００」である。
　同様に、図１４に示す推論用多次元データセットの２行目の多次元データの「第１主成分以外固定」の「０」は、図１３に示すビニング済み正解無し多次元データセットの２行目の多次元データセットの第１主成分の値を「０」に変化させたときの契約数を集計したものである。すなわち、図１４に示す推論用多次元データセットの２行目の多次元データの「第１主成分以外固定」の「０」は、図１３に示すビニング済み正解無し多次元データセットで（第１主成分，第２主成分，第３主成分）＝（０，８，１）である契約数を集計した値「５００」である。
　ここで、或る非推定対象属性以外の非推定対象属性の値を固定したまま、その非推定対象属性の値を或る値に変化させたときに推定対象属性の値が存在しない場合には、付加情報には「－」又は空値等が設定される。例えば、図１４に示す推論用多次元データセットの１行目の多次元データの「第１主成分以外固定」の「１」には「－」が設定されている。これは、図１３に示すビニング済み正解無し多次元データセットには、（第１主成分，第２主成分，第３主成分）＝（１，３，１０）のときの契約数が存在しないためである。
　付加情報のその他の属性についても同様である。以下では、学習時と同様に、推論用多次元データセットに含まれる各多次元データの「第１主成分」、「第２主成分」及び「第３主成分」の値の組の集合を非推定対象属性値集合Ｗともいい、その付加情報の集合をＸで表すものとする。
　ステップＳ２０５：次に、推論部２０２の推定処理部２２４は、推論用多次元データセットと、学習済み推論モデル記憶部２０７に記憶されている学習済み推論モデルとを入力として、当該学習済み推論モデルにより推定対象属性値を推定する。すなわち、推論部２０２の推定処理部２２４は、非推定対象属性値の組を表すベクトルｗ∈Ｗと、このｗに対応する付加情報ｘ∈Ｘとを入力として、学習済み推論モデルにより推定対象属性値ｙを推定する。
　ステップＳ２０６：最後に、推論部２０２の推定処理部２２４は、学習済み推論モデルの推定結果（つまり、推定対象属性値ｙ）を推定結果記憶部２０９に出力する。
　＜まとめ＞
　以上のように、本実施形態に係る推論装置１０は、各非推定対象属性に関して、その非推定対象属性以外の非推定対象属性の値を固定したまま、その非推定対象属性の値を変化させたときの推定対象属性の値で構成される付加情報を作成した上で、この付加情報も用いて学習及び推論を行う。これにより、大域的な特徴を抽出することができるため、より高精度な推論が可能になる。
　また、本実施形態に係る推論装置１０は、付加情報を作成する前に、非推定対象属性の次元数を削減すると共に、ビニングにより各非推定対象属性の属性値数を削減する。これにより、非推定対象属性数やその属性値数が多い場合であっても、計算量を削減することが可能となる。例えば、次元削減前の非推定対象属性の数をＮ、その属性値の平均をＭとした場合、次元削減及びビニングを行わないとＮ×Ｍ個の属性値に対して計算を行う必要がある。一方、次元削減後の非推定対象属性の数をｎ＜Ｎ、ビニング後の属性値の平均をｍ＜Ｍとした場合、本実施形態ではｎ×ｍ個の属性値に対して計算を行えばよく、より少ない計算量で学習及び推論を行うことが可能となる。
　本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
　１０　　　　推論装置
　１０１　　　入力装置
　１０２　　　表示装置
　１０３　　　外部Ｉ／Ｆ
　１０３ａ　　記録媒体
　１０４　　　通信Ｉ／Ｆ
　１０５　　　プロセッサ
　１０６　　　メモリ装置
　１０７　　　バス
　２０１　　　学習部
　２０２　　　推論部
　２０３　　　正解付き多次元データ記憶部
　２０４　　　学習用次元削減モデル記憶部
　２０５　　　学習用推論モデル記憶部
　２０６　　　学習済み次元削減モデル記憶部
　２０７　　　学習済み推論モデル記憶部
　２０８　　　正解無し多次元データ記憶部
　２０９　　　推定結果記憶部
　２１１　　　次元削減部
　２１２　　　ビニング部
　２１３　　　情報付加部
　２１４　　　学習処理部
　２２１　　　次元削減部
　２２２　　　ビニング部
　２２３　　　情報付加部
　２２４　　　推定処理部

Claims (7)

  1. 　推定対象の属性を示す推定対象属性と、前記推定対象属性以外の属性を示す２以上の非推定対象属性とを持つ多次元データを入力する入力手順と、
    　前記多次元データの非推定対象属性の次元数を削減する次元削減手順と、
    　前記次元削減後の多次元データの前記非推定対象属性の値をビニングするビニング手順と、
    　前記ビニング後の多次元データに対して、所定の付加情報を付加する情報付加手順と、
    　前記付加情報が付加された多次元データを用いて、前記推定対象属性の値を推定するための推論モデルのパラメータを学習する学習手順と、
    　をコンピュータが実行する学習方法。
  2. 　前記情報付加手順は、
    　前記ビニング後の多次元データの前記非推定対象属性毎に、前記非推定対象属性以外の非推定対象属性の値を変化させたときの前記推定対象属性の値の集計値を前記付加情報として付加する、請求項１に記載の学習方法。
  3. 　前記学習手順は、
    　前記非推定対象属性の値を入力として前記推論モデルにより推定された前記推定対象属性の値と前記推定対象属性の値の正解との誤差、及び、前記推論モデルにより再現された前記非推定対象属性の値と前記推論モデルに入力された前記非推定対象属性の値との誤差、を最小化するように、前記推論モデルのパラメータを学習する、請求項１又は２に記載の学習方法。
  4. 　推定対象の属性を示す推定対象属性と、前記推定対象属性以外の属性を示す２以上の非推定対象属性とを持つ多次元データを入力する入力手順と、
    　前記多次元データの非推定対象属性の次元数を削減する次元削減手順と、
    　前記次元削減後の多次元データの前記非推定対象属性の値をビニングするビニング手順と、
    　前記ビニング後の多次元データに対して、所定の付加情報を付加する情報付加手順と、
    　前記付加情報が付加された多次元データを用いて、予め学習済みの推論モデルにより前記推定対象属性の値を推定する推定手順と、
    　をコンピュータが実行する推論方法。
  5. 　推定対象の属性を示す推定対象属性と、前記推定対象属性以外の属性を示す２以上の非推定対象属性とを持つ多次元データを入力する入力部と、
    　前記多次元データの非推定対象属性の次元数を削減する次元削減部と、
    　前記次元削減後の多次元データの前記非推定対象属性の値をビニングするビニング部と、
    　前記ビニング後の多次元データに対して、所定の付加情報を付加する情報付加部と、
    　前記付加情報が付加された多次元データを用いて、前記推定対象属性の値を推定するための推論モデルのパラメータを学習する学習部と、
    　を有する学習装置。
  6. 　推定対象の属性を示す推定対象属性と、前記推定対象属性以外の属性を示す２以上の非推定対象属性とを持つ多次元データを入力する入力部と、
    　前記多次元データの非推定対象属性の次元数を削減する次元削減部と、
    　前記次元削減後の多次元データの前記非推定対象属性の値をビニングするビニング部と、
    　前記ビニング後の多次元データに対して、所定の付加情報を付加する情報付加部と、
    　前記付加情報が付加された多次元データを用いて、予め学習済みの推論モデルにより前記推定対象属性の値を推定する推定部と、
    　を有する推論装置。
  7. 　コンピュータに、請求項１乃至３の何れか一項に記載の学習方法、又は、請求項４に記載の推論方法、を実行させるプログラム。
PCT/JP2021/018484 2021-05-14 2021-05-14 学習方法、推論方法、学習装置、推論装置、及びプログラム Ceased WO2022239245A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023520731A JP7616361B2 (ja) 2021-05-14 2021-05-14 学習方法、推論方法、学習装置、推論装置、及びプログラム
PCT/JP2021/018484 WO2022239245A1 (ja) 2021-05-14 2021-05-14 学習方法、推論方法、学習装置、推論装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018484 WO2022239245A1 (ja) 2021-05-14 2021-05-14 学習方法、推論方法、学習装置、推論装置、及びプログラム

Publications (1)

Publication Number Publication Date
WO2022239245A1 true WO2022239245A1 (ja) 2022-11-17

Family

ID=84028075

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018484 Ceased WO2022239245A1 (ja) 2021-05-14 2021-05-14 学習方法、推論方法、学習装置、推論装置、及びプログラム

Country Status (2)

Country Link
JP (1) JP7616361B2 (ja)
WO (1) WO2022239245A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024124222A (ja) * 2023-03-02 2024-09-12 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200311944A1 (en) * 2019-03-28 2020-10-01 Canon Virginia, Inc. Devices, systems, and methods for topological normalization for anomaly detection
JP2021002315A (ja) * 2019-06-19 2021-01-07 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 情報を生成するための方法および装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7056406B2 (ja) 2018-06-22 2022-04-19 日本電信電話株式会社 センサノード及びデータセンタとして機能する装置、センサネットワーク、通信方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200311944A1 (en) * 2019-03-28 2020-10-01 Canon Virginia, Inc. Devices, systems, and methods for topological normalization for anomaly detection
JP2021002315A (ja) * 2019-06-19 2021-01-07 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 情報を生成するための方法および装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OKADA ASAMI, MORIGUCHI YUSUKE, UKITA NORIMICHI, HAGITA NORIHIRO: "People Groping by Spatio-Temporal Features of Trajectories", vol. J96-D, no. 11, 1 November 2013 (2013-11-01), XP093007105 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024124222A (ja) * 2023-03-02 2024-09-12 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP7831350B2 (ja) 2023-03-02 2026-03-17 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
JPWO2022239245A1 (ja) 2022-11-17
JP7616361B2 (ja) 2025-01-17

Similar Documents

Publication Publication Date Title
Michelucci Applied deep learning
US20210042590A1 (en) Machine learning system using a stochastic process and method
Häggström Data‐driven confounder selection via Markov and Bayesian networks
US11640617B2 (en) Metric forecasting employing a similarity determination in a digital medium environment
US12541686B2 (en) Method and apparatus with neural architecture search based on hardware performance
US11410076B1 (en) Decentralized multi-task machine learned parameters
CN108171010B (zh) 基于半监督网络嵌入模型的蛋白质复合体检测方法与装置
JP7253324B2 (ja) 因果関係学習装置、因果関係推定装置、因果関係学習方法、因果関係推定方法及びプログラム
CN109948735A (zh) 一种多标签分类方法、系统、装置及存储介质
CN114610865A (zh) 召回文本推荐方法、装置、设备及存储介质
KR102441442B1 (ko) 그래프 컨볼루션 네트워크 학습 방법 및 장치
Rai Advanced deep learning with R: Become an expert at designing, building, and improving advanced neural network models using R
Chen et al. Beyond the Cox hazard ratio: a targeted learning approach to survival analysis in a cardiovascular outcome trial application
Gupta et al. Practical aspects in machine learning
CN115423037B (zh) 一种基于大数据的用户分类方法及系统
Prass et al. Positive time series regression models: theoretical and computational aspects
Mohammadi et al. Exact shapley attributions in quadratic-time for fanova gaussian processes
JP7616361B2 (ja) 学習方法、推論方法、学習装置、推論装置、及びプログラム
CN115511070B (zh) 模型训练方法、装置及可读存储介质
CN120144879A (zh) 协同过滤推荐方法、装置、计算机设备和存储介质
Zhu et al. A hybrid model for nonlinear regression with missing data using quasilinear kernel
CN114764594B (zh) 分类模型特征选取方法、装置及设备
US20240028902A1 (en) Learning apparatus and method
JP7491405B2 (ja) 点過程学習方法、点過程学習装置及びプログラム
US12217143B1 (en) Resolving opaqueness of complex machine learning applications

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21941975

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023520731

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21941975

Country of ref document: EP

Kind code of ref document: A1