WO2022130498A1 - 類似度算出装置、類似度算出方法、及び、類似度算出プログラム - Google Patents

類似度算出装置、類似度算出方法、及び、類似度算出プログラム Download PDF

Info

Publication number
WO2022130498A1
WO2022130498A1 PCT/JP2020/046743 JP2020046743W WO2022130498A1 WO 2022130498 A1 WO2022130498 A1 WO 2022130498A1 JP 2020046743 W JP2020046743 W JP 2020046743W WO 2022130498 A1 WO2022130498 A1 WO 2022130498A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
extreme value
transfer
similarity calculation
data distribution
Prior art date
Application number
PCT/JP2020/046743
Other languages
English (en)
French (fr)
Inventor
郁海 森
弦矢 板垣
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/046743 priority Critical patent/WO2022130498A1/ja
Priority to CN202080107686.8A priority patent/CN116569186A/zh
Priority to EP20965886.3A priority patent/EP4242937A4/en
Priority to JP2022566633A priority patent/JP7217842B2/ja
Publication of WO2022130498A1 publication Critical patent/WO2022130498A1/ja
Priority to US18/129,240 priority patent/US20230237379A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]

Definitions

  • the present disclosure relates to a similarity calculation device, a similarity calculation method, and a similarity calculation program.
  • AI Artificial Intelligence
  • IoT Internet of Things
  • Specific examples include (1) control of IoT home appliances such as air conditioners and lighting, (2) failure diagnosis of manufacturing equipment, (3) inspection of products on the manufacturing line by images, and (4) introduction to buildings, etc. Examples include detection of suspicious person intrusion by a moving image of time and (5) EMS (Energy Management System).
  • EMS Electronic Engineering Automation System
  • the training data and learning model are transferred in an environment different from the environment in which the training data was collected.
  • the transfer learning in order to identify the transfer source, it is evaluated one by one whether or not it can be a transfer source for all the data of the candidates of the transfer source. If it can be confirmed by evaluation that it is a "positive transfer” indicating that it is effective to transfer the candidate of the transfer source, the candidate of the transfer source is determined as the transfer source.
  • the training data is image data, it is often a sufficient condition for "positive transfer” that the image of the candidate of the transfer source is sufficiently similar to the image of the transfer destination.
  • Patent Document 1 describes, as a method of calculating the similarity of images, a method of calculating a color histogram of each image to obtain the similarity, a method of obtaining the similarity using the gradient direction of brightness as a feature amount, an input image, and learning.
  • a method to calculate the degree of similarity between the search target image and the search source image using some evaluation function such as a method of using the number of similar local feature features detected from each image as the evaluation value. ..
  • the purpose of this disclosure is to find the transfer source with a relatively small amount of calculation in transfer learning.
  • the similarity calculation device is It is a similarity calculation device that performs transfer learning using transfer source data candidates and transfer destination data.
  • a transfer source extreme value group including a transfer source extreme value indicating an extreme value of the transfer source data distribution showing the distribution of the feature amount of the transfer source data candidate, and a transfer destination data distribution showing the distribution of the feature amount of the transfer destination data. It is provided with a similarity calculation unit for obtaining the similarity between the transfer source data distribution and the transfer destination data distribution based on the transfer destination extreme value group including the transfer destination extreme value indicating the extreme value of.
  • the transfer source in transfer learning, can be obtained with a relatively small amount of calculation.
  • FIG. A hardware configuration example of the similarity calculation device 1 according to the modified example of the first embodiment. It is a figure explaining the outline of the operation of the similarity calculation apparatus 1 which concerns on Embodiment 2, (a) is the figure explaining before conversion of a coordinate system, (b) is a figure explaining after changing a coordinate system. figure. A configuration example of the similarity calculation device 1 according to the second embodiment. The flowchart which shows the operation which concerns on the learning phase of the similarity calculation apparatus 1 which concerns on Embodiment 2.
  • the flowchart which shows the operation which concerns on the inference phase of the similarity calculation apparatus 1 which concerns on Embodiment 2. It is a figure explaining the outline of the operation of the similarity calculation apparatus 1 which concerns on Embodiment 3, (a) is a figure explaining the case where there is no permissible range, and (b) is the figure explaining the case where there is a permissible range.
  • FIG. 1 shows a configuration example of the similarity calculation device 1 according to the present embodiment.
  • the similarity calculation device 1 includes a feature extraction unit 11, a data distribution calculation unit 12, an extremum calculation unit 13, a grouping unit 14, a data set storage unit 15, and a model creation unit 16.
  • a classifier storage unit 17, a model determination unit 18, a similarity calculation unit 19, and a data determination unit 20 are provided.
  • the similarity calculation device 1 performs transfer learning using the transfer source data candidate 2 and the transfer destination data 3. Further, the T at the end of the code and the superscript t indicate that they relate to the transfer destination data distribution, and the S at the end of the code and the superscript s indicate that they relate to the transfer source data distribution.
  • the feature extraction unit 11 uses the transfer source data candidate 2 to generate a feature vector 101S indicating the feature amount of the transfer source data candidate 2, and uses the transfer destination data 3 to generate a feature vector 101T indicating the feature amount of the transfer destination data 3. To generate.
  • Each of the transfer source data candidate 2 and the transfer destination data 3 may be data received from another device or may be data stored in the similarity calculation device 1.
  • the transfer source data candidate 2 is a candidate for transfer source data, and there is at least one. It is assumed that there is one transfer destination data 3.
  • the data format of the feature amount required by the feature extraction unit 11 does not have to be the vector format.
  • the feature vector 101 is a general term for the feature vector 101S and the feature vector 101T.
  • the feature vector 101 is an array of pixel values as a specific example.
  • the feature extraction unit 11 includes data summarizing the transfer source data candidate 2 or the transfer destination data 3 by principal component analysis, and an average value and dispersion of the transfer source data candidate 2 or the transfer destination data 3. Or, the value obtained by converting the transition source data candidate 2 or the transition destination data 3 using a statistic such as a correlation coefficient and a (similar) mapping such as a histogram or a Fourier transform, and a transition source data candidate using regression analysis or the like. 2 or perform a function approximation to the transfer destination data 3 to obtain at least one of the coefficient or the gradient vector which is the amount of change thereof.
  • histogram may also refer to data that can be represented by a histogram. It is assumed that the feature amount obtained by the feature extraction unit 11 sufficiently reflects the features of the transfer source data candidate 2 or the transfer destination data 3.
  • the data distribution calculation unit 12 generates the feature data distribution 102S using the feature vector 101S, and generates the feature data distribution 102T using the feature vector 101T.
  • the feature data distribution 102S shows the distribution of the feature amount of the transfer source data candidate 2, and is also called a transfer source data distribution, and there is at least one.
  • Each of the transfer source data candidates 2 has a one-to-one correspondence with each of the feature data distributions 102S.
  • the feature data distribution 102T shows the distribution of the feature amount of the transfer destination data 3, and is also called a transfer destination data distribution.
  • the feature data distribution 102 is a general term for the feature data distribution 102S and the feature data distribution 102T.
  • the feature data distribution 102 is typically a function and may be discrete or continuous.
  • the extremum calculation unit 13 obtains the extremum data 103S using the feature data distribution 102S.
  • the extremum data 103S is composed of a data ID (Identification) s , an extremum coordinate group G s , and an extremum number E s , and is also called a calculation result.
  • the data ID s is an identifier that identifies the transfer source data candidate 2, and is also called a transfer source data ID.
  • the extreme value coordinate group Gs is a set consisting of the coordinates of the extreme values possessed by the feature data distribution 102S, and is also called a transition source extreme value coordinate group or a transition source extreme value group, and there is at least one.
  • Each of the feature data distributions 102S has a one-to-one correspondence with each of the extremum coordinate groups Gs.
  • Each extremum included in the extremum coordinate group Gs is also called the transition source extremum.
  • Each of the transfer source extreme values is associated with an identifier that identifies the transfer source data candidate 2 corresponding to the feature data distribution 102S having the extreme value corresponding to each of the transfer source extreme values.
  • the number of extreme values Es is the number of extreme values included in the extreme value coordinate group G s .
  • the extremum calculation unit 13 obtains the extremum data 103T using the feature data distribution 102T.
  • the extremum data 103T is composed of an extremum coordinate group Gt and an extremum number Et , and is also called a calculation result.
  • the extreme value coordinate group Gt is a set consisting of the coordinates of the extreme values possessed by the feature data distribution 102T , and is also called a transition destination extreme value coordinate group or a transition destination extreme value group.
  • the number of extreme values Et is the number of extreme values included in the extreme value coordinate group Gt .
  • the extreme value data 103T may include an identifier that identifies the transfer destination data 3.
  • the number of extrema is a general term for the number Es of extrema and the number Et of extremum.
  • the extreme value calculation unit 13 receives the transfer source data distribution and the transfer destination data distribution, obtains the polar value of the transfer source data distribution using the transfer source data distribution, and uses the transfer destination data distribution to obtain the transfer destination data distribution. Find the extreme value to have.
  • each coordinate (x is, y is) included in the extremum coordinate group G s is [ Equation 1 ].
  • Equation 1 is also a specific example of the extremum coordinate group Gs.
  • the number of dimensions of each coordinate included in the extremum coordinate group Gs is not limited to 2, but for convenience of explanation, the dimension of each coordinate is set to 2.
  • the extremum coordinate group Gt is defined in the same manner as in [Equation 1]. It should be noted that the variable s is used as each element of the set S consisting of all the given feature data distributions 102S. That is, s ⁇ S.
  • FIG. 2 shows a specific example of the feature data distribution 102S. This figure shows a specific example of each extreme value included in the extreme value coordinate group Gs when n shown in [Equation 1] is 6.
  • the grouping unit 14 generates learning data 104 using the extreme value data 103S, and stores the generated learning data 104 in the data set storage unit 15.
  • the training data 104 includes training data and teacher data.
  • the training data is each extreme value coordinate included in the extreme value coordinate group Gs
  • the teacher data is the data ID s corresponding to the feature data distribution 102S having the extreme value coordinates which is the training data.
  • Teacher data is also a label.
  • the label is also an identifier that identifies the transfer source data candidate 2.
  • the grouping unit 14 classifies the learning data 104 according to the number of extreme values Es corresponding to the learning data 104, and then stores the learning data 104 in the data set storage unit 15.
  • the number of extreme values Es corresponding to the training data 104 is the number of extreme values Es included in the extreme value coordinate group Gs including the extreme value coordinates included in the training data 104.
  • the data set storage unit 15 stores data sets 105-N from data set 105-1, and is also referred to as data set 1 to N storage unit.
  • N is a constant indicating the maximum value of the number of extreme values Es, and may be dynamically changed.
  • the data set 105-n (1 ⁇ n ⁇ N, n is an integer) is a set based on the learning data 104 corresponding to each of the feature data distributions 102S in which the number Es of the extrema is n. That is, n is a variable corresponding to the number Es of the extremum . It should be noted that at least a part of the data set 105-1 to the data set 105-N may be empty data.
  • Each of the transfer source extreme values is associated with an identifier that identifies the transfer source data candidate 2 corresponding to the feature data distribution 102S having the extreme value corresponding to each of the transfer source extreme values.
  • Each of the transitional extrema belongs to at least one of the dataset 105, depending on the number of transitional extrema included in the transitional extrema group containing each of the transitional extrema.
  • the data set 105 is prepared for each value indicated by the number of extrema.
  • each of the datasets 105 comprises a transitional extremum corresponding to the number of transitional extrema corresponding to each of the datasets 105.
  • the number of transitional extrema corresponding to the data set 105-n is n. When the number of transitional extrema is n, the transitional extremum corresponding to the number of transitional extrema is the transitional extremum of the feature data distribution 102S having n transitional extrema.
  • the data set 105- n is expressed as a set gn
  • each coordinate included in the extremum coordinate group G s is expressed as (x is, y is )
  • the data ID s is expressed as c s . There is.
  • FIG. 3 shows a specific example of the data set 105.
  • the extremum coordinate group G s is shown at the upper part of this figure, and G s1 , G s2 , ..., G sn are each extremum coordinate group G s .
  • the superscript is a label indicating the data ID s corresponding to the feature data distribution 102S having the extremum coordinates included in each extremum coordinate group G s .
  • the data set 105 corresponding to the extremum coordinate group Gs shown at the upper part is shown at the lower part of this figure.
  • each element of G s 1 and G sn is included in each element included in the data set 105-3 , and the extremum corresponding to G s 2 is included. Since the number E s is 1, the elements of G s 2 are included in the elements contained in the dataset 105-1 .
  • the model creation unit 16 creates a classifier 106 which is a learning model by performing learning using the data set 105. Specifically, the model creation unit 16 acquires the data set 105-n from the data set storage unit 15, and creates the classifier 106-n using the acquired data set 105-n. That is, the model creation unit 16 creates a classifier 106 for each extremum number Es. If the data set 105-n is empty, the model creation unit 16 does not have to create the classifier 106-n.
  • the classifier 106 which is a learning model, is a model corresponding to each of the data sets 105, and is a model used to estimate an identifier corresponding to a given coordinate group, and obtains each extreme value of the feature data distribution 102T.
  • the classifier 106-n is a class corresponding to each of the feature data distribution 102S in which the number Es of the extrema is n, and each pole of the feature data distribution 102T in which the number Et of the extremum is n. Find the probability that a value belongs (class belonging probability).
  • the learning model may be simply expressed as a model.
  • the model creation unit 16 uses KNN (k-nearest neighbor, k-nearest neighbor method), SVC (Support Vector Classification), or the like as a learning algorithm used for learning.
  • the classifier storage unit 17 stores the classifier 106-N from the classifier 106-1 and is also referred to as a classifier 1 to N storage unit.
  • the classifier 106-n corresponds to the feature data distribution 102S in which the number Es of extrema is n.
  • the inference data 108 includes an extremum coordinate group Gt and a classifier 106 corresponding to the extremum coordinate group Gt.
  • the inference data 108- m is inference data 108 including the extremum coordinate group Gt in which the number of extrema Et is m .
  • the model determination unit 18 determines a learning model as a determination model from at least one learning model according to the number of extreme values included in the extremum coordinate group Gt.
  • the similarity calculation unit 19 obtains the similarity between each of at least one feature data distribution 102S and the feature data distribution 102T using the classifier 106 included in the inference data 108 and the extremum coordinate group Gt, and obtains the similarity.
  • the similarity data 109 including the above is output.
  • the similarity data 109 includes a label of the data ID s and a similarity corresponding to the data ID s .
  • the similarity calculation unit 19 obtains the similarity using the determination model and the extremum coordinate group Gt. Here, the determination model is generated based on the extremum coordinate group Gs.
  • the similarity calculation unit 19 determines the similarity between each of the feature data distribution 102S and the feature data distribution 102T based on the extremum coordinate group G s and the extremum coordinate group G t corresponding to each of the feature data distribution 102S. Ask.
  • Equation 3 indicates the class affiliation probability of each ( x it, y it ) for each estimation class c j .
  • the output is expressed in the format of "estimated class (class affiliation probability)".
  • the number of outputs for one input is the total number of feature data distributions 102S in which the number Es of extreme values is m .
  • score (c j ) indicating the degree of similarity between the feature data distribution 102T and the estimation class c j is shown as [Equation 4] as a specific example. Note that score (c j ) is also the degree of similarity of the transfer destination data 3 to each transfer source data candidate 2.
  • wi is a weight parameter indicating the degree to which each extreme value ( x is, y is ) is emphasized.
  • the data determination unit 20 is also referred to as a transfer source data determination unit, and determines transfer source data from at least one transfer source data candidate 2 based on similarity data 109 and determination conditions, and determination data including the determined transfer source data. 4 is output.
  • the determination data 4 includes a label indicating the transfer source data candidate 2 and a similarity corresponding to the transfer source data candidate 2.
  • the determination condition is a condition in which the data determination unit 20 determines the transfer source data candidate 2 as the transfer source data.
  • the determination condition is, as a specific example, that the similarity is equal to or higher than a certain threshold value.
  • the data determination unit 20 determines the transfer source data candidate 2 corresponding to the similarity satisfying the determination condition as the transfer source data.
  • the data determination unit 20 identifies the data ID s corresponding to the similarity satisfying the determination condition, and outputs the transfer source data candidate 2 and the similarity corresponding to the specified data ID s .
  • FIG. 4 shows a hardware configuration example of the similarity calculation device 1 according to the present embodiment.
  • the similarity calculation device 1 comprises a computer.
  • the similarity calculation device 1 may be composed of a plurality of computers. Further, the similarity calculation device 1 may be operated on a server (computer) in cloud computing, or may be operated on a server (computer) in edge computing.
  • the similarity calculation device 1 is a computer including hardware such as a processor 51, a memory 52, an auxiliary storage device 53, an input / output IF (Interface) 54, and a communication device 55. .. These hardware are connected to each other via a signal line 59.
  • the processor 51 is an IC (Integrated Circuit) that performs arithmetic processing, and controls the hardware included in the computer.
  • the processor 51 is a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or a GPU (Graphics Processing Unit).
  • the similarity calculation device 1 may include a plurality of processors that replace the processor 51. The plurality of processors share the role of the processor 51.
  • the memory 52 is typically a volatile storage device.
  • the memory 52 is also referred to as a main storage device or a main memory.
  • the memory 52 is a RAM (Random Access Memory).
  • the data stored in the memory 52 is stored in the auxiliary storage device 53 as needed.
  • the auxiliary storage device 53 is typically a non-volatile storage device.
  • the auxiliary storage device 53 is a ROM (Read Only Memory), an HDD (Hard Disk Drive), or a flash memory.
  • the data stored in the auxiliary storage device 53 is loaded into the memory 52 as needed.
  • the memory 52 and the auxiliary storage device 53 may be integrally configured.
  • the input / output IF54 is a port to which an input device and an output device are connected.
  • the input / output IF 54 is, as a specific example, a USB (Universal Serial Bus) terminal.
  • the input device is, as a specific example, a keyboard and a mouse.
  • the output device is, as a specific example, a display.
  • the communication device 55 is a receiver and a transmitter.
  • the communication device 55 is a communication chip or a NIC (Network Interface Card).
  • Each part of the similarity calculation device 1 may appropriately use the communication device 55 when communicating with another device or the like.
  • Each part of the similarity calculation device 1 may receive data via the input / output IF 54, or may receive data via the communication device 55.
  • the auxiliary storage device 53 stores the similarity calculation program.
  • the similarity calculation program is a program that allows a computer to realize the functions of each part included in the similarity calculation device 1.
  • the similarity calculation program may consist of a plurality of files.
  • the similarity calculation program is loaded into the memory 52 and executed by the processor 51.
  • the functions of each part included in the similarity calculation device 1 are realized by software.
  • the data used when executing the similarity calculation program, the data obtained by executing the similarity calculation program, and the like are appropriately stored in the storage device.
  • Each part of the similarity calculation device 1 uses a storage device as appropriate.
  • the storage device includes at least one of a memory 52, an auxiliary storage device 53, a register in the processor 51, and a cache memory in the processor 51.
  • data and information may have the same meaning.
  • the storage device may be independent of the computer.
  • Each of the data set storage unit 15 and the classifier storage unit 17 is composed of a storage device.
  • the functions of the memory 52 and the auxiliary storage device 53 may be realized by other storage devices.
  • the similarity calculation program may be recorded on a non-volatile recording medium that can be read by a computer.
  • the non-volatile recording medium is, for example, an optical disk or a flash memory.
  • the similarity calculation program may be provided as a program product.
  • the similarity calculation device 1 evaluates the similarity of the feature data distribution 102S with the feature data distribution 102T according to the following two basic policies.
  • Policy (1) When the extremum of the feature data distribution 102S is close to the extremum of the feature data distribution 102T, the similarity calculation device 1 measures the feature data distribution at the extremum of the feature data distribution 102S. 102S is considered to be partially similar to the feature data distribution 102T. In the similarity calculation device 1, when the extremum of the feature data distribution 102T and the extremum of the feature data distribution 102S are closer to each other, the feature data distribution 102S is partially more similar to the feature data distribution 102T. It may be considered that there is.
  • Policy (2) The similarity calculation device 1 calculates the similarity higher as the feature data distribution 102S has more extrema that are partially similar.
  • FIG. 5 is a diagram specifically explaining the policies shown in the above-mentioned policies (1) and (2).
  • two feature data distributions 102S transfer source data distribution D2 and transfer source data distribution D3 and one transfer destination feature data distribution (transfer destination data distribution D1) are shown.
  • the maximum value is shown using a circle
  • the minimum value is shown using a quadrangle
  • the circle centered on each extreme value of the transfer destination data distribution D1 is close to each extreme value.
  • the area is shown.
  • Each adjacent region is defined as a neighborhood region R1 to a neighborhood region R4.
  • both extreme values are connected by a broken line.
  • the extremum of the transfer source data distribution D2 is close to the extremum of the transfer destination data distribution D1 in any of the vicinity region R1 to the vicinity region R4.
  • the extremum of the transfer source data distribution D3 is close to the extremum of the transfer destination data distribution D1 only in the neighborhood region R1, the neighborhood region R2, and the neighborhood region R4. That is, the transition source data distribution D2 has four extrema that are partially similar, and the transition source data distribution D3 has three extrema that are partially similar. Therefore, the source data distribution D2 has more extrema that are partially similar to the source data distribution D3. Therefore, the similarity calculation device 1 calculates each similarity so that the similarity corresponding to the transfer source data distribution D2 is higher than the similarity corresponding to the transfer source data distribution D3.
  • FIG. 6 is a flowchart showing an example of the operation of the similarity calculation device 1 in the learning phase. The learning phase will be described with reference to FIG. 1 and this figure.
  • Step S101 Feature extraction process
  • the feature extraction unit 11 receives the transfer source data candidate 2 as an input, generates a feature vector 101S using the received transfer source data candidate 2, and outputs the generated feature vector 101S.
  • Step S102 Data distribution calculation process
  • the data distribution calculation unit 12 receives the feature vector 101S as an input, generates the feature data distribution 102S using the received feature vector 101S, and outputs the generated feature data distribution 102S.
  • FIG. 7 is a diagram schematically illustrating specific examples of steps S101 and S102. Specific examples of steps S101 and S102 will be described with reference to this figure.
  • (a) showing the transfer source data candidate 2 is expressed in black and white, but is actually data of a color image in which a tiger is shown.
  • the feature extraction unit 11 may output data indicating the appearance frequency of the pixel value as the feature amount.
  • the data indicating the frequency of appearance is data that can also be represented by a histogram.
  • the feature extraction unit 11 uses the probability of the ratio of the pixel value x in one image as the feature amount.
  • the feature extraction unit 11 grayscales the color image, obtains a probability mass function p (x) using the pixel value x as a random variable by kernel density estimation, and obtains (x, p (x)).
  • the feature vector 101S is used.
  • (B) shows the grayscaled data of (a).
  • the data distribution calculation unit 12 receives (x, p (x)) and scale-converts (x, p (x)) to obtain the feature data distribution 102S.
  • (C) shows the feature data distribution 102S obtained by the data distribution calculation unit 12.
  • the feature vector 101S (x, p (x)) can be regarded as the feature data distribution 102S.
  • the data distribution calculation unit 12 may use the received feature vector 101S as the feature data distribution 102S as it is, and features data obtained by scaling the received feature vector 101S.
  • the data distribution 102S may be used.
  • the purpose of scaling the feature vector 101S is to facilitate comparison between feature data distributions 102S in subsequent processing.
  • the data distribution calculation unit 12 scale-converts the range from the minimum value to the maximum value of the data distribution into the range of [0,1].
  • Step S103 Extreme value calculation process
  • the extremum calculation unit 13 receives the feature data distribution 102S as an input, generates the extremum data 103S using the received feature data distribution 102S, and outputs the generated extremum data 103S. Specifically, the extreme value calculation unit 13 obtains the number of each of the maximum value and the minimum value from the feature data distribution 102S, and the extreme value coordinate group Gs indicating the coordinates of each of the maximum value and the minimum value, and obtains the obtained data. Is output as extreme value data 103S.
  • Step S104 Grouping process
  • the grouping unit 14 receives the extreme value data 103S as an input, and stores the same number of learning data 104 as the number of extreme values indicated by the received extreme value data 103S in the data set storage unit 15.
  • the similarity calculation device 1 repeats steps S101 to S104 for the number of prepared transfer source data candidates 2.
  • Step S105 Model creation process
  • the model creation unit 16 receives the data set 105 as an input, creates a classifier 106 by performing learning using the received data set 105, and stores the created classifier 106 in the classifier storage unit 17.
  • FIG. 8 is a flowchart showing an example of the operation in the inference phase of the similarity calculation device 1. The inference phase will be described with reference to FIG. 1 and this figure.
  • Step S111 Feature extraction process
  • the feature extraction unit 11 receives the transfer destination data 3 as an input, generates a feature vector 101T using the received transfer destination data 3, and outputs the generated feature vector 101T.
  • Step S112 Data distribution calculation process
  • the data distribution calculation unit 12 receives the feature vector 101T as an input, generates the feature data distribution 102T using the received feature vector 101T, and outputs the generated feature data distribution 102T.
  • Step S113 Extreme value calculation process
  • the extremum calculation unit 13 receives the feature data distribution 102T, generates the extremum data 103T using the received feature data distribution 102T, and outputs the generated extremum data 103T.
  • Step S114 Model determination process
  • the model determination unit 18 receives the extreme value data 103T as an input, acquires the classifier 106-m which is the classifier 106 corresponding to the received extreme value data 103T from the classifier storage unit 17, and receives the extreme value data 103T.
  • Inference data 108-m is generated using the extreme value coordinate group Gt included in the above and the acquired classifier 106- m , and the generated inference data 108-m is output.
  • Step S115 Similarity calculation process
  • the similarity calculation unit 19 receives the inference data 108-m as an input, obtains the similarity using the classifier 106-m included in the received inference data 108- m and the extremum coordinate group Gt, and obtains the similarity data. Output 109.
  • the similarity calculation unit 19 extracts each extreme value from the received extreme value coordinate group Gt .
  • the similarity calculation unit 19 inputs m test data one by one into the classifier 106-m, and obtains the class affiliation probability for each estimation class.
  • the estimation class is the class to which the test data is estimated to belong.
  • the similarity calculation unit 19 estimates that each test data belongs to each candidate class, and obtains the class belonging probability of each test data in each class.
  • the set of labels of the estimation class of ( x it, y it ) is defined as C t
  • the element of C t is defined as c j .
  • score (c j ) is calculated for ⁇ c j ⁇ C t , and it is a set of the label of the data ID s and the similarity corresponding to the data ID s (c j , score (c j )). ) Is output.
  • Step S116 Data determination process
  • the data determination unit 20 receives the similarity data 109 as an input, generates the determination data 4 using the received similarity data 109, and outputs the generated determination data 4.
  • FIG. 9 is a diagram illustrating a specific example in which the data determination unit 20 identifies the transfer source data candidate 2.
  • the transfer destination data 3 is an image of a tiger, and is a label of the transfer source data candidate 2 corresponding to each image of the transfer source data candidate 2 in the format of “label (similarity) of the transfer source data candidate 2”. The degree of similarity is described. Also, each image is actually a color photograph.
  • the data determination unit 20 uses 0.5 as a threshold value and a determination condition that the degree of similarity is larger than the threshold value.
  • the determination data 4 includes (leopard 1,0.972), (cat1,0.891), (tiger1,0.779), (tiger2,0.697), and (cheetah2,0.594). ) And (cat2,0.567). Since the similarity of the other images is equal to or less than the threshold value, the data determination unit 20 does not select the other image.
  • the similarity calculation device 1 creates the classifier 106 by performing training based on one or more transfer source data candidates 2, and further creates the classifier 106 based on one transfer destination data 3. Inference is performed using the classifier 106, and the transfer source data and the similarity corresponding to the transfer source data are output based on the result of the inference.
  • the data distribution calculation unit 12 calculates (x, p (x)) from the feature vector 101S as a two-dimensional feature. It is output as a data distribution 102S.
  • the extreme value calculation unit 13 calculates the minimum value and the maximum value of the feature data distribution 102S. Next, it is determined how close the distance relationship between each extreme value of the extreme value coordinate group G s and each extreme value of the extreme value coordinate group G t is determined.
  • the dimension of the information indicating the feature can be lowered because the feature data distribution 102 is used as compared with the case where the feature vector 101 is used as it is, and the feature of the transfer destination can be further changed. Since the calculation target is narrowed down to the extreme value it has, the calculation load of the degree of similarity becomes low. Therefore, according to the present embodiment, it is possible to obtain a similarity close to that when the feature data distribution 102 itself is used in a relatively short processing time.
  • the similarity calculation device 1 calculates the class affiliation probability indicating which of the classes corresponding to the transfer source data candidate 2 is considered to belong to each extreme value of the feature data distribution 102T. , Each class belonging probability is multiplied by each weight parameter wi , and then combined to obtain the similarity. Therefore, according to the present embodiment, the influence of the specific extremum can be increased by setting the wi for the specific extremum of the feature data distribution 102T high (as a specific example, wi > 1). In addition, wi can be set low (as a specific example, wi ⁇ 1) in order to reduce the influence of a specific extreme value. Therefore, according to the present embodiment, in the calculation of the similarity, it is possible to calculate the similarity with an emphasis on the extremum (feature) designated by the user.
  • the feature data distribution 102 (x, p (x)) sufficiently reflects the features of the transfer source data candidate 2 and the transfer destination data 3 and is similar to the wave shape. But it doesn't matter.
  • BoF BoF is a method of clustering a group of feature vectors extracted from original data such as an image and generating each class ID and appearance frequency (histogram) related to the clustering.
  • the feature extraction unit 11 when the feature extraction unit 11 receives an image, it receives a HOG (Histograms of Oriented Gradients) shown in Non-Patent Document 2 or a SIFT (Scaled Invariant Feature Transition Form) shown in Non-Patent Document 3. It is output as a feature vector 101.
  • the data distribution calculation unit 12 sets the class ID in x using BoF, sets the appearance frequency of the class corresponding to the class ID in p (x), and sets the feature data distribution 102 (x, p). (X)) is output.
  • Non-Patent Document 1 Csurka, G.M. , Dance, C.I. R. , Fan, L. , Willamovski, J.M. andBray, C.I. : Visual Protection with Bags of Keypoints, ECCV (European Computer Vision) International Workshop on Statistical Selection. 1-22 (2004).
  • Non-Patent Document 2 Dalal, N.M. and Triggs, B. : Histograms of Oriented Gradients for Human Detection, 2005 IEEE (Institute of Electrical and Patterns Engineers) Computer Division 1, pp. 886-893, doi: 10.1109 / CVPR. 2005.177 (2005).
  • Non-Patent Document 3 Lowe, D. G. : Scale-Invariant Keypoints, Int. J. Comput. Vision, Vol. 60, No. 2, pp. 91-110 (2004).
  • the feature extraction unit 11 inputs a plurality of sampling data in chronological order as a specific example, and summarizes each sampling data by principal component analysis.
  • the value obtained by (dimension reduction) is defined as the feature vector 101S.
  • the data distribution calculation unit 12 may generate the feature data distribution 102S by combining the feature vectors 101S in chronological order. It is assumed that the feature data distribution 102S is a data distribution in which extreme values can be calculated.
  • FIG. 10 shows a hardware configuration example of the similarity calculation device 1 according to this modification.
  • the similarity calculation device 1 includes a processing circuit 58 in place of at least one of the processor 51, the memory 52, and the auxiliary storage device 53.
  • the processing circuit 58 is hardware that realizes at least a part of each part included in the similarity calculation device 1.
  • the processing circuit 58 may be dedicated hardware or may be a processor that executes a program stored in the memory 52.
  • the processing circuit 58 is dedicated hardware, the processing circuit 58 is, as a specific example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (ASIC is an Application Specific Integrated Circuit), an FPGA. (Field Programmable Gate Array) or a combination thereof.
  • the similarity calculation device 1 may include a plurality of processing circuits that replace the processing circuit 58. The plurality of processing circuits share the role of the processing circuit 58.
  • the processing circuit 58 is realized by hardware, software, firmware, or a combination thereof.
  • the processor 51, the memory 52, the auxiliary storage device 53, and the processing circuit 58 are collectively referred to as a "processing circuit Lee". That is, the function of each functional component of the similarity calculation device 1 is realized by the processing circuit.
  • the similarity calculation device 1 according to another embodiment may have the same configuration as this modification.
  • Embodiment 2 the points different from the above-described embodiments will be mainly described with reference to the drawings.
  • the outline of this embodiment will be described.
  • the similarity calculation device 1 creates a learning model, the minimum value of the feature data distribution 102S and the maximum value of the feature data distribution 102T, or the maximum value of the feature data distribution 102S and the feature data distribution.
  • the coordinate system expressing the extremum is converted for the purpose of preventing the minimum value of 102T from being erroneously matched. This makes it easier for the learning model to distinguish between maxima and minima.
  • FIG. 11 shows a specific example of an image that transforms a coordinate system that expresses an extremum.
  • (a) shows an image before the coordinate system is transformed, and (b) transforms the extremum coordinate system by projecting the extremum shown in (a) onto a high-dimensional space.
  • the image after the above is shown.
  • the number of dimensions of the high-dimensional space is not limited to three.
  • the maximum set of (b) shows a set of points where the maximum value shown in (a) is projected, and the minimum set shows a set of points where the minimum value shown in (a) is projected.
  • the mismatch in (a) indicates that one minimum value of the transfer destination data distribution D1 and one maximum value of the transfer source data distribution D3 are close to each other.
  • the minimum value and the maximum value related to erroneous matching are clearly separated with the separation hyperplane as the boundary in (b).
  • FIG. 12 shows a configuration example of the similarity calculation device 1 according to the present embodiment.
  • the similarity calculation device 1 includes a coordinate conversion unit 21 in addition to the components included in the similarity calculation device 1 according to the first embodiment.
  • the coordinate conversion unit 21 generates a transformation coordinate group C s using the extremum data 103S, and outputs the transformation extremum data 107S including the generated transformation coordinate group C s .
  • the conversion extreme value data 107S includes the conversion coordinate group C s , the data ID s , and the number of extreme values E s , and is also referred to as a transfer source conversion coordinate group.
  • the transformed coordinate group C s is a set of coordinates obtained by transforming the coordinate system of each coordinate included in the extremum coordinate group G s . Each coordinate included in the extremum coordinate group Gs is also called the pre-conversion source extremum.
  • the coordinate conversion unit 21 obtains the coordinates obtained by projecting the pre-conversion source extremum into a space having a dimension higher than the dimension of the pre-conversion source extremum as the transition source extremum.
  • the transformed coordinate group C s is also a subordinate concept of the extremum coordinate group G s .
  • Each coordinate included in the transformation coordinate group C s is also a transition source extremum.
  • the coordinate conversion unit 21 generates the conversion coordinate group Ct using the extremum data 103T , and outputs the conversion extremum data 107T including the converted transformation coordinate group Ct.
  • the conversion extreme value data 107T includes the conversion coordinate group Ct and the number of extreme values Et, and is also called a transfer destination conversion coordinate group.
  • the transformed coordinate group C t is a set of coordinates obtained by transforming the coordinate system of each coordinate included in the extremum coordinate group G t .
  • Each coordinate included in the extremum coordinate group Gt is also called the pre-conversion transition destination extremum.
  • the coordinate conversion unit 21 obtains the coordinates obtained by projecting the pre-conversion destination extremum into a space having a dimension higher than the dimension of the pre-conversion destination extremum as the transfer destination extremum.
  • the transformed coordinate group C t is also a subordinate concept of the extremum coordinate group G t .
  • Each coordinate included in the transformation coordinate group Ct is also a transition destination extremum.
  • Each coordinate included in the transformation coordinate group Cs is defined as [Equation 5].
  • [Equation 5] is also a specific example of the transformed coordinate group Cs .
  • the coordinate conversion unit 21 converts each maximum value included in the extreme value coordinate group G s to 1, converts each minimum value included in the extreme value coordinate group G s to -1, and converts the converted coordinates to the pole.
  • the transformed coordinate group C s is obtained by adding to each coordinate included in the value coordinate group G s .
  • each extreme value included in the transformation coordinate group C s is expressed as (x is, y is , z i ) .
  • Each coordinate included in the transformation coordinate group Ct is defined in the same manner as in [Equation 5].
  • FIG. 13 is a flowchart showing an example of the operation of the similarity calculation device 1 in the learning phase. The learning phase will be described with reference to FIG. 12 and this figure.
  • Step S201 Coordinate conversion process
  • the coordinate conversion unit 21 receives the extreme value data 103S as an input, generates the converted extreme value data 107S using the received extreme value data 103S, and outputs the generated converted extreme value data 107S.
  • Step S104 Grouping process
  • the process of this step is a process in which the extremum data 103S in the grouping process according to the learning phase of the first embodiment is replaced with the converted extremum data 107S.
  • FIG. 14 is a flowchart showing an example of the operation in the inference phase of the similarity calculation device 1. The inference phase will be described with reference to FIG. 12 and this figure.
  • Step S211 Coordinate conversion process
  • the coordinate conversion unit 21 receives the extreme value data 103T as an input, generates the converted extreme value data 107T using the received extreme value data 103T, and outputs the generated converted extreme value data 107T.
  • Step S114 Model determination process
  • the process of this step is a process in which the extremum data 103T in the model determination process according to the inference phase of the first embodiment is replaced with the converted extremum data 107T.
  • the similarity calculation device 1 determines, as a specific example, whether each extreme value is a maximum value or a minimum value for each extreme value of the feature data distribution 102.
  • the distance between the set of maximum values and the set of minimum values is separated. Therefore, according to the similarity calculation device 1 according to the present embodiment, there is a risk that the maximum value of the transfer destination and the minimum value of the transfer source, or the minimum value of the transfer destination and the maximum value of the transfer source are erroneously matched. .. Therefore, according to the similarity calculation device 1 according to the present embodiment, it is possible to obtain a degree of similarity with higher accuracy as compared with the similarity calculation device 1 according to the first embodiment.
  • each coordinate of the transformed coordinate group C s may be in the form of multiplying each of x is and y i s by z i .
  • Embodiment 3 the points different from the above-described embodiments will be mainly described with reference to the drawings.
  • the main difference between the first embodiment and the present embodiment is that the model creation unit 16 determines the number of extreme values within the permissible range in order to expand the range of the transfer source data candidate 2 for which the similarity is calculated.
  • the point is to use the corresponding dataset 105.
  • the tolerance is also referred to as the dataset tolerance.
  • the dataset tolerance indicates the range around the number of transitional extrema corresponding to each of the datasets 105.
  • FIG. 15 shows a specific example of an image in which the model creation unit 16 selects a data set 105 corresponding to each number of extreme values within an allowable range when the model creation unit 16 creates a model.
  • the model creation unit 16 selects the data set 105 based on the number of extrema corresponding to the data set 105.
  • this figure shows how the learning model is determined based on the feature data distribution 102, but in reality, the extreme value data 103T corresponding to the feature data distribution 102T and the feature data distribution 102S are respectively.
  • the training model is determined based on the data set 105 corresponding to.
  • the number of extreme values of the transfer destination data distribution D1 is 4, the number of extreme values of the transfer source data distribution D2 is 3, and the number of extreme values of the transfer source data distribution D3 is 5.
  • (A) shows an image in which the model creation unit 16 selects the data set 105 without considering the allowable range.
  • the model creation unit 16 since there is no transfer source data distribution having the same number of extreme values as the number of extreme values of the transfer destination data distribution D1, the model creation unit 16 cannot select the data set 105.
  • (b) shows an image in which the model creation unit 16 selects the data set 105 in consideration of the allowable range.
  • the model creation unit 16 allows the number of extrema within the range of ⁇ 1.
  • the model creation unit 16 is responsible for the transfer source data. Select the data set 105 corresponding to each of the distribution D2 and the source data distribution D3.
  • FIG. 16 shows a configuration example of the similarity calculation device 1 according to the present embodiment.
  • the main difference between the similarity calculation device 1 according to the present embodiment and the similarity calculation device 1 according to the first embodiment is that the model creation unit 16 receives the data set group 111 instead of the data set 105. ..
  • the data set group 111 is a set including a plurality of data sets 105.
  • the model creation unit 16 may receive a plurality of data sets 105 and generate a data set group 111 using the received plurality of data sets 105.
  • the data set group 111 is, as a specific example, the data set group 111- (n ⁇ b).
  • the data set group 111- (n ⁇ b) is a set consisting of a data set 105 corresponding to each number of extrema in the range from n-b to n + b.
  • b is a parameter corresponding to the permissible range
  • b ⁇ 0 and b ⁇ Z It should be noted that the data set 105 corresponding to the number of any one or more extrema in the range from n-b to n + b may not be provided.
  • Equation 8 shows a specific example of the data set group 111- (n ⁇ b). The meaning of each symbol is the same as that of [Equation 2].
  • the data set group 111- (n ⁇ b) is expressed as a set gn ⁇ b .
  • the data set group 111 includes the transition source extrema corresponding to each of the number of extrema within the data set tolerance, and is also a subordinate concept of the data set 105.
  • the number of transition source extrema corresponding to the data set 105 is n
  • the allowable range of the data set is from n-b to n + b.
  • the model creation unit 16 acquires the data set group 111 from the data set storage unit 15 instead of the data set 105-n, and creates the classifier 106 using the acquired data set group 111. As a specific example, the model creation unit 16 creates a classifier 106-n using the data set group 111- (n ⁇ b).
  • Step S105 Model creation process
  • This process is a process in which the data set 105 in the model creation process according to the learning phase of the first embodiment is replaced with the data set group 111- (n ⁇ b). That is, the model creation unit 16 uses the data set group 111- (n ⁇ b) when creating the classifier 106-n.
  • the model creation unit 16 stores the learning model learned using the data set group 111- (n ⁇ b) in the classifier storage unit 17 as the classifier 106-n.
  • the same extreme coordinate group G s ⁇ (x) is used in the training from the classifier 106- (n-b) to the classifier 106- (n + b). is 1, y is 1 ) ⁇ (where
  • the probability of belonging to the class corresponding to ⁇ ( x it, y it) ⁇ is high, and the probability of belonging to the class corresponding to s1 is high.
  • the value of the similarity score (c1) becomes high. Therefore, it is considered that each extreme value of the transfer destination data 3 can be appropriately classified even if an allowable range is provided for the number of extreme values which is a criterion for selecting the training data used for learning the learning model.
  • the similarity calculation device 1 allows a data set for the number of extreme values which is a criterion for selecting training data used for learning the learning model used for calculating the similarity. Set a range.
  • the similarity calculation device 1 expands the candidate range of the transfer source data candidate 2 to be the target of the similarity calculation by introducing the parameter b. Therefore, the similarity calculation device 1 can determine the similarity between the feature data distribution 102S and the feature data distribution 102T, although the number of extreme values is different, when the feature data distribution 102S and the feature data distribution 102T are globally similar to each other. ..
  • FIG. 17 is a diagram specifically illustrating the operation of the similarity calculation device 1 when the feature data distribution 102S and the feature data distribution 102T are globally similar.
  • the number of extreme values of the transfer destination data distribution D1 and the transfer source data distribution D2 is different, but the value of y corresponding to the value of x between the two data distributions regardless of the value of x.
  • the neighborhood region R5 and the neighborhood region R6 are regions close to the extremum of the transfer destination data distribution D1, and in both regions, the extremum of the transfer destination data distribution D1 and the extremum of the transfer source data distribution D2 are close to each other. is doing.
  • the similarity calculation device 1 corresponds to the transfer source data distribution D2 in the class corresponding to the transfer destination data distribution D1 as the number of extreme values of the transfer source data distribution D2 located near the extreme value of the transfer destination data distribution D1 increases. Classify by class with higher probability.
  • the similarity calculation device 1 can control the degree of similarity by using the parameter b.
  • the similarity calculation device 1 operates closer to an exact match search as the value of the parameter b is smaller, and operates closer to an ambiguous search as the value of the parameter b is larger.
  • the dataset tolerance may be set dynamically.
  • each data set 105 and each data set 105 Consider generating a dataset group 111 corresponding to each dataset 105 by selecting one dataset 105 that is closest to each of the two neighbors.
  • the model creation unit 16 may select the data set 105 and generate the data set group 111 in consideration of whether or not the data set 105 corresponding to the number of each extremum exists.
  • Embodiment 4 the points different from the above-described embodiments will be mainly described with reference to the drawings.
  • the main difference between the first embodiment and the present embodiment is the number of extreme values within the permissible range of the model determination unit 18 in order to expand the range of the transfer source data candidate 2 for which the similarity is calculated.
  • the point is that the classifier 106 corresponding to the above is used.
  • the tolerance is also called the model tolerance.
  • the model tolerance indicates the range around the number of transition destination extrema included in the transition destination extremum group.
  • FIG. 18 shows a specific example of an image in which the model creation unit 16 selects the classifier 106 corresponding to the number of extrema within the permissible range.
  • the view of this figure is the same as the view of FIG.
  • the model creation unit 16 selects at least one classifier 106 based on the number of extrema.
  • (a) shows an image in which the model determination unit 18 selects the classifier 106 without considering the allowable range.
  • the model determination unit 18 cannot select the classifier 106 because there is no classifier 106 corresponding to the number of extrema of the same number as the number of extrema of the transfer destination data distribution D1.
  • (b) shows an image in which the model determination unit 18 selects the classifier 106 in consideration of the allowable range.
  • the permissible range is 3 or more and 5 or less, and the number of extreme values of each of the transfer source data distribution D2 and the transfer source data distribution D3 is within the permissible range. Therefore, the model creation unit 16 selects the classifier 106-3 and the classifier 106-5, and classifies them as the classifier 106-3 and the classifier 106-4 as the classifier group 112 corresponding to the feature data distribution 102-3. Generate a classifier group 112 consisting of vessels 106-5.
  • FIG. 19 shows a configuration example of the similarity calculation device 1 according to the present embodiment.
  • the main difference between the similarity calculation device 1 according to the present embodiment and the similarity calculation device 1 according to the first embodiment is that the model determination unit 18 outputs the classifier group 112 instead of the classifier 106-m. It is a point.
  • the classifier group 112 is, as a specific example, the classifier group 112- (m ⁇ d).
  • d is a parameter corresponding to the permissible range, and d ⁇ 0 and d ⁇ Z.
  • the classifier group 112- (m ⁇ d) is a set consisting of the classifiers 106 from the classifier 106- (md) to the classifier 106- (m + d). It should be noted that the classifier 106 corresponding to the number of any one or more extrema in the range from md to m + d may not be provided.
  • the model determination unit 18 generates a classifier group 112 corresponding to the extremum coordinate group G t instead of the classifier 106 corresponding to the extremum coordinate group G t , and uses the extremum coordinate group G t as inference data 108. , Generates data including the classifier group 112 corresponding to the extremum coordinate group Gt.
  • the model determination unit 18 determines as a determination model a learning model group consisting of learning models corresponding to each number of transition source extrema within the model tolerance.
  • the similarity calculation unit 19 uses each classifier 106 included in the classifier group 112 instead of the classifier 106 to obtain the similarity between each of at least one feature data distribution 102S and the feature data distribution 102T.
  • Step S114 Model determination process
  • This process is a process in which the classifier 106-m in the model determination process according to the inference phase of the first embodiment is replaced with the classifier group 112- (m ⁇ d). That is, the model determination unit 18 identifies the classifier group 112- (m ⁇ d) instead of the classifier 106-m, and sets the specified classifier group 112- (m ⁇ d ) and the extremum coordinate group Gt.
  • the inference data 108 including the above is output.
  • Step S115 Similarity calculation process
  • the similarity calculation unit 19 calculates the similarity using the classifier group 112- (m ⁇ d) instead of the classifier 106-m.
  • the similarity calculation unit 19 changes the method of calculating the similarity score (c j ) in consideration of the possibility that the class belonging probabilities appear in duplicate in the classifier 106.
  • the similarity subscore score k (c j ) with the label c j of the feature data distribution 102T is set to [Equation 9].
  • the explanation of the symbol of [Equation 9] is the same as the explanation of the symbol of [Equation 4].
  • the similarity calculation unit 19 determines that the value of k corresponds to the number of extreme values for each of the plurality of classifiers 106-k. The closer it is, the more important it is. That is, the similarity calculation unit 19 calculates the similarity with emphasis on the subscore in which the value of k is closer to the number of the extremum.
  • Equation 10 shows a specific example of the similarity score (c j ).
  • k is a variable that specifies one classifier 106 that the similarity calculation unit 19 places the highest priority on among the classifiers 106 that can be classified under the label c j .
  • k' is a variable that indicates a value other than k and specifies a classifier 106 that can be classified under the label cj.
  • k' consists of a plurality of values.
  • d is a variable indicating the distance from the number of extreme values corresponding to the label c j to each element of k'.
  • fp (d) corresponding to each element of k'is prepared.
  • the similarity calculation device 1 provides a model allowable range for the number of extreme values which is a criterion for selecting a learning model used for calculating the similarity.
  • the similarity calculation device 1 expands the range of the transfer source data candidate 2 to be the target of the similarity calculation by introducing the parameter d. Therefore, the similarity calculation device 1 can determine the similarity between the two data distributions in the case shown in FIG. 17, similarly to the similarity calculation device 1 according to the third embodiment. Further, the similarity calculation device 1 can control the degree of similarity by using the parameter d.
  • the similarity calculation device 1 operates closer to an exact match search as the value of the parameter d is smaller, and operates closer to an ambiguous search as the value of the parameter d is larger.
  • the model determination unit 18 uses the classifier group 112- (m) instead of the classifier group 112- (m ⁇ d) as the classifier group 112 corresponding to the feature data distribution 102T in which the number of extreme values is m.
  • k m, m + 1, ..., M + d) may be determined.
  • the model tolerance may be set dynamically.
  • the classifier group 112 is used in each data set 105.
  • the model determination unit 18 may select the classifier 106 in consideration of whether or not the classifier 106 corresponding to the number of each extremum exists.
  • the embodiment is not limited to the one shown in the first to fourth embodiments, and various changes can be made as needed.
  • the procedure described using the flowchart or the like may be changed as appropriate.
  • 1 similarity calculation device 2 transfer source data candidate, 3 transfer destination data, 4 decision data, 11 feature extraction unit, 12 data distribution calculation unit, 13 extreme value calculation unit, 14 grouping unit, 15 data set storage unit, 16 model Creation unit, 17 classifier storage unit, 18 model determination unit, 19 similarity calculation unit, 20 data determination unit, 21 coordinate conversion unit, 51 processor, 52 memory, 53 auxiliary storage device, 54 input / output IF, 55 communication device, 58 processing circuit, 59 signal line, 101, 101S, 101T feature vector, 102, 102S, 102T feature data distribution, 103S, 103T extreme value data, 104 learning data, 105 data set, 106 classifier, 107S, 107T conversion extreme value Data, 108 inference data, 109 similarity data, 111 dataset group, 112 classifier group, D1 transfer destination data distribution, D2, D3 transfer source data distribution, R1, R2, R3, R4, R5, R6 neighborhood area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

類似度算出装置(1)は、類似度算出部(19)を備え、転移元データ候補(2)と転移先データ(3)とを用いて転移学習を行う。類似度算出部(19)は、転移元データ候補(2)の特徴量の分布を示す転移元データ分布が有する極値を示す転移元極値を含む転移元極値群と、転移先データ(3)の特徴量の分布を示す転移先データ分布が有する極値を示す転移先極値を含む転移先極値群とに基づいて、転移元データ分布と転移先データ分布との類似度を求める。

Description

類似度算出装置、類似度算出方法、及び、類似度算出プログラム
 本開示は、類似度算出装置、類似度算出方法、及び、類似度算出プログラムに関する。
 IoT(Internet of Things)機器においてAI(Artificial Intelligence)を利用するソリューションが増加している。具体例として、(1)空気調和機及び照明等のIoT家電の制御と、(2)製造装置の故障診断と、(3)製造ラインにおける製品の画像による検品と、(4)ビル等の入門時の動画による不審者侵入検知と、(5)EMS(Energy Management System)とが挙げられる。
 IoT機器毎にAIを利用する場合、学習処理に用いる十分な数の訓練データを確保することが困難であることが多い。そこで、少ない訓練データを用いて効率的に学習処理を行う必要がある。少ない訓練データを用いて学習する方法として、転移学習と呼ばれる方法がある。転移学習において、訓練データが収集された環境とは異なる環境における訓練データ及び学習モデルを転移させる。
 転移学習では、転移元を特定するために、転移元の候補の全データに対して転移元になり得るか否かを1つずつ評価する。転移元の候補を転移することが有効であることを示す「正の転移」であることを評価により確認することができた場合、転移元の候補を転移元として決定する。訓練データが画像データである場合、転移元の候補の画像が転移先の画像と十分に類似していることが「正の転移」となることの十分条件となることが多い。
 特許文献1は、画像の類似度を算出する方法として、各画像のカラーヒストグラムを算出して類似度を求める方法と、輝度の勾配方向を特徴量として類似度を求める方法と、入力画像及び学習画像のそれぞれから検出した局所特徴の特徴量が類似する個数を評価値とする方法等、何らかの評価関数を用いて、検索対象画像と検索元画像との類似度を計算する方法を開示している。
特開2019-087229号公報
 特許文献1が開示する手法によれば、計算量が比較的多いという課題がある。
 本開示は、転移学習において、比較的少ない計算量で転移元を求めることを目的とする。
 本開示に係る類似度算出装置は、
 転移元データ候補と転移先データとを用いて転移学習を行う類似度算出装置であって、
 前記転移元データ候補の特徴量の分布を示す転移元データ分布が有する極値を示す転移元極値を含む転移元極値群と、前記転移先データの特徴量の分布を示す転移先データ分布が有する極値を示す転移先極値を含む転移先極値群とに基づいて、前記転移元データ分布と前記転移先データ分布との類似度を求める類似度算出部を備える。
 本開示によれば、転移学習において、比較的少ない計算量で転移元を求めることができる。
実施の形態1に係る類似度算出装置1の構成例。 実施の形態1に係る特徴データ分布102Sの具体例。 実施の形態1に係るデータセット105の具体例。 実施の形態1に係る類似度算出装置1のハードウェア構成例。 実施の形態1に係る類似度算出装置1の動作の概要を説明する図。 実施の形態1に係る類似度算出装置1の学習フェーズに係る動作を示すフローチャート。 実施の形態1に係る類似度算出装置1の学習フェーズに係る動作を説明する図であり、(a)は転移元データ候補を示す画像、(b)は(a)をグレースケール化した画像、(c)は(b)に対応する特徴データ分布。 実施の形態1に係る類似度算出装置1の推論フェーズに係る動作を示すフローチャート。 実施の形態1に係る類似度算出装置1の動作を説明する図。 実施の形態1の変形例に係る類似度算出装置1のハードウェア構成例。 実施の形態2に係る類似度算出装置1の動作の概要を説明する図であり、(a)は座標系を変換する前を説明する図、(b)は座標系を変換した後を説明する図。 実施の形態2に係る類似度算出装置1の構成例。 実施の形態2に係る類似度算出装置1の学習フェーズに係る動作を示すフローチャート。 実施の形態2に係る類似度算出装置1の推論フェーズに係る動作を示すフローチャート。 実施の形態3に係る類似度算出装置1の動作の概要を説明する図であり、(a)は許容範囲がない場合を説明する図、(b)は許容範囲がある場合を説明する図。 実施の形態3に係る類似度算出装置1の構成例。 実施の形態3に係る類似度算出装置1の動作を説明する図。 実施の形態4に係る類似度算出装置1の動作の概要を説明する図であり、(a)は許容範囲がない場合を説明する図、(b)は許容範囲がある場合を説明する図。 実施の形態4に係る類似度算出装置1の構成例。
 実施の形態の説明及び図面において、同じ要素及び対応する要素には同じ符号を付している。同じ符号が付された要素の説明は、適宜に省略又は簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。また、「部」を、「回路」、「工程」、「手順」、「処理」又は「サーキットリー」に適宜読み替えてもよい。
 実施の形態1.
 以下、本実施の形態について、図面を参照しながら詳細に説明する。
***構成の説明***
 図1は、本実施の形態に係る類似度算出装置1の構成例を示している。類似度算出装置1は、本図に示すように、特徴抽出部11と、データ分布計算部12と、極値計算部13と、グルーピング部14と、データセット記憶部15と、モデル作成部16と、分類器記憶部17と、モデル決定部18と、類似度算出部19と、データ決定部20とを備える。
 なお、類似度算出装置1は、転移元データ候補2と転移先データ3とを用いて転移学習を行う。また、符号の末尾のT及び上付きのtは転移先データ分布に関するものであることを示し、符号の末尾のS及び上付きのsは転移元データ分布に関するものであることを示す。
 特徴抽出部11は、転移元データ候補2を用いて転移元データ候補2の特徴量を示す特徴ベクトル101Sを生成し、転移先データ3を用いて転移先データ3の特徴量を示す特徴ベクトル101Tを生成する。転移元データ候補2及び転移先データ3それぞれは、他の装置から受信したデータであってもよく、類似度算出装置1が記憶しているデータであってもよい。なお、転移元データ候補2は、転移元データの候補であり、少なくとも1つ存在する。転移先データ3は1つ存在するものとする。特徴抽出部11が求める特徴量のデータ形式は、ベクトル形式でなくてもよい。なお、特徴ベクトル101を特徴ベクトル101S及び特徴ベクトル101Tの総称とする。特徴ベクトル101は具体例として画素値の配列である。
 特徴抽出部11は、特徴量として、具体例として、主成分分析により転移元データ候補2又は転移先データ3を要約したデータと、転移元データ候補2又は転移先データ3に関する平均値、分散、又は相関係数等の統計量と、ヒストグラム又はフーリエ変換等の(同種)写像を用いて転移元データ候補2又は転移先データ3を変換した値と、回帰分析等を利用して転移元データ候補2又は転移先データ3に対する関数近似を行いその係数又はその変化量である勾配ベクトルとの少なくともいずれかを求める。ヒストグラムという用語は、ヒストグラムにより表現することができるデータを指すこともある。なお、特徴抽出部11が求める特徴量は、転移元データ候補2又は転移先データ3の特徴を十分に反映しているものとする。
 データ分布計算部12は、特徴ベクトル101Sを用いて特徴データ分布102Sを生成し、特徴ベクトル101Tを用いて特徴データ分布102Tを生成する。特徴データ分布102Sは、転移元データ候補2の特徴量の分布を示し、転移元データ分布とも呼ばれ、少なくとも1つ存在する。転移元データ候補2それぞれは特徴データ分布102Sそれぞれと1対1で対応している。特徴データ分布102Tは、転移先データ3の特徴量の分布を示し、転移先データ分布とも呼ばれる。なお、特徴データ分布102を特徴データ分布102S及び特徴データ分布102Tの総称とする。特徴データ分布102は、典型的には関数であり、離散分布であっても、連続分布であってもよい。
 極値計算部13は、特徴データ分布102Sを用いて極値データ103Sを求める。極値データ103Sは、データID(Identification)と、極値座標群Gと、極値の数Eとから成り、計算結果とも呼ばれる。データIDは、転移元データ候補2を識別する識別子であり、転移元データIDとも呼ばれる。極値座標群Gは、特徴データ分布102Sが有する極値の座標から成る集合であり、転移元極値座標群又は転移元極値群とも呼ばれ、少なくとも1つ存在する。特徴データ分布102Sそれぞれは極値座標群Gそれぞれと1対1で対応している。極値座標群Gが含む各極値は転移元極値とも呼ばれる。転移元極値それぞれは、転移元極値それぞれに対応する極値を有する特徴データ分布102Sに対応する転移元データ候補2を識別する識別子と対応付けられている。極値の数Eは極値座標群Gが含む極値の数である。
 また、極値計算部13は、特徴データ分布102Tを用いて極値データ103Tを求める。極値データ103Tは極値座標群Gと、極値の数Eとから成り、計算結果とも呼ばれる。極値座標群Gは、特徴データ分布102Tが有する極値の座標から成る集合であり、転移先極値座標群又は転移先極値群とも呼ばれる。極値の数Eは極値座標群Gが含む極値の数である。極値データ103Tは転移先データ3を識別する識別子を含んでもよい。極値の数を極値の数Eと極値の数Eとの総称とする。
 極値計算部13は、転移元データ分布と転移先データ分布とを受け取り、転移元データ分布を用いて転移元データ分布が有する極値を求め、転移先データ分布を用いて転移先データ分布が有する極値を求める。
 特徴データ分布102Sがy=f(x)であり、極値の数Eがnである場合、極値座標群Gが含む各座標(x ,y )は[数1]のように定義される。[数1]は極値座標群Gの具体例でもある。なお、極値座標群Gに含まれる各座標の次元数は2に限られないが、説明の便宜上、当該各座標の次元を2としている。極値座標群Gは[数1]と同様に定義される。なお、変数sを与えられた特徴データ分布102S全てから成る集合Sの各元としている。即ち、s∈Sである。
Figure JPOXMLDOC01-appb-M000001
 図2は、特徴データ分布102Sの具体例を示している。本図は、[数1]に示すnが6である場合における、極値座標群Gに含まれる各極値の具体例を示している。
 グルーピング部14は、極値データ103Sを用いて学習データ104を生成し、生成した学習データ104をデータセット記憶部15に保存する。学習データ104は訓練データと教師データとを含む。学習データ104において、訓練データは極値座標群Gが含む各極値座標であり、教師データは訓練データである極値座標を有する特徴データ分布102Sに対応するデータIDである。教師データはラベルでもある。ラベルは、転移元データ候補2を識別する識別子でもある。
 グルーピング部14は、学習データ104に対応する極値の数Eにより学習データ104を分類した上で学習データ104をデータセット記憶部15に保存する。学習データ104に対応する極値の数Eは、学習データ104が含む極値座標を含む極値座標群Gに含まれる極値の数Eである。
 データセット記憶部15は、データセット105-1からデータセット105-Nを記憶し、また、データセット1~N記憶部とも呼ばれる。Nは、極値の数Eの最大値を示す定数であり、動的に変更されてもよい。データセット105-n(1≦n≦N、nは整数)は、極値の数Eがnである特徴データ分布102Sそれぞれに対応する学習データ104を元とする集合である。即ち、nは極値の数Eに対応する変数である。なお、データセット105-1からデータセット105-Nの少なくとも一部は空のデータであってもよい。
 転移元極値それぞれは、転移元極値それぞれに対応する極値を有する特徴データ分布102Sに対応する転移元データ候補2を識別する識別子と対応付けられている。転移元極値それぞれは、転移元極値それぞれを含む転移元極値群が含む転移元極値の数に応じて、データセット105の少なくとも1つに属する。データセット105は、極値の数が示す値ごとに用意されている。本実施の形態において、データセット105それぞれは、データセット105それぞれに対応する転移元極値の数に対応する転移元極値を含む。データセット105-nに対応する転移元極値の数はnである。転移元極値の数がnである場合において、転移元極値の数に対応する転移元極値は、n個の転移元極値を有する特徴データ分布102Sが有する転移元極値である。
 [数2]は、極値の数Eがn(=|{(x ,y )}|)である特徴データ分布102S全てから生成されたデータセット105-nの具体例を示している。
Figure JPOXMLDOC01-appb-M000002
 ここで、データセット105-nを集合gと表現し、極値座標群Gが含む各座標を(x ,y )と表現し、データIDをcと表現している。
 図3は、データセット105の具体例を示している。本図の上部に極値座標群Gが示されており、Gs1,Gs2,…,Gsnは各極値座標群Gである。ここで、上付きの添え字は、各極値座標群Gが含む極値座標を有する特徴データ分布102Sに対応するデータIDを示すラベルである。また、本図の下部に上部に示される極値座標群Gに対応するデータセット105が示されている。Gs1及びGsnそれぞれに対応する極値の数Eは3であるためGs1及びGsnの各要素はデータセット105-3が含む各要素に含まれ、Gs2に対応する極値の数Eは1であるためGs2の要素はデータセット105-1が含む要素に含まれる。
 モデル作成部16は、データセット105を用いて学習を行うことにより学習モデルである分類器106を作成する。具体的には、モデル作成部16は、データセット105-nをデータセット記憶部15から取得し、取得したデータセット105-nを用いて分類器106-nを作成する。即ち、モデル作成部16は、極値の数Eごとに分類器106を作成する。なお、データセット105-nが空である場合、モデル作成部16は分類器106-nを作成しなくてもよい。学習モデルである分類器106は、データセット105それぞれに対応するモデルであって、与えられた座標群に対応する識別子を推定することに用いられるモデルであり、特徴データ分布102Tの各極値を分類することに用いられるモデルである。具体的には、分類器106-nは、極値の数Eがnである特徴データ分布102Sそれぞれに対応するクラスに、極値の数Eがnである特徴データ分布102Tの各極値が所属する確率(クラス所属確率)を求める。なお、学習モデルを単にモデルと表現することもある。
 モデル作成部16は、学習に用いる学習アルゴリズムとして、具体例として、KNN(k-nearest neighbor、k近傍法)又はSVC(Support Vector Classification)等を用いる。
 分類器記憶部17は、分類器106-1から分類器106-Nを記憶し、また、分類器1~N記憶部とも呼ばれる。分類器106-nは、極値の数Eがnである特徴データ分布102Sに対応する。
 モデル決定部18は、類似度算出部19が用いる分類器106を、極値座標群Gを用いて決定する。具体例として、極値の数Eがm(=|{(x ,y )}|)である場合、モデル決定部18は、分類器記憶部17から分類器106-mを取得し、類似度算出部19が用いる分類器106として取得した分類器106-mを決定する。
 モデル決定部18は、決定した分類器106を含む推論データ108を生成する。推論データ108は、極値座標群Gと、極値座標群Gに対応する分類器106とを含む。推論データ108-mは、極値の数Eがmである極値座標群Gを含む推論データ108である。
 モデル決定部18は、少なくとも1つの学習モデルから、極値座標群Gが含む極値の数に応じて学習モデルを決定モデルとして決定する。
 類似度算出部19は、推論データ108が含む分類器106と極値座標群Gとを用いて少なくとも1つの特徴データ分布102Sそれぞれと特徴データ分布102Tとの類似度を求め、求めた類似度を含む類似度データ109を出力する。類似度データ109は、データIDのラベルと、データIDに対応する類似度とを含む。
 類似度算出部19は、決定モデルと極値座標群Gとを用いて類似度を求める。ここで、決定モデルは極値座標群Gに基づいて生成されている。よって、類似度算出部19は、特徴データ分布102Sそれぞれに対応する極値座標群Gと極値座標群Gとに基づいて、特徴データ分布102Sそれぞれと特徴データ分布102Tとの類似度を求める。
 以下、類似度の具体例を説明する。[数3]は、各(x ,y )のクラス所属確率を推定クラスcごとに示している。ここで、出力は「推定クラス(クラス所属確率)」という形式で表記されている。また、1つの入力に対する出力の数は、極値の数Eがmである特徴データ分布102Sの総数である。
Figure JPOXMLDOC01-appb-M000003
 特徴データ分布102Tと推定クラスcとの類似度を示すscore(c)は、具体例として[数4]のように示される。なお、score(c)は、転移先データ3の各転移元データ候補2との類似度でもある。
Figure JPOXMLDOC01-appb-M000004
 ここで、wは各極値(x ,y )を重視する程度を示す重みパラメータである。
 データ決定部20は、転移元データ決定部とも呼ばれ、類似度データ109及び決定条件に基づいて少なくとも1つの転移元データ候補2から転移元データを決定し、決定した転移元データを含む決定データ4を出力する。決定データ4は、転移元データ候補2を示すラベルと、当該転移元データ候補2に対応する類似度とを含む。決定条件は、データ決定部20が転移元データ候補2を転移元データと決定する条件である。決定条件は、具体例として、類似度がある閾値以上であることである。データ決定部20は、決定条件を満たす類似度に対応する転移元データ候補2を転移元データと決定する。
 データ決定部20は、具体例として、決定条件を満たす類似度に対応するデータIDを特定し、特定したデータIDに対応する転移元データ候補2及び類似度を出力する。
 図4は、本実施の形態に係る類似度算出装置1のハードウェア構成例を示している。類似度算出装置1は、コンピュータから成る。類似度算出装置1は、複数のコンピュータから成ってもよい。
 また、類似度算出装置1は、クラウドコンピューティングにおけるサーバ(コンピュータ)において動作させてもよく、エッジコンピューティングにおけるサーバ(コンピュータ)において動作させてもよい。
 類似度算出装置1は、本図に示すように、プロセッサ51と、メモリ52と、補助記憶装置53と、入出力IF(Interface)54と、通信装置55と等のハードウェアを備えるコンピュータである。これらのハードウェアは、信号線59を介して互いに接続されている。
 プロセッサ51は、演算処理を行うIC(Integrated Circuit)であり、かつ、コンピュータが備えるハードウェアを制御する。プロセッサ51は、具体例として、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、又はGPU(Graphics Processing Unit)である。
 類似度算出装置1は、プロセッサ51を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ51の役割を分担する。
 メモリ52は、典型的には、揮発性の記憶装置である。メモリ52は、主記憶装置又はメインメモリとも呼ばれる。メモリ52は、具体例として、RAM(Random Access Memory)である。メモリ52に記憶されたデータは、必要に応じて補助記憶装置53に保存される。
 補助記憶装置53は、典型的には、不揮発性の記憶装置である。補助記憶装置53は、具体例として、ROM(Read Only Memory)、HDD(Hard Disk Drive)、又はフラッシュメモリである。補助記憶装置53に記憶されたデータは、必要に応じてメモリ52にロードされる。
 メモリ52と、補助記憶装置53とは、一体的に構成されていてもよい。
 入出力IF54は、入力装置及び出力装置が接続されるポートである。入出力IF54は、具体例として、USB(Universal Serial Bus)端子である。入力装置は、具体例として、キーボード及びマウスである。出力装置は、具体例として、ディスプレイである。
 通信装置55は、レシーバ及びトランスミッタである。通信装置55は、具体例として、通信チップ又はNIC(Network Interface Card)である。
 類似度算出装置1の各部は、他の装置等と通信する際に、通信装置55を適宜用いてもよい。類似度算出装置1の各部は、入出力IF54を介してデータを受け付けてもよく、また、通信装置55を介してデータを受け付けてもよい。
 補助記憶装置53は、類似度算出プログラムを記憶している。類似度算出プログラムは、類似度算出装置1が備える各部の機能をコンピュータに実現させるプログラムである。類似度算出プログラムは、複数のファイルから成ってもよい。類似度算出プログラムは、メモリ52にロードされて、プロセッサ51によって実行される。類似度算出装置1が備える各部の機能は、ソフトウェアにより実現される。
 類似度算出プログラムを実行する際に用いられるデータと、類似度算出プログラムを実行することによって得られるデータと等は、記憶装置に適宜記憶される。類似度算出装置1の各部は、適宜記憶装置を利用する。記憶装置は、具体例として、メモリ52と、補助記憶装置53と、プロセッサ51内のレジスタと、プロセッサ51内のキャッシュメモリとの少なくとも1つから成る。なお、データと、情報とは、同等の意味を有することもある。記憶装置は、コンピュータと独立したものであってもよい。データセット記憶部15と分類器記憶部17とのそれぞれは記憶装置から成る。
 メモリ52及び補助記憶装置53の機能は他の記憶装置によって実現されてもよい。
 類似度算出プログラムは、コンピュータが読み取り可能な不揮発性の記録媒体に記録されていてもよい。不揮発性の記録媒体は、具体例として、光ディスク又はフラッシュメモリである。類似度算出プログラムは、プログラムプロダクトとして提供されてもよい。
***動作の説明***
 類似度算出装置1の動作手順は、類似度算出方法に相当する。また、類似度算出装置1の動作を実現するプログラムは、類似度算出プログラムに相当する。
 類似度算出装置1は、以下の2つの基本的な方針に従って、特徴データ分布102Sの特徴データ分布102Tとの類似度を評価する。
 方針(1):類似度算出装置1は、特徴データ分布102Sのある極値が特徴データ分布102Tのある極値と近接している場合に、特徴データ分布102Sの当該ある極値において特徴データ分布102Sは特徴データ分布102Tと部分的に類似しているものとみなす。なお、類似度算出装置1は、特徴データ分布102Tのある極値と、特徴データ分布102Sのある極値とがより近い場合に、特徴データ分布102Sは特徴データ分布102Tと部分的により類似しているとみなしてもよい。
 方針(2):類似度算出装置1は、部分的に類似している極値をより多く持つ特徴データ分布102Sほど類似度を高く算出する。
 図5は、前述の方針(1)及び方針(2)に示す方針を具体的に説明する図である。本図において、2つの特徴データ分布102S(転移元データ分布D2及び転移元データ分布D3)と、1つの転移先の特徴データ分布(転移先データ分布D1)とが示されている。また、丸を用いて極大値が示されており、四角形を用いて極小値が示されており、転移先データ分布D1の各極値を中心とした円により、各極値に近接している領域が示されている。各近接している領域を近傍領域R1から近傍領域R4としている。また、転移元データ分布のある極値が転移先データ分布D1のある極値と近接している場合に、双方の極値を破線で結んでいる。
 本図より、転移元データ分布D2の極値は、近傍領域R1から近傍領域R4のいずれにおいても転移先データ分布D1の極値と近接している。一方、転移元データ分布D3の極値は、近傍領域R1と、近傍領域R2と、近傍領域R4とにおいてのみ転移先データ分布D1の極値と近接している。つまり、転移元データ分布D2は部分的に類似している極値を4つ持っており、転移元データ分布D3は部分的に類似している極値を3つ持っている。従って、転移元データ分布D2は転移元データ分布D3と比較して部分的に類似している極値をより多く持っている。そのため、類似度算出装置1は、転移元データ分布D2に対応する類似度が転移元データ分布D3に対応する類似度より高くなるように各々の類似度を算出する。
<学習フェーズ>
 図6は、類似度算出装置1の学習フェーズにおける動作の一例を示すフローチャートである。図1及び本図を用いて学習フェーズを説明する。
(ステップS101:特徴抽出処理)
 特徴抽出部11は、転移元データ候補2を入力として受け取り、受け取った転移元データ候補2を用いて特徴ベクトル101Sを生成し、生成した特徴ベクトル101Sを出力する。
(ステップS102:データ分布計算処理)
 データ分布計算部12は、特徴ベクトル101Sを入力として受け取り、受け取った特徴ベクトル101Sを用いて特徴データ分布102Sを生成し、生成した特徴データ分布102Sを出力する。
 図7は、ステップS101及びステップS102の具体例を模式的に説明する図である。本図を用いてステップS101及びステップS102の具体例を説明する。なお、本図において、転移元データ候補2を示す(a)は白黒により表現されているものの、実際にはトラが写っているカラー画像のデータである。
 転移元データ候補2が画像であり、当該画像中の柄又は模様等に特徴がある場合において、特徴抽出部11は、特徴量として画素値の出現頻度を示すデータを出力してもよい。出現頻度を示すデータは、ヒストグラムによって表すこともできるデータである。特徴抽出部11は、1枚の画像中に画素値xが占める割合の確率を特徴量とする。特徴抽出部11は、具体例として、カラー画像をグレースケール化した後、カーネル密度推定によって画素値xを確率変数とする確率質量関数p(x)を求め、(x,p(x))を特徴ベクトル101Sとする。(b)は(a)をグレースケール化したデータを示している。
 データ分布計算部12は、(x,p(x))を受け取り、(x,p(x))をスケール変換して特徴データ分布102Sを求める。(c)は、データ分布計算部12が求めた特徴データ分布102Sを示している。
 ここで、特徴ベクトル101Sである(x,p(x))は特徴データ分布102Sと捉えることができる。特徴ベクトル101Sを特徴データ分布102Sと捉えることができる場合において、データ分布計算部12は、受け取った特徴ベクトル101Sをそのまま特徴データ分布102Sとしてもよく、受け取った特徴ベクトル101Sをスケール変換したデータを特徴データ分布102Sとしてもよい。特徴ベクトル101Sをスケール変換する目的として、後続の処理において特徴データ分布102S同士を比較しやすくすることが挙げられる。スケール変換の具体例として、データ分布計算部12は、データ分布の最小値から最大値までの範囲を[0,1]の範囲にスケール変換する。
(ステップS103:極値計算処理)
 極値計算部13は、特徴データ分布102Sを入力として受け取り、受け取った特徴データ分布102Sを用いて極値データ103Sを生成し、生成した極値データ103Sを出力する。具体的には、極値計算部13は、特徴データ分布102Sから極大値及び極小値それぞれの数と、極大値及び極小値それぞれの座標を示す極値座標群Gとを求め、求めたデータを極値データ103Sとして出力する。
(ステップS104:グルーピング処理)
 グルーピング部14は、極値データ103Sを入力として受け取り、受け取った極値データ103Sが示す極値の数と同数の学習データ104を、データセット記憶部15に保存する。
 類似度算出装置1は、用意された転移元データ候補2の数分、ステップS101からステップS104までを繰り返す。
(ステップS105:モデル作成処理)
 モデル作成部16は、データセット105を入力として受け取り、受け取ったデータセット105を用いて学習を行うことにより分類器106を作成し、作成した分類器106を分類器記憶部17に保存する。
 図8は、類似度算出装置1の推論フェーズにおける動作の一例を示すフローチャートである。図1及び本図を用いて推論フェーズを説明する。
<推論フェーズ>
(ステップS111:特徴抽出処理)
 特徴抽出部11は、転移先データ3を入力として受け取り、受け取った転移先データ3を用いて特徴ベクトル101Tを生成し、生成した特徴ベクトル101Tを出力する。
(ステップS112:データ分布計算処理)
 データ分布計算部12は、特徴ベクトル101Tを入力として受け取り、受け取った特徴ベクトル101Tを用いて特徴データ分布102Tを生成し、生成した特徴データ分布102Tを出力する。
(ステップS113:極値計算処理)
 極値計算部13は、特徴データ分布102Tを受け取り、受け取った特徴データ分布102Tを用いて極値データ103Tを生成し、生成した極値データ103Tを出力する。
(ステップS114:モデル決定処理)
 以下、極値の数Eがmであるものとして説明する。
 モデル決定部18は、極値データ103Tを入力として受け取り、受け取った極値データ103Tに対応する分類器106である分類器106-mを分類器記憶部17から取得し、受け取った極値データ103Tが含む極値座標群Gと、取得した分類器106-mとを用いて推論データ108-mを生成し、生成した推論データ108-mを出力する。
(ステップS115:類似度算出処理)
 類似度算出部19は、推論データ108-mを入力として受け取り、受け取った推論データ108-mが含む分類器106-mと極値座標群Gとを用いて類似度を求め、類似度データ109を出力する。
 具体例として、まず、類似度算出部19は、受け取った極値座標群Gから各極値を取り出す。この際、類似度算出部19は、合計でm個の極値座標の組(x ,y )(i=1,…,m)を作成する。なお、各極値はテストデータでもある。
 次に、類似度算出部19は、m個のテストデータを一つずつ分類器106-mに入力し、推定クラスごと、クラス所属確率を求める。推定クラスは、テストデータが所属すると推定されるクラスである。類似度算出部19は、候補となる各クラスに各テストデータが所属すると推定し、各クラスにおける各テストデータのクラス所属確率を求める。以降、(x ,y )の推定クラスのラベルの集合をCとし、Cの元をcとする。
 次に、∀c∈Cに対してscore(c)を計算し、データIDのラベルと、データIDに対応する類似度との組である(c,score(c))を出力する。
(ステップS116:データ決定処理)
 データ決定部20は、類似度データ109を入力として受け取り、受け取った類似度データ109を用いて決定データ4を生成し、生成した決定データ4を出力する。
 図9は、データ決定部20が転移元データ候補2を特定する具体例を説明する図である。本図において、転移先データ3はトラの画像であり、「転移元データ候補2のラベル(類似度)」という形式により転移元データ候補2の各画像に対応する転移元データ候補2のラベルと類似度とを記載している。また、各画像は実際にはカラー写真である。本例において、データ決定部20は、0.5を閾値とし、類似度が閾値よりも大きいことを決定条件としている。このとき、決定データ4は、(leopard1,0.972)と、(cat1,0.891)と、(tiger1,0.779)と、(tiger2,0.697)と、(cheetah2,0.594)と、(cat2,0.567)とである。他の画像は類似度が閾値以下であるため、データ決定部20は他の画像を選択しない。
 以上のように、類似度算出装置1は、1つ以上の転移元データ候補2に基づいて学習を行うことによって分類器106を作成し、さらに、1つの転移先データ3に基づいて、作成した分類器106を用いて推論を行い、推論の結果に基づいて、転移元データと当該転移元データに対応する類似度とを出力する。
***実施の形態1の効果の説明***
 以上のように、本実施の形態に係る類似度算出装置1は、具体例として、まず、データ分布計算部12が、特徴ベクトル101Sから算出した(x,p(x))を2次元の特徴データ分布102Sとして出力する。次に、極値計算部13が、特徴データ分布102Sが有する極小値及び極大値を算出する。次に、極値座標群Gの各極値と極値座標群Gの各極値とがどれだけ近い距離関係であるかを判定する。
 そのため、本実施の形態によれば、特徴ベクトル101をそのまま用いる場合と比較して、特徴データ分布102を用いるために特徴を示す情報の次元を低くすることができ、さらに、転移先の特徴を有する極値に計算対象を絞るために類似度の計算負荷が低くなる。従って、本実施の形態によれば、比較的短い処理時間で、特徴データ分布102そのものを用いた場合に近い類似度を求めることができる。
 また、本実施の形態に係る類似度算出装置1は、特徴データ分布102Tの極値ごとに、転移元データ候補2に対応するクラスのいずれに所属すると考えられるかを示すクラス所属確率を算出し、各々のクラス所属確率に各々の重みパラメータwを乗じた後に結合して類似度を求める。そのため、本実施の形態によれば、特徴データ分布102Tの特定の極値に対するwを高く設定(具体例として、w>1)することにより特定の極値の影響を大きくすることができ、また、特定の極値の影響を小さくするためにwを低く設定(具体例として、w<1)することができる。
 従って、本実施の形態によれば、類似度の算出において、ユーザが指定する極値(特徴)を重視した類似度を算出することができる。
 特許文献1が開示する技術では、画像の類似度を評価する際、既存の類似度算出方法を用いており、ユーザは処理負荷等を考慮して所望の類似性を検出することができる適切な方法を選択する必要がある。また、本技術によれば、類似の度合いを制御することが困難である。具体的には、本技術によれば、指紋認証のように環境ノイズのみを考慮する完全一致に近い動作をさせることと、画像セグメンテーション又は行動認識のように個人差及び個体差等を無視してラベル付けするあいまい検索に近い動作をさせること等、単一の評価関数を用いて複数種類の類似性を評価する処理を実施することができない。
 しかしながら、前述の通り、本実施の形態に係る類似度算出装置1によれば、類似度に係る計算負荷は低く、また、重みを活用することにより複数種類の類似性を評価することができる。
***他の構成***
<変形例1>
 特徴データ分布102である(x,p(x))は、転移元データ候補2及び転移先データ3の特徴を十分に反映しており、かつ、波形状に近似されていればどのようなものでも構わない。
 具体例として、p(x)に非特許文献1で示されているBoF(Bag-of-Features)を用いる方法がある。BoFは、画像等の元データから抽出した特徴ベクトル群をクラスタリングし、クラスタリングに係る各クラスIDと出現頻度(ヒストグラム)とを生成する手法である。BoFを用いる場合の具体例として、特徴抽出部11は、画像を受け取ると、非特許文献2に示されるHOG(Histograms of Oriented Gradients)又は非特許文献3に示されるSIFT(Scaled Invariance Feature Transform)を特徴ベクトル101として出力する。その後、データ分布計算部12は、BoFを用いてxにクラスIDを設定し、p(x)に当該クラスIDに対応するクラスの出現頻度を設定して、特徴データ分布102として(x,p(x))を出力する。
[非特許文献1]
 Csurka, G., Dance, C.R., Fan, L., Willamowski, J. and Bray, C.: Visual Categorization with Bags of Keypoints, ECCV(European Conference on Computer Vision) International Workshop on Statistical Learning in Computer Vision, pp. 1-22 (2004).
[非特許文献2]
 Dalal, N. and Triggs, B. : Histograms of Oriented Gradients for Human Detection, 2005 IEEE(Institute of Electrical and Electronics Engineers) Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05), vol. 1, pp. 886-893, doi: 10.1109/CVPR.2005.177 (2005).
[非特許文献3]
 Lowe, D.G.: Distinctive Image Features from Scale-Invariant Keypoints, Int. J. Comput. Vision, Vol.60, No.2, pp.91-110 (2004).
<変形例2>
 転移元データ候補2がセンサ等から取得した多次元時系列データである場合、特徴抽出部11は、具体例として、複数のサンプリングデータを時系列順に入力し、主成分分析により各サンプリングデータを要約(次元削減)した値を特徴ベクトル101Sとする。
 本変形例において、データ分布計算部12は、特徴ベクトル101Sを時系列順に結合することにより特徴データ分布102Sを生成してもよい。なお、当該特徴データ分布102Sは極値が算出可能なデータ分布であるものとする。
<変形例3>
 図10は、本変形例に係る類似度算出装置1のハードウェア構成例を示している。
 類似度算出装置1は、本図に示すように、プロセッサ51とメモリ52と補助記憶装置53との少なくとも1つに代えて、処理回路58を備える。
 処理回路58は、類似度算出装置1が備える各部の少なくとも一部を実現するハードウェアである。
 処理回路58は、専用のハードウェアであってもよく、また、メモリ52に格納されるプログラムを実行するプロセッサであってもよい。
 処理回路58が専用のハードウェアである場合、処理回路58は、具体例として、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(ASICはApplication Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)又はこれらの組み合わせである。
 類似度算出装置1は、処理回路58を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路58の役割を分担する。
 類似度算出装置1において、一部の機能が専用のハードウェアによって実現されて、残りの機能がソフトウェア又はファームウェアによって実現されてもよい。
 処理回路58は、具体例として、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせにより実現される。
 プロセッサ51とメモリ52と補助記憶装置53と処理回路58とを、総称して「プロセッシングサーキットリー」という。つまり、類似度算出装置1の各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
 他の実施の形態に係る類似度算出装置1についても、本変形例と同様の構成であってもよい。
 実施の形態2.
 以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。
 本実施の形態の概要を説明する。本実施の形態に係る類似度算出装置1は、学習モデルを作成する際に、特徴データ分布102Sの極小値及び特徴データ分布102Tの極大値、又は、特徴データ分布102Sの極大値及び特徴データ分布102Tの極小値が誤ってマッチングすることを防ぐことを目的として極値を表現する座標系を変換する。これにより、学習モデルが極大値と極小値とを識別しやすくなる。
 図11は、極値を表現する座標系を変換するイメージの具体例を示している。本図の(a)は座標系を変換する前のイメージを示しており、(b)は、(a)に示される極値を高次元空間に射影することにより、極値の座標系を変換した後のイメージを示している。なお、当該高次元空間の次元数は3に限られない。(b)の極大集合は(a)に示される極大値が射影された点の集合を示し、極小集合は(a)に示される極小値が射影された点の集合を示す。(a)における誤マッチングは、転移先データ分布D1の1つの極小値と転移元データ分布D3の1つの極大値とが近接していることを示す。誤マッチングに係る極小値と極大値とは、(b)において分離超平面を境界にして明確に分離している。
***構成の説明***
 図12は、本実施の形態に係る類似度算出装置1の構成例を示している。類似度算出装置1は、本図に示すように、実施の形態1に係る類似度算出装置1が備える構成要素に加え、座標変換部21を備える。
 座標変換部21は、極値データ103Sを用いて変換座標群Cを生成し、生成した変換座標群Cを含む変換極値データ107Sを出力する。変換極値データ107Sは、変換座標群Cと、データIDと、極値の数Eとを含み、転移元変換座標群とも呼ばれる。変換座標群Cは、極値座標群Gが含む各座標の座標系を変換した座標から成る集合である。極値座標群Gが含む各座標は変換前転移元極値とも呼ばれる。座標変換部21は、転移元極値として、変換前転移元極値の次元よりも次元が高い空間に変換前転移元極値を射影した座標を求める。変換座標群Cは極値座標群Gの下位概念でもある。変換座標群Cが含む各座標は転移元極値でもある。
 また、座標変換部21は、極値データ103Tを用いて変換座標群Cを生成し、変換した変換座標群Cを含む変換極値データ107Tを出力する。変換極値データ107Tは、変換座標群Cと、極値の数Eとを含み、転移先変換座標群とも呼ばれる。変換座標群Cは、極値座標群Gが含む各座標の座標系を変換した座標から成る集合である。極値座標群Gが含む各座標は変換前転移先極値とも呼ばれる。座標変換部21は、転移先極値として、変換前転移先極値の次元よりも次元が高い空間に変換前転移先極値を射影した座標を求める。変換座標群Cは極値座標群Gの下位概念でもある。変換座標群Cが含む各座標は転移先極値でもある。
 変換座標群Cが含む各座標は、[数5]のように定義される。[数5]は変換座標群Cの具体例でもある。座標変換部21は、本例において、極値座標群Gが含む各極大値を1に変換し、極値座標群Gが含む各極小値を-1に変換し、変換した座標を極値座標群Gが含む各座標に追加することによって変換座標群Cを得る。また、本例において変換座標群Cが含む各極値は(x ,y ,z)と表される。変換座標群Cが含む各座標は、[数5]と同様に定義される。
Figure JPOXMLDOC01-appb-M000005
***動作の説明***
 実施の形態1に係る類似度算出装置1の動作との差異を主に説明する。
<学習フェーズ>
 図13は、類似度算出装置1の学習フェーズにおける動作の一例を示すフローチャートである。図12及び本図を用いて学習フェーズを説明する。
(ステップS201:座標変換処理)
 座標変換部21は、極値データ103Sを入力として受け取り、受け取った極値データ103Sを用いて変換極値データ107Sを生成し、生成した変換極値データ107Sを出力する。
(ステップS104:グルーピング処理)
 本ステップの処理は、実施の形態1の学習フェーズに係るグルーピング処理における極値データ103Sを変換極値データ107Sに読み替えた処理である。
<推論フェーズ>
 図14は、類似度算出装置1の推論フェーズにおける動作の一例を示すフローチャートである。図12及び本図を用いて推論フェーズを説明する。
(ステップS211:座標変換処理)
 座標変換部21は、極値データ103Tを入力として受け取り、受け取った極値データ103Tを用いて変換極値データ107Tを生成し、生成した変換極値データ107Tを出力する。
(ステップS114:モデル決定処理)
 本ステップの処理は、実施の形態1の推論フェーズに係るモデル決定処理における極値データ103Tを変換極値データ107Tに読み替えた処理である。
***実施の形態2の効果の説明***
 以上のように、本実施の形態に係る類似度算出装置1は、具体例として、特徴データ分布102の各極値に対して、各極値が極大値と極小値とのいずれであるかを表すパラメータzを導入して各極値の座標系を変換することにより、極大値の集合と極小値の集合との間の距離を離す。そのため、本実施の形態に係る類似度算出装置1によれば、転移先の極大値と転移元の極小値、あるいは転移先の極小値と転移元の極大値が誤ってマッチングされるリスクが下がる。
 従って、本実施の形態に係る類似度算出装置1によれば、実施の形態1に係る類似度算出装置1と比較してより高い精度の類似度を求めることができる。
***他の構成***
<変形例4>
 変換座標群Cの各座標は、[数6]に示すように、x とy とのそれぞれにzを乗算した形式でもよい。
Figure JPOXMLDOC01-appb-M000006
 [数5]に示すように座標系を変換した場合においても、極大値及び極小値が3次元ユークリッド空間座標系(R)におけるユークリッド距離が少なくとも2の距離をもって配置されることが保証される。
 本変形例では、座標系の変換後において極大値及び極小値がさらに大きい距離をもって配置されやすくするために、x及びyそれぞれにzを乗算する。極大値(x ,y )と極小値(x ,y )とが与えられた場合において、座標系の変換後における両者間の距離は[数7]が示す通りになる。
Figure JPOXMLDOC01-appb-M000007
 [数7]について考える。特徴データ分布102の変数xが[0,1]により正規化されている場合、x≧0である。yはヒストグラムであるのでy≧0である。よって、x -x <x +x 及びy -y <y +y が成り立つ。そのため、極大値及び極小値が少しでも離れていれば、変換後の極大値及び極小値が少なくとも2より離れやすくなることが保証される。
 よって、推論にSVM(Support Vector Machine)のようなアルゴリズムを用いる場合、分離超平面により、極大値と極小値とを識別しやすくなる。
 従って、本変形例によれば、特徴データ分布102Tの極大値を入力したときに特徴データ分布102Sの極小値が誤って推論される確率と、特徴データ分布102Tの極小値を入力したときに特徴データ分布102Sの極大値が誤って推論される確率とを下げることができる。
 実施の形態3.
 以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。
 実施の形態1と本実施の形態との主な差異は、類似度算出の対象となる転移元データ候補2の範囲を広げるために、モデル作成部16が許容範囲内の極値の数それぞれに対応するデータセット105を用いる点である。当該許容範囲はデータセット許容範囲とも呼ばれる。データセット許容範囲は、データセット105それぞれに対応する転移元極値の数の周囲の範囲を示す。
 図15は、モデル作成部16がモデルを作成する際、許容範囲内の極値の数それぞれに対応するデータセット105をモデル作成部16が選択するイメージの具体例を示している。モデル作成部16は、データセット105に対応する極値の数を基準としてデータセット105を選択する。なお、説明の便宜上本図は特徴データ分布102に基づいて学習モデルが決定される様子を示しているが、実際には、特徴データ分布102Tに対応する極値データ103Tと、特徴データ分布102Sそれぞれに対応するデータセット105とに基づいて学習モデルは決定される。
 本図において、転移先データ分布D1の極値の数は4であり、転移元データ分布D2の極値の数は3であり、転移元データ分布D3の極値の数は5である。(a)は許容範囲を考慮せずにモデル作成部16がデータセット105を選択するイメージを示している。(a)において転移先データ分布D1の極値の数と同じ極値の数を有する転移元データ分布がないので、モデル作成部16はデータセット105を選択することができない。一方、(b)は許容範囲を考慮してモデル作成部16がデータセット105を選択するイメージを示している。モデル作成部16は±1の範囲において極値の数を許容する。転移元データ分布D2の極値の数及び転移元データ分布D3の極値の数は共に転移先データ分布D1の極値の数±1の範囲内であるため、モデル作成部16は転移元データ分布D2及び転移元データ分布D3それぞれに対応するデータセット105を選択する。
***構成の説明***
 図16は、本実施の形態に係る類似度算出装置1の構成例を示している。本実施の形態に係る類似度算出装置1の実施の形態1に係る類似度算出装置1に対する主な差異は、モデル作成部16が、データセット105の代わりにデータセット群111を受け取る点である。データセット群111は、複数のデータセット105から成る集合である。モデル作成部16は、複数のデータセット105を受け取り、受け取った複数のデータセット105を用いてデータセット群111を生成してもよい。
 データセット群111は、具体例としてデータセット群111-(n±b)である。データセット群111-(n±b)は、n-bからn+bまでの範囲内の極値の数それぞれに対応するデータセット105から成る集合である。ここで、bは許容範囲に対応するパラメータであり、b≧0かつb∈Zである。なお、n-bからn+bまでの範囲内のいずれか1つ以上の極値の数に対応するデータセット105はなくてもよい。
 [数8]は、データセット群111-(n±b)の具体例を示している。各記号の意味は、[数2]と同様である。なお、データセット群111-(n±b)を集合gn±bと表現している。
 データセット群111は、データセット許容範囲内の極値の数それぞれに対応する転移元極値を含み、また、データセット105の下位概念でもある。データセット群111-(n±b)において、データセット105に対応する転移元極値の数はnであり、データセット許容範囲はn-bからn+bまでである。
Figure JPOXMLDOC01-appb-M000008
 モデル作成部16は、データセット105-nの代わりにデータセット群111をデータセット記憶部15から取得し、取得したにデータセット群111を用いて分類器106を作成する。モデル作成部16は、具体例として、データセット群111-(n±b)を用いて分類器106-nを作成する。
***動作の説明***
 本実施の形態に係る類似度算出装置1の動作を示すフローチャートは、実施の形態1に係る類似度算出装置1の動作を示すフローチャートと同じである。以下、実施の形態1に係る類似度算出装置1の動作との差異を主に説明する。
<学習フェーズ>
(ステップS105:モデル作成処理)
 本処理は、実施の形態1の学習フェーズに係るモデル作成処理におけるデータセット105をデータセット群111-(n±b)に読み替えた処理である。即ち、モデル作成部16は、分類器106-nを作成する際にデータセット群111-(n±b)を用いる。
 以降の処理は実施の形態1と同様である。なお、モデル作成部16は、データセット群111-(n±b)を用いて学習した学習モデルを、分類器106-nとして分類器記憶部17に保存する。
 なお、訓練データをデータセット群111-(n±b)とした場合、分類器106-(n-b)から分類器106-(n+b)までの学習において同じ極値座標群G{(x s1,y s1)}(但し、|(x s1,y s1)|=n、i=1,…,n、s1∈S)が使われる。そのため、{(x s1,y s1)}と{(x ,y )}との類似度が高い場合、{(x s1,y s1)}を用いて生成されたいずれの分類器106においても、{(x ,y )}に対応するクラス所属確率であって、s1に対応するクラスへのクラス所属確率が高くなる。その結果、s1に対応するクラスをcとしたとき、類似度score(c)の値が高くなる。そのため、学習モデルの学習に使用する訓練データを選定する基準である極値の数に許容範囲を設けても、転移先データ3の各極値を適切に分類することができるものと考えられる。
***実施の形態3の効果の説明***
 以上のように、本実施の形態に係る類似度算出装置1は、類似度の算出に用いられる学習モデルの学習に使用する訓練データを選定する基準である極値の数に対してデータセット許容範囲を設ける。具体例として、類似度算出装置1は、パラメータbを導入することよって類似度算出の対象となる転移元データ候補2の候補範囲を広げる。
 そのため、類似度算出装置1は、極値の数は異なるものの特徴データ分布102Sと特徴データ分布102Tとが互いに大局的に類似している場合において、両データ分布の類似性を判定することができる。
 図17は、特徴データ分布102Sと特徴データ分布102Tとが大局的に類似している場合における類似度算出装置1の動作を具体的に説明する図である。本図において、転移先データ分布D1と転移元データ分布D2とのそれぞれの極値の数は異なるが、xの値がいずれであっても両データ分布間でxの値に対応するyの値は近接している。即ち、両データ分布は大局的に類似している。また、近傍領域R5及び近傍領域R6は転移先データ分布D1の極値に近接する領域であり、両領域において、転移先データ分布D1の極値と、転移元データ分布D2の極値とが近接している。
 類似度算出装置1は、転移先データ分布D1の極値の近傍に位置する転移元データ分布D2の極値が多いほど、転移先データ分布D1に対応するクラスを転移元データ分布D2に対応するクラスにより高い確率で分類する。
 また、類似度算出装置1は、パラメータbを用いて類似の度合いを制御することができる。具体例として、類似度算出装置1は、パラメータbの値が小さいほど完全一致検索に近い動作をし、パラメータbの値が大きいほどあいまい検索に近い動作をする。
***他の構成***
<変形例5>
 データセット許容範囲には対称性がなくてもよい。具体例として、モデル作成部16は、分類器106-nを生成する際に用いるデータセット群111として、データセット群111-(n±b)の代わりにデータセット群111-(k=n,n+1,…,n+b)を用いる。データセット111-(k=n,n+1,…,n+b)は、nからn+bまでの範囲内の極値の数に対応するデータセット105である。
<変形例6>
 データセット許容範囲は動的に設定されても構わない。
 本変形例の具体例として、データセット105として、データセット105-1とデータセット105-3とデータセット105-4のみが求められている場合において、各データセット105と、各データセット105の両隣それぞれにおいて最も近接している1つずつのデータセット105とを選択して各データセット105に対応するデータセット群111を生成することを考える。このとき、データセット105-3を基準とすると、データセット105-1とデータセット105-4とが最も近接しているデータセット105として選択される。このように、モデル作成部16は、各極値の数に対応するデータセット105が存在するか否かを考慮してデータセット105を選定してデータセット群111を生成してもよい。
 実施の形態4.
 以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。
 実施の形態1と本実施の形態との主な差異は、類似度算出の対象となる転移元データ候補2の範囲を広げるために、モデル決定部18が許容範囲内である極値の数それぞれに対応する分類器106を用いる点である。当該許容範囲はモデル許容範囲とも呼ばれる。モデル許容範囲は、転移先極値群が含む転移先極値の数の周囲の範囲を示す。
 図18は、許容範囲内の極値の数に対応する分類器106をモデル作成部16が選択するイメージの具体例を示している。本図の見方は図15の見方と同様である。モデル作成部16は、ある極値の数を基準として少なくとも1つの分類器106を選択する。
 本図において、(a)は許容範囲を考慮せずにモデル決定部18が分類器106を選択するイメージを示している。(a)において、転移先データ分布D1の極値の数と同じ数の極値の数に対応する分類器106がないため、モデル決定部18は分類器106を選択することができない。一方、(b)は許容範囲を考慮してモデル決定部18が分類器106を選択するイメージを示している。(b)において、許容範囲は3以上5以下であり、転移元データ分布D2及び転移元データ分布D3それぞれの極値の数は許容範囲内である。そのため、モデル作成部16は分類器106-3及び分類器106-5を選択し、特徴データ分布102-3に対応する分類器群112として、分類器106-3と分類器106-4と分類器106-5とから成る分類器群112を生成する。
***構成の説明***
 図19は、本実施の形態に係る類似度算出装置1の構成例を示している。本実施の形態に係る類似度算出装置1の実施の形態1に係る類似度算出装置1に対する主な差異は、モデル決定部18が、分類器106-mの代わりに分類器群112を出力する点である。
 分類器群112は、具体例として分類器群112-(m±d)である。ここで、dは許容範囲に対応するパラメータであり、d≧0かつd∈Zである。分類器群112-(m±d)は、分類器106-(m-d)から分類器106-(m+d)までの分類器106から成る集合である。なお、m-dからm+dまで範囲内のいずれか1つ以上の極値の数に対応する分類器106はなくてもよい。
 モデル決定部18は、極値座標群Gに対応する分類器106の代わりに極値座標群Gに対応する分類器群112を生成し、推論データ108として、極値座標群Gと、極値座標群Gに対応する分類器群112とを含むデータを生成する。
 モデル決定部18は、モデル許容範囲内の転移元極値の数それぞれに対応する学習モデルから成る学習モデル群を決定モデルとして決定する。
 類似度算出部19は、分類器106の代わりに分類器群112が含む各分類器106を用いて少なくとも1つの特徴データ分布102Sそれぞれと特徴データ分布102Tとの類似度を求める。
***動作の説明***
 本実施の形態に係る類似度算出装置1の動作を示すフローチャートは、実施の形態1に係る類似度算出装置1の動作を示すフローチャートと同じである。以下、実施の形態1に係る類似度算出装置1の動作との差異を主に説明する。
<推論フェーズ>
(ステップS114:モデル決定処理)
 本処理は実施の形態1の推論フェーズに係るモデル決定処理における分類器106-mを分類器群112-(m±d)に読み替えた処理である。即ち、モデル決定部18は、分類器106-mの代わりに分類器群112-(m±d)を特定し、特定した分類器群112-(m±d)と極値座標群Gとを含む推論データ108を出力する。
(ステップS115:類似度算出処理)
 類似度算出部19は、分類器106-mの代わりに分類器群112-(m±d)を用いて類似度を算出する。
 以下、本実施の形態と実施の形態3とを組み合わせた場合における類似度算出処理を具体的に説明する。類似度算出部19は、クラス所属確率が分類器106において重複して出現する可能性があることを考慮し、類似度score(c)を算出する方法を変更する。分類器106-k(k=m-d,m-d+1,…,m+d)を用いた場合における特徴データ分布102Tのラベルcとの類似度サブスコアscore(c)を[数9]に示すように定義する。[数9]の記号の説明は、[数4]の記号の説明と同じである。
Figure JPOXMLDOC01-appb-M000009
 類似度算出部19は、複数の分類器106-kが同一のラベルに分類することができる場合、当該複数の分類器106-kそれぞれについて、kの値が当該ラベルに対応する極値の数に近いほど重視する。即ち、類似度算出部19は、kの値が当該極値の数に近いサブスコアほど重視して類似度を算出する。
 [数10]は、類似度score(c)の具体例を示している。ここで、右辺の上段において、kは、ラベルcに分類することができる分類器106の中で、類似度算出部19が最も重視する1つの分類器106を特定する変数である。k’は、k以外の値を示し、ラベルcに分類することができる分類器106を特定する変数である。ラベルcに分類することができる分類器106が分類器106-kを除いて複数存在する場合に、k’は複数の値から成る。fp(d)は、具体例として、d=0で最大となり、かつ、dと反比例する値を返す関数である。具体例として、fp(d)=1/(1+d)が挙げられる。ここで、dはラベルcに対応する極値の数からk’の各要素までの距離を示す変数である。なお、k’が複数の値から成る場合に、k’の各要素に対応するfp(d)が用意される。
 具体例として、ラベルcに対応する極値の数がmであり、かつ、分類器106-k(k=m-d,m-d+1,…,m+d)のいずれもラベルcに分類することができる場合を考える。この場合において、k=mであり、k’={m-d,…,m-1,m+1,…,m+d}である。即ち、score(c)は分類器106-mを用いて求めた類似度であり、scorek’(c)は分類器106-m以外の分類器106を用いて求めた類似度を用いて求めた値である。
Figure JPOXMLDOC01-appb-M000010
***実施の形態4の効果の説明***
 以上のように、本実施の形態に係る類似度算出装置1は、類似度の算出に用いられる学習モデルを選定する基準である極値の数に対してモデル許容範囲を設ける。具体例として、類似度算出装置1は、パラメータdを導入することによって類似度算出の対象となる転移元データ候補2の範囲を広げる。
 そのため、類似度算出装置1は、実施の形態3に係る類似度算出装置1と同様に、図17に示すような場合において、両データ分布の類似性を判定することができる。
 また、類似度算出装置1は、パラメータdを用いて類似の度合いを制御することができる。具体例として、類似度算出装置1は、パラメータdの値が小さいほど完全一致検索に近い動作をし、パラメータdの値が大きいほどあいまい検索に近い動作をする。
***他の構成***
<変形例7>
 モデル許容範囲には対称性がなくてもよい。具体例として、モデル決定部18は、極値の数がmである特徴データ分布102Tに対応する分類器群112として、分類器群112-(m±d)の代わりに分類器群112-(k=m,m+1,…,m+d)を決定してもよい。分類器群112-(k=m,m+1,…,m+d)は、mからm+dまでの範囲内の極値の数に対応する分類器106から成る分類器群112である。
<変形例8>
 モデル許容範囲は動的に設定されてもよい。
 本変形例の具体例として、データセット105として、データセット105-1とデータセット105-3とデータセット105-4のみが求められている場合において、分類器群112として、各データセット105に対応する各分類器106と、各データセット105の両隣それぞれにおいて最も近接している1つずつのデータセット105に対応する分類器106とを選択する場合を考える。このとき、極値の数として3を基準とすると、分類器106-1と分類器106-3と分類器106-4とが選択される。このように、モデル決定部18は、各極値の数に対応する分類器106が存在するか否かを考慮して分類器106を選定してもよい。
***他の実施の形態***
 前述した各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
 また、実施の形態は、実施の形態1から4で示したものに限定されるものではなく、必要に応じて種々の変更が可能である。フローチャート等を用いて説明した手順は、適宜変更されてもよい。
 1 類似度算出装置、2 転移元データ候補、3 転移先データ、4 決定データ、11 特徴抽出部、12 データ分布計算部、13 極値計算部、14 グルーピング部、15 データセット記憶部、16 モデル作成部、17 分類器記憶部、18 モデル決定部、19 類似度算出部、20 データ決定部、21 座標変換部、51 プロセッサ、52 メモリ、53 補助記憶装置、54 入出力IF、55 通信装置、58 処理回路、59 信号線、101,101S,101T 特徴ベクトル、102,102S,102T 特徴データ分布、103S,103T 極値データ、104 学習データ、105 データセット、106 分類器、107S,107T 変換極値データ、108 推論データ、109 類似度データ、111 データセット群、112 分類器群、D1 転移先データ分布、D2,D3 転移元データ分布、R1,R2,R3,R4,R5,R6 近傍領域。

Claims (10)

  1.  転移元データ候補と転移先データとを用いて転移学習を行う類似度算出装置であって、
     前記転移元データ候補の特徴量の分布を示す転移元データ分布が有する極値を示す転移元極値を含む転移元極値群と、前記転移先データの特徴量の分布を示す転移先データ分布が有する極値を示す転移先極値を含む転移先極値群とに基づいて、前記転移元データ分布と前記転移先データ分布との類似度を求める類似度算出部を備える類似度算出装置。
  2.  前記転移元データ候補と前記転移元データ分布と前記転移元極値群とのそれぞれは少なくとも1つ存在し、前記転移元データ候補それぞれは前記転移元データ分布それぞれと1対1で対応しており、前記転移元データ分布それぞれは前記転移元極値群それぞれと1対1で対応しており、
     前記類似度算出部は、前記転移元データ分布それぞれに対応する転移元極値群と前記転移先極値群とに基づいて、前記転移元データ分布それぞれと前記転移先データ分布との類似度を求め、
     前記転移元極値それぞれは、前記転移元極値それぞれに対応する極値を有する転移元データ分布に対応する転移元データ候補を識別する識別子と対応付けられており、前記転移元極値それぞれを含む転移元極値群が含む転移元極値の数に応じて、極値の数が示す値ごとに用意されたデータセットの少なくとも1つに属し、
     前記類似度算出装置は、さらに、
     前記データセットそれぞれに対応するモデルであって、与えられた座標群に対応する識別子を推定することに用いられるモデルである学習モデルを作成するモデル作成部と、
     前記学習モデルから、前記転移先極値群が含む転移先極値の数に応じて学習モデルを決定モデルとして決定するモデル決定部と
    を備え、
     前記類似度算出部は、前記決定モデルと前記転移先極値群とを用いて前記類似度を求める請求項1に記載の類似度算出装置。
  3.  前記データセットそれぞれは、前記データセットそれぞれに対応する転移元極値の数に対応する転移元極値を含む請求項2に記載の類似度算出装置。
  4.  前記データセットそれぞれは、前記データセットそれぞれに対応する転移元極値の数の周囲の範囲を示すデータセット許容範囲内の極値の数それぞれに対応する転移元極値を含むデータセット群である請求項2に記載の類似度算出装置。
  5.  前記モデル決定部は、前記転移先極値群が含む転移先極値の数の周囲の範囲を示すモデル許容範囲内の転移元極値の数それぞれに対応する学習モデルから成る学習モデル群を決定モデルとして決定する請求項2から4のいずれか1項に記載の類似度算出装置。
  6.  前記類似度算出装置は、さらに、
     前記転移元極値として、前記転移元データ分布それぞれが有する極値である変換前転移元極値の次元よりも次元が高い空間に前記変換前転移元極値を射影した座標を求め、
     前記転移先極値として、前記転移先データ分布が有する極値である変換前転移先極値の次元よりも次元が高い空間に前記変換前転移先極値を射影した座標を求める座標変換部を備える請求項1から5のいずれか1項に記載の類似度算出装置。
  7.  前記類似度算出装置は、さらに、
     決定条件を満たす類似度に対応する転移元データ候補を転移元データと決定するデータ決定部を備える請求項1から6のいずれか1項に記載の類似度算出装置。
  8.  前記類似度算出装置は、さらに、
     前記転移元データ分布と前記転移先データ分布とを受け取り、前記転移元データ分布を用いて前記転移元データ分布が有する極値を求め、前記転移先データ分布を用いて前記転移先データ分布が有する極値を求める極値計算部を備える請求項1から7のいずれか1項に記載の類似度算出装置。
  9.  転移元データ候補と転移先データとを用いて転移学習を行う類似度算出方法であって、
     類似度算出部が、前記転移元データ候補の特徴量の分布を示す転移元データ分布が有する極値を示す転移元極値を含む転移元極値群と、前記転移先データの特徴量の分布を示す転移先データ分布が有する極値を示す転移先極値を含む転移先極値群とに基づいて、前記転移元データ分布と前記転移先データ分布との類似度を求める類似度算出方法。
  10.  コンピュータに転移元データ候補と転移先データとを用いて転移学習を行わせる類似度算出プログラムであって、
     前記コンピュータに、
     前記転移元データ候補の特徴量の分布を示す転移元データ分布が有する極値を示す転移元極値を含む転移元極値群と、前記転移先データの特徴量の分布を示す転移先データ分布が有する極値を示す転移先極値を含む転移先極値群とに基づいて、前記転移元データ分布と前記転移先データ分布との類似度を求めさせる類似度算出プログラム。
PCT/JP2020/046743 2020-12-15 2020-12-15 類似度算出装置、類似度算出方法、及び、類似度算出プログラム WO2022130498A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2020/046743 WO2022130498A1 (ja) 2020-12-15 2020-12-15 類似度算出装置、類似度算出方法、及び、類似度算出プログラム
CN202080107686.8A CN116569186A (zh) 2020-12-15 2020-12-15 相似度计算装置、相似度计算方法以及相似度计算程序
EP20965886.3A EP4242937A4 (en) 2020-12-15 2020-12-15 SIMILARITY CALCULATION APPARATUS, SIMILARITY CALCULATION METHOD AND SIMILARITY CALCULATION PROGRAM
JP2022566633A JP7217842B2 (ja) 2020-12-15 2020-12-15 類似度算出装置、類似度算出方法、及び、類似度算出プログラム
US18/129,240 US20230237379A1 (en) 2020-12-15 2023-03-31 Similarity degree calculation device, similarity degree calculation method, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/046743 WO2022130498A1 (ja) 2020-12-15 2020-12-15 類似度算出装置、類似度算出方法、及び、類似度算出プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/129,240 Continuation US20230237379A1 (en) 2020-12-15 2023-03-31 Similarity degree calculation device, similarity degree calculation method, and non-transitory computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2022130498A1 true WO2022130498A1 (ja) 2022-06-23

Family

ID=82057426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/046743 WO2022130498A1 (ja) 2020-12-15 2020-12-15 類似度算出装置、類似度算出方法、及び、類似度算出プログラム

Country Status (5)

Country Link
US (1) US20230237379A1 (ja)
EP (1) EP4242937A4 (ja)
JP (1) JP7217842B2 (ja)
CN (1) CN116569186A (ja)
WO (1) WO2022130498A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202692A1 (en) * 2002-04-29 2003-10-30 Pere Obrador Method and system for processing images using histograms
JP2005044033A (ja) * 2003-07-24 2005-02-17 Mega Chips Corp 画像検出方法および画像検出プログラム
JP2017011523A (ja) * 2015-06-23 2017-01-12 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
JP2017142739A (ja) * 2016-02-12 2017-08-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2019086979A (ja) * 2017-11-06 2019-06-06 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
JP2019087229A (ja) 2017-11-02 2019-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202692A1 (en) * 2002-04-29 2003-10-30 Pere Obrador Method and system for processing images using histograms
JP2005044033A (ja) * 2003-07-24 2005-02-17 Mega Chips Corp 画像検出方法および画像検出プログラム
JP2017011523A (ja) * 2015-06-23 2017-01-12 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
JP2017142739A (ja) * 2016-02-12 2017-08-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2019087229A (ja) 2017-11-02 2019-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP2019086979A (ja) * 2017-11-06 2019-06-06 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CSURKA, G.DANCE, C.R.FAN, L.WILLAMOWSKI, J.BRAY, C.: "Visual Categorization with Bags of Keypoints", ECCV (EUROPEAN CONFERENCE ON COMPUTER VISION) INTERNATIONAL WORKSHOP ON STATISTICAL LEARNING IN COMPUTER VISION, pages 22
DALAL, N.TRIGGS, B.: "Histograms of Oriented Gradients for Human Detection", 2005 IEEE (INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS) COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR '05, vol. 1, 2005, pages 886 - 893, XP010817365, DOI: 10.1109/CVPR.2005.177
LOWE, D.G.: "Distinctive Image Features from Scale-Invariant Keypoints", INT. J. COMPUT. VISION, vol. 60, no. 2, 2004, pages 91 - 110, XP019216426, DOI: 10.1023/B:VISI.0000029664.99615.94
See also references of EP4242937A4

Also Published As

Publication number Publication date
EP4242937A1 (en) 2023-09-13
JP7217842B2 (ja) 2023-02-03
JPWO2022130498A1 (ja) 2022-06-23
US20230237379A1 (en) 2023-07-27
EP4242937A4 (en) 2024-01-10
CN116569186A (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
Al-Sahaf et al. Automatically evolving rotation-invariant texture image descriptors by genetic programming
Yang et al. Large scale similarity learning using similar pairs for person verification
Sankaran et al. Group sparse autoencoder
Cai et al. Heterogeneous image features integration via multi-modal semi-supervised learning model
JP4429370B2 (ja) ポーズによるヒト検出
Demirkus et al. Hierarchical temporal graphical model for head pose estimation and subsequent attribute classification in real-world videos
Li Mammographic image based breast tissue classification with kernel self-optimized fisher discriminant for breast cancer diagnosis
Kishorjit Singh et al. Image classification using SLIC superpixel and FAAGKFCM image segmentation
Karaman et al. Leveraging local neighborhood topology for large scale person re-identification
Zarbakhsh et al. Low-rank sparse coding and region of interest pooling for dynamic 3D facial expression recognition
Chang et al. Intensity rank estimation of facial expressions based on a single image
Puspaningrum et al. Waste classification using support vector machine with SIFT-PCA feature extraction
Bhargava et al. Computer aided diagnosis of cervical cancer using HoG features and multi classifiers
Zhao Research on the application of local binary patterns based on color distance in image classification
Ntelemis et al. Image clustering using an augmented generative adversarial network and information maximization
Lejbølle et al. Enhancing person re‐identification by late fusion of low‐, mid‐and high‐level features
Surinta et al. Recognizing pornographic images using deep convolutional neural networks
Hameed et al. Content based image retrieval based on feature fusion and support vector machine
WO2022130498A1 (ja) 類似度算出装置、類似度算出方法、及び、類似度算出プログラム
Felci Rajam et al. Content-Based Image Retrieval Using a Quick SVM-Binary Decision Tree–QSVMBDT
Senthilkumar et al. HANFIS: a new fast and robust approach for face recognition and facial image classification
Celia et al. An efficient content based image retrieval framework using machine learning techniques
Jena et al. Elitist TLBO for identification and verification of plant diseases
Vinay et al. Unconstrained face recognition using Bayesian classification
Khedher et al. Local sparse representation based interest point matching for person re-identification

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20965886

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022566633

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202080107686.8

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2020965886

Country of ref document: EP

Effective date: 20230609

NENP Non-entry into the national phase

Ref country code: DE