WO2014073366A1 - 情報処理システム、認識辞書学習方法および認識辞書学習プログラム - Google Patents

情報処理システム、認識辞書学習方法および認識辞書学習プログラム Download PDF

Info

Publication number
WO2014073366A1
WO2014073366A1 PCT/JP2013/078567 JP2013078567W WO2014073366A1 WO 2014073366 A1 WO2014073366 A1 WO 2014073366A1 JP 2013078567 W JP2013078567 W JP 2013078567W WO 2014073366 A1 WO2014073366 A1 WO 2014073366A1
Authority
WO
WIPO (PCT)
Prior art keywords
bag
probability
instance
correct
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/078567
Other languages
English (en)
French (fr)
Inventor
利憲 細井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014545633A priority Critical patent/JPWO2014073366A1/ja
Publication of WO2014073366A1 publication Critical patent/WO2014073366A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Definitions

  • the present invention relates to a recognition dictionary learning technique.
  • Non-Patent Document 1 discloses Learning VectorQuantization (LVQ) as a recognition dictionary learning method using a reference vector.
  • LVQ Learning VectorQuantization
  • the feature of this LVQ is that the learning process can be completed in a very short time compared with a statistical pattern recognition method that does not use other reference vectors such as a perceptron type neural network or a support vector machine.
  • the number of reference vectors can be designed freely, so that both the learning process and the recognition process can be accelerated only by reducing the number.
  • recognition processing can be realized only by distance calculation processing, and it is also easy to make parallel calculation. Therefore, recognition processing can be easily realized by software programming or an IC chip.
  • Patent Document 1 describes an example of a technique improved from this LVQ.
  • Non-Patent Document 2 describes specific effects for one of the methods described in Patent Document 1. In these, a reference vector value is automatically set using a plurality of input vectors as learning data. Further, Patent Document 2 describes a method that does not include the distance value conversion means in Patent Document 1.
  • Non-Patent Document 3 is based on LVQ, but the learning formula is formulated so as to maximize the probability that the identification is correct.
  • Patent Document 1 Patent Document 2, Non-Patent Document 1, Non-Patent A learning technique capable of obtaining a higher identification rate than document 2 is described. This technique is different from Patent Document 1 in that probability is directly handled as a learning model. In order to realize this, it is designed not to use only the distance between the input vector and the nearest reference vector but to calculate the probability accurately in consideration of the distance to all the reference vectors.
  • Non-Patent Document 1 Non-Patent Document 2
  • Non-Patent Document 3 it is necessary to correctly assign the category to which all input vectors used for learning belong. However, it may take time and effort to assign a correct category in advance, or a correct category may not be assigned in advance.
  • Patent Document 3 calculation of the probability that an instance is a correct category and the probability that a bag is a correct category is added, and a reference vector is updated by using a concept called Multiple InstanceMILearning (hereinafter, MIL).
  • MIL Multiple InstanceMILearning
  • the probability that the learning data is the correct category is calculated using only distance information between the learning input vector and the nearest reference vector.
  • the probability is simply converted into a numerical value between 0.0 and 1.0. That is, the probability that the instance is correct is estimated very roughly.
  • An object of the present invention is to provide a technique for solving the above-described problems.
  • a system provides: Bag selection means for selecting one bag from a bag group in which a plurality of bags representing a set of instances as an input vector for learning are collected; An instance selection means for selecting one instance from within the selected bag; Distance calculating means for calculating a distance between a plurality of reference vectors and the selected instance; An instance probability calculating means for calculating an instance correct probability that the category of the instance is correct based on the calculated distance; Bag probability calculation means for calculating a bag correct probability that the category of the bag is correct based on the instance correct probability for a plurality of instances included in the bag; Reference vector correcting means for correcting the plurality of reference vectors based on the bag correct answer probability; Equipped with.
  • a recognition dictionary learning method includes: A bag selection step of selecting one bag from a bag group in which a plurality of bags representing a set of instances as an input vector for learning are collected; An instance selection step for selecting one instance from within the selected bag; A distance calculating step of calculating a distance between a plurality of reference vectors and the selected instance; An instance probability calculating step of calculating an instance correct probability that the category of the instance is correct based on the calculated distance; A bag probability calculating step of calculating a bag correct probability that the category of the bag is correct based on the instance correct probability for a plurality of instances included in the bag; A reference vector correction step of correcting the plurality of reference vectors based on the bag correct answer probability; including.
  • a recognition dictionary learning program includes: A bag selection step of selecting one bag from a bag group in which a plurality of bags representing a set of instances as an input vector for learning are collected; An instance selection step for selecting one instance from within the selected bag; A distance calculating step of calculating a distance between a plurality of reference vectors and the selected instance; An instance probability calculating step of calculating an instance correct probability that the category of the instance is correct based on the calculated distance; A bag probability calculating step of calculating a bag correct probability that the category of the bag is correct based on the instance correct probability for a plurality of instances included in the bag; A reference vector correction step of correcting the plurality of reference vectors based on the bag correct answer probability; Is executed on the computer.
  • the recognition dictionary can be learned with high accuracy even when the category to which the input vector used for learning belongs is not completely known.
  • the information processing system 100 includes a bag selection unit 101, an instance selection unit 102, a distance calculation unit 103, an instance probability calculation unit 104, a bag probability calculation unit 105, and a reference vector correction unit 106.
  • the bag selection unit 101 selects one bag from a bag group in which a plurality of bags representing a set of instances as an input vector for learning are collected.
  • the instance selection unit 102 selects one instance from the selected bag.
  • the distance calculation unit 103 calculates the distance between the plurality of reference vectors and the selected instance.
  • the instance probability calculation unit 104 calculates an instance correct probability that the category of the instance is correct based on the calculated distance.
  • the bag probability calculation unit 105 calculates a bag correct probability that the category of the bag is correct based on the instance correct probabilities for a plurality of instances included in the bag.
  • the reference vector correction unit 106 corrects a plurality of reference vectors based on the bag correct answer probability.
  • the probability that the instance is the correct category is calculated, and further, the probability that the bag is the correct category is calculated. Then, the reference vector is corrected using the probability that the bag to which the instance belongs is in the correct category. Therefore, even when the category to which the input vector used for learning belongs is not completely known, the recognition dictionary can be learned with high accuracy.
  • FIG. 2 schematically represents a recognition dictionary learning method (LVQ) using a reference vector.
  • the recognition dictionary includes reference vectors 211 to 21n belonging to a certain category A and reference vectors 221 to 22n belonging to another category B.
  • the instance 203 and the closest reference vector 212 are specified from the reference vectors 211 to 21n belonging to the category A, and the distance d 1 is calculated.
  • the instance 203 and the closest reference vector 222 are specified, and the distance d 2 is calculated.
  • it is determined that the instance 203 also belongs to the category to which the closest reference vector 212 belongs. In the case of FIG. 2, since d 1 ⁇ d 2 , it is determined that the instance 203 belongs to the category A.
  • the recognition accuracy depends on the value of the reference vector. Change. Therefore, how to set the value of the reference vector is important for improving the recognition accuracy.
  • FIG. 3 shows the configuration of a recognition dictionary learning system 300 as the first prerequisite technology of the present embodiment.
  • a data processing device 310 and a storage device 320 are provided.
  • the data processing device 310 includes an input unit 311, a reference vector search unit 312, a distance value conversion unit 313, a correction coefficient calculation unit 314, a reference vector correction unit 315, and an end determination unit 316, and the storage device 320 stores a reference vector storage Part 321.
  • the input unit 311 selects one input vector from the input vector group prepared for learning.
  • the reference vector search unit 312 obtains a first reference vector W1 having a minimum distance from the input vector and a first distance value d1 among reference vectors belonging to the same category as the input vector.
  • a second reference vector W2 having a minimum distance from the input vector among reference vectors belonging to a category different from the input vector and a second distance value d2 thereof are obtained.
  • the distance value conversion unit 313 converts the distance value.
  • the correction coefficient calculation unit 314 calculates the correction amount of the reference vector using the first distance value d1 and the second distance value d2.
  • the reference vector correction unit 315 corrects the first reference vector W1 and the second reference vector W2 using the input vector.
  • the end determination unit 316 determines the end of learning of the reference vector.
  • the reference vector storage unit 321 stores information on a reference vector group that is a recognition dictionary. Specifically, each reference vector and the category information to which it belongs are stored.
  • the recognition dictionary learning system having such a configuration operates as follows.
  • the input unit 311 selects one from the input vector group prepared for learning.
  • the input unit 311 selects an input vector using a uniform random number from 1 to N, for example.
  • the reference vector search unit 312 performs inter-vector distance calculation with all the reference vectors in the same category as the selected input vector, and obtains the reference vector W1 having the smallest distance value and its distance value d1. Further, Euclidean distance calculation is performed for all reference vectors in a category different from the selected input vector, and a reference vector W2 having the smallest distance value and its distance value d2 are obtained.
  • the distance value conversion unit 313 obtains a converted distance value by raising the distance values d1 and d2 to the kth power using a predetermined value k.
  • the correction coefficient calculation unit 314 calculates the correction coefficient of the reference vector based on a predetermined conversion expression expressed by a function depending on the converted distance value and the number of corrections of the reference vector.
  • the reference vector correction unit 315 corrects the reference vectors W1 and W2 using the correction coefficient.
  • the end determination unit 316 determines whether or not the learning of the reference vector is to be finished.
  • FIG. 4 shows the configuration of a recognition dictionary learning system 400 as a second prerequisite technology of the present embodiment.
  • the recognition dictionary learning system 400 includes a data processing device 410 and a storage device 320.
  • the data processing device 410 includes an input unit 311, a reference vector group distance calculation unit 412, a correct probability calculation unit 413, a correction coefficient calculation unit 414, a reference vector group correction unit 415, and an end determination unit 316.
  • the reference vector group distance calculation unit 412 obtains distance values di between the selected input vector x and all the individual reference vectors Wi.
  • the correct probability calculation unit 413 calculates a probability (correct probability) that the input vector is correct from all the distance values.
  • the correction coefficient calculation unit 414 calculates the correction coefficient of the reference vector using the calculated correct probability. Then, the reference vector group correction unit 415 corrects all the individual reference vectors based on the correction coefficient.
  • probability is directly handled as a learning model.
  • the probability is calculated not only using the distance between the input vector and the nearest reference vector but taking into account the distances with all the reference vectors.
  • MIL Multiple Instance Learning
  • Fig. 5 illustrates the concept of bags and instances. A case where there are only two types of categories, “positive” and “negative” will be described. If there is at least one positive instance in the bag, the category of the bag is defined as “positive”, and if only a negative instance exists in the bag, the category of the bag is defined as “negative”.
  • the probability that the jth instance in the i th bag is positive is p ij
  • the probability that one or more instances in the bag are positive is p.
  • p i is derived by the following formula (1). For example, when classifying into two categories of “positive” and “negative (non-positive)”, even if there is incomplete information that one of n sets of instances is “positive”, it can be successfully performed. I can't learn. In order to obtain the coefficient for updating the reference vector, it is necessary to associate all instances used for learning with the category to which each instance belongs in one-to-one correspondence, and even if there is incomplete category information, it cannot be applied to the learning process. It is.
  • the image pattern is an input vector and the categories are “face” and “non-face”, the pattern includes only the eyes, nose, and mouth of the face, and includes not only the face outline but also the neck and shoulders. It is difficult to determine the pattern category.
  • FIG. 6 shows the configuration of a recognition dictionary learning system 600 as the third prerequisite technology of the present embodiment.
  • the recognition dictionary learning system 600 includes a data processing device 610 and a storage device 320.
  • the data processing device 610 includes a bag selection unit 611, an instance selection unit 612, a reference vector search unit 613, an instance probability calculation unit 614, a bag probability calculation unit 615, a probability base correction coefficient calculation unit 616, a reference vector group correction unit 617, and an end.
  • a determination unit 316 includes a bag selection unit 611, an instance selection unit 612, a reference vector search unit 613, an instance probability calculation unit 614, a bag probability calculation unit 615, a probability base correction coefficient calculation unit 616, a reference vector group correction unit 617, and an end.
  • a determination unit 316 includes a bag selection unit 611, an instance selection unit 612, a reference vector search unit 613, an instance probability calculation unit 614, a bag probability calculation unit 615, a probability base correction coefficient calculation unit
  • the bag selection unit 611 selects one bag from all bags used for learning.
  • the instance selection unit 612 selects one instance (one input vector) from the selected bags.
  • the reference vector search unit 312 obtains a reference vector having a minimum distance from the instance among the reference vectors belonging to the same category as the selected instance, and a distance value thereof. In addition, among the reference vectors belonging to a category different from the selected instance, a reference vector having a minimum distance from the input vector and its distance value are obtained.
  • the instance probability calculation unit 614 estimates a correct probability that the instance is a correct category based on distance information between the learning input vector and the nearest reference vector.
  • the correct category refers to a category assigned to the bag to which the instance belongs.
  • the bag probability calculation unit 615 calculates the correct probability that the bag is the correct category from the correct probability of each instance in each bag.
  • the probability-based correction coefficient calculation unit 616 calculates a probability-based correction coefficient for updating the reference vector for each instance based on the correct probability of the instance and the correct probability of the bag to which the instance belongs. Then, the reference vector group correcting unit 315 corrects all the individual reference vectors based on the correction coefficient.
  • the third prerequisite technique adds the calculation of the probability that the instance is likely to be the correct category and the probability that the bag is likely to be the correct category, and further derives the coefficient for updating the reference vector by the probability-based correction coefficient calculation unit 616.
  • the concept of MIL is almost realized.
  • the recognition dictionary learning system 600 only the distance information between the learning input vector and the nearest reference vector is used to calculate the probability that the learning data is the correct category. That is, the probability that the instance is correct is estimated very roughly.
  • the recognition dictionary learning system 700 includes a data processing device 710 and a storage device 720.
  • the data processing device 710 includes a bag selection unit 711, an instance selection unit 712, a reference vector group distance calculation unit 713, an instance probability calculation unit 714, a bag probability calculation unit 715, a probability base correction coefficient calculation unit 716, and a reference vector group correction unit 717. And an end determination unit 718.
  • the storage device 720 includes a reference vector storage unit 721.
  • the reference vector storage unit 721 stores information on a reference vector group that is a recognition dictionary. Specifically, each reference vector and the category information to which it belongs are stored. The reference vector is modified, resulting in a learned reference vector.
  • the bag selection unit 711 selects one bag i from all bags used for learning.
  • the instance selection unit 712 selects the j-th x ij as one instance (one input vector) from the bag i selected by the bag selection unit 711.
  • the reference vector group distance calculation unit 713 calculates all the inter-vector distances d (x ij , w k ) between the instance x ij selected by the instance selection unit 712 and individual reference vectors held in the reference vector storage unit 721. calculate.
  • the instance probability calculation unit 714 estimates a correct probability p ij that seems to be a category in which the instance is correct from all the inter-vector distance values.
  • the correct category refers to a category assigned to the bag i to which the instance j belongs.
  • the method for estimating p ij may be any method.
  • the correct probability p ij can be expressed as in Equation (2). If the correct category probability of the instance is ⁇ ij , and an arbitrary monotonically increasing function in the range [0, 1] is R ( ⁇ ), Equation (3) ). Various derivation methods are conceivable for the correctness category likelihood (instance correct answer probability) ⁇ ij of the instance. For example, it can be obtained based on Equation (4).
  • c (w h) is the number of categories that reference vector w h belongs
  • kappa is the number of the category to which the input vector belongs
  • [delta] is the number of dimensions of the vector
  • [nu is a constant of 1 or more.
  • Equation (5) may be used.
  • Equation (6) using the reference vector learning count t may be used, or the reference vector learning count t and an arbitrary constant may be used.
  • Formula (7) using ⁇ 0 and ⁇ 1 may be used. According to the formula (6) or the formula (7), as the reference vector learning count t increases, the correct probability of the category of the instance increases.
  • the bag probability calculation unit 715 calculates a correct probability q i that indicates that the bag i is the correct category from the correct probability p ij that indicates the correct category of each instance in the bag i. That is, the probability that at least one of the instances included in the bag is the correct category is calculated.
  • This calculation formula is expressed by Formula (8).
  • the probability-based correction coefficient calculating unit 716 calculates a probability-based correction coefficient u ij for updating the reference vector for each instance based on the correct probability p ij of the instance and the correct probability q i of the bag i to which the instance belongs. To calculate.
  • the correction coefficient u ij may be obtained by defining the likelihood L, which means that the recognition result is likely, based on the probability q i and maximizing it.
  • the correction coefficient u ij may be calculated as in Equation (10-1) or Equation (10-2).
  • the product of the probability (1-q i ) that the category of the bag i to which the positive instance j belongs is incorrect and the probability p ij that the category of the instance j is correct is the correction coefficient.
  • instance j is negative, the product of the probability (1-p ij ) that the category of the instance is incorrect and the probability q i that the category of the bag to which the instance belongs is correct is used as the correction coefficient.
  • the reference vector group correction unit 717 corrects all the reference vectors stored in the reference vector storage unit 721 based on the probability base correction coefficient u ij obtained by the probability base correction coefficient calculation unit 716.
  • This correction expression can be expressed as Expression (11).
  • the calculation formula used is the same, the same effect can be obtained by using a correction formula obtained by further multiplying the calculation formula by u ij .
  • the end determination unit 718 determines the end of learning (correction) of the reference vector.
  • the recognition dictionary learning system 700 includes a CPU (Central Processing Unit) 810, a ROM (Read Only Memory) 820, a wireless communication unit 830, a RAM (Random Access Memory) 840, a storage 850, and an input / output interface 860.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 810 is a central processing unit, and controls the entire recognition dictionary learning system 700 by executing various programs.
  • the ROM 820 stores various parameters in addition to the boot program that the CPU 810 should execute first.
  • the RAM 840 also stores a reference vector 841, a selected bag 842 representing the selected bag, a selected instance 843 representing the selected instance, an inter-vector distance 844, a calculated instance correct probability 845, and a bag correct probability 846. . Further, the RAM 840 stores a correction coefficient 847 calculated for correcting the reference vector group.
  • the storage 850 stores a reference vector database 851 including a plurality of reference vectors and a recognition dictionary learning program.
  • the recognition dictionary learning program includes a bag selection module 852, an instance selection module 853, a reference vector group distance calculation module 854, an instance probability calculation module 855, and a bag probability calculation module 856. Further, the recognition dictionary learning program includes a probability-based correction coefficient calculation module 857, a reference vector group correction module 858, and an end determination module 859.
  • These modules are program modules, and function as the respective components 711 to 718 shown in FIG. 7 by being executed by the CPU 810.
  • the input / output interface 860 relays input / output data with the input / output device.
  • a keyboard 861, a mouse 862, a display unit 863, and the like are connected to the input / output interface 860.
  • the number of bags i used for learning M the number of instances in the bag i and N i.
  • an instance (input vector) used for learning is prepared, and a bag i composed of one or more instances is prepared.
  • a bag i composed of one or more instances is prepared.
  • a category is assigned to all bags i.
  • one bag i is selected from the bag group for learning by executing the bag selection unit 711 (step S901).
  • step S907 the instance selection unit 712, the reference vector group distance calculation unit 713, and the instance probability calculation unit 714 repeatedly execute each process for all the instances in the selected bag i, so that each individual in the bag i
  • the probability p ij that the instance of is correct is calculated (step S903, step S905, step S907).
  • the bag probability calculation unit 715 is executed to calculate the probability q i that the selected bag i is correct (step S911).
  • step S901 the processing from step S901 to step S919 is repeatedly executed for all learning bags i.
  • Whether or not to end the learning of the reference vector may be ended when it is repeatedly executed a predetermined number of times, for example.
  • a bag probability calculation unit 715 that calculates the probability that the bag i is the correct category, and the probability-based correction coefficient that maximizes the likelihood L that is derived from the probability that the bag i is the correct category. Since it includes a probability-based correction coefficient calculation unit 716 for calculation and a reference vector group correction unit 717 that corrects the reference vector, learning is performed only with the category information assigned to the bag i instead of the instance. can do.
  • the likelihood L derived from the probability that the bag i is the correct category can be maximized.
  • Equation (12) the function S to be minimized can be defined as in Expression (12) using a logarithmic function that is a monotone function.
  • Equation (10) the update formula of the reference vector W k is expressed by the formula (13) using a constant ⁇ .
  • equation (14) is obtained.
  • equation (5) a part of this equation is expanded as equations (15), (16), and (17). Using these leads to Equation (10).
  • the recognition system 1000 using the identification parameters learned by the present embodiment includes a data processing device 1010 and a storage device 1020.
  • the data processing apparatus 1010 includes a reference vector group distance calculation unit 1011 and a probability calculation unit 1012.
  • the storage device 1020 includes a reference vector storage unit 1021 that holds a reference vector group.
  • FIG. 11 is a flowchart showing the operation of the recognition system 1000 using the learned reference vector group.
  • the reference vector group distance calculation unit 1011 calculates distances between vectors (input vectors) that are patterns to be recognized and all reference vectors stored in the reference vector storage unit 1021 (step S1101).
  • the probability calculation unit 1012 calculates the probability of each category to be identified (step S1103). The category with the highest probability is the recognition result.
  • the probability that the instance is the correct category is calculated, and the probability that the bag is the correct category is calculated. Then, the reference vector is corrected using the probability that the bag to which the instance belongs is in the correct category. In this way, even if the category to which the instance belongs is not completely clear, the learning process (ie correction of the reference vector) Can be performed.
  • a learning process for maximizing correctness (evaluation scale) for the entire bag to be learned is performed by calculating a probability-based correction coefficient based on the probability that the bag is correct.
  • the probability in order to calculate the probability that the learning data is the correct answer category, the probability is precisely calculated using the distance information between the learning input vector and all the reference vectors.
  • the “probability that the instance is correct” can be estimated more accurately, and as a result, the probability that the bag is in the correct category is correctly maximized.
  • the synergistic effect is greater. High recognition accuracy can be obtained.
  • the present embodiment it is possible to accurately detect a specific object from the video, and to accurately identify and authenticate a person or object from the video.
  • the correct category is given only to a set of data, Because it is good, it can be applied practically.
  • the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention can also be applied to a case where an information processing program that implements the functions of the embodiments is supplied directly or remotely to a system or apparatus. Therefore, in order to realize the functions of the present invention on a computer, a program installed on the computer, a medium storing the program, and a WWW (World Wide Web) server that downloads the program are also included in the scope of the present invention. .
  • WWW World Wide Web
  • Bag selection means for selecting one bag from a bag group in which a plurality of bags representing a set of instances as an input vector for learning are collected; An instance selection means for selecting one instance from within the selected bag; Distance calculating means for calculating a distance between a plurality of reference vectors and the selected instance; An instance probability calculating means for calculating an instance correct probability that the category of the instance is correct based on the calculated distance; Bag probability calculation means for calculating a bag correct probability that the category of the bag is correct based on the instance correct probability for a plurality of instances included in the bag; Reference vector correcting means for correcting the plurality of reference vectors based on the bag correct answer probability; Information processing system with (Appendix 2) The information processing system according to supplementary note 1, further comprising a correction coefficient calculation unit that calculates a coefficient for correcting the reference vector based on the bag correct probability.
  • the correction coefficient calculating means is a value obtained by dividing the product of the probability that the instance category is correct and the probability that the bag category to which the instance belongs is incorrect by the probability that the bag category is correct, and the instance The information processing system according to attachment 2, wherein a correction coefficient is calculated based on a probability value that the category is incorrect.
  • the correction coefficient calculating means includes a product of a probability that the instance category is correct and a probability that the bag category to which the instance belongs is incorrect, and a probability that the instance category is incorrect and the bag category to which the instance belongs.
  • the information processing system according to supplementary note 2 wherein the correction coefficient is calculated by a product with a probability that is correct.
  • the correction coefficient calculating means calculates a correction coefficient using a harmonic average of the distances of the reference vectors belonging to the same category as the input vector and a harmonic average of the distances of the reference vectors belonging to a category different from the input vector.
  • Information processing system described in 1. (Appendix 6)
  • the instance probability calculating means uses a sum of reciprocals of powers of distances of the reference vectors belonging to the same category as the input vector and a sum of reciprocals of powers of distances of reference vectors belonging to a category different from the input vector.
  • the information processing system according to attachment 4 wherein the instance correct answer probability is calculated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

【課題】学習に用いる入力ベクトル（インスタンス）について、高精度の認識辞書を作るため、情報処理システムであって、学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択手段と、選択されたバッグ内から１つのインスタンスを選択するインスタンス選択手段と、複数の参照ベクトルと選択されたインスタンスとの距離を算出する距離算出手段と、算出された距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出手段と、バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出手段と、バッグ正解確率に基づいて、複数の参照ベクトルを修正する参照ベクトル修正手段と、を備えた。

Description

情報処理システム、認識辞書学習方法および認識辞書学習プログラム
　本発明は、認識辞書の学習技術に関する。
　非特許文献１には、参照ベクトルを用いた認識辞書学習手法として、LearningVectorQuantization（ＬＶＱ）が開示されている。このＬＶＱの特長は、パーセプトロン型ニューラルネットワークやサポートベクトルマシンといった他の参照ベクトルを使わない統計的パターン認識手法と比較して、非常に短時間で学習処理を完了できることにある。また、ＬＶＱによれば、参照ベクトルの数を自由に設計できるためその数を削減するだけで学習処理と認識処理の双方を高速化できる。さらに、ＬＶＱによれば、認識処理が距離計算処理だけで実現でき、かつ並列型の計算にすることも容易である。そのため、容易に、ソフトウェアのプログラミングやＩＣチップによって認識処理を実現できる。
　特許文献１には、このＬＶＱを改良した手法の一例が記載されている。非特許文献２には、特許文献１に記載された方式の１種について具体的な効果が記載されている。これらでは、複数の入力ベクトルを学習データとして用いて自動的に参照ベクトルの値を設定する。さらに、特許文献２には、特許文献１における距離値変換手段を備えない方式が記載されている。
　一方、非特許文献３にはＬＶＱをベースとしながらも、識別が正解である確率を最大化するよう学習式が定式化されており、特許文献１、特許文献２、非特許文献１、非特許文献２よりも高い識別率を得られる学習技術が記載されている。この技術が特許文献１と異なる点は、学習のモデルとして確率を直接取り扱っていることである。これを実現するために、入力ベクトルと最近傍の参照ベクトルとの距離のみを使うのではなく、全ての参照ベクトルとの距離を考慮して正確に確率を算出するよう設計されている。
特許第３４５２１６０号 特開平５－１２４５５０号 特願２０１１－１５８３３９
T.Kohonen著、「The Neural Phonetic Typewriter」、 IEEE Computer, Vol.21、No.3、pp.11-22 A.Sato、K.Yamada著、「Generalized Learning Vector Quantization」、Advances In Neural Information Processing Systems,Vol.8、pp.423-429、MIT Press 、1996年 宮野博義、石寺永記著「裾野の重たい分布関数を用いた学習ベクトル量子化手法」電子情報通信学会、信学技報、 ｖｏｌ．１１０、ｎｏ．１８７、ＰＲＭＵ２０１０－８１、ｐｐ．１８５-１９２、２０１０年９月.
　しかしながら、特許文献１、非特許文献１、非特許文献２、非特許文献３に記載の方式では、学習に用いる全ての入力ベクトルについて、それが属するカテゴリを正しく付与しておく必要がある。しかし、このように事前に正しいカテゴリを付与するには手間や時間がかかったり、そもそも事前に正しいカテゴリを付与できないことがある。
　これに対して特許文献３では、Multiple Instance Learning（以下、ＭＩＬ）と呼ばれる概念を用いて、インスタンスが正解カテゴリらしい確率とバッグが正解カテゴリらしい確率の計算を追加し、さらに参照ベクトルを更新する。しかし、特許文献３では、学習用の入力ベクトルと最近傍の参照ベクトルとの距離情報のみを用いて、学習データが正解カテゴリである確率を算出する。さらに、確率の算出式は算出根拠が特になく、単に0.0以上1.0以下の数値に変換する式である。つまり、インスタンスが正解である確率を非常に粗く推定している。
　すなわち、上記技術では、学習に用いる入力ベクトルが属するカテゴリについて完全ではない情報のみ与えられた場合、高い識別精度を持つ認識辞書を学習できるとは限らない。
　本発明の目的は、上述の課題を解決する技術を提供することにある。
　上記目的を達成するため、本発明に係るシステムは、
　学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択手段と、
　選択されたバッグ内から１つのインスタンスを選択するインスタンス選択手段と、
　複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出手段と、
　算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出手段と、
　バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出手段と、
　前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正手段と、
　を備えた。
　上記目的を達成するため、本発明に係る認識辞書学習方法は、
　学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択ステップと、
　選択されたバッグ内から１つのインスタンスを選択するインスタンス選択ステップと、
　複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出ステップと、
　算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出ステップと、
　バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出ステップと、
　前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正ステップと、
　を含む。
　上記目的を達成するため、本発明に係る認識辞書学習プログラムは、
　学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択ステップと、
　選択されたバッグ内から１つのインスタンスを選択するインスタンス選択ステップと、
　複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出ステップと、
　算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出ステップと、
　バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出ステップと、
　前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正ステップと、
　をコンピュータに実行させる。
　本発明によれば、学習に用いる入力ベクトルが属するカテゴリが完全にはわかっていない場合にも、認識辞書を高精度に学習できる。
本発明の第１実施形態に係る情報処理システムの構成を示す図である。 参照ベクトルを用いた認識辞書学習手法（ＬＶＱ）を模式的に表現した図である。 本発明の実施形態の第１前提技術としての認識辞書学習システムの構成を示すブロック図である。 本発明の実施形態の第２前提技術としての認識辞書学習システムの構成を示すブロック図である。 入力ベクトルに対するカテゴリの付与の仕方のルールを説明する図である。 本発明の実施形態の第３前提技術としての認識辞書学習システムの構成を示すブロック図である。 本発明の第２実施形態に係る情報処理システムの機能構成を示す図である。 本発明の第２実施形態に係る情報処理システムのハードウェア構成を示す図である。 本発明の第２実施形態に係る情報処理システムの処理の流れを示すフローチャートである。 本発明の第２実施形態に係る認識システムの機能構成を示す図である。 本発明の第２実施形態に係る認識システムの処理の流れを示すフローチャートである。
　以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
　［第１実施形態］
　本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。情報処理システム１００は、バッグ選択部１０１とインスタンス選択部１０２と距離算出部１０３とインスタンス確率算出部１０４とバッグ確率算出部１０５と参照ベクトル修正部１０６を有する。
　バッグ選択部１０１は、学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択する。インスタンス選択部１０２は、選択されたバッグ内から１つのインスタンスを選択する。距離算出部１０３は、複数の参照ベクトルと選択されたインスタンスとの距離を算出する。
　インスタンス確率算出部１０４は、算出された距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出する。バッグ確率算出部１０５は、バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出する。参照ベクトル修正部１０６は、バッグ正解確率に基づいて、複数の参照ベクトルを修正する。
　本実施形態によれば、インスタンスが正解カテゴリである確率を計算し、さらにそのバッグが正解カテゴリである確率を計算する。そして、インスタンスが属するバッグが正解カテゴリである確率を使って、参照ベクトルを修正する。これにより、学習に用いる入力ベクトルが属するカテゴリが完全にはわかっていない場合にも、認識辞書を高精度に学習できる。
　［第２実施形態］
　《前提技術》
　本発明の第２実施形態について説明する前に、参照ベクトルを用いた認識辞書学習手法（ＬＶＱ）について説明する。図２は、参照ベクトルを用いた認識辞書学習手法（ＬＶＱ）を模式的に表現したものである。
　認識辞書はあるカテゴリＡに属する参照ベクトル２１１～２１ｎと別のカテゴリＢに属する参照ベクトル２２１～２２ｎを含んでいる。カテゴリを認識処理したいインスタンス２０３がある場合、カテゴリＡに属する参照ベクトル２１１～２１ｎのなかでインスタンス２０３と最近接の参照ベクトル２１２を特定し、その距離ｄ1を計算する。また、カテゴリＢに属する参照ベクトル２２１～２２ｎのなかで、インスタンス２０３と最近接の参照ベクトル２２２を特定し、その距離ｄ2を計算する。そして、最も近い参照ベクトル２１２が属するカテゴリにインスタンス２０３も属すると判断する。図２の場合、ｄ1＜ｄ2のため、インスタンス２０３はカテゴリＡに属すると判断する。
　このように、認識辞書と呼ばれる参照ベクトル群と入力ベクトルとの距離計算に基づいて入力ベクトルに最も近い参照ベクトルが属するカテゴリをその入力ベクトルの認識結果とする場合、参照ベクトルの値によって認識精度が変化する。このため、どのように参照ベクトルの値を設定するかが認識精度を上げる上で重要である。
　（第１前提技術）
　本実施形態の第１前提技術としての認識辞書学習システム３００の構成を図３に示す。図３に示すように、データ処理装置３１０と記憶装置３２０とを備える。データ処理装置３１０は、入力部３１１と参照ベクトル検索部３１２と距離値変換部３１３と修正係数算出部３１４と参照ベクトル修正部３１５と終了判定部３１６とを含み、記憶装置３２０は、参照ベクトル記憶部３２１を含む。
　入力部３１１は、学習用に用意された入力ベクトル群のなかから１つの入力ベクトルを選択する。参照ベクトル検索部３１２は、入力ベクトルと同一のカテゴリに属する参照ベクトルのうち、入力ベクトルとの距離が最小となる第１の参照ベクトルＷ１およびその第１の距離値ｄ１を求める。また、入力ベクトルと異なるカテゴリに属する参照ベクトルのうち、入力ベクトルとの距離が最小となる第２の参照ベクトルＷ２およびその第２の距離値ｄ２を求める。
　距離値変換部３１３は距離値を変換する。修正係数算出部３１４は、第１の距離値ｄ１および第２の距離値ｄ２を使って参照ベクトルの修正量を算出する。参照ベクトル修正部３１５は、入力ベクトルを用いて第１の参照ベクトルＷ１と第２の参照ベクトルＷ２とを修正する。終了判定部３１６は、参照ベクトルの学習の終了を判定する。
　参照ベクトル記憶部３２１は、認識辞書である参照ベクトル群の情報を記憶する。具体的には、個々の参照ベクトルと、それが属するカテゴリー情報とを記憶する。
　このような構成を有する認識辞書学習システムは次のように動作する。
　まず入力部３１１は、学習のために用意された入力ベクトル群の中から１つを選択する。入力部３１１は、例えば１からＮまでの一様な乱数を用いて入力ベクトルを選択する。次に参照ベクトル検索部３１２は、選択された入力ベクトルと同じカテゴリの参照ベクトル全てとのベクトル間距離計算を行い、最も距離値が最小の参照ベクトルＷ１とその距離値ｄ１を求める。さらに選択された入力ベクトルと異なるカテゴリの参照ベクトル全てとユークリッド距離計算を行い、最も距離値が最小の参照ベクトルＷ２とその距離値ｄ２を求める。次に、距離値変換部３１３は、距離値ｄ１とｄ２を所定の値ｋを用いてｋ乗することで変換された距離値を求める。修正係数算出部３１４は、変換された距離値と参照ベクトルの修正回数に依存した関数で表現される所定の変換式に基づいて参照ベクトルの修正係数を計算する。参照ベクトル修正部３１５が、修正係数を用いて参照ベクトルＷ１、Ｗ２を修正する。その次に終了判定部３１６によって参照ベクトルの学習を終えるかどうかを判定し、終了しない場合は入力部３１１による入力ステップに戻って処理を続ける。
　（第２前提技術）
　本実施形態の第２前提技術としての認識辞書学習システム４００の構成を図４に示す。図３で説明した構成と同じ構成については同じ符号を付して説明を省略する。図４に示すように、認識辞書学習システム４００は、データ処理装置４１０と記憶装置３２０とを備える。データ処理装置４１０は、入力部３１１と参照ベクトル群距離算出部４１２と正解確率算出部４１３と修正係数算出部４１４と参照ベクトル群修正部４１５と終了判定部３１６とを含む。
　参照ベクトル群距離算出部４１２は、選択された入力ベクトルxと個々の参照ベクトルＷi全てとの距離値ｄiをそれぞれ求める。正解確率算出部４１３は、全ての距離値から入力ベクトルが正解である確率（正解確率）を算出する。修正係数算出部４１４は、算出した正解確率を使って参照ベクトルの修正係数を算出する。そして、参照ベクトル群修正部４１５は、修正係数に基づいて個々の参照ベクトル全てを修正する。
　ここでは第１前提技術と異なり、学習のモデルとして確率を直接取り扱っている。これを実現するために、入力ベクトルと最近傍の参照ベクトルとの距離のみを使うのではなく、全ての参照ベクトルとの距離を考慮して確率を算出している。
　（ＭＩＬの説明）
　次に、統計的パターン認識の分野で、カテゴリの付与の仕方のルールを規定するMultiple Instance Learning（以下、ＭＩＬと表記する）と呼ばれる概念について説明する。この概念では、入力ベクトルのことを「インスタンス」、インスタンスの集合を「バッグ」と呼び、全てのインスタンス１つずつにカテゴリ付与するのではなく、バッグにのみカテゴリを付与する。
　図５は、バッグとインスタンスの概念を図示したものである。カテゴリとして「ポジティブ」と「ネガティブ」の２種類のみがある場合について説明する。バッグの中にポジティブインスタンスが１つでも存在すれば、そのバッグのカテゴリを「ポジティブ」、バッグの中にネガティブインスタンスのみが存在すれば、そのバッグのカテゴリを「ネガティブ」と定義する。
　このカテゴリの定義に基づくと、ｉ番目のバッグ内のｊ番目のインスタンスがポジティブである確率をｐijとし、バッグ内の１つ以上のインスタンスがポジティブである確率つまりバッグがポジティブである確率をｐiとすると、ｐiは以下の数式（１）によって導き出される。
Figure JPOXMLDOC01-appb-M000001
 　例えば、「ポジティブ」「ネガティブ（非ポジティブ）」という２種類のカテゴリに分類する場合、インスタンスｎ個の集合のうちどれか１個が「ポジティブ」であるという不完全な情報があっても、うまく学習できない。参照ベクトルを更新する係数を求めるには、学習に用いる全てのインスタンスとそれぞれのインスタンスが属するカテゴリとを１対１に対応付ける必要があり、完全でないカテゴリの情報があっても学習処理に適用できないためである。
　つまり学習処理をする前に、学習に用いる入力ベクトル全てについてカテゴリに関する情報を完全に付与しておく必要がある。しかし、このための作業には手間や時間がかかってしまう。また、入力ベクトルのカテゴリを正確に定義することが難しい場合、そもそもカテゴリに関する情報を完全に付与しておくことは困難である。例えば、画像パターンを入力ベクトルとし「顔」と「顔でない」という２種類をカテゴリとする場合、顔の目・鼻・口だけを含むパターンや、顔の輪郭だけでなく首や肩まで含まれているパターンのカテゴリの判断が難しい。
　（第３前提技術）
　本実施形態の第３前提技術としての認識辞書学習システム６００の構成を図６に示す。図３で説明した構成と同じ構成については同じ符号を付して説明を省略する。図６に示すように、認識辞書学習システム６００は、データ処理装置６１０と記憶装置３２０とを備える。データ処理装置６１０は、バッグ選択部６１１とインスタンス選択部６１２と参照ベクトル検索部６１３とインスタンス確率算出部６１４とバッグ確率算出部６１５と確率ベース修正係数算出部６１６と参照ベクトル群修正部６１７と終了判定部３１６とを備える。
　まずバッグ選択部６１１が、学習に用いる全バッグから１つのバッグを選択する。次に、インスタンス選択部６１２は、選択されたバッグの中から１つのインスタンス（１つの入力ベクトル）を選択する。
　次に、参照ベクトル検索部３１２は、選択されたインスタンスと同一のカテゴリに属する参照ベクトルのうち、そのインスタンスとの距離が最小となる参照ベクトルおよびその距離値を求める。また、選択されたインスタンスと異なるカテゴリに属する参照ベクトルのうち、入力ベクトルとの距離が最小となる参照ベクトルおよびその距離値を求める。
　インスタンス確率算出部６１４は、学習用の入力ベクトルと最近傍の参照ベクトルとの距離情報に基づいて、インスタンスが正解のカテゴリらしい正解確率を推定する。ここで、正解のカテゴリとは、インスタンスが属するバッグに付与されたカテゴリのことを指す。
　バッグ確率算出部６１５は、各バッグの中の個々のインスタンスの正解確率から、バッグが正解カテゴリらしい正解確率を算出する。
　確率ベース修正係数算出部６１６は、インスタンスの正解確率とインスタンスが属するバッグの正解確率とに基づいて、参照ベクトルを更新するための確率ベースの修正係数を個々のインスタンスごとに算出する。そして、参照ベクトル群修正部３１５は、修正係数に基づいて個々の参照ベクトル全てを修正する。
　このように、第３前提技術は、インスタンスが正解カテゴリらしい確率とバッグが正解カテゴリらしい確率の計算を追加し、さらに参照ベクトルを更新する係数を確率ベース修正係数算出部６１６で導出することで、ＭＩＬの概念を概ね実現している。
　しかし認識辞書学習システム６００では、学習データが正解カテゴリである確率を算出するのに、学習用の入力ベクトルと最近傍の参照ベクトルとの距離情報しか使わない。つまり、インスタンスが正解である確率を非常に粗く推定している。
　（本実施形態に係るシステム）
　次に、本実施形態に係る認識辞書学習システム７００について説明する。以下では、説明のために、１つのインスタンスをｘ、参照ベクトルをｗh(h=1,...,H)と表記する。
　図７を参照すると、認識辞書学習システム７００は、データ処理装置７１０と、記憶装置７２０とを備える。
　データ処理装置７１０は、バッグ選択部７１１とインスタンス選択部７１２と参照ベクトル群距離算出部７１３とインスタンス確率算出部７１４とバッグ確率算出部７１５と確率ベース修正係数算出部７１６と参照ベクトル群修正部７１７と終了判定部７１８とを有する。記憶装置７２０は、参照ベクトル記憶部７２１を有する。
　参照ベクトル記憶部７２１には、認識辞書である参照ベクトル群の情報が記憶される。具体的には、個々の参照ベクトルと、それが属するカテゴリー情報が記憶される。参照ベクトルが修正され、その結果、学習された参照ベクトルが得られる。
　バッグ選択部７１１は、学習に用いる全バッグから１つのバッグｉを選択する。インスタンス選択部７１２は、バッグ選択部７１１で選択されたバッグｉの中から１つのインスタンス（１つの入力ベクトル）としてｊ番目のｘijを選択する。
　参照ベクトル群距離算出部７１３は、インスタンス選択部７１２で選択されたインスタンスｘijと、参照ベクトル記憶部７２１に保持される個々の参照ベクトルとのベクトル間距離ｄ(ｘij, ｗk)を全て計算する。
　インスタンス確率算出部７１４は、全てのベクトル間距離の値からインスタンスが正解のカテゴリらしい正解確率ｐijを推定する。ここで、正解のカテゴリとは、インスタンスｊが属するバッグｉに付与されたカテゴリのことを指す。なお、このｐijを推定する方式は任意の方式で構わない。
　以下、正解確率ｐijを推定する方法の１例を説明する。正解確率ｐijは、数式（２）のように表現できるが、インスタンスの正解カテゴリらしさをηij、値域が［０，１］の任意の単調増加関数をＲ(-)とすると、数式（３）のようにも書ける。インスタンスの正解カテゴリらしさ（インスタンス正解確率）ηijについては様々な導出方式が考えられるが、例えば数式（４）に基づいて求めることができる。ここで、ｃ(ｗh)は参照ベクトルｗhが所属するカテゴリの番号、κは入力ベクトルが属するカテゴリの番号、δはベクトルの次元数、νは１以上の定数である。この数式（４）によれば、入力ベクトルと同じカテゴリに属する参照ベクトルの距離のべき乗の逆数の総和と、入力ベクトルと異なるカテゴリに属する参照ベクトルの距離のべき乗の逆数の総和とを用いてインスタンス正解確率を算出する。
　なお、数式（４）ではＤkとＤk'との計算にξを用いるためδとνとが必要となるが、ξ＝１とした調和平均の計算式を用いてもよい。つまり、インスタンスと同じカテゴリに属する参照ベクトルの距離の調和平均と、インスタンスと異なるカテゴリに属する参照ベクトルの距離の調和平均とを用いてインスタンス正解確率を算出してもよい。
　また、単調増加関数Ｒ(-)としては、例えば数式（５）を用いればよい。あるいは、参照ベクトルの学習を繰り返すほど認識の信頼性があがることを考慮すると、参照ベクトルの学習回数ｔを用いた数式（６）を使ってもよいし、参照ベクトルの学習回数ｔと任意の定数γ0とγ1とを用いた数式（７）を使ってもよい。数式（６）、または数式（７）によれば、参照ベクトルの学習回数ｔが増加するにつれて、インスタンスのカテゴリの正解確率が高くなる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　バッグ確率算出部７１５は、バッグｉの中の個々のインスタンスの正解カテゴリらしい正解確率ｐijから、バッグｉが正解カテゴリらしい正解確率ｑiを算出する。つまり、バッグに含まれるインスタンスのうち少なくとも１つ以上が正解カテゴリである確率を算出する。この計算式は数式（８）で表現される。
Figure JPOXMLDOC01-appb-M000008
　確率ベース修正係数算出部７１６は、インスタンスの正解確率ｐijとインスタンスが属するバッグｉの正解確率ｑiとに基づいて、参照ベクトルを更新するための確率ベースの修正係数ｕijを個々のインスタンスごとに算出する。修正係数ｕijは、認識結果が尤もらしいことを意味する尤度Lを確率ｑiに基づいて定義し、それを最大化するように求めればよい。
　例えば、Ｌを数式（９）で定義すると考えると、修正係数ｕijを数式（１０－１）または数式（１０－２）のように計算すればよい。
　数式（１０－１）では、インスタンスｊがポジティブであれば、そのカテゴリ正解確率ｐijとインスタンスｊが属するバッグｉのカテゴリ不正解確率（１－ｑi）との積を、バッグｉのカテゴリ正解確率ｑiで除算した値が修正係数となる。一方、インスタンスｊがネガティブであれば、そのカテゴリ不正解確率（１－ｐij）を修正係数とする。
　一方、数式（１０－２）では、ポジティブインスタンスｊが属するバッグｉのカテゴリが不正解である確率（１－ｑi）とインスタンスｊのカテゴリが正解である確率ｐijとの積が修正係数となる。一方、インスタンスｊがネガティブであれば、そのインスタンスのカテゴリが不正解である確率（１－ｐij）とインスタンスが属するバッグのカテゴリが正解である確率ｑiとの積を修正係数とする。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　参照ベクトル群修正部７１７は、確率ベース修正係数算出部７１６で得られた確率ベース修正係数ｕijに基づいて、参照ベクトル記憶部７２１に記憶された参照ベクトル全てを修正する。この修正式は、数式（１１）のように表現できる。なお、非特許文献３の更新式では、１／Ｄkの代わりにＤk'／(Ｄk＋Ｄk')を、１／Ｄk'の代わりにＤk／(Ｄk＋Ｄk')を用いた計算式となっているが、その計算式にさらにｕijを乗じた修正式を用いても同様の効果を得られる。
Figure JPOXMLDOC01-appb-M000011
 　終了判定部７１８は、参照ベクトルの学習（修正）の終了を判定する。
　（ハードウェア構成）
　次に、本実施形態に係る認識辞書学習システム７００のハードウェア構成について図８を用いて説明する。認識辞書学習システム７００は、ＣＰＵ（Central Processing Unit）８１０、ＲＯＭ(Read Only Memory)８２０、無線通信部８３０、ＲＡＭ(Random Access Memory)８４０、ストレージ８５０、および入出力インタフェース８６０を備えている。
　ＣＰＵ８１０は中央処理部であって、様々なプログラムを実行することにより認識辞書学習システム７００全体を制御する。ＲＯＭ８２０は、ＣＰＵ８１０が最初に実行すべきブートプログラムの他、各種パラメータ等を記憶している。また、ＲＡＭ８４０は、参照ベクトル８４１と選択されたバッグを表わす選択バッグ８４２と選択されたインスタンスを表わす選択インスタンス８４３とベクトル間距離８４４と算出されたインスタンス正解確率８４５とバッグ正解確率８４６とを保存する。さらに、ＲＡＭ８４０は、参照ベクトル群を修正するために算出された修正係数８４７を保存する。
　一方、ストレージ８５０は、複数の参照ベクトルを含む参照ベクトルデータベース８５１と認識辞書学習プログラムを記憶している。認識辞書学習プログラムは、バッグ選択モジュール８５２とインスタンス選択モジュール８５３と参照ベクトル群距離算出モジュール８５４とインスタンス確率算出モジュール８５５とバッグ確率算出モジュール８５６とを含む。さらに、認識辞書学習プログラムは、確率ベース修正係数算出モジュール８５７と参照ベクトル群修正モジュール８５８と終了判定モジュール８５９とを含む。
　これらのモジュールは、プログラムモジュールであって、ＣＰＵ８１０に実行されることにより、それぞれ、図７に示した各構成部分７１１～７１８として機能する。
　入出力インタフェース８６０は、入出力機器との入出力データを中継する。入出力インタフェース８６０には、キーボード８６１、マウス８６２、表示部８６３などが接続される。
　（全体の処理）
　次に、図９のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
　以下の説明では、学習に用いるバッグｉの個数をＭ、バッグｉ内のインスタンスの個数をＮiとする。
　なお、動作させる前に、学習に用いるインスタンス（入力ベクトル）を用意し、１個以上のインスタンスで構成されるバッグｉを用意しておく。実際のデータ構造としては、インスタンスにバッグｉの番号を対応付けておけば十分である。また、全てのバッグｉにはカテゴリを付与しておく。
　はじめに、バッグ選択部７１１を実行することで学習用のバッグ群から１つのバッグｉを選択する（ステップＳ９０１）。
　次に、選択されたバッグｉ内にある全てのインスタンスについて、インスタンス選択部７１２と参照ベクトル群距離算出部７１３とインスタンス確率算出部７１４とが繰返し各処理を実行することで、バッグｉ内の個々のインスタンスが正解である確率ｐijを計算する（ステップＳ９０３、ステップＳ９０５、ステップＳ９０７）。
　次にバッグ確率算出部７１５を実行して選択されたバッグｉが正解である確率ｑiを計算する（ステップＳ９１１）。
　次に、選択されたバッグｉ内にある全てのインスタンスについて、確率ベース修正係数算出部７１６と参照ベクトル群修正部７１７を繰返し実行することで、参照ベクトル記憶部７２１に記憶されている参照ベクトルを修正する（ステップＳ９１３～Ｓ９１７）。
　次に、ステップＳ９０１に戻って、ステップＳ９０１からステップＳ９１９までの処理を全ての学習用のバッグｉについて繰返し実行する。
　参照ベクトルの学習を終了するか否かは、例えば、あらかじめ決められた所定の回数だけ繰返し実行したら終了するようにすればよい。
　次に、本実施の形態の効果について説明する。
　本実施の形態では、バッグｉが正解カテゴリである確率を算出するバッグ確率算出部７１５と、バッグｉが正解カテゴリである確率から導出される尤もらしさＬを最大化するように確率ベース修正係数を算出する確率ベース修正係数算出部７１６を備え、参照ベクトルを修正する参照ベクトル群修正部７１７を備えるように構成されているため、インスタンスではなくバッグｉに付与されたカテゴリの情報のみでも学習を実行することができる。
　確率ベース修正係数算出部１１６で計算されるｕijを用いることで、バッグｉが正解カテゴリである確率から導出される尤もらしさＬを最大化できる。
　Ｐijを数式（５）、Ｌを数式（８）のように定義する場合について、最急降下法で最大化することを考える。この場合、単調関数である対数関数を用いて最小化すべき関数Ｓを数式（１２）のように定義できる。
Figure JPOXMLDOC01-appb-M000012
　最急降下法では、一般に参照ベクトルＷkの更新式は定数αを用いて数式（１３）のように表される。この右辺第２項を展開すると数式（１４）となり、さらにこの式の一部は数式（５）を用いると数式（１５）、数式（１６）、数式（１７）のように展開される。これらを用いると数式（１０）が導かれる。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
　なお、本実施形態では「正解である確率」を用いて動作を記載しているが、「ポジティブ」と「ネガティブ（非ポジティブ）」という２カテゴリであれば、「不正解である確率」または「ポジティブである確率」または「ネガティブである確率」から「正解である確率」は自明であるため、これらの確率を用いているともいえる。
　（認識システムの構成）
　次に、本実施形態に係る認識辞書学習システム７００により学習された参照ベクトル群を用いた認識システム１０００について図１０および図１１を参照して説明する。
　本実施形態により学習された識別パラメータを用いた認識システム１０００は、データ処理装置１０１０と記憶装置１０２０とを含む。
　データ処理装置１０１０は参照ベクトル群距離算出部１０１１と、確率算出部１０１２とを有する。記憶装置１０２０は、参照ベクトル群を保持する参照ベクトル記憶部１０２１を有する。
　図１１は、学習された参照ベクトル群を用いた認識システム１０００の動作を示すフローチャートである。
　まず、参照ベクトル群距離算出部１０１１で、認識対象のパターンであるベクトル（入力ベクトル）と参照ベクトル記憶部１０２１に保持された全ての参照ベクトルとの距離を計算する（ステップＳ１１０１）。次に確率算出部１０１２で、識別すべき各カテゴリの確率を算出する（ステップＳ１１０３）。この確率が最大となるカテゴリが認識結果である。
　本実施形態では、インスタンスが正解カテゴリである確率を計算し、さらにそのバッグが正解カテゴリである確率を計算する。そして、インスタンスが属するバッグが正解カテゴリである確率を使って、参照ベクトルを修正する。このようにすることで、インスタンスが属するカテゴリが完全に明確ではなくても、学習処理（つまり参照ベクトルの修正）
を行なうことができる。
　また、本実施形態では、バッグが正解である確率に基づいて確率ベース修正係数を算出することで、学習するバッグ全体についての正解らしさ（評価尺度）を最大化する学習処理を行う。これにより、学習に用いる全ての入力ベクトルそれぞれに対応するカテゴリの情報がない場合でも、学習に用いる入力ベクトル（インスタンス）の集合（バッグ）に対応するカテゴリの情報のみから高精度に認識できる認識辞書を作ることができる。
　また、本実施形態では、学習データが正解カテゴリである確率を算出するのに、学習用の入力ベクトルと全ての参照ベクトルとの距離情報を使って確率を精緻に算出する。これにより、「インスタンスが正解である確率」をより正確に推定でき、その結果としてバッグが正解カテゴリである確率を正しく最大化する。特に、確率を扱うタイプのＭＩＬでは、インスタンスが正解である確率からバッグが正解である確率や最適化すべき指標が計算されるため、本実施形態の方法によれば、より相乗効果が大きく、より高い認識精度を得られる。
　また、本実施形態によれば、映像から特定の物体を精度良く検出したり、映像から人物や物体を精度良く同定し認証したりすることができる。特に膨大なデータを学習して認識に利用しようとする場合、物体の正解カテゴリを完全に付与することが困難だが、本実施形態によれば、データの集合に対してのみ正解カテゴリを付与すればよいため、実用的に適用できる。
　［他の実施形態］
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
　また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ（World Wide Web）サーバも、本発明の範疇に含まれる。
　［実施形態の他の表現］
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択手段と、
　選択されたバッグ内から１つのインスタンスを選択するインスタンス選択手段と、
　複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出手段と、
　算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出手段と、
　バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出手段と、
　前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正手段と、
　を備えた情報処理システム。
（付記２）
　前記バッグ正解確率に基づいて、参照ベクトルを修正するための係数を算出する修正係数算出手段をさらに備えた付記１に記載の情報処理システム。
（付記３）
　前記修正係数算出手段は、インスタンスのカテゴリが正解である確率とインスタンスが属するバッグのカテゴリが不正解である確率との積を、バッグのカテゴリが正解である確率で除算した値、および、インスタンスのカテゴリが不正解である確率の値に基づいて、修正係数を算出する付記２に記載の情報処理システム。
（付記４）
　前記修正係数算出手段は、インスタンスのカテゴリが正解である確率とインスタンスが属するバッグのカテゴリが不正解である確率との積、および、インスタンスのカテゴリが不正解である確率とインスタンスが属するバッグのカテゴリが正解である確率との積により、前記修正係数を算出する付記２に記載の情報処理システム。
（付記５）
　前記修正係数算出手段は、前記入力ベクトルと同じカテゴリに属する前記参照ベクトルの距離の調和平均と、入力ベクトルと異なるカテゴリに属する参照ベクトルの距離の調和平均とを用いて修正係数を算出する付記２に記載の情報処理システム。
（付記６）
　前記インスタンス確率算出手段は、前記入力ベクトルと同じカテゴリに属する前記参照ベクトルの距離のべき乗の逆数の総和と、前記入力ベクトルと異なるカテゴリに属する参照ベクトルの距離のべき乗の逆数の総和とを用いて前記インスタンス正解確率を算出する付記４に記載の情報処理システム。
（付記７）
　前記インスタンス確率算出手段は、参照ベクトルの学習回数が増加するにつれて、インスタンスのカテゴリの正解確率が高くなるよう算出する付記１乃至６のいずれか１項に記載の情報処理システム。
（付記８）
　前記バッグ確率算出手段は、バッグに含まれるインスタンスのうち少なくとも１つ以上が正解カテゴリである確率を算出する付記１乃至７のいずれか１項に記載の情報処理システム。
（付記９）
　学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択ステップと、
　選択されたバッグ内から１つのインスタンスを選択するインスタンス選択ステップと、
　複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出ステップと、
　算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出ステップと、
　バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出ステップと、
　前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正ステップと、
　を含む認識辞書学習方法。
（付記１０）
　学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択ステップと、
　選択されたバッグ内から１つのインスタンスを選択するインスタンス選択ステップと、
　複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出ステップと、
　算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出ステップと、
　バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出ステップと、
　前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正ステップと、
　をコンピュータに実行させるための認識辞書学習プログラム。
　この出願は、２０１２年１１月１２日に出願された日本出願特願２０１２－２４８７２２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

  1. 　学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択手段と、
    　選択されたバッグ内から１つのインスタンスを選択するインスタンス選択手段と、
    　複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出手段と、
    　算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出手段と、
    　バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出手段と、
    　前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正手段と、
    　を備えた情報処理システム。
  2. 　前記バッグ正解確率に基づいて、参照ベクトルを修正するための係数を算出する修正係数算出手段をさらに備えた請求項１に記載の情報処理システム。
  3. 　前記修正係数算出手段は、インスタンスのカテゴリが正解である確率とインスタンスが属するバッグのカテゴリが不正解である確率との積を、バッグのカテゴリが正解である確率で除算した値、および、インスタンスのカテゴリが不正解である確率の値に基づいて、修正係数を算出する請求項２に記載の情報処理システム。
  4. 　前記修正係数算出手段は、インスタンスのカテゴリが正解である確率とインスタンスが属するバッグのカテゴリが不正解である確率との積、および、インスタンスのカテゴリが不正解である確率とインスタンスが属するバッグのカテゴリが正解である確率との積により、前記修正係数を算出する請求項２に記載の情報処理システム。
  5. 　前記修正係数算出手段は、前記入力ベクトルと同じカテゴリに属する前記参照ベクトルの距離の調和平均と、入力ベクトルと異なるカテゴリに属する参照ベクトルの距離の調和平均とを用いて修正係数を算出する請求項２に記載の情報処理システム。
  6. 　前記インスタンス確率算出手段は、前記入力ベクトルと同じカテゴリに属する前記参照ベクトルの距離のべき乗の逆数の総和と、前記入力ベクトルと異なるカテゴリに属する参照ベクトルの距離のべき乗の逆数の総和とを用いて前記インスタンス正解確率を算出する請求項４に記載の情報処理システム。
  7. 　前記インスタンス確率算出手段は、参照ベクトルの学習回数が増加するにつれて、インスタンスのカテゴリの正解確率が高くなるよう算出する請求項１乃至６のいずれか１項に記載の情報処理システム。
  8. 　前記バッグ確率算出手段は、バッグに含まれるインスタンスのうち少なくとも１つ以上が正解カテゴリである確率を算出する請求項１乃至７のいずれか１項に記載の情報処理システム。
  9. 　学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択ステップと、
    　選択されたバッグ内から１つのインスタンスを選択するインスタンス選択ステップと、
    　複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出ステップと、
    　算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出ステップと、
    　バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出ステップと、
    　前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正ステップと、
    　を含む認識辞書学習方法。
  10. 　学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択ステップと、
    　選択されたバッグ内から１つのインスタンスを選択するインスタンス選択ステップと、
    　複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出ステップと、
    　算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出ステップと、
    　バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出ステップと、
    　前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正ステップと、
    　をコンピュータに実行させる認識辞書学習プログラム。
PCT/JP2013/078567 2012-11-12 2013-10-22 情報処理システム、認識辞書学習方法および認識辞書学習プログラム Ceased WO2014073366A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014545633A JPWO2014073366A1 (ja) 2012-11-12 2013-10-22 情報処理システム、認識辞書学習方法および認識辞書学習プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012248722 2012-11-12
JP2012-248722 2012-11-12

Publications (1)

Publication Number Publication Date
WO2014073366A1 true WO2014073366A1 (ja) 2014-05-15

Family

ID=50684478

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/078567 Ceased WO2014073366A1 (ja) 2012-11-12 2013-10-22 情報処理システム、認識辞書学習方法および認識辞書学習プログラム

Country Status (2)

Country Link
JP (1) JPWO2014073366A1 (ja)
WO (1) WO2014073366A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154464A (ja) * 2019-03-18 2020-09-24 ヤフー株式会社 推定装置、推定方法及び推定プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOSHINORI HOSOI: "Object Detection based on Multiple Instance LVQ", IPSJ SIG NOTES 2011 (HEISEI 23) NENDO, 15 October 2011 (2011-10-15), pages 3 - 4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154464A (ja) * 2019-03-18 2020-09-24 ヤフー株式会社 推定装置、推定方法及び推定プログラム
JP7139270B2 (ja) 2019-03-18 2022-09-20 ヤフー株式会社 推定装置、推定方法及び推定プログラム

Also Published As

Publication number Publication date
JPWO2014073366A1 (ja) 2016-09-08

Similar Documents

Publication Publication Date Title
Cambria et al. Extreme learning machines [trends & controversies]
JP7266674B2 (ja) 画像分類モデルの訓練方法、画像処理方法及び装置
US10963783B2 (en) Technologies for optimized machine learning training
CN103620624B (zh) 用于导致稀疏连通性的局部竞争性学习规则的方法和装置
CN109919183B (zh) 一种基于小样本的图像识别方法、装置、设备及存储介质
CN113837308A (zh) 基于知识蒸馏的模型训练方法、装置、电子设备
JP6003492B2 (ja) 文字認識装置及びプログラム
US20210311440A1 (en) Systems, Methods, and Media for Manufacturing Processes
CN107506350B (zh) 一种识别信息的方法和设备
CN108334496A (zh) 用于特定领域的人机对话理解方法与系统及相关设备
US11605002B2 (en) Program, information processing method, and information processing apparatus
Afsari et al. Group action induced distances for averaging and clustering linear dynamical systems with applications to the analysis of dynamic scenes
JP6962123B2 (ja) ラベル推定装置及びラベル推定プログラム
CN115187660B (zh) 一种基于知识蒸馏的多人人体姿态估计方法及系统
CN108229732A (zh) 基于误差修正的极端学习机风速超短期预测方法
CN113761375A (zh) 基于神经网络的消息推荐方法、装置、设备及存储介质
CN110709862B (zh) 计算方法决定系统、计算方法决定方法、记录介质
CN102567719A (zh) 基于后验概率神经网络的人类年龄自动估计方法
US12307376B2 (en) Training spectral inference neural networks using bilevel optimization
CN115082920A (zh) 深度学习模型的训练方法、图像处理方法和装置
CN109934389A (zh) 基于预测模型的绩效预测方法、装置及存储介质
CN109858031A (zh) 神经网络模型训练、上下文预测方法及装置
CN110766086B (zh) 基于强化学习模型对多个分类模型进行融合的方法和装置
Ibragimovich et al. Effective recognition of pollen grains based on parametric adaptation of the image identification model
Zhuo et al. Calibrated stochastic gradient descent for convolutional neural networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13853418

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014545633

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13853418

Country of ref document: EP

Kind code of ref document: A1