WO2019215868A1 - パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム - Google Patents

パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム Download PDF

Info

Publication number
WO2019215868A1
WO2019215868A1 PCT/JP2018/018104 JP2018018104W WO2019215868A1 WO 2019215868 A1 WO2019215868 A1 WO 2019215868A1 JP 2018018104 W JP2018018104 W JP 2018018104W WO 2019215868 A1 WO2019215868 A1 WO 2019215868A1
Authority
WO
WIPO (PCT)
Prior art keywords
parameter
data
recognition
learning
domain information
Prior art date
Application number
PCT/JP2018/018104
Other languages
English (en)
French (fr)
Inventor
高橋　勝彦
博義 宮野
哲夫 井下
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2020517696A priority Critical patent/JP6977875B2/ja
Priority to US17/044,425 priority patent/US11586850B2/en
Priority to PCT/JP2018/018104 priority patent/WO2019215868A1/ja
Publication of WO2019215868A1 publication Critical patent/WO2019215868A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Definitions

  • the present invention relates to a pattern recognition system for improving the performance of pattern recognition, a parameter generation method and a parameter generation program for generating parameters of a recognizer used in pattern recognition.
  • the performance of the recognition engine can be improved by learning using a lot of pattern data.
  • tuning is performed from a basic recognition engine to a recognition engine adapted to each environment.
  • the recognition engine is sometimes called a recognizer.
  • Patent Document 1 describes a pattern recognition apparatus that performs recognition processing according to an environment in which characters are written.
  • the pattern recognition apparatus described in Patent Document 1 calls up one or more of the pattern recognition processes for each state to be processed extracted from the input image to perform the recognition process.
  • Patent Document 2 describes an image recognition method that avoids lengthening of additional learning due to a difference in imaging environment.
  • the similarity is calculated from the difference between the imaging environment at the time of image capturing and the imaging environment information indicating each imaging environment managed in the parameter table.
  • the recognition control parameter to be selected is selected. Based on the selected recognition control parameter, a recognition control parameter used for recognition of a newly acquired image is generated using a predetermined learning algorithm.
  • JP 2007-058882 A Japanese Unexamined Patent Publication No. 2016-015116
  • a general approach to improve hand separation is to collect as many learning patterns as possible and build a recognition dictionary with high generalization performance.
  • a recognition dictionary that performs image pattern recognition
  • Patent Document 2 a recognition control parameter corresponding to an imaging environment with a high degree of similarity is selected, and a new recognition control parameter is generated based on the selected recognition control parameter.
  • the method described in Patent Literature 2 is a method for improving the recognition accuracy for each imaging environment, it is difficult to improve the recognition accuracy of the recognition control parameter assuming an imaging environment other than the above, and as a result It is difficult to improve the generalization performance of the recognition engine.
  • the tuning work of the recognition engine for each environment can be reduced.
  • generalization of the underlying recognition engine without increasing the learning pattern It is preferable that the performance can be improved.
  • an object of the present invention is to provide a pattern recognition system, a parameter generation method, and a parameter generation program that can improve the generalization performance of a recognizer that performs pattern recognition without increasing the learning pattern.
  • the pattern recognition system of the present invention includes a pattern recognition device that recognizes a pattern of input data.
  • the pattern recognition device includes data to be recognized, a correct label of the data, and domain information indicating a data collection environment.
  • a first parameter generation unit that generates a first parameter that is a parameter of the first recognizer using the first learning data including the combination, and a recognition collected in a predetermined collection environment based on the first parameter
  • a second parameter that is a parameter of the second recognizer is generated using second learning data including a combination of target data, a correct answer label of the data, and target domain information indicating a predetermined collection environment.
  • the second parameter generator, the first parameter, and the second parameter are integrated, and pattern recognition of the input data is performed by learning using the first learning data.
  • a third parameter generating unit that generates a third parameter used for the first parameter, and the third parameter generating unit uses the second parameter in learning using the first learning data including domain information that matches the target domain information.
  • the third parameter is generated so as to prioritize the recognition
  • the parameter generation method of the present invention uses the first learning data including the combination of the data to be recognized, the correct answer label of the data, and the domain information indicating the collection environment of the data.
  • a first parameter that is a parameter is generated, and based on the first parameter, a combination of recognition target data collected in a predetermined collection environment, a correct answer label of the data, and target domain information indicating the predetermined collection environment
  • the second learning data including the second parameter that is a parameter of the second recognizer integrating the first parameter and the second parameter, by learning using the first learning data.
  • the third parameter used for pattern recognition of the input data is generated and the third parameter is generated, the first learning data including the domain information matching the target domain information is generated.
  • the third parameter so as to prioritize the recognition result by the second parameter.
  • the parameter generation program of the present invention uses a first learning data including a combination of data to be recognized, a correct label of the data, and domain information indicating a collection environment of the data.
  • First parameter generation processing for generating a first parameter that is a parameter of a recognizer, recognition target data collected in a predetermined collection environment based on the first parameter, a correct answer label of the data, and a predetermined collection environment
  • a second parameter generation process for generating a second parameter that is a parameter of the second recognizer, and a first parameter and a second parameter using the second learning data including a combination with target domain information indicating
  • the third parameter so that the recognition result by the second parameter is prioritized in the learning using the first learning data including the domain information that matches the target domain information in the third parameter generation process. Is generated.
  • FIG. FIG. 1 is a block diagram showing a configuration example of the first embodiment of the pattern recognition system of the present invention.
  • the pattern recognition system 1 includes a pattern recognition device 100 that recognizes a pattern of target input data.
  • the form of data to be recognized by the pattern recognition apparatus 100 is arbitrary, and examples thereof include image data, video data, acoustic data, and text data.
  • the pattern recognition apparatus 100 includes a first parameter generation unit 10, a second parameter generation unit 20, a third parameter generation unit 30, a storage unit 40, and a pattern recognition unit 50.
  • the storage unit 40 stores data for learning a recognizer used for pattern recognition (hereinafter referred to as learning data).
  • the storage unit 40 also stores parameters for specifying the recognizer.
  • the parameters are generated by a first parameter generation unit 10, a second parameter generation unit 20, and a third parameter generation unit 30, which will be described later.
  • the storage unit 40 may store a recognizer parameter generated by another device (not shown) or the like.
  • the storage unit 40 is realized by, for example, a magnetic disk.
  • the learning data includes a combination of data to be recognized, a correct answer label of the data, and information indicating the data collection environment (hereinafter referred to as domain information).
  • domain information includes the camera installation angle, orientation, height, whether the camera is installed indoors or outdoors, the orientation of the recognition target, the angle of view, the lens, the distortion coefficient, Imaging noise state, video compression noise state, and the like.
  • the direction of the recognition target is, for example, whether the recognition target always comes from the front when taken with a camera installed at the entrance of the ticket gate.
  • the learning data may include information other than these combinations, and may include, for example, data weights used for learning.
  • the first parameter is a parameter for specifying a base recognizer.
  • the second parameter is a parameter generated based on the recognizer specified by the first parameter, and is a parameter tuned from the first parameter in order to perform the recognition process under a predetermined environment. Therefore, it can also be said that the second parameter is a parameter derived from the first parameter.
  • the third parameter is a parameter generated by integrating the first parameter that specifies the base recognizer and the second parameter that specifies the recognizer used in a predetermined environment.
  • An object of the present embodiment is to generate a third parameter that exceeds the performance of the first parameter by reflecting the recognition performance used in a predetermined environment in the recognition performance of the base recognizer. A method for generating each parameter will be described later.
  • the first parameter generation unit 10 generates a first parameter using the learning data.
  • the learning data used by the first parameter generation unit 10 is referred to as first learning data.
  • the first parameter is a parameter for specifying a base recognizer, and this recognizer corresponds to a parent recognizer for other recognizers.
  • the recognizer specified by the first parameter is referred to as a first recognizer.
  • the first recognizer can also be referred to as a parent AI (Artificial Intelligence).
  • the method by which the first parameter generation unit 10 learns the recognizer is arbitrary, and a widely known method may be used.
  • the second parameter generation unit 20 generates the second parameter using the learning data based on the first parameter (that is, the parameter of the basic recognizer). Similarly to the first learning data, the learning data used by the second parameter generation unit 20 includes a combination of data to be recognized, a correct answer label of the data, and domain information of the data.
  • the learning data used by the second parameter generation unit 20 includes a combination of data collected in a predetermined collection environment, a correct answer label of the data, and information indicating the predetermined collection environment (hereinafter, target domain information). Including.
  • target domain information information indicating the predetermined collection environment
  • the learning data used by the second parameter generation unit 20 is referred to as second learning data.
  • the predetermined collection environment is an environment for collecting data to be recognized by the second recognizer.
  • the predetermined collection environment can be said to be an environment in which data is shot from an oblique direction, for example.
  • the predetermined collection environment can be said to be an environment taken outdoors at night.
  • the second parameter learned based on the second learning data is a parameter having recognition performance specialized for a predetermined collection environment.
  • the first recognizer can also be referred to as a parent AI, whereas the second recognizer can be referred to as a child AI.
  • the second learning data can also be said to be data that can be handled only by each customer, for example.
  • the method by which the second parameter generation unit 20 learns the second parameter is also arbitrary.
  • the second parameter generation unit 20 may learn the second parameter using a method similar to the method by which the first parameter generation unit 10 learns the first parameter.
  • the generated second parameter can be said to be a parameter generated as a result of learning using both the first learning data and the second learning data.
  • the second learning data is assumed to include common domain information indicating a predetermined collection environment. Therefore, the second learning data may hold only common domain information and include only the data and the correct label.
  • the second parameter generation unit 20 uses, as the second learning data, second learning data that includes a combination of data collected separately from the data included in the first learning data, the correct label, and the target domain information.
  • the second parameter may be generated.
  • As a situation in which such second learning data can be used for example, there is a case where learning data can be acquired during operation by a customer.
  • FIG. 2 is an explanatory diagram illustrating an example of information stored in the storage unit 40.
  • the storage unit 40 includes first learning data d1 used for learning the first parameter, second learning data d2 used for learning the second parameter, and three types of parameters. It shows that the first parameter p1, the second parameter p2, and the third parameter p3 are stored.
  • the first learning data d1 and the second learning data d2 are data including input data to be recognized, a correct answer label, and domain information, respectively.
  • the first learning data d1 and the second learning data d2 are both stored in the storage unit 40, but the first learning data d1 and The second learning data d2 may be stored in different storage devices.
  • the second parameter generation unit 20 uses, as the second learning data, data of the collection environment that is the same as or similar to the collection environment indicated by the domain information included in the first learning data from the first learning data.
  • the second parameter may be generated by extracting and using the extracted learning data as second learning data.
  • learning data that is the same as or similar to a predetermined collection environment may be referred to as learning data that matches the predetermined environment.
  • the standard for judging whether the domain information is the same or similar may be determined in advance. For example, as a reference for matching the domain information indicating the angle at which the recognition target is photographed by the camera, it may be determined that the domain information is matched if it is within an angle of the range (for example, within 10 degrees).
  • FIG. 3 is an explanatory diagram showing another example of information stored in the storage unit 40.
  • the storage unit 40 includes first learning data d1 used for learning the first parameter, target domain information d3 used for learning the second parameter, the first parameter p1, and the first parameter p1.
  • the two parameters p2 are stored.
  • the storage unit 40 may store the third parameter p3 as illustrated in FIG.
  • FIG. 3 illustrates the case where both the first learning data d1 and the target domain information d3 are stored in the storage unit 40, but the first learning data d1 and the target domain information d3 are These may be stored in different storage devices.
  • the third parameter generation unit 30 integrates the first parameter and the second parameter, and generates a third parameter used for pattern recognition of the recognition target data by learning using the first learning data.
  • the third parameter is used, for example, when the pattern recognition unit 50 described later recognizes a pattern of input data.
  • the third parameter generation unit 30 generates the third parameter so that the recognition result by the second parameter is prioritized in learning using the first learning data including domain information that matches the target domain information. To do.
  • the third parameter generation unit 30 takes in both the recognizer based on the first parameter and the recognizer based on the second parameter, and balances the performance of both recognizers according to the domain information included in the learning data.
  • a third parameter may be generated.
  • the storage unit 40 holds, for example, each parameter (or recognizer) and the ratio (or number) of domain information included in the used learning data in association with each other.
  • the third parameter generation unit 30 may generate the third parameter so that the higher the degree of matching with the domain information included in the learning data used for parameter learning, the higher the priority is given to the parameter recognition result. Good. This means that the learning result is balanced to the closer domain environment. This can also increase the reliability of the discriminator learned based on data collected in a similar domain environment.
  • the recognizer outputs a certainty factor (for example, a certainty factor when trusting is 1, a certainty factor when not trusting is 0, and a closer certainty is when the confidence is higher) along with the recognition result.
  • a certainty factor for example, a certainty factor when trusting is 1, a certainty factor when not trusting is 0, and a closer certainty is when the confidence is higher
  • the certainty factor of the image captured by the recognizer A from an oblique direction is output as 0.3.
  • this certainty factor is assumed to be lower than the certainty factor assumed by the recognizer A because the domain environment of the learned data is different.
  • the third parameter generation unit 30 may correct the certainty factor using the above “degree of matching” as a weight.
  • the third parameter generation unit 30 calculates an average from the sum for each recognition result of the certainty calculated in this way, and adopts the third parameter so that the recognition result having the highest average is adopted as the final recognition result. May be generated.
  • the third parameter generation unit 30 may set weight information for the first learning data itself. Specifically, the third parameter generation unit 30 may set the ratio of domain information of learning data used for learning of the second parameter as the weight of learning data. For example, simply, the third parameter generation unit 30 may set 1 for learning data including domain information that matches the target domain, and may set 0 for different domain information. This weight can be used as a correction amount for making the deviation between the correct answer label and the recognition result close to ideal during learning. By setting such weights, the recognition performance of the second parameter can be reflected in the recognition performance of the first parameter.
  • the third parameter generation unit 30 may generate the third parameter using the first parameter and the second parameter so as to be adapted to the new environment.
  • information indicating a new environment is referred to as new domain information.
  • the third parameter generation unit 30 preferentially selects parameters of the first parameter and the second parameter that are closer to the new domain information in which the domain information included in the learning data used for generating the parameters indicates a new environment.
  • the pattern recognition unit 50 performs pattern recognition of input data using a recognizer identified by the generated third parameter.
  • the first parameter generation unit 10, the second parameter generation unit 20, the third parameter generation unit 30, and the pattern recognition unit 50 are realized by a CPU (Central Processing Unit) of a computer that operates according to a program (parameter generation program). Is done.
  • the program is stored in the storage unit 40 of the pattern recognition apparatus 100, and the CPU reads the program, and according to the program, the first parameter generation unit 10, the second parameter generation unit 20, the third parameter generation unit 30, and the pattern The recognition unit 50 may be operated.
  • each of the first parameter generation unit 10, the second parameter generation unit 20, the third parameter generation unit 30, and the pattern recognition unit 50 may be realized by dedicated hardware.
  • FIG. 4 is a flowchart showing an operation example of the pattern recognition system 1 of the present embodiment.
  • the first parameter generation unit 10 generates a first parameter using the first learning data (step S11).
  • the second parameter generation unit 20 generates a second parameter using the second learning data based on the first parameter (step S12).
  • generation part 30 integrates a 1st parameter and a 2nd parameter, and produces
  • the third parameter generation unit 30 generates the third parameter so that the recognition result by the second parameter is prioritized in the learning using the first learning data including the domain information that matches the target domain information.
  • the first parameter generation unit 10 generates the first parameter using the first learning data
  • the second parameter generation unit 20 determines the second parameter based on the first parameter.
  • the second parameter is generated using the learning data.
  • generation part 30 integrates a 1st parameter and a 2nd parameter, and produces
  • the third parameter generation unit 30 generates the third parameter so that the recognition result by the second parameter is prioritized in the learning using the first learning data including the domain information that matches the target domain information.
  • the generalization performance of the recognizer that performs pattern recognition without increasing the learning pattern can be improved.
  • work of the recognition engine (child AI) of the system installed in the field can also be reduced.
  • the second parameter generation unit 20 generates one type of second parameter
  • the third parameter generation unit 30 generates the third parameter by integrating the second parameter with the first parameter.
  • the second parameter integrated with the first parameter is not limited to one type.
  • FIG. 5 is a block diagram showing a modification of the pattern recognition system of the first embodiment.
  • the pattern recognition apparatus 200 of the pattern recognition system 2 illustrated in FIG. 5 includes a first parameter generation unit 10, a plurality of second parameter generation units 21 to 2N, a third parameter generation unit 30, and a storage unit 40. And a pattern recognition unit 50. That is, the present modification is different from the above embodiment in that the pattern recognition apparatus 200 includes a plurality of second parameter generation units 21 to 2N.
  • the contents of the second parameter generation units 21 to 21N are the same as the contents of the second parameter generation unit 20 of the first embodiment.
  • the third parameter generation unit 30 integrates the first parameter and a plurality of types of second parameters to generate a third parameter. Specifically, the third parameter generation unit 30 prioritizes the recognition result of the corresponding second parameter in learning using the first learning data including domain information that matches the target domain information of each second parameter.
  • the third parameter is generated as follows. The method by which the third parameter generation unit 30 generates the third parameter is the same as in the first embodiment.
  • the third parameter generation unit 30 integrates the first parameter and the plurality of types of second parameters to generate the third parameter, thereby obtaining a recognition engine that reflects the recognition performance of the plurality of second parameters. Can be generated.
  • Embodiment 2 a second embodiment of the pattern recognition system of the present invention will be described. It is expected that the third parameter generated in the first embodiment has improved generalization performance. On the other hand, since the second parameter is a parameter tuned based on a predetermined collection environment, it is assumed that the second parameter has a recognition performance that is more suitable for the data collection environment than the third parameter. Therefore, in the present embodiment, a method for determining whether or not a parameter is updated according to recognition performance will be described.
  • FIG. 6 is a block diagram showing a configuration example of the second embodiment of the pattern recognition system of the present invention.
  • the pattern recognition system 3 of this embodiment includes a pattern recognition device 300 and a child recognition device 400.
  • the child recognition device 400 is a device that performs pattern recognition of input data.
  • the child recognition device 400 includes a storage unit 41, a pattern recognition unit 51, and a data transmission / reception unit 71.
  • the data transmission / reception unit 71 transmits / receives data to / from the pattern recognition device 300.
  • the storage unit 41 stores parameters for the pattern recognition unit 51 to perform pattern recognition. For example, when the data collection environment by the child recognition device 400 corresponds to the second learning data collection environment, the storage unit 41 may store the second parameter. In this case, the pattern recognition unit 51 described later performs pattern recognition based on the second parameter stored in the storage unit 41.
  • the pattern recognition unit 51 performs pattern recognition of input data using a recognizer specified by the parameters stored in the storage unit 41. As described above, when the storage unit 41 stores the second parameter, the pattern recognition unit 51 performs pattern recognition of input data using the recognizer specified by the second parameter.
  • the parameter used by the pattern recognition unit 51 for pattern recognition is not limited to the second parameter.
  • the content of the parameter is sequentially updated to the parameter generated by the parameter update unit 90 of the pattern recognition apparatus 300 described later.
  • the pattern recognition device 300 includes a first parameter generation unit 10, a second parameter generation unit 20, a third parameter generation unit 30, a storage unit 40, a pattern recognition unit 50, a data branching unit 60, and a data transmission / reception unit. 70, a recognition result comparison unit 80, and a parameter update unit 90.
  • the pattern recognition apparatus 300 may include a plurality of second parameter generation units 21 to 2N.
  • the pattern recognition apparatus 300 according to the second embodiment is compared with the pattern recognition apparatus 100 according to the first embodiment, and the data branching unit 60, the data transmission / reception unit 70, the recognition result comparison unit 80, and the parameter update unit. 90.
  • the configurations of the first parameter generation unit 10, the second parameter generation unit 20, the third parameter generation unit 30, the storage unit 40, and the pattern recognition unit 50 are the same as those in the first embodiment.
  • the data transmission / reception unit 70 transmits / receives data to / from the child recognition device 400.
  • the data branching unit 60 inputs the input data to be recognized to the pattern recognition unit 50 of the pattern recognition device 300 and the pattern recognition unit 51 of the child recognition device 400, respectively.
  • the data branching unit 60 inputs the recognition results obtained by the pattern recognition unit 50 and the pattern recognition unit 51 to the recognition result comparison unit 80.
  • video data is input to the data branching unit 60.
  • the recognition result comparison unit 80 compares the performance of the parameter used by the child recognition device 400 for pattern recognition with the generated third parameter. More specifically, the recognition result comparison unit 80 compares the recognition result based on the second parameter and the recognition result based on the third parameter to determine the recognition accuracy.
  • the recognition result comparison unit 80 may determine, for example, a parameter having a high degree of matching between the recognition result of each parameter and the result indicated by the correct answer label included in the first learning data as a parameter with higher recognition accuracy.
  • the recognition result comparison unit 80 may determine the recognition accuracy by, for example, counting the difference between the recognition result of the data included in the first learning data and the correct answer label for a plurality of learning data.
  • the above-described determination method of the recognition accuracy is an example, and the recognition result comparison unit 80 may determine the recognition accuracy by another widely known method.
  • the parameter update unit 90 updates parameters used by the child recognition apparatus 400 for pattern recognition. Specifically, when the recognition result comparison unit 80 determines that the third parameter has higher recognition accuracy than the second parameter, the parameter update unit 90 determines the second parameter used by the child recognition device for the recognition process. Update to three parameters.
  • the parameter update unit 90 takes into account the limitations of computer resources for realizing the child recognition device, and based on knowledge distillation, the third parameter corresponding to the teacher model to the smaller model corresponding to the student model. Various parameters may be generated. Note that a method for generating a student model from a teacher model is widely known, and a detailed description thereof is omitted here.
  • the parameter update unit 90 may perform knowledge distillation in consideration of parameter contents and computer resource constraints.
  • the update unit 90 is realized by a CPU of a computer that operates according to a program (parameter generation program).
  • the pattern recognition unit 51 and the data transmission / reception unit 71 in the child recognition device 400 are also realized by a CPU of a computer that operates according to a program.
  • FIG. 7 is a flowchart showing an operation example of the pattern recognition system 3 of the present embodiment.
  • the process from the third parameter generation unit 30 integrating the first parameter and the second parameter to generate the third parameter is the same as the process from step S11 to step S13 in FIG.
  • the data branching unit 60 inputs the input data to the pattern recognition unit 50 of the pattern recognition device 300 and the pattern recognition unit 51 of the child recognition device 400, respectively (step S21).
  • the pattern recognition unit 50 of the pattern recognition device 300 and the pattern recognition unit 51 of the child recognition device 400 each perform pattern recognition of input data (step S22). That is, the pattern recognition unit 50 of the pattern recognition device 300 performs pattern recognition based on the third parameter, and the pattern recognition unit 51 of the child recognition device 400 performs pattern recognition based on the second parameter.
  • the recognition result comparison unit 80 compares the recognition result by the pattern recognition unit 51 (that is, the recognition result by the second parameter) with the recognition result by the pattern recognition unit 50 (that is, the recognition result by the third parameter), and determines the third parameter. Is determined whether or not the recognition accuracy is higher than the second parameter (step S23).
  • the parameter update unit 90 updates the second parameter used by the child recognition apparatus 400 for the recognition process to the third parameter (step S24).
  • the parameter update process is not performed, and the process ends.
  • the recognition result comparison unit 80 compares the recognition result by the second parameter with the recognition result by the third parameter. Therefore, it is possible to select parameters with higher recognition accuracy.
  • FIG. 8 is a block diagram showing a modification of the pattern recognition system of the second embodiment.
  • the pattern recognition system 4 illustrated in FIG. 8 includes a pattern recognition device 500 and a child recognition device 400.
  • the configuration of the child recognition device 400 is the same as the configuration of the child recognition device 400 of the second embodiment.
  • the pattern recognition apparatus 500 includes a first parameter generation unit 10, a second parameter generation unit 20, a third parameter generation unit 30, a storage unit 40, a pattern recognition unit 50, a data branching unit 60, and a data transmission / reception unit. 70, a recognition result comparison unit 81, and a parameter update unit 90. That is, the configuration of the pattern recognition device 500 is the same as the configuration of the pattern recognition device 300 of the second embodiment, except that the content of the recognition result comparison unit 80 is replaced with the recognition result comparison unit 81.
  • the recognition result comparison unit 81 includes a result display unit 82 and a determination result input unit 83.
  • the result display unit 82 outputs the recognition result based on the second parameter and the recognition result based on the third parameter. For example, the result display unit 82 may output a recognition result for the input data and a certainty factor for the recognition result.
  • the determination result input unit 83 inputs a user determination result based on the recognition result output by the result display unit 82.
  • the determination result input unit 83 may receive from the user which of the recognition result by the second parameter and the recognition result by the third parameter has higher recognition accuracy.
  • the process after receiving the input of the determination result (that is, the process of the parameter update unit 90) is the same as in the second embodiment.
  • the recognition result comparison unit 81 accepts a determination result from the user for the recognition result. Therefore, the recognition result for arbitrary data other than the learning data can be reflected in the parameter selection.
  • Embodiment 3 a third embodiment of the pattern recognition system of the present invention will be described.
  • learning data was previously memorize
  • the learning data may be generated along with the operator's operation work. By generating learning data from the operator's point of view, more appropriate parameters can be generated.
  • FIG. 9 is a block diagram showing a configuration example of the third embodiment of the pattern recognition system of the present invention.
  • the pattern recognition system 5 of this embodiment includes a pattern recognition device 600. Note that the pattern recognition system 5 of this embodiment may include the child recognition device 400 of the second embodiment.
  • the pattern recognition device 600 includes a first parameter generation unit 10, a second parameter generation unit 20, a third parameter generation unit 30, a storage unit 40, a pattern recognition unit 50, a data acquisition unit 110, and an acquired data output. Unit 120, data extraction unit 130, and data registration unit 140.
  • the pattern recognition device 600 may include the data branching unit 60, the data transmitting / receiving unit 70, the recognition result comparing unit 80, and the parameter updating unit 90 of the second embodiment.
  • the data acquisition unit 110 acquires recognition target data.
  • the data acquisition unit 110 is realized by an imaging device such as a camera.
  • the voice data is data to be recognized
  • the data acquisition unit 110 is realized by a voice recorder or the like.
  • the data acquisition unit 110 is realized by an OCR (Optical Character Recognition), a voice recognition device, or the like.
  • OCR Optical Character Recognition
  • the data collection environment by the data acquisition unit 110 is set in advance as domain information by a user or the like.
  • the acquisition data output unit 120 outputs the data acquired by the data acquisition unit 110.
  • the acquired data output unit 120 may display image data or video data on a display device (not shown) such as a display device, for example.
  • the data extraction unit 130 extracts the data output by the acquired data output unit 120 in accordance with a user instruction. It is assumed that the content of the data to be extracted (that is, the correct answer label) is set in advance.
  • the data acquisition unit 110 captures a predetermined range as needed, and the acquisition data output unit 120 outputs the video.
  • the data extraction unit 130 extracts the image data in accordance with, for example, a detection operation (for example, an operation of clicking a suspicious person on the screen) by the operator.
  • the image data extraction method is arbitrary, and the data acquisition unit 110 may extract the entire displayed image data, or may extract the image data of the clicked peripheral area as a suspicious person area. Good.
  • the data registration unit 140 registers the data extracted by the data extraction unit 130 in the storage unit 40. Specifically, the extraction target of the operator is set as a correct answer label in advance, and domain information indicating a data collection environment is also set in advance. Therefore, the data registration unit 140 generates a combination of the extracted data, the correct answer label, and the domain information, and registers it as learning data in the storage unit 40.
  • the data registration unit 140 may register the generated learning data as first learning data or may be registered as second learning data.
  • the data extraction unit 130 extracts data output in response to a user instruction, and the data registration unit 140 includes the extracted data, the correct answer label, and the domain information.
  • a combination is generated and registered in the storage unit 40 as learning data. Therefore, it becomes possible to generate learning data with higher accuracy from the viewpoint of the operator.
  • FIG. 10 is a block diagram showing an outline of a pattern recognition system according to the present invention.
  • a pattern recognition system 800 (for example, the pattern recognition system 1) according to the present invention includes a pattern recognition device 810 (for example, the pattern recognition device 100) that recognizes a pattern of input data.
  • the pattern recognition device 810 uses the first learning data including the combination of the recognition target data, the correct answer label of the data, and the domain information indicating the collection environment of the data, as a parameter of the first recognizer.
  • a first parameter generation unit 811 (for example, the first parameter generation unit 10) that generates a certain first parameter, recognition target data collected in a predetermined collection environment based on the first parameter, and a correct answer of the data
  • a second parameter generation unit 812 that generates a second parameter that is a parameter of the second recognizer using the second learning data including a combination of the label and target domain information indicating a predetermined collection environment (for example, The second parameter generation unit 20), the first parameter, and the second parameter are integrated, and the input data pattern is obtained by learning using the first learning data.
  • Including third parameter generating unit 813 for generating a third parameter used for recognition (e.g., the third parameter generating unit 30) and a.
  • the third parameter generation unit 813 generates the third parameter so that the recognition result by the second parameter is prioritized in the learning using the first learning data including the domain information that matches the target domain information.
  • Such a configuration can improve the generalization performance of a recognizer that performs pattern recognition without increasing the learning pattern.
  • the second parameter generation unit 812 includes a combination of data collected separately from the data included in the first learning data, the correct answer label of the data, and target domain information indicating the data collection environment.
  • the second parameter may be generated using the second learning data. With such a configuration, it is possible to generate a parameter that more reflects the status of each collection environment.
  • the second parameter generation unit 812 uses the learning data in which the collection environment indicated by the domain information included in the first learning data matches the predetermined collection environment among the first learning data. May be generated. With such a configuration, even when learning data cannot be collected in the collection environment indicated by the second domain information, the generalization performance of the recognizer can be improved.
  • the third parameter generation unit 813 integrates the first parameter and the second parameter so that the higher the degree of matching of domain information included in the learning data used for parameter learning, the higher the recognition result of the parameter. Then, the third parameter may be generated. Such a configuration makes it possible to take advantage of the nature of any parameters already generated.
  • the third parameter generation unit 813 preferentially selects a parameter whose domain information included in the learning data used for generating the parameter is closer to the new domain information indicating a new environment, out of the first parameter and the second parameter.
  • the third parameter may be generated so that the certainty of the recognition result increases as the domain information included in the first learning data matches the new domain information.
  • the pattern recognition device 810 may include a recognition result comparison unit (for example, a recognition result comparison unit 80) that compares the recognition result based on the second parameter and the recognition result based on the third parameter. Then, the recognition result comparison unit may determine a parameter having a high degree of matching between the recognition result and the result indicated by the correct answer label included in the first learning data as a parameter with higher recognition accuracy. With such a configuration, it is possible to select parameters with higher recognition accuracy.
  • a recognition result comparison unit for example, a recognition result comparison unit 80
  • the recognition result comparison unit may determine a parameter having a high degree of matching between the recognition result and the result indicated by the correct answer label included in the first learning data as a parameter with higher recognition accuracy.
  • the pattern recognition system 800 may include a child recognition device (for example, a child recognition device 400) that recognizes a pattern of input data based on the second parameter.
  • the pattern recognition device 810 may include a parameter update unit (for example, parameter update unit 90) that updates parameters used by the child recognition device for recognition. Then, when it is determined that the third parameter has higher recognition accuracy than the second parameter, the parameter update unit may update the second parameter used by the child recognition device for the recognition process to the third parameter.
  • the parameter updating unit may generate a smaller parameter from the third parameter based on the distillation of knowledge, and update the second parameter used by the child recognition device for the recognition process with the generated parameter.
  • the present invention is preferably applied to a pattern recognition system that improves the performance of pattern recognition.
  • the present invention is preferably applied to, for example, a system equipped with an image recognition engine for a large-scale monitoring system and a defect inspection system for FA (Factory Automation).
  • the present invention can be suitably applied to a system using a recognition engine for a large-scale monitoring system in which cameras are installed in many sites and the main recognition engine and the local system engine are operated separately.
  • Pattern recognition system 10 first parameter generation unit 20, 21 to 2N second parameter generation unit 30 third parameter generation unit 40, 41 storage unit 50, 51 pattern recognition unit 60 data branch unit 70, 71 data transmission / reception unit 80 , 81 Recognition result comparison unit 82 Result display unit 83 Determination result input unit 100, 200, 300, 500 Pattern recognition device 110 Data acquisition unit 120 Acquisition data output unit 130 Data extraction unit 140 Data registration unit 400 Child recognition device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

第一パラメータ生成部８１１は、認識対象のデータと、そのデータの正解ラベルと、そのデータの収集環境を示すドメイン情報との組合せを含む第一の学習データを用いて、第一の認識器のパラメータである第一パラメータを生成する。第二パラメータ生成部８１２は、第一パラメータを基に、所定の収集環境で収集された認識対象のデータと、そのデータの正解ラベルと、所定の収集環境を示す対象ドメイン情報との組合せを含む第二の学習データを用いて、第二の認識器のパラメータである第二パラメータを生成する。第三パラメータ生成部８１３は、第一パラメータおよび第二パラメータを統合して、第一の学習データを用いた学習により、入力データのパターン認識に用いられる第三パラメータを生成する。

Description

パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム
　本発明は、パターン認識の性能を向上させるパターン認識システム、および、パターン認識で用いられる認識器のパラメータを生成するパラメータ生成方法およびパラメータ生成プログラムに関する。
　多くのパターンデータを用いて学習を行うことで、認識エンジンの性能を向上できることが知られている。また、基礎となる認識エンジンから各環境に適合させた認識エンジンにチューニングすることも行われている。なお、認識エンジンは、認識器と呼ばれることもある。
　また、異なる環境に応じて認識精度を向上させる方法も各種提案されている。例えば、特許文献１には、文字の書かれている環境に応じた認識処理を行うパターン認識装置が記載されている。特許文献１に記載されたパターン認識装置は、入力画像から抽出された処理対象の状態ごとにパターン認識処理のいずれか１つ又は複数を呼び出して認識処理を行わせる。
　また、特許文献２には、撮像環境の違いによる追加学習の長期化を回避する画像認識方法が記載されている。特許文献２に記載された画像認識方法では、画像撮像時の撮像環境と、パラメータテーブルに管理されている各撮像環境を示す撮像環境情報との差分から類似度を算出する。類似度が所定の閾値を上回る類似度を持つ撮像環境を示す撮像環境情報がパラメータテーブルに存在しない場合、その類似度が所定の閾値を下回る類似度の中で最も類似度が高い撮像環境に対応する認識制御パラメータを選択する。そして選択された認識制御パラメータを基礎として、所定の学習アルゴリズムを用いて、新たに取得した画像の認識に用いる認識制御パラメータを生成する。
特開２００７－０５８８８２号公報 特開２０１６－０１５１１６号公報
　各環境向けにチューニングした認識エンジンも、時間の経過に従って性能が低下することが想定されるため、性能改善が必要になる場合がある。しかし、環境ごとの認識エンジンを個別に更新し続けることは手離れが悪いことから、手離れを改善することが必要になる。
　手離れを改善するための一般的なアプローチは、学習パターンをできるだけ多く収集し、少しでも汎化性能の高い認識辞書を構築することである。例えば、画像のパターン認識を行う認識辞書を構築する場合、正解ラベルを一部の学習データのみに設定する方法や、正解ラベルを用いることなく画像のみを用いて学習を行う方法も知られている。一般に、良質の学習データ（画像と正確な正解ラベルのセット）を大量に準備して学習することが良いとされているが、学習パターンを多数収集するには、非常に多くのコストを要してしまう。
　例えば、画像データのパターン認識を行う場合、基礎となる認識エンジンを学習するために、カメラの設置環境のバリエーションを網羅できるだけの学習パターンを収集することが理想である。しかし、そのような学習パターンの収集は、物理的またはコスト的に困難である。
　また、ある顧客の環境において実運用されている認識エンジンが存在し、他の顧客でもその認識エンジンを同様の目的で利用し得るケースも存在する。しかし、そのような認識エンジンが存在したとしても、顧客の学習パターン（データ）の持ち出しや、そのデータを他の用途へ利用することが認められないケースがほとんどである。そのため、その運用で用いられた学習パターン（データ）を新たな認識エンジンのチューニングに利用することは困難である。
　例えば、特許文献２に記載された方法では、類似度が高い撮像環境に対応する認識制御パラメータを選択し、選択された認識制御パラメータを基礎として、新たな認識制御パラメータを生成する。しかし、特許文献２に記載された方法は、撮像環境ごとの認識精度を向上させる方法であるため、上記以外の撮像環境を想定した認識制御パラメータの認識精度を向上させること困難であり、結果として認識エンジンの汎化性能を向上させることは困難である。
　基礎となる認識エンジンの汎化性能を向上できれば、各環境向けの認識エンジンのチューニング作業も軽減できることになる。一方で、各環境向けの認識エンジンのチューニングに用いる学習パターンを、基礎となる認識エンジンの学習に直接用いることは困難であることから、学習パターンを増強することなく基礎となる認識エンジンの汎化性能を向上できることが好ましい。
　そこで、本発明は、学習パターンを増強することなくパターン認識を行う認識器の汎化性能を向上できるパターン認識システム、パラメータ生成方法およびパラメータ生成プログラムを提供することを目的とする。
　本発明のパターン認識システムは、入力データのパターンを認識するパターン認識装置を備え、パターン認識装置が、認識対象のデータと、そのデータの正解ラベルと、そのデータの収集環境を示すドメイン情報との組合せを含む第一の学習データを用いて、第一の認識器のパラメータである第一パラメータを生成する第一パラメータ生成部と、第一パラメータを基に、所定の収集環境で収集された認識対象のデータと、そのデータの正解ラベルと、所定の収集環境を示す対象ドメイン情報との組合せを含む第二の学習データを用いて、第二の認識器のパラメータである第二パラメータを生成する第二パラメータ生成部と、第一パラメータおよび第二パラメータを統合して、第一の学習データを用いた学習により、入力データのパターン認識に用いられる第三パラメータを生成する第三パラメータ生成部とを含み、第三パラメータ生成部が、対象ドメイン情報に合致するドメイン情報を含む第一の学習データを用いた学習において、第二パラメータによる認識結果を優先させるように第三パラメータを生成することを特徴とする。
　本発明のパラメータ生成方法は、認識対象のデータと、そのデータの正解ラベルと、そのデータの収集環境を示すドメイン情報との組合せを含む第一の学習データを用いて、第一の認識器のパラメータである第一パラメータを生成し、第一パラメータを基に、所定の収集環境で収集された認識対象のデータと、そのデータの正解ラベルと、所定の収集環境を示す対象ドメイン情報との組合せを含む第二の学習データを用いて、第二の認識器のパラメータである第二パラメータを生成し、第一パラメータおよび第二パラメータを統合して、第一の学習データを用いた学習により、入力データのパターン認識に用いられる第三パラメータを生成し、第三パラメータを生成する際、対象ドメイン情報に合致するドメイン情報を含む第一の学習データを用いた学習において、第二パラメータによる認識結果を優先させるように第三パラメータを生成することを特徴とする。
　本発明のパラメータ生成プログラムは、コンピュータに、認識対象のデータと、そのデータの正解ラベルと、そのデータの収集環境を示すドメイン情報との組合せを含む第一の学習データを用いて、第一の認識器のパラメータである第一パラメータを生成する第一パラメータ生成処理、第一パラメータを基に、所定の収集環境で収集された認識対象のデータと、そのデータの正解ラベルと、所定の収集環境を示す対象ドメイン情報との組合せを含む第二の学習データを用いて、第二の認識器のパラメータである第二パラメータを生成する第二パラメータ生成処理、および、第一パラメータおよび第二パラメータを統合して、第一の学習データを用いた学習により、入力データのパターン認識に用いられる第三パラメータを生成する第三パラメータ生成処理を実行させ、第三パラメータ生成処理で、対象ドメイン情報に合致するドメイン情報を含む第一の学習データを用いた学習において、第二パラメータによる認識結果を優先させるように第三パラメータを生成させることを特徴とする。
　本発明によれば、学習パターンを増強することなくパターン認識を行う認識器の汎化性能を向上できる。
本発明のパターン認識システムの第一の実施形態の構成例を示すブロック図である。 記憶部が記憶する情報の例を示す説明図である。 記憶部が記憶する情報の他の例を示す説明図である。 第一の実施形態のパターン認識システムの動作例を示すフローチャートである。 第一の実施形態のパターン認識システムの変形例を示すブロック図である。 本発明のパターン認識システムの第二の実施形態の構成例を示すブロック図である。 第二の実施形態のパターン認識システムの動作例を示すフローチャートである。 第二の実施形態のパターン認識システムの変形例を示すブロック図である。 本発明のパターン認識システムの第三の実施形態の構成例を示すブロック図である。 本発明によるパターン認識システムの概要を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、本発明のパターン認識システムの第一の実施形態の構成例を示すブロック図である。本実施形態のパターン認識システム１は、対象とする入力データのパターンを認識するパターン認識装置１００を備えている。パターン認識装置１００がパターンを認識する対象のデータの態様は任意であり、例えば、画像データや映像データ、音響データやテキストデータなどが挙げられる。
　パターン認識装置１００は、第一パラメータ生成部１０と、第二パラメータ生成部２０と、第三パラメータ生成部３０と、記憶部４０と、パターン認識部５０とを含む。
　記憶部４０は、パターン認識に用いる認識器を学習するためのデータ（以下、学習データと記す。）を記憶する。また、記憶部４０は、認識器を特定するためのパラメータも記憶する。パラメータは、後述する第一パラメータ生成部１０、第二パラメータ生成部２０および第三パラメータ生成部３０により生成される。なお、記憶部４０は、他の装置（図示せず）等により生成された認識器のパラメータを記憶してもよい。記憶部４０は、例えば、磁気ディスク等により実現される。
　学習データは、認識対象とするデータと、そのデータの正解ラベルと、そのデータの収集環境を示す情報（以下、ドメイン情報と記す。）との組合せを含む。ドメイン情報は、例えば、映像データの場合、カメラの設置角度、方位、高さ、カメラが室内に設置されているか、屋外に設置されているか、認識対象の向き、画角、レンズ、歪み係数、撮像ノイズ状態、映像圧縮ノイズ状態、などである。認識対象の向きとは、例えば、改札入口に設置されたカメラで撮影される場合、認識対象は常に正面から来るか、などである。なお、学習データは、これらの組合せ以外の情報を含んでいてもよく、例えば、学習する際に用いるデータの重みなどを含んでいてもよい。
　本実施形態では、認識器を特定するパラメータとして、三種類のパラメータを想定する。第一パラメータは、基礎となる認識器を特定するためのパラメータである。第二パラメータは、第一パラメータで特定される認識器を基に生成されるパラメータであり、特に所定の環境の下で認識処理を行うために第一パラメータからチューニングされたパラメータである。そのため、第二パラメータは、第一パラメータに由来するパラメータであるということもできる。
　第三パラメータは、基礎となる認識器を特定する第一パラメータと、所定の環境で用いられる認識器を特定する第二パラメータとを統合して生成されるパラメータである。本実施形態では、基礎となる認識器が有する認識性能に、所定の環境で用いられる認識性能を反映させて、第一パラメータの性能を上回る第三パラメータを生成することを目的とする。各パラメータの生成方法については後述される。
　第一パラメータ生成部１０は、学習データを用いて第一パラメータを生成する。以下、第一パラメータ生成部１０が用いる学習データを第一の学習データと記す。上述するように、第一パラメータは、基礎となる認識器を特定するためのパラメータであり、この認識器は他の認識器に対する親の認識器に相当する。以下の説明では、第一パラメータにより特定される認識器を第一の認識器と記す。第一の認識器は、親ＡＩ（Artificial Intelligence ）と言うこともできる。第一パラメータ生成部１０が認識器を学習する方法は任意であり、広く知られた方法が用いられればよい。
　第二パラメータ生成部２０は、第一パラメータ（すなわち、基礎となる認識器のパラメータ）を基に、学習データを用いて第二パラメータを生成する。第二パラメータ生成部２０が用いる学習データも、第一の学習データと同様に、認識対象とするデータと、そのデータの正解ラベルと、そのデータのドメイン情報との組合せを含む。
　ただし、第二パラメータ生成部２０が用いる学習データは、所定の収集環境で収集されたデータと、そのデータの正解ラベルと、所定の収集環境を示す情報（以下、対象ドメイン情報）との組合せを含む。以下、第二パラメータ生成部２０が用いる学習データを第二の学習データと記す。
　所定の収集環境とは、第二の認識器が認識を行うデータを収集する環境である。例えば、店舗の天井に設置されたカメラで映像が撮影される場合、所定の収集環境は、例えば、斜め方向からデータを撮影する環境、と言える。また、例えば、夜間に建屋の入口の映像を撮影している場合、所定の収集環境は、屋外で夜間に撮影される環境、と言える。
　これらのことから、第二の学習データに基づいて学習される第二パラメータは、所定の収集環境に特化した認識性能を有するパラメータと言うこともできる。また、第一の認識器が親ＡＩと言うのに対し、第二の認識器は、子ＡＩと言うこともできる。また、第二の学習データは、例えば、各顧客でのみ扱うことが可能なデータと言うこともできる。
　第二パラメータ生成部２０が第二パラメータを学習する方法も任意である。第二パラメータ生成部２０は、第一パラメータ生成部１０が第一パラメータを学習する方法と同様の方法を用いて第二パラメータを学習してもよい。この場合、生成される第二パラメータは、第一の学習データと第二の学習データの両方を用いた学習された結果生成されるパラメータと言うことができる。
　なお、第二の学習データは、所定の収集環境を示す共通のドメイン情報を含むことが想定される。そのため、第二の学習データは、共通するドメイン情報を別に保持して、データ及び正解ラベルのみ含んでいてもよい。
　第二パラメータ生成部２０は、第二の学習データとして、第一の学習データに含まれるデータとは別に収集されたデータと正解ラベルと対象ドメイン情報との組合せを含む第二の学習データを用いて第二パラメータを生成してもよい。このような第二の学習データを用いることができる状況として、例えば、顧客の運用中に学習データが取得できる場合などが挙げられる。
　図２は、記憶部４０が記憶する情報の例を示す説明図である。図２に示す例では、記憶部４０が、第一パラメータの学習に用いられる第一の学習データｄ１、第二パラメータの学習に用いられる第二の学習データｄ２、並びに、３種類のパラメータである第一パラメータｐ１、第二パラメータｐ２および第三パラメータｐ３をそれぞれ記憶していることを示す。また、図２に示す例では、第一の学習データｄ１および第二の学習データｄ２が、それぞれ、認識対象の入力データ、正解ラベルおよびドメイン情報を含むデータであることを示す。
　なお、図２に示す例では、第一の学習データｄ１、および、第二の学習データｄ２がいずれも記憶部４０に記憶されている場合を例示しているが、第一の学習データｄ１と第二の学習データｄ２が、それぞれ別の記憶装置に記憶されていてもよい。
　一方、顧客の運用中のデータを学習データとして用いることができない場合も想定される。このような場合、第二パラメータ生成部２０は、第一の学習データから、第一の学習データに含まれるドメイン情報が示す収集環境と同一または類似する収集環境のデータを第二の学習データとして抽出し、抽出したこの学習データを第二の学習データとして用いて第二パラメータを生成してもよい。以下の説明では、所定の収集環境と同一または類似する学習データのことを、所定の環境と合致する学習データと記すこともある。
　ドメイン情報が同一または類似する（すなわち合致する）か否かを判断する基準は、予め定めておけばよい。例えば、カメラによって認識対象を撮影する角度を示すドメイン情報が合致する基準として、予め範囲の角度（例えば、１０度以内）以内の場合には、合致する、と定めておいてもよい。
　図３は、記憶部４０が記憶する情報の他の例を示す説明図である。図３に示す例では、記憶部４０が、第一パラメータの学習に用いられる第一の学習データｄ１、第二パラメータの学習に用いられる対象ドメイン情報ｄ３、並びに、第一パラメータｐ１、および、第二パラメータｐ２をそれぞれ記憶していることを示す。なお、記憶部４０は、図２に例示するように、第三パラメータｐ３を記憶していてもよい。
　また、図３では、第一の学習データｄ１、および、対象ドメイン情報ｄ３がいずれも記憶部４０に記憶されている場合を例示しているが、第一の学習データｄ１と対象ドメイン情報ｄ３が、それぞれ別の記憶装置に記憶されていてもよい。
　第三パラメータ生成部３０は、第一パラメータおよび第二パラメータを統合して、第一の学習データを用いた学習により、認識対象のデータのパターン認識に用いられる第三パラメータを生成する。第三パラメータは、例えば、後述するパターン認識部５０が、入力データのパターンを認識する際に用いられる。
　具体的には、第三パラメータ生成部３０は、対象ドメイン情報に合致するドメイン情報を含む第一の学習データを用いた学習において、第二パラメータによる認識結果を優先させるように第三パラメータを生成する。
　第三パラメータ生成部３０は、例えば、第一パラメータによる認識器および第二パラメータによる認識器の両方を取り込んで、両方の認識器の性能を学習データに含まれるドメイン情報に応じてバランスさせるように第三のパラメータを生成してもよい。この場合、記憶部４０は、例えば、各パラメータ（または認識器）と、用いた学習データに含まれるドメイン情報の割合（または数）とを対応付けて保持しておく。
　そして、第三パラメータ生成部３０は、パラメータの学習に用いられた学習データに含まれるドメイン情報に合致する度合いが高いほど、そのパラメータの認識結果を優先するように第三パラメータを生成してもよい。これは、学習したドメイン環境がより近い方に識別結果をバランスさせることを意味する。また、これは、同じようなドメイン環境で収集されたデータに基づいて学習した識別器の信頼度をより高くするということもできる。
　例えば、水平方向から撮影した画像を用いて学習した認識器Ａと、斜め方向から撮影した画像を用いて学習した認識器Ｂが存在するとする。一般に、認識器は、認識結果と併せて確信度（例えば、信頼する場合の確信度を１、信頼しない場合の確信度を０とし、より確信が高くなるほど１に近くなる、など）を出力する。ここで、認識器Ａが斜め方向から撮影した画像の確信度を０．３と出力したとする。この場合、この確信度は、学習したデータのドメイン環境が異なることから、認識器Ａが想定する確信度よりも低いことが想定される。この場合、第三パラメータ生成部３０は、上述する「合致する度合い」を重みとして確信度を補正してもよい。
　そして、第三パラメータ生成部３０は、このように算出された確信度の認識結果ごとの総和から平均を算出し、最も平均が高い認識結果を最終的な認識結果として採用するように第三パラメータを生成してもよい。
　また、第三パラメータ生成部３０は、第一の学習データ自体に重み情報を設定してもよい。具体的には、第三パラメータ生成部３０は、第二パラメータの学習に用いられた学習データのドメイン情報の割合を、学習データの重みとして設定してもよい。例えば、単純には、第三パラメータ生成部３０は、対象ドメインに合致するドメイン情報を含む学習データに１を設定し、異なるドメイン情報の場合に０を設定してもよい。この重みは、学習の際、正解ラベルと認識結果とのズレを理想に近づけるための修正量として用いることができる。このような重みを設定することで、第二パラメータの認識性能を第一パラメータの認識性能に反映することが可能になる。
　一方、第三パラメータ生成部３０は、第一パラメータおよび第二パラメータを用いて、新たな環境に適合させるように第三パラメータを生成してもよい。以下、新たな環境を示す情報のことを新ドメイン情報と記す。この場合、第三パラメータ生成部３０は、第一パラメータと第二パラメータのうち、パラメータの生成に用いた学習データに含まれるドメイン情報が、新たな環境を示す新ドメイン情報により近いパラメータを優先的に選択する。そして、第三パラメータ生成部３０は、第一の学習データに含まれるドメイン情報が新ドメイン情報に合致するほど認識結果の確信度が高くなるように、第三パラメータを生成する。
　パターン認識部５０は、生成された第三パラメータにより特定される認識器を用いて入力データのパターン認識を行う。
　第一パラメータ生成部１０と、第二パラメータ生成部２０と、第三パラメータ生成部３０と、パターン認識部５０とは、プログラム（パラメータ生成プログラム）に従って動作するコンピュータのＣＰＵ（Central Processing Unit ）によって実現される。例えば、プログラムは、パターン認識装置１００の記憶部４０に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、第一パラメータ生成部１０、第二パラメータ生成部２０、第三パラメータ生成部３０およびパターン認識部５０として動作してもよい。
　また、第一パラメータ生成部１０と、第二パラメータ生成部２０と、第三パラメータ生成部３０と、パターン認識部５０とは、それぞれが専用のハードウェアで実現されていてもよい。
　次に、本実施形態のパターン認識システムの動作を説明する。図４は、本実施形態のパターン認識システム１の動作例を示すフローチャートである。第一パラメータ生成部１０は、第一の学習データを用いて第一パラメータを生成する（ステップＳ１１）。第二パラメータ生成部２０は、第一のパラメータを基に、第二の学習データを用いて、第二パラメータを生成する（ステップＳ１２）。
　そして、第三パラメータ生成部３０は、第一パラメータおよび第二パラメータを統合して第三パラメータを生成する（ステップＳ１３）。このとき、第三パラメータ生成部３０は、対象ドメイン情報に合致するドメイン情報を含む第一の学習データを用いた学習において、第二パラメータによる認識結果を優先させるように第三パラメータを生成する。
　以上のように、本実施形態では、第一パラメータ生成部１０が第一の学習データを用いて第一パラメータを生成し、第二パラメータ生成部２０が、第一のパラメータを基に、第二の学習データを用いて、第二パラメータを生成する。そして、第三パラメータ生成部３０が、第一パラメータおよび第二パラメータを統合して第三パラメータを生成する。このとき、第三パラメータ生成部３０は、対象ドメイン情報に合致するドメイン情報を含む第一の学習データを用いた学習において、第二パラメータによる認識結果を優先させるように第三パラメータを生成する。
　よって、学習パターンを増強することなくパターン認識を行う認識器の汎化性能を向上できる。これにより、基礎となる認識エンジンの基本性能を向上できるため、現場に設置するシステムの認識エンジン（子ＡＩ）のチューニング作業も軽減できる。
　次に、本実施形態のパターン認識システムの変形例を説明する。上記実施形態では、第二パラメータ生成部２０が、一種類の第二パラメータを生成し、第三パラメータ生成部３０が、第一パラメータに第二パラメータを統合して第三パラメータを生成する場合について説明した。なお、第一パラメータに統合する第二パラメータは、一種類に限定されない。
　図５は、第一の実施形態のパターン認識システムの変形例を示すブロック図である。図５に例示するパターン認識システム２のパターン認識装置２００は、は、第一パラメータ生成部１０と、複数の第二パラメータ生成部２１～２Ｎと、第三パラメータ生成部３０と、記憶部４０と、パターン認識部５０とを含む。すなわち、本変形例では、パターン認識装置２００が、複数の第二パラメータ生成部２１～２Ｎを備えている点において、上記実施形態と異なる。
　各第二パラメータ生成部２１～２１Ｎの内容は、第一の実施形態の第二パラメータ生成部２０の内容と同様である。第三パラメータ生成部３０は、第一パラメータおよび複数種類の第二パラメータを統合して第三パラメータを生成する。具体的には、第三パラメータ生成部３０は、各第二パラメータの対象ドメイン情報に合致するドメイン情報を含む第一の学習データを用いた学習において、対応する第二パラメータによる認識結果を優先させるように第三パラメータを生成する。なお、第三パラメータ生成部３０が第三パラメータを生成する方法は、第一の実施形態と同様である。
　このように、第三パラメータ生成部３０が、第一パラメータおよび複数種類の第二パラメータを統合して第三パラメータを生成することで、複数の第二パラメータの認識性能を反映させた認識エンジンを生成できる。
実施形態２．
　次に、本発明のパターン認識システムの第二の実施形態を説明する。第一の実施形態で生成された第三パラメータは、汎化性能が向上していることが期待される。一方、第二パラメータは、所定の収集環境に基づいてチューニングされたパラメータであるため、第三パラメータよりもデータの収集環境に適合した認識性能を有することも想定される。そこで、本実施形態では、認識性能に応じてパラメータの更新有無を判断する方法を説明する。
　図６は、本発明のパターン認識システムの第二の実施形態の構成例を示すブロック図である。本実施形態のパターン認識システム３は、パターン認識装置３００と、子認識装置４００とを備えている。
　子認識装置４００は、入力データのパターン認識を行う装置である。子認識装置４００は、記憶部４１と、パターン認識部５１と、データ送受信部７１とを含む。
　データ送受信部７１は、パターン認識装置３００とデータの送受信を行う。
　記憶部４１は、パターン認識部５１がパターン認識を行うためのパラメータを記憶する。例えば、子認識装置４００によるデータの収集環境が第二の学習データの収取環境に対応している場合、記憶部４１は、第二パラメータを記憶していてもよい。この場合、後述するパターン認識部５１は、記憶部４１に記憶された第二パラメータに基づいてパターン認識を行う。
　パターン認識部５１は、記憶部４１に記憶されたパラメータにより特定される認識器を用いて入力データのパターン認識を行う。上述するように、記憶部４１が第二パラメータを記憶している場合、パターン認識部５１は、第二パラメータにより特定される認識器を用いて入力データのパターン認識を行う。ただし、パターン認識部５１がパターン認識に用いるパラメータは第二パラメータに限定されない。パラメータの内容は、後述するパターン認識装置３００のパラメータ更新部９０によって生成されたパラメータに逐次更新される。
　パターン認識装置３００は、第一パラメータ生成部１０と、第二パラメータ生成部２０と、第三パラメータ生成部３０と、記憶部４０と、パターン認識部５０と、データ分岐部６０と、データ送受信部７０と、認識結果比較部８０と、パラメータ更新部９０とを含む。なお、パターン認識装置３００が、複数の第二パラメータ生成部２１～２Ｎを備えていてもよい。
　すなわち、第２の実施形態のパターン認識装置３００は、第一の実施形態のパターン認識装置１００と比較し、データ分岐部６０と、データ送受信部７０と、認識結果比較部８０と、パラメータ更新部９０とを更に含む。なお、第一パラメータ生成部１０、第二パラメータ生成部２０、第三パラメータ生成部３０、記憶部４０およびパターン認識部５０の構成は、第一の実施形態と同様である。
　データ送受信部７０は、子認識装置４００とデータの送受信を行う。
　データ分岐部６０は、認識対象の入力データを、パターン認識装置３００のパターン認識部５０と、子認識装置４００のパターン認識部５１とにそれぞれ入力する。そして、データ分岐部６０は、パターン認識部５０およびパターン認識部５１による認識結果を認識結果比較部８０に入力する。データ分岐部６０には、例えば、映像データが入力される。
　認識結果比較部８０は、子認識装置４００がパターン認識に用いているパラメータと、生成された第三パラメータとの性能を比較する。より具体的には、認識結果比較部８０は、第二パラメータによる認識結果と第三パラメータによる認識結果とを比較して、認識精度を判定する。認識結果比較部８０は、例えば、各パラメータによる認識結果と第一の学習データに含まれる正解ラベルが示す結果との合致度合いが大きいパラメータを、より認識精度の高いパラメータと判定してもよい。
　認識結果比較部８０は、例えば、第一の学習データに含まれるデータの認識結果と正解ラベルとの差異を複数の学習データについて集計することで認識精度を判定してもよい。ただし、上述する認識精度の判定方法は一例であり、認識結果比較部８０は、広く知られた他の方法により認識精度を判定してもよい。
　パラメータ更新部９０は、子認識装置４００がパターン認識に用いるパラメータを更新する。具体的には、パラメータ更新部９０は、認識結果比較部８０により、第三パラメータが第二パラメータよりも認識精度が高いと判定された場合、子認識装置が認識処理に用いる第二パラメータを第三パラメータに更新する。
　このように、パラメータを更新するか否かの判定を子認識装置４００以外の装置で行うことにより、子認識装置４００の業務を遮ることなく、子認識装置４００のパラメータを更新することが可能になる。
　なお、パラメータ更新部９０は、子認識装置を実現する計算機資源の制約を考慮し、知識の蒸留（Knowledge Distillation）に基づいて、教師モデルに相当する第三パラメータから生徒モデルに相当するより小規模なパラメータを生成してもよい。なお、教師モデルから生徒モデルを生成する方法は広く知られており、ここでは詳細な説明を省略する。パラメータ更新部９０は、パラメータの内容や計算機資源の制約を考慮して、知識の蒸留を行えばよい。
　第一パラメータ生成部１０と、第二パラメータ生成部２０と、第三パラメータ生成部３０と、パターン認識部５０と、データ分岐部６０と、データ送受信部７０と、認識結果比較部８０と、パラメータ更新部９０とは、プログラム（パラメータ生成プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、子認識装置４００におけるパターン認識部５１およびデータ送受信部７１も、プログラムに従って動作するコンピュータのＣＰＵによって実現される。
　次に、本実施形態のパターン認識システムの動作を説明する。図７は、本実施形態のパターン認識システム３の動作例を示すフローチャートである。なお、第三パラメータ生成部３０が第一パラメータおよび第二パラメータを統合して第三パラメータを生成するまでの処理は、図４におけるステップＳ１１からステップＳ１３までの処理と同様である。
　データ分岐部６０は、入力データをパターン認識装置３００のパターン認識部５０と、子認識装置４００のパターン認識部５１にそれぞれ入力する（ステップＳ２１）。パターン認識装置３００のパターン認識部５０および子認識装置４００のパターン認識部５１は、それぞれ入力データのパターン認識を行う（ステップＳ２２）。すなわち、パターン認識装置３００のパターン認識部５０は、第三パラメータに基づいてパターン認識を行い、子認識装置４００のパターン認識部５１は、第二パラメータに基づいてパターン認識を行う。
　認識結果比較部８０は、パターン認識部５１による認識結果（すなわち、第二パラメータによる認識結果）とパターン認識部５０による認識結果（すなわち、第三パラメータによる認識結果）とを比較し、第三パラメータが第二パラメータよりも認識精度が高いか否か判定する（ステップＳ２３）。
　第三パラメータが第二パラメータよりも認識精度が高い場合（ステップＳ２３におけるＹｅｓ）、パラメータ更新部９０は、子認識装置４００が認識処理に用いる第二パラメータを第三パラメータに更新する（ステップＳ２４）。一方、第三パラメータが第二パラメータよりも認識精度が高くない場合（ステップＳ２３におけるＮｏ）、パラメータの更新処理は行われず、処理を終了する。
　以上のように、本実施形態では、第一の実施形態の構成に加え、認識結果比較部８０が、第二パラメータによる認識結果と第三パラメータによる認識結果とを比較する。そのため、より認識精度の高いパラメータを選択することが可能になる。
　次に、本実施形態の変形例を説明する。第二の実施形態では、認識結果比較部８０が学習データを用いて認識結果の精度を判定する方法を説明した。なお、この判定結果としてユーザによる判定結果を用いることも可能である。本変形例では、認識結果比較部８０が、ユーザに判定結果を入力させる方法を説明する。
　図８は、第二の実施形態のパターン認識システムの変形例を示すブロック図である。図８に例示するパターン認識システム４は、パターン認識装置５００と、子認識装置４００とを備えている。子認識装置４００の構成は、第２の実施形態の子認識装置４００の構成と同様である。
　パターン認識装置５００は、第一パラメータ生成部１０と、第二パラメータ生成部２０と、第三パラメータ生成部３０と、記憶部４０と、パターン認識部５０と、データ分岐部６０と、データ送受信部７０と、認識結果比較部８１と、パラメータ更新部９０とを含む。すなわち、パターン認識装置５００の構成は、認識結果比較部８０の内容が認識結果比較部８１に置き換わった以外、第２の実施形態のパターン認識装置３００の構成と同様である。
　認識結果比較部８１は、結果表示部８２と、判定結果入力部８３とを有する。
　結果表示部８２は、第二パラメータによる認識結果および第三パラメータによる認識結果を出力する。結果表示部８２は、例えば、入力データに対する認識結果や、その認識結果に対する確信度を出力してもよい。
　判定結果入力部８３は、結果表示部８２が出力した認識結果に基づくユーザの判定結果を入力する。判定結果入力部８３は、例えば、第二パラメータによる認識結果と第三パラメータによる認識結果のいずれがより認識精度が高いかをユーザから受け付けてもよい。判定結果の入力を受け付けた後の処理（すなわち、パラメータ更新部９０の処理）は、第２の実施形態と同様である。
　以上のように、本変形例では、認識結果比較部８１が認識結果に対するユーザからの判定結果を受け付ける。そのため、学習データ以外の任意のデータに対する認識結果をパラメータの選択に反映させることが可能になる。
実施形態３．
　次に、本発明のパターン認識システムの第三の実施形態を説明する。第一の実施形態および第二の実施形態では、学習データが予め記憶部４０に記憶されている場合について説明した。なお、この学習データは、オペレータの運用業務に付随して生成されてもよい。オペレータの観点から学習データを生成することで、より適切なパラメータを生成することが可能になる。
　図９は、本発明のパターン認識システムの第三の実施形態の構成例を示すブロック図である。本実施形態のパターン認識システム５は、パターン認識装置６００を備えている。なお、本実施形態のパターン認識システム５は、第２の実施形態の子認識装置４００を備えていてもよい。
　パターン認識装置６００は、第一パラメータ生成部１０と、第二パラメータ生成部２０と、第三パラメータ生成部３０と、記憶部４０と、パターン認識部５０と、データ取得部１１０と、取得データ出力部１２０と、データ抽出部１３０と、データ登録部１４０とを含む。なお、パターン認識装置６００は、第２の実施形態のデータ分岐部６０、データ送受信部７０、認識結果比較部８０およびパラメータ更新部９０を含んでいてもよい。
　データ取得部１１０は、認識対象のデータを取得する。例えば、画像データや映像データが認識対象のデータの場合、データ取得部１１０は、カメラなどの撮像装置により実現される。また、例えば、音声データが認識対象のデータの場合、データ取得部１１０は、音声レコーダなどにより実現される。また、例えば、テキストデータが認識対象のデータの場合、データ取得部１１０は、ＯＣＲ（Optical Character Recognition ）や音声認識装置などにより実現される。また、データ取得部１１０によるデータの収集環境は、ドメイン情報として予めユーザ等により設定される。
　取得データ出力部１２０は、データ取得部１１０により取得されたデータを出力する。取得データ出力部１２０は、例えば、画像データや映像データをディスプレイ装置などの表示装置（図示せず）に表示してもよい。
　データ抽出部１３０は、ユーザの指示に応じて、取得データ出力部１２０によって出力されたデータを抽出する。抽出対象のデータの内容（すなわち、正解ラベル）は、予め設定されているものとする。
　例えば、オペレータがモニターを参照して不審人物を監視する運用業務を行っているとする。このとき、データ取得部１１０は、所定の範囲を随時撮影し、取得データ出力部１２０は、その映像を出力する。その映像中に、オペレータが不審人物を発見した場合、データ抽出部１３０は、例えば、オペレータによる検出操作（例えば、画面上の不審人物をクリックする操作）に応じて、その画像データを抽出する。
　また、画像データの抽出方法も任意であり、データ取得部１１０は、表示された全体の画像データを抽出してもよく、クリックされた周辺の領域の画像データを不審人物領域として抽出してもよい。
　データ登録部１４０は、データ抽出部１３０により抽出されたデータを記憶部４０に登録する。具体的には、オペレータの抽出対象は予め正解ラベルとして設定されており、データの収集環境を示すドメイン情報も予め設定されている。そこで、データ登録部１４０は、抽出されたデータと、正解ラベルと、ドメイン情報との組合せを生成し、学習データとして記憶部４０に登録する。なお、データ登録部１４０は、生成した学習データを、第一の学習データとして登録してもよく、第二の学習データとして登録してもよい。
　以上のように、本実施形態では、データ抽出部１３０が、ユーザの指示に応じて出力されたデータを抽出し、データ登録部１４０が、抽出されたデータと、正解ラベルと、ドメイン情報との組合せを生成し、学習データとして記憶部４０に登録する。そのため、オペレータの観点から、より精度の高い学習データを生成することが可能になる。
　次に、本発明の概要を説明する。図１０は、本発明によるパターン認識システムの概要を示すブロック図である。本発明によるパターン認識システム８００（例えば、パターン認識システム１）は、入力データのパターンを認識するパターン認識装置８１０（例えば、パターン認識装置１００）を備えている。
　パターン認識装置８１０は、認識対象のデータと、そのデータの正解ラベルと、そのデータの収集環境を示すドメイン情報との組合せを含む第一の学習データを用いて、第一の認識器のパラメータである第一パラメータを生成する第一パラメータ生成部８１１（例えば、第一パラメータ生成部１０）と、第一パラメータを基に、所定の収集環境で収集された認識対象のデータと、そのデータの正解ラベルと、所定の収集環境を示す対象ドメイン情報との組合せを含む第二の学習データを用いて、第二の認識器のパラメータである第二パラメータを生成する第二パラメータ生成部８１２（例えば、第二パラメータ生成部２０）と、第一パラメータおよび第二パラメータを統合して、第一の学習データを用いた学習により、入力データのパターン認識に用いられる第三パラメータを生成する第三パラメータ生成部８１３（例えば、第三パラメータ生成部３０）とを含む。
　第三パラメータ生成部８１３は、対象ドメイン情報に合致するドメイン情報を含む第一の学習データを用いた学習において、第二パラメータによる認識結果を優先させるように第三パラメータを生成する。
　そのような構成により、学習パターンを増強することなくパターン認識を行う認識器の汎化性能を向上できる。
　また、第二パラメータ生成部８１２は、第一の学習データに含まれるデータとは別に収集されたデータと、そのデータの正解ラベルと、そのデータの収集環境を示す対象ドメイン情報との組合せを含む第二の学習データを用いて第二パラメータを生成してもよい。そのような構成により、各収集環境の状況をより反映したパラメータを生成することが可能になる。
　一方、第二パラメータ生成部８１２は、第一の学習データのうち、その第一の学習データに含まれるドメイン情報が示す収集環境が、所定の収集環境と合致する学習データを用いて第二パラメータを生成してもよい。そのような構成により、第二のドメイン情報が示す収集環境で学習データを収集できない場合でも、認識器の汎化性能を向上することが可能になる。
　また、第三パラメータ生成部８１３は、パラメータの学習に用いられた学習データに含まれるドメイン情報の合致する度合いが高いほどそのパラメータの認識結果を優先するように第一パラメータおよび第二パラメータを統合して、第三パラメータを生成してもよい。そのような構成により、すでに生成されたいずれのパラメータの性質も利用することが可能になる。
　また、第三パラメータ生成部８１３は、第一パラメータと第二パラメータのうち、パラメータの生成に用いた学習データに含まれるドメイン情報が、新たな環境を示す新ドメイン情報により近いパラメータを優先的に選択し、第一の学習データに含まれるドメイン情報が新ドメイン情報に合致するほど認識結果の確信度が高くなるように、第三パラメータを生成してもよい。そのような構成により、既存の収集環境とは異なる環境での認識精度を向上させることが可能になる。
　また、パターン認識装置８１０は、第二パラメータによる認識結果と第三パラメータによる認識結果とを比較する認識結果比較部（例えば、認識結果比較部８０）を含んでいてもよい。そして、認識結果比較部は、認識結果と第一の学習データに含まれる正解ラベルが示す結果との合致度合いが大きいパラメータを、より認識精度の高いパラメータと判定してもよい。そのような構成により、より認識精度の高いパラメータを選択することが可能になる。
　また、パターン認識システム８００は、第二パラメータに基づいて入力データのパターンを認識する子認識装置（例えば、子認識装置４００）を備えていてもよい。そして、パターン認識装置８１０は、子認識装置が認識に用いるパラメータを更新するパラメータ更新部（例えば、パラメータ更新部９０）を含んでいてもよい。そして、パラメータ更新部は、第三パラメータが第二パラメータよりも認識精度が高いと判定された場合、子認識装置が認識処理に用いる第二パラメータを第三パラメータに更新してもよい。
　また、パラメータ更新部は、知識の蒸留に基づいて、第三パラメータからより小規模なパラメータを生成し、子認識装置が認識処理に用いる第二パラメータを生成されたパラメータで更新してもよい。そのような構成により、子認識装置の資源の制約に対応することが可能になる。
　本発明は、パターン認識の性能を向上させるパターン認識システムに好適に適用される。例えば、本発明は、例えば、大規模監視システム向け画像認識エンジンを搭載したシステムや、ＦＡ（Factory Automation）向け欠陥検査システムにおいて好適に適用される。
　具体的には、多数の現場にカメラが設置されメインの認識エンジンと現地システムのエンジンとを分けて運用するような大規模監視システム向け認識エンジンを用いたシステム本発明を好適に適用できる。
　１～５　パターン認識システム
　１０　第一パラメータ生成部
　２０，２１～２Ｎ　第二パラメータ生成部
　３０　第三パラメータ生成部
　４０，４１　記憶部
　５０，５１　パターン認識部
　６０　データ分岐部
　７０，７１　データ送受信部
　８０，８１　認識結果比較部
　８２　結果表示部
　８３　判定結果入力部
　１００，２００，３００，５００　パターン認識装置
　１１０　データ取得部
　１２０　取得データ出力部
　１３０　データ抽出部
　１４０　データ登録部
　４００　子認識装置

Claims (10)

  1. 　入力データのパターンを認識するパターン認識装置を備え、
    　前記パターン認識装置は、
    　認識対象のデータと、当該データの正解ラベルと、当該データの収集環境を示すドメイン情報との組合せを含む第一の学習データを用いて、第一の認識器のパラメータである第一パラメータを生成する第一パラメータ生成部と、
    　前記第一パラメータを基に、所定の収集環境で収集された認識対象のデータと、当該データの正解ラベルと、前記所定の収集環境を示す対象ドメイン情報との組合せを含む第二の学習データを用いて、第二の認識器のパラメータである第二パラメータを生成する第二パラメータ生成部と、
    　前記第一パラメータおよび前記第二パラメータを統合して、前記第一の学習データを用いた学習により、前記入力データのパターン認識に用いられる第三パラメータを生成する第三パラメータ生成部とを含み、
    　前記第三パラメータ生成部は、前記対象ドメイン情報に合致するドメイン情報を含む前記第一の学習データを用いた学習において、前記第二パラメータによる認識結果を優先させるように前記第三パラメータを生成する
    　ことを特徴とするパターン認識システム。
  2. 　第二パラメータ生成部は、第一の学習データに含まれるデータとは別に収集されたデータと、当該データの正解ラベルと、当該データの収集環境を示す対象ドメイン情報との組合せを含む第二の学習データを用いて第二パラメータを生成する
    　請求項１記載のパターン認識システム。
  3. 　第二パラメータ生成部は、第一の学習データのうち、当該第一の学習データに含まれるドメイン情報が示す収集環境が、所定の収集環境と合致する学習データを用いて第二パラメータを生成する
    　請求項１記載のパターン認識システム。
  4. 　第三パラメータ生成部は、パラメータの学習に用いられた学習データに含まれるドメイン情報の合致する度合いが高いほど当該パラメータの認識結果を優先するように第一パラメータおよび第二パラメータを統合して、第三パラメータを生成する
    　請求項１から請求項３のうちのいずれか１項に記載のパターン認識システム。
  5. 　第三パラメータ生成部は、第一パラメータと第二パラメータのうち、パラメータの生成に用いた学習データに含まれるドメイン情報が、新たな環境を示す新ドメイン情報により近いパラメータを優先的に選択し、第一の学習データに含まれるドメイン情報が前記新ドメイン情報に合致するほど認識結果の確信度が高くなるように、第三パラメータを生成する
    　請求項１から請求項３のうちのいずれか１項に記載のパターン認識システム。
  6. 　パターン認識装置は、第二パラメータによる認識結果と第三パラメータによる認識結果とを比較する認識結果比較部を含み、
    　前記認識結果比較部は、前記認識結果と第一の学習データに含まれる正解ラベルが示す結果との合致度合いが大きいパラメータを、より認識精度の高いパラメータと判定する
    　請求項１から請求項５のうちのいずれか１項に記載のパターン認識システム。
  7. 　第二パラメータに基づいて入力データのパターンを認識する子認識装置を備え、
    　パターン認識装置は、
    　前記子認識装置が認識に用いるパラメータを更新するパラメータ更新部を含み、
    　前記パラメータ更新部は、第三パラメータが第二パラメータよりも認識精度が高いと判定された場合、前記子認識装置が認識処理に用いる第二パラメータを前記第三パラメータに更新する
    　請求項６記載のパターン認識システム。
  8. 　パラメータ更新部は、知識の蒸留に基づいて、第三パラメータからより小規模なパラメータを生成し、子認識装置が認識処理に用いる第二パラメータを生成されたパラメータで更新する
    　請求項７記載のパターン認識システム。
  9. 　認識対象のデータと、当該データの正解ラベルと、当該データの収集環境を示すドメイン情報との組合せを含む第一の学習データを用いて、第一の認識器のパラメータである第一パラメータを生成し、
    　前記第一パラメータを基に、所定の収集環境で収集された認識対象のデータと、当該データの正解ラベルと、前記所定の収集環境を示す対象ドメイン情報との組合せを含む第二の学習データを用いて、第二の認識器のパラメータである第二パラメータを生成し、
    　前記第一パラメータおよび前記第二パラメータを統合して、前記第一の学習データを用いた学習により、前記入力データのパターン認識に用いられる第三パラメータを生成し、
    　前記第三パラメータを生成する際、前記対象ドメイン情報に合致するドメイン情報を含む前記第一の学習データを用いた学習において、前記第二パラメータによる認識結果を優先させるように前記第三パラメータを生成する
    　ことを特徴とするパラメータ生成方法。
  10. 　コンピュータに、
    　認識対象のデータと、当該データの正解ラベルと、当該データの収集環境を示すドメイン情報との組合せを含む第一の学習データを用いて、第一の認識器のパラメータである第一パラメータを生成する第一パラメータ生成処理、
    　前記第一パラメータを基に、所定の収集環境で収集された認識対象のデータと、当該データの正解ラベルと、前記所定の収集環境を示す対象ドメイン情報との組合せを含む第二の学習データを用いて、第二の認識器のパラメータである第二パラメータを生成する第二パラメータ生成処理、および、
    　前記第一パラメータおよび前記第二パラメータを統合して、前記第一の学習データを用いた学習により、前記入力データのパターン認識に用いられる第三パラメータを生成する第三パラメータ生成処理を実行させ、
    　前記第三パラメータ生成処理で、前記対象ドメイン情報に合致するドメイン情報を含む前記第一の学習データを用いた学習において、前記第二パラメータによる認識結果を優先させるように前記第三パラメータを生成させる
    　ためのパラメータ生成プログラム。
PCT/JP2018/018104 2018-05-10 2018-05-10 パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム WO2019215868A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020517696A JP6977875B2 (ja) 2018-05-10 2018-05-10 パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム
US17/044,425 US11586850B2 (en) 2018-05-10 2018-05-10 Pattern recognition system, parameter generation method, and parameter generation program
PCT/JP2018/018104 WO2019215868A1 (ja) 2018-05-10 2018-05-10 パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/018104 WO2019215868A1 (ja) 2018-05-10 2018-05-10 パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム

Publications (1)

Publication Number Publication Date
WO2019215868A1 true WO2019215868A1 (ja) 2019-11-14

Family

ID=68467838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018104 WO2019215868A1 (ja) 2018-05-10 2018-05-10 パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム

Country Status (3)

Country Link
US (1) US11586850B2 (ja)
JP (1) JP6977875B2 (ja)
WO (1) WO2019215868A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204102A (ja) * 2007-02-19 2008-09-04 Yokohama National Univ 画像処理システム
JP2010009518A (ja) * 2008-06-30 2010-01-14 Canon Inc パターン検出器の学習装置、学習方法及びプログラム
JP2010271861A (ja) * 2009-05-20 2010-12-02 Canon Inc オブジェクト識別装置及びオブジェクト識別方法
JP2016015116A (ja) * 2014-06-12 2016-01-28 パナソニックＩｐマネジメント株式会社 画像認識方法、カメラシステム
JP2016018538A (ja) * 2014-07-11 2016-02-01 キヤノン株式会社 画像認識装置、方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007058882A (ja) 1996-09-27 2007-03-08 Fujitsu Ltd パターン認識装置
US8331655B2 (en) 2008-06-30 2012-12-11 Canon Kabushiki Kaisha Learning apparatus for pattern detector, learning method and computer-readable storage medium
CN105676318B (zh) 2014-12-08 2018-06-05 三星电子株式会社 抗反射膜和包括其的有机发光器件
JP6661398B2 (ja) * 2016-02-03 2020-03-11 キヤノン株式会社 情報処理装置および情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204102A (ja) * 2007-02-19 2008-09-04 Yokohama National Univ 画像処理システム
JP2010009518A (ja) * 2008-06-30 2010-01-14 Canon Inc パターン検出器の学習装置、学習方法及びプログラム
JP2010271861A (ja) * 2009-05-20 2010-12-02 Canon Inc オブジェクト識別装置及びオブジェクト識別方法
JP2016015116A (ja) * 2014-06-12 2016-01-28 パナソニックＩｐマネジメント株式会社 画像認識方法、カメラシステム
JP2016018538A (ja) * 2014-07-11 2016-02-01 キヤノン株式会社 画像認識装置、方法及びプログラム

Also Published As

Publication number Publication date
US11586850B2 (en) 2023-02-21
JP6977875B2 (ja) 2021-12-08
JPWO2019215868A1 (ja) 2021-04-01
US20210027110A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
CN105426870B (zh) 一种人脸关键点定位方法及装置
WO2021095693A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
US11164028B2 (en) License plate detection system
WO2022135539A1 (zh) 设备配置参数处理方法和装置、数据分析方法和装置、计算设备、计算机可读存储介质、以及计算机程序产品
KR20060119968A (ko) 형상 인식 장치 및 방법
CN115699082A (zh) 缺陷检测方法及装置、存储介质及电子设备
JP7062474B2 (ja) 劣化状況識別装置、劣化状況識別方法及びプログラム
CN105224947A (zh) 分类器训练方法和系统
JP2019117556A (ja) 情報処理装置、情報処理方法及びプログラム
US20150104065A1 (en) Apparatus and method for recognizing object in image
CN115223246A (zh) 一种人员违规行为识别方法、装置、设备及存储介质
CN114724140A (zh) 一种基于yolo v3的草莓成熟度检测方法、装置
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质
KR20120020711A (ko) 물체 인식 시스템 및 그 물체 인식 방법
WO2019215780A1 (ja) 識別システム、モデル再学習方法およびプログラム
WO2019215868A1 (ja) パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム
WO2021245819A1 (ja) 学習装置、学習済みモデル生成方法、及び、記録媒体
CN114708645A (zh) 物件辨识装置及物件辨识方法
CN109934185B (zh) 数据处理方法及装置、介质和计算设备
CN111652242A (zh) 图像处理方法、装置、电子设备及存储介质
CN112149698A (zh) 一种困难样本数据的筛选方法及装置
CN114972893A (zh) 一种数据标注方法、装置、电子设备和存储介质
CN114927236A (zh) 一种面向多重目标图像的检测方法及系统
CN114140879A (zh) 基于多头级联注意网络与时间卷积网络的行为识别方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18918023

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020517696

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18918023

Country of ref document: EP

Kind code of ref document: A1