WO2019077854A1 - オンライン認識装置、オンライン認識方法、及びそれに用いる設定画面 - Google Patents

オンライン認識装置、オンライン認識方法、及びそれに用いる設定画面 Download PDF

Info

Publication number
WO2019077854A1
WO2019077854A1 PCT/JP2018/029882 JP2018029882W WO2019077854A1 WO 2019077854 A1 WO2019077854 A1 WO 2019077854A1 JP 2018029882 W JP2018029882 W JP 2018029882W WO 2019077854 A1 WO2019077854 A1 WO 2019077854A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
generator
data
correct answer
result
Prior art date
Application number
PCT/JP2018/029882
Other languages
English (en)
French (fr)
Inventor
全 孔
裕樹 渡邉
直人 秋良
村上　智一
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to EP18868723.0A priority Critical patent/EP3699864A4/en
Priority to US16/754,408 priority patent/US20200311575A1/en
Publication of WO2019077854A1 publication Critical patent/WO2019077854A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • the present invention relates to a technology for recognizing and learning an object such as an object or a person.
  • Patent Document 2 a method of covering an insufficient learning sample is studied by updating the learning model online while adding a learning sample.
  • Patent Document 2 also has the above-described problem because, when a newly acquired learning sample is updated online, additional learning samples are uniformly learned.
  • the present invention is an online recognition device, for example, a feature extraction unit that extracts a feature of input data, and an identification result based on the extracted feature. Based on the discrimination result prediction unit that predicts the necessity of labeling based on the prediction discrimination result, a correctness assignment unit that gives correctness to input data online from the judgment result, and input data with correctness Based on a generator updating unit for updating generator parameters, a pseudo learning data generating unit for constructing a generator based on the updated generator parameters and generating pseudo learning data, and based on input data with correct answer and pseudo learning data A classifier update unit that updates the parameters of the classifier prepared in advance online, and updates the updated classifier as a new classification result prediction unit It is formed.
  • an online recognition device it is possible to provide an online recognition device, an online recognition method, and a setting screen used for the same, which can improve the recognition accuracy even when the learning sample is insufficient.
  • FIG. 2 is a functional block diagram of the online recognition device in the first embodiment.
  • FIG. 6 is a functional block diagram showing an example of a configuration of a prediction result evaluation unit in Embodiment 1.
  • FIG. 7 is a conceptual diagram showing a processing method of a correct answer giving unit in the first embodiment.
  • FIG. 6 is a processing flow diagram of the online recognition device in the first embodiment.
  • FIG. 7 is a functional block diagram of a generator / classifier initialization method in Embodiment 1.
  • FIG. 6 is a functional block diagram showing an example of the configuration of a generator construction unit in Embodiment 1.
  • FIG. 7 is a processing flow diagram of a generator / classifier initialization method in Embodiment 1.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the online recognition device in the first embodiment and the processing content thereof.
  • FIG. 7 is a functional block diagram of an online recognition device in a second embodiment.
  • FIG. 13 is a functional block diagram of an online recognition device in a third embodiment.
  • 21 is a setting GUI for generating pseudo learning data of the online recognition device in the third embodiment.
  • FIG. 1 is a functional block diagram of the on-line recognition device in the present embodiment.
  • the online recognition apparatus includes a classifier feature extraction unit 102, a recognition result prediction unit 103, a prediction result evaluation unit 104, a correct solution assignment unit 105, a generator instruction variable generation unit 106, a generator update unit 107, and pseudo learning.
  • a data generation unit 108, a generation sample number setting unit 109, a generation sample storage unit 110, a pseudo learning data selection unit 111, and a classifier update unit 112 are provided.
  • the input data 101 it is conceivable to use image data obtained from input means such as a visible camera, a stereo camera, an IR camera, or a radiation (X-ray) irradiation apparatus.
  • the classifier may be configured using a support vector machine (SVM), a neural network or the like.
  • the generator may be configured using a Hidden Markov Model (HMM), a neural network or the like.
  • the pseudo learning data is data belonging to the same domain as the input data.
  • the classifier feature extraction unit 102 extracts a classifier feature from the received input data.
  • the classifier feature amount is extracted by the classifier feature amount extraction unit 102, and is extracted as information capable of identifying the content of the target data.
  • the discrimination result prediction unit 103 discriminates the content of the object based on the classifier feature amount received from the classifier feature amount extraction unit 102.
  • the identification result is output as a vector as identification information.
  • the output identification information includes an identification label (hereinafter referred to as class information) to be identified, a probability indicating the degree of belonging of class information to which it belongs, and entropy (a measure of uncertainty).
  • the prediction result evaluation unit 104 calculates the identification uncertainty of the input data based on the identification information received from the identification result prediction unit 103, and based on the result, it is integrated whether the input data should be added as a learning sample To evaluate.
  • the correct answer assigning unit 105 assigns a label of the correct answer class to the input data that satisfies the condition to be added as a learning sample.
  • the generator instruction variable generation unit 106 converts the class information received from the correct answer assignment unit 105 into an instruction variable.
  • the converted variables include one hot vector and the like.
  • the generator updating unit 107 updates the parameters of the generator using the given correct answer and the corresponding input data.
  • the pseudo learning data generation unit 108 Based on the generator received from the generator update unit 107 and the instruction variable received from the generator instruction variable generation unit 106, the pseudo learning data generation unit 108 generates pseudo learning data having class information output from the correct answer adding unit 105. Samples are generated up to the number set by the sample number setting unit 109, and likelihood information of the pseudo learning data generation sample and the actual sample is stored in the generation sample storage unit 110.
  • the pseudo learning data selection unit 111 selects the samples up to the ranking k for the likelihood of the generated samples accumulated in the generated sample storage unit 110, and outputs a list of the selected samples. Although k is manually input by the user, a method of estimating from past data may be used.
  • the classifier update unit 112 updates the parameters of the classifier using the pseudo learning data received from the pseudo learning data selection unit 111 and the input data to which the correct answer class is added, and outputs the updated parameter to the classification result prediction unit 103.
  • FIG. 2 is a functional block diagram showing a configuration example of the prediction result evaluation unit 104.
  • the uncertainty evaluation unit 201 calculates the recognition uncertainty of the identification information received from the identification result prediction unit 103. Evaluation conditions are calculated from this uncertainty. For example, as the evaluation condition, the probability of the class most likely to be estimated is only 0.5 at most, and the class most likely to be estimated is most likely secondly estimated Evaluation conditions such as close probability with class and large entropy are mentioned. The samples satisfying the evaluation condition become labeling candidate samples, and the ensemble evaluation unit 204 evaluates them again.
  • the information density calculation unit 202 calculates the similarity to the learning sample, and outputs the average as information density information.
  • the average likelihood calculating unit 203 calculates the distance to the prediction distribution of the recognizer from the received identification information, and outputs the value of the distance as the average likelihood.
  • the ensemble evaluation unit 204 uses the information density received from the information density calculation unit 202 and the average likelihood received from the average likelihood calculation unit 203. The evaluation is performed again, and for example, it is compared with a prepared threshold value to determine whether or not the input data having the finally input identification information should be given a correct answer.
  • FIG. 3 is a conceptual diagram showing the processing method of the correct answer assigning unit 105.
  • the correct answer assigning unit 105 performs the crowdsourcing method.
  • A shows a population of labelers. Labelers work in parallel to assign correct classes and correct areas online.
  • the labeler may be an automated tool or a real person.
  • M indicates a group of prediction results having the estimated class from the identification result prediction unit 103.
  • the labeler j adds the correct information of lij to the prediction result i.
  • the correct answer information is a vector composed of the correct answer class, the correct answer area, the reliability of the labeler j, and the reliability of the prediction result i.
  • the class estimation unit 301 is an evaluation function that comprehensively evaluates lij, and finally outputs optimal class information and a correct answer area for the correct answer.
  • FIG. 4 is a processing flow diagram of the online recognition device in the present embodiment.
  • step S401 input data acquisition processing is performed.
  • step S402 the classifier feature amount extraction unit 102 extracts the classifier feature amount, and in step S403, the classification result prediction unit 103 identifies the content of the object based on the classifier feature amount.
  • step S404 the prediction result evaluation unit 104 performs evaluation processing of the prediction result, and in step S405, it is determined whether or not the evaluation condition to be added as a learning sample is satisfied.
  • a correct answer giving process of giving a label of a correct answer class is performed by the correct answer giving unit 105 on input data. If the evaluation condition is not satisfied, the process returns to step S401.
  • step S407 a generator update process is performed to update the parameters of the generator using the correct answer given by the generator update unit 107 and the corresponding input data.
  • step S408 as a data list generation process, the generator instruction variable generation unit 106 generates an instruction variable, and the pseudo learning data generation unit 108 generates an instruction variable based on the generator and instruction variable received from the generator update unit 107.
  • the pseudo learning data having the class information output from the correct answer assigning unit 105 is generated to the number set by the generation sample number setting unit 109, and the likelihood information between the pseudo learning data generation sample and the actual sample is generated sample storage unit Store in 110 and make a list.
  • step S409 a pseudo learning data selection process is performed to select samples whose rank of the generated sample stored in the generated sample storage unit 110 by the pseudo learning data selection unit 111 is up to ranking k.
  • the input data to which the information and the correct answer class are added is acquired, and in step S411, the parameters of the classifier are updated using the pseudo learning data received from the pseudo learning data selection unit 111 and the input data to which the correct answer class is added. Perform the classifier update process.
  • the above is processing for one input data, and as long as there is input data, this is repeatedly executed.
  • FIG. 5 is a functional block diagram showing a generator / classifier initialization method.
  • learning data 502 is acquired from the data storage unit with correct answer 501.
  • the classifier feature amount extraction unit 503 extracts a classifier feature amount for the learning data.
  • the classifier initialization unit 504 learns and initializes the parameters of the classifier using the classifier feature from the classifier feature extraction unit 503.
  • the initialized identifier is stored in the identifier storage unit 505.
  • the generator construction unit 506 learns the parameters of the generator using the learning data and the classifier received from the classifier storage unit 505, and initializes the generator.
  • the initialized generator is stored in the generator storage unit 507.
  • the generator instruction variable generation unit 508 generates an instruction variable having a vector structure based on the correct answer class assigned to the learning data.
  • the data generation unit 509 generates pseudo data having a class similar to learning data up to a predetermined number of generation sample targets determined in advance based on the generators received from the generator instruction variable generation unit 508 and the generator storage unit 507. , And stored in the generated data storage unit 510.
  • the classifier reconstruction unit 511 updates the parameters of the classifier based on the stored generation data storage unit 510 and the generated data with the correct answer class, and reconstructs the classifier.
  • the discriminator evaluation unit 512 evaluates the performance of the discriminator updated from the discriminator reconstruction part 511, and if the difference with the performance of the discriminator stored in the discriminator storage part 505 is larger than the threshold, the discriminator storage By replacing with the discriminator in the unit, the discriminator with high performance is updated.
  • FIG. 6 is a functional block diagram showing a configuration example of the generator construction unit 506. As shown in FIG. It is a configuration for a generator to generate data that is difficult to identify or has high identification uncertainty.
  • a generator learning unit 601 initializes generator parameters based on learning data.
  • the pseudo data generation unit 602 generates pseudo data using the initialized generator.
  • the similarity determination loss calculation unit 603 classifies the input pseudo data with the pseudo data and the actual data using a classifier, and outputs the classification accuracy as a similarity loss value with the actual data.
  • the sampling evaluation loss calculation unit 604 calculates the identification uncertainty with respect to the pseudo data with the identification information calculated under the identifier, and outputs the uncertainty as an evaluation loss value.
  • the loss evaluation unit 605 takes the sum of the similarity loss value and the evaluation loss value, and feeds it back to the generator learning unit 601.
  • the generator updates the parameters of the generator to minimize the loss information received from the loss evaluator 605.
  • the least squares update method is used to minimize the update method.
  • FIG. 7 is a process flow diagram of a generator / classifier initialization method in the present embodiment.
  • learning data acquisition processing for acquiring learning data 502 from the correct answer data storage unit 501 is executed.
  • the classifier feature amount extraction unit 503 executes a classifier feature amount extraction process of extracting the classifier feature amount for the learning data.
  • the classifier initialization unit 504 executes classifier initialization processing to learn and initialize the classifier parameters using the classifier feature amount.
  • a discriminator acquisition process of storing the initialized discriminator in the discriminator storage unit 505 is executed.
  • step S705 the generator construction unit 506 uses the learning data and the classifier received from the classifier storage unit 505 to learn generator parameters and execute generator construction processing to initialize the generator. . Then, in step S706, a classifier acquisition process is performed to store the initialized generator in the generator storage unit 507.
  • step S 707 the generator instruction variable generation unit 508 executes generation instruction variable generation processing for generating an instruction variable to be a vector structure based on the correct answer class assigned to the learning data.
  • step S 708 the data generation unit 509 generates pseudo data having a class similar to the learning data up to a predetermined number of generation sample targets determined in advance based on the received generator, and stores the pseudo data in the generation data storage unit 510. Execute data generation processing.
  • step S709 the classifier reconstruction unit 511 updates the parameters of the classifier based on the stored generation data storage unit 510 based on the generated data with the correct class, and reconstructs the classifier. Execute the build process. Then, in step S 710, the classifier evaluation unit 512 evaluates the performance of the classifier updated from the classifier reconstruction unit 511, and the difference with the performance of the classifier stored in the classifier storage unit 505 is greater than the threshold If it is, replace it with the classifier in the classifier storage unit.
  • FIG. 8 is a diagram showing an example of the hardware configuration of the online recognition device in the present embodiment and the processing content thereof.
  • the on-line recognition device includes an input data collection device 801, an arithmetic device 802, a recording device 803, and a user interface 804.
  • the user interface 804 includes a display device and an input device.
  • the arithmetic unit 802 executes calling and writing of necessary information from the I / O processing instruction group stored in the recording unit 803.
  • the feature value extraction process for classifiers, the identification result prediction process, the prediction result evaluation process, the generation instruction variable generation process, the generator update process, the pseudo learning data generation process, the pseudo learning data selection process, and the classifier update process The discriminator feature value extraction unit 102, the identification result prediction unit 103, the prediction result evaluation unit 104, the generator instruction variable generation unit 106, the generator update unit 107, the pseudo learning data generation unit 108, and the pseudo learning data selection in FIG.
  • the processing corresponding to the unit 111 and the classifier update unit 112 is executed.
  • the correct answer giving process, the generation instruction variable setting process and the generation sample number setting process of the user interface 804 correspond to the correct answer giving unit 105, the generator instruction variable generation unit 106, and the generation sample number setting unit 109 in FIG. Execute the process
  • the generation instruction variable setting process is a process when the generator manually adjusts the attributes of the generated sample because the generator generates a pseudo sample. It is judged from the prediction result evaluation process in the arithmetic unit 802 based on the prediction result evaluation information stored in the recording unit 803 that the necessity of adding a correct answer is determined, and if necessary, the correct answer giving process in the user interface 804 is performed and attached. Correct solution information is stored in the recording device 803 as correct solution class information. Further, the information set in the generation instruction variable setting process and the generation sample number setting process is stored as a generation instruction variable of the recording device 803, the pseudo learning data generation process is called, pseudo learning data is generated, and stored in the recording device 803. .
  • the pseudo learning data selection processing manually or automatically selects data having high likelihood (reality of data) with the existing sample from the pseudo learning data, and stores the selected pseudo learning data in the recording device 803.
  • the classifier updating process calls the screening pseudo learning data, learns the parameters of the classifier, and stores the parameters in the recording device 803 as classifier parameter information.
  • the generator for generating the learning sample is configured to generate, for the recognizer, data of a sample having high recognition difficulty or uncertainty, or a pattern not included in the learning sample.
  • efficient and effective learning can be performed even in an environment where learning data is insufficient.
  • the performance of the recognizer is While effectively improved, it also becomes possible to generate samples that fit the test environment from the updated generator.
  • FIG. 9 is a functional block diagram of the online recognition device in the present embodiment.
  • the present embodiment an example of detection of a person appearing on a camera and attribute recognition will be described.
  • FIG. 9 the same functions as those in FIG. 1 are denoted by the same reference numerals, and the description thereof will be omitted.
  • an input image captured from an imaging device 901 such as a generator instruction variable generation unit infrared, stereo, or a general visible light camera is input to a person detection / identification unit 902.
  • the person detection / identification unit 902 is configured as a classifier feature amount extraction unit 102 and an identification result prediction unit 103 in FIG.
  • the person detection / identification unit 902 detects the position in the image of the person shown in the image, and identifies the related attribute.
  • Person-related attributes include, for example, the age, gender, clothes, behavior, and direction of the detected person.
  • the detected person position and the score of the attribute are input to the prediction result evaluation unit 104, and the necessity of giving a correct answer is determined. Further, the predicted result presentation unit 903 displays the predicted result as a reference. If it is determined that it is necessary to attach the correct answer by the labeler, the input image is input to the correct answer giving unit 105, and the position of the person appearing in the image is shown in FIG. 9 by the same processing as the correct answer giving unit 105 in FIG. Designate with a bold frame and manually enter attributes about the person from the labeler.
  • the learning data generation unit 904 generates pseudo learning data using the attached correct answer information and the input image.
  • the learning data generation unit 904 is configured as a generator updating unit 107, a generator instruction variable generation unit 106, and a pseudo learning data generation unit 108 in FIG.
  • the generated data is used as learning data by generating different positions and attributes for the same person as the pseudo learning data shown in FIG. For example, from the person and thick frame with an age of A11, a gender of A12, a clothes of A13 and an orientation direction of A14 in the input data, position information where the person is in the image is regarded as the correct answer of the input data.
  • the generated learning data is similar in image characteristics to the person appearing in the input data, but generates a person with an age of A11, a gender of A12, a clothing of A23 and a direction of A24. Do. Also, the person is generated so as to be at a different position in the same camera view field range as the input image.
  • the pseudo learning data selection unit 111 performs a selection process based on the generated data based on the reality of the generated pseudo learning data, and uses the selected data for updating the classifier.
  • the result from the person detection / identification unit 902 is added to the input image as correct answer information, and the identifier update unit 112 updates the identifier using the above correct answer information and the input image. .
  • the updated discriminator is used for detection / identification to the next input data.
  • the attribute configuration and position information of a person who is not photographed from the camera, and the pseudo-learning data generated the image that the classifier can not discriminate well are complemented, and the classifier is updated using these data. More robust detection and recognition can be realized.
  • FIG. 10 is a functional block diagram of the on-line recognition device in the present embodiment.
  • the present embodiment describes an example of detection of an object appearing on a photographing apparatus and category recognition.
  • an object imaging apparatus 1001 may be a visible camera, a stereo camera, an IR camera, a radiation (X-ray) irradiation apparatus, or the like.
  • the object detection / identification unit 1002 is configured as a classifier feature amount extraction unit 102 and an identification result prediction unit 103 in FIG.
  • the learning data generation unit 1004 is configured as a generator updating unit 107, a generator instruction variable generation unit 106, and a pseudo learning data generation unit 108 in FIG.
  • an object detection / identification unit 1002 detects a position in an image of an object shown in an image and identifies a category of the object.
  • the prediction result evaluation unit 104 inputs the input data to the correct answer assigning unit 105 when it is determined that the correct answer assignment by the labeler is necessary in the input data, and assigns the position of the object and its category name from the labeler as correct answer information.
  • the learning data generation unit 1004 generates an image having different materials, shapes, and positions in the image in the object of the same category using the correct answer information from the correct answer giving unit 105 and the input data. This is because, in FIG. 1, an object having information different from the above actual data is generated by the generator updated from the generator update unit learned from the image of the same category in advance and the generation instruction variable from the generator instruction variable generation unit Do.
  • the pseudo learning data selection unit 111 performs selection on the generated pseudo learning data, and the classifier update unit 112 updates the classifier using the selected learning data.
  • the result from the object detection / identification unit 1002 is applied to the input image as correct answer information, and the classifier update unit 112 uses the correct answer information and the input image to execute the classifier. Update.
  • FIG. 11 is a setting GUI (Graphical User Interface) for generating pseudo learning data of the online recognition device in the present embodiment.
  • the setting GUI for generating pseudo learning data is a diagram showing a setting method of the generation instruction variable and the number of generated samples in the first embodiment, and a method in the case where the pseudo learning data selection unit 111 manually selects pseudo learning data.
  • FIG. 11 is a setting GUI (Graphical User Interface) for generating pseudo learning data of the online recognition device in the present embodiment.
  • the setting GUI for generating pseudo learning data is a diagram showing a setting method of the generation instruction variable and the number of generated samples in the first embodiment, and a method in the case where the pseudo learning data selection unit 111 manually selects pseudo learning data.
  • a setting GUI for generating pseudo learning data is provided by an input window such as 1101.
  • This GUI comprises input boxes 1102, 1104 and 1105 capable of inputting generation instruction variable information, the number of generation samples and the number of selection samples.
  • a check box 1103 for automatically generating or manually setting the generation instruction variable.
  • a decision button 1106 for reflecting the input value is provided, and by pressing this, the generation instruction variable and the number of generation samples are determined, and the generated image is displayed on the generation result display unit 1108.
  • the input data is an image having two objects
  • it is a diagram showing a setting GUI for generating pseudo learning data of the mobile phone and the water bottle.
  • it has an input data display unit 1107 with a correct answer indicating the current input image and its correct answer information.
  • the generation result display unit 1108 displays the generation results in the order of likelihood representing the reality of the image calculated at the time of generating the data by the pseudo learning data generation unit 108 of the first embodiment.
  • the pseudo learning data input to the classifier updating unit 112 according to the first embodiment sorts the generated images listed in the order of likelihood to the level set by the sorting threshold or more.
  • the threshold may be a likelihood or may be a number in the order of likelihood.
  • an image obtained by checking the check box of the image displayed on the generation result display unit 1108 is also used for learning.
  • the settable generation instruction variable may be increased or decreased as appropriate, or the current state may be displayed as text instead of the correct input data display unit 1107 or may be eliminated.
  • a function may be provided to automatically transmit the setting contents at fixed timings.
  • the pseudo learning data generation setting is not limited to a method which can be freely input as in this example, and may be set by selecting from several candidates.
  • the pseudo learning data of the object appearing in the input image is generated and used for learning of the classifier, the classifier is online updating the input data that can not be detected and recognized well. Can become more rapidly robust.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

学習サンプルが不十分な場合でも、認識精度を向上させることが可能となるオンライン認識装置、オンライン認識方法、及びそれに用いる設定画面を提供することを目的とする。　上記目的を達成するために、オンライン認識装置であって、入力されたデータの特徴量を抽出する特徴量抽出部と、抽出した特徴量に基づき識別結果を予測する識別結果予測部と、予測した識別結果からラベリングの必要性を判定する予測結果評価部と、判定結果からオンラインで入力データに正解を付与する正解付与部と、正解付き入力データに基づき生成器のパラメータを更新する生成器更新部と、更新された生成器のパラメータに基づき生成器を構築し擬似学習データを生成する擬似学習データ生成部と、正解付き入力データと擬似学習データに基づき予め用意した識別器のパラメータをオンラインで更新する識別器更新部と、更新された識別器を新たな識別結果予測部として更新するように構成する。

Description

オンライン認識装置、オンライン認識方法、及びそれに用いる設定画面
　本発明は、物体や人物等の対象物の認識・学習技術に関する。
　対象物の認識・学習技術において、対象物を認識するための学習用サンプルが不十分な場合、擬似的に生成しようとする方式がいくつ検討されている。例えば、特許文献１にあるような、ラベルが付与された学習用入力データから観測できない情報を擬似的に生成するような変換方式がある。また、学習用のデータからデータを構成する部品やパターンを抽出し、擬似データを合成することによりサンプル数を追加する方式や、学習用の実データ（例えば、音声）が存在しない場合、他のドメインの入力データ（例えば、文字）から生成する方式が検討されている。
　一方、特許文献２にあるように、学習サンプルは追加しながら、学習モデルをオンラインで更新することで、不十分な学習用サンプルをカバーする方式が検討されている。
特開２０１６－１８６５１５号公報 特開２００８－２０４１０２号公報
　学習用サンプルが不十分な場合の認識精度の向上には、上記特許文献１では入力した学習データに対して、擬似的に情報を生成するため、入力データ分の生成情報しか活用できない。また、学習用のデータからデータを構成する部品やパターンを抽出し擬似データを合成することによりサンプル数を追加する方式では、データを構成する部品やパターンを抽出し擬似データを合成するため、より複雑なデータ構成における抽象的なパターンからリアルに近いデータサンプルへの合成が困難である。それに加えて、上記特許文献１には、単純にサンプルや情報が増えるため、生成されたサンプルや情報が学習に貢献があるとは限らない。認識モデルに対して、認識上困難なサンプルあるいは認識上不確定性が高いサンプルへの学習は、モデルの認識性能の向上に対する貢献が大きい。また、生成されたサンプルは、既存学習情報と類似する場合、学習への貢献が小さいか無い可能性もある。そのため、単純な生成過程によるサンプル数の増加には、効率的、かつ効果的な学習ができない課題があった。それと同様に、特許文献２にも、新たに獲得した学習サンプルをオンラインでモデルを更新するときに追加での学習サンプルを一律に学習するため、上記課題が存在した。
　本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、オンライン認識装置であって、入力されたデータの特徴量を抽出する特徴量抽出部と、抽出した特徴量に基づき識別結果を予測する識別結果予測部と、予測した識別結果からラベリングの必要性を判定する予測結果評価部と、判定結果からオンラインで入力データに正解を付与する正解付与部と、正解付き入力データに基づき生成器のパラメータを更新する生成器更新部と、更新された生成器のパラメータに基づき生成器を構築し擬似学習データを生成する擬似学習データ生成部と、正解付き入力データと擬似学習データに基づき予め用意した識別器のパラメータをオンラインで更新する識別器更新部と、更新された識別器を新たな識別結果予測部として更新するように構成する。
　本発明によれば、学習サンプルが不十分な場合でも、認識精度を向上させることが可能となるオンライン認識装置、オンライン認識方法、及びそれに用いる設定画面を提供できる。
実施例１におけるオンライン認識装置の機能ブロック構成図である。 実施例１における予測結果評価部の構成例を示す機能ブロック図である。 実施例１における正解付与部の処理方法を示す概念図である。 実施例１におけるオンライン認識装置の処理フロー図である。 実施例１における生成器／識別器の初期化方法の機能ブロック構成図である。 実施例１における生成器構築部の構成例を示す機能ブロック図である。 実施例１における生成器／識別器初期化方法の処理フロー図である。 実施例１におけるオンライン認識装置のハード構成例とその処理内容を示す図である。 実施例２におけるオンライン認識装置の機能ブロック構成図である。 実施例３におけるオンライン認識装置の機能ブロック構成図である。 実施例３におけるオンライン認識装置の擬似学習データ生成用設定ＧＵＩである。
　以下、本発明の実施例について図面を用いて説明する。
　図１は本実施例におけるオンライン認識装置の機能ブロック構成図を示している。図１において、オンライン認識装置は、識別器用特徴量抽出部１０２、識別結果予測部１０３、予測結果評価部１０４、正解付与部１０５、生成器指示変数生成部１０６、生成器更新部１０７、擬似学習データ生成部１０８、生成サンプル数設定部１０９、生成サンプル記憶部１１０、擬似学習データ選別部１１１、識別器更新部１１２を備える。
　入力データ１０１は可視カメラ、ステレオカメラ、ＩＲカメラ、放射線（Ｘ線）照射装置など入力手段から得られた画像データを用いることが考えられる。識別器はサポートベクターマシーン（ＳＶＭ）やニューラルネットワーク等を用いて構成すればよい。生成器は隠れマルコフモデル（ＨＭＭ）やニューラルネットワーク等を用いて構成すればよい。擬似学習データは入力データと同じドメインに属するデータとなる。
　識別器用特徴量抽出部１０２は受け取った入力データから識別器用特徴量を抽出する。識別器用特徴量は識別器用特徴量抽出部１０２で抽出され、対象データの内容を識別することが可能な情報として抽出される。
　識別結果予測部１０３は識別器用特徴量抽出部１０２から受け取った識別器用特徴量をもとに物体の内容を識別する。その識別結果をベクトルとして識別情報を出力する。出力された識別情報は、識別対象の識別ラベル（以下クラス情報）と、所属するクラス情報の所属度合いを示す確率、エントロピー（不確定さの尺度）などである。
　予測結果評価部１０４は、識別結果予測部１０３から受け取った識別情報をもとに入力データの識別不確定さを計算し、その結果をもとに入力データは学習サンプルとして追加すべきかどうかを総合的に評価する。学習サンプルとして追加すべき条件を満たす入力データに対して正解付与部１０５によって正解クラスのラベルが付与される。
　生成器指示変数生成部１０６は正解付与部１０５から受け取ったクラス情報を指示変数へ変換する。変換された変数はｏｎｅ　ｈｏｔ　ｖｅｃｔｏｒなどが挙げられる。生成器更新部１０７は付与された正解とそれに対応する入力データを用いて、生成器のパラメータを更新する。擬似学習データ生成部１０８は生成器更新部１０７から受け取った生成器と生成器指示変数生成部１０６から受け取った指示変数をもとに正解付与部１０５から出力したクラス情報を持つ擬似学習データを生成サンプル数設定部１０９から設定された数までサンプルを生成し、および擬似学習データ生成サンプルと実サンプルとの尤度情報を生成サンプル記憶部１１０に格納する。
　擬似学習データ選別部１１１は、生成サンプル記憶部１１０に蓄積された生成サンプルの尤度がランキングｋまでのサンプルを選出し、選出サンプルのリストを出力する。ｋはユーザが手動で入力するが、過去のデータから推定する方式を用いてもよい。識別器更新部１１２は擬似学習データ選別部１１１から受け取った擬似学習データおよび正解クラスが付与された入力データを用いて、識別器のパラメータを更新し、識別結果予測部１０３に出力する。
　図２は予測結果評価部１０４の構成例を示す機能ブロック図である。図２において、不確定性評価部２０１は識別結果予測部１０３から受け取った識別情報の認識上の不確定性を計算する。この不確定性から評価条件を算出する。例えば、評価条件としては、最も推定される可能性が高いクラスの確率が高くても０．５しかない、また、最も推定される可能性が高いクラスと２番目に推定される可能性が高いクラスとの確率が近い、また、エントロピーが大きいなどの評価条件が挙げられる。評価条件を満たすサンプルがラベリング候補サンプルとなり、アンサンブル評価部２０４で再度評価する。
　情報密度計算部２０２は、学習サンプルとの類似性を計算し、その平均を情報密度情報として出力する。平均尤度計算部２０３は、受け取った識別情報から認識器の予測分布との距離を計算し、その距離の値を平均尤度として出力する。
　アンサンブル評価部２０４は識別情報が不確定性評価部２０１で設定した条件を満たした場合、情報密度計算部２０２から受け取った情報密度および平均尤度計算部２０３から受け取った平均尤度をもとに再度評価を行い、例えば、用意済みの閾値と比較するなどして、最終的に入力された識別情報を持つ入力データを正解付与すべきかどうかを判定する。
　図３は正解付与部１０５の処理方法を示す概念図である。図３においては、正解付与部１０５はクラウドソーシングの方式で行う。Ａはラベラーの集団を示す。ラベラーたちはオンラインで並列的に正解クラスと正解領域の付与作業を行う。ラベラーは自動化ツールや実際の人でも良い。Ｍは識別結果予測部１０３からの推定クラスを有する予測結果の集団を示す。ラベラーｊは予測結果ｉにｌｉｊの正解情報を付与する。正解情報は、正解クラス、正解領域とラベラーｊの信頼性と予測結果ｉの信頼性から構成されるベクトルである。クラス推定部３０１は、ｌｉｊを総合的に評価する評価関数となり、最終的に最適なクラス情報と正解対象の正解領域を出力する。
　図４は本実施例におけるオンライン認識装置の処理フロー図である。以下、図１の機能ブロック構成図を参照して説明する。図４において、まず、ステップＳ４０１で、入力データ取得処理を行う。そして、ステップＳ４０２で、識別器用特徴量抽出部１０２によって識別器用特徴量を抽出し、ステップＳ４０３で、識別結果予測部１０３によって識別器用特徴量をもとに物体の内容を識別する。そして、ステップＳ４０４で、予測結果評価部１０４により予測結果の評価処理を行い、ステップＳ４０５で、学習サンプルとして追加すべき評価条件を満たすかどうかの判定を行い、満たすのであれば、ステップＳ４０６で、入力データに対して正解付与部１０５によって正解クラスのラベルを付与する正解付与処理が行われる。評価条件を満たさない場合は、ステップＳ４０１に戻る。
　次に、ステップＳ４０７で、生成器更新部１０７により付与された正解とそれに対応する入力データを用いて生成器のパラメータを更新する生成器更新処理を行う。そして、ステップＳ４０８で、データリスト生成処理として、生成器指示変数生成部１０６で指示変数を生成し、擬似学習データ生成部１０８で生成器更新部１０７から受け取った生成器と指示変数をもとに正解付与部１０５から出力したクラス情報を持つ擬似学習データを生成サンプル数設定部１０９から設定された数までサンプルを生成し、擬似学習データ生成サンプルと実サンプルとの尤度情報を生成サンプル記憶部１１０に格納し、リスト化する。
　次に、ステップＳ４０９で、擬似学習データ選別部１１１により生成サンプル記憶部１１０に蓄積された生成サンプルの尤度がランキングｋまでのサンプルを選出する擬似学習データ選別処理を行い、ステップＳ４１０で、正解情報と正解クラスが付与された入力データを取得し、ステップＳ４１１で、擬似学習データ選別部１１１から受け取った擬似学習データおよび正解クラスが付与された入力データを用いて、識別器のパラメータを更新する識別器更新処理を行なう。
以上が１つの入力データに対しての処理であり、入力データがある限りこれを繰り返し実行する。
　図５は生成器／識別器の初期化方法を示す機能ブロック図である。図５において、まず、正解付きデータ記憶部５０１から学習データ５０２を取得する。識別器用特徴量抽出部５０３は学習データに対する識別器用特徴量を抽出する。識別器初期化部５０４は識別器用特徴量抽出部５０３からの識別器用特徴量を用いて、識別器のパラメータを学習し、初期化する。そして、初期化された識別器を識別器記憶部５０５に格納する。生成器構築部５０６は、学習データと識別器記憶部５０５から受け取った識別器を用いて生成器のパラメータを学習し、生成器を初期化する。そして、初期化された生成器が生成器記憶部５０７に格納される。
　生成器指示変数生成部５０８は学習データに付与された正解クラスをもとにベクトル構造となる指示変数を生成する。データ生成部５０９は生成器指示変数生成部５０８と生成器記憶部５０７から受け取った生成器をもとに事前に決められた生成サンプル目標数まで学習データと同様なクラスを有する擬似データを生成し、生成データ記憶部５１０に格納する。
　識別器再構築部５１１は格納された生成データ記憶部５１０から正解クラス付きの生成データをもとに識別器のパラメータを更新し、識別器を再構築する。識別器評価部５１２は識別器再構築部５１１から更新された識別器の性能を評価し、識別器記憶部５０５に格納された識別器の性能との差が閾値より大きい場合は、識別器記憶部にある識別器と差し替えることで、性能のよい識別器に更新する。
　図６は生成器構築部５０６の構成例を示す機能ブロック図である。生成器が識別に困難や識別不確定性が高いデータを生成するための構成である。図６において、生成器学習部６０１は学習データをもとに生成器のパラメータを初期化する。擬似データ生成部６０２は初期化された生成器を用いて、擬似データを生成する。類似度判定損失計算部６０３は入力された擬似データを識別器でその擬似データと実データを分類し、分類精度を実データとの類似度損失値として出力する。サンプリング評価損失計算部６０４は識別器のもとに計算された識別情報で擬似データに対しての識別不確定性を計算し、その不確定性を評価損失値として出力する。損失評価部６０５は類似度損失値と評価損失値の和を取り、生成器学習部６０１へフィードバックする。生成器は損失評価部６０５から受けった損失情報を最小化するように生成器のパラメータを更新する。最小化するような更新方法は最小二乗法などが挙げられる。
　図７は、本実施例における生成器／識別器の初期化方法の処理フロー図である。以下、図５の機能ブロック構成図を参照して説明する。図７において、まず、ステップＳ７０１で、正解付きデータ記憶部５０１から学習データ５０２を取得する学習データ取得処理を実行する。次に、ステップＳ７０２で、識別器用特徴量抽出部５０３は学習データに対する識別器用特徴量を抽出する識別器用特徴量抽出処理を実行する。そして、ステップＳ７０３で、識別器初期化部５０４は識別器用特徴量を用いて、識別器のパラメータを学習し、初期化する識別器初期化処理を実行する。そして、ステップＳ７０４で、初期化された識別器を識別器記憶部５０５に格納する識別器取得処理を実行する。
　次に、ステップＳ７０５で、生成器構築部５０６は学習データと識別器記憶部５０５から受け取った識別器を用いて生成器のパラメータを学習し、生成器を初期化する生成器構築処理を実行する。そして、ステップＳ７０６で、初期化された生成器を生成器記憶部５０７に格納する識別器取得処理を実行する。
　次に、ステップＳ７０７で、生成器指示変数生成部５０８は学習データに付与された正解クラスをもとにベクトル構造となる指示変数を生成する生成指示変数生成処理を実行する。そして、ステップＳ７０８で、データ生成部５０９は受け取った生成器をもとに事前に決められた生成サンプル目標数まで学習データと同様なクラスを有する擬似データを生成し、生成データ記憶部５１０に格納するデータ生成処理を実行する。
　次に、ステップＳ７０９で、識別器再構築部５１１は格納された生成データ記憶部５１０から正解クラス付きの生成データをもとに識別器のパラメータを更新し、識別器を再構築する識別器再構築処理を実行する。そして、ステップＳ７１０で、識別器評価部５１２は識別器再構築部５１１から更新された識別器の性能を評価し、識別器記憶部５０５に格納された識別器の性能との差が閾値より大きい場合は、識別器記憶部にある識別器と差し替える。
　図８は本実施例におけるオンライン認識装置のハード構成例とその処理内容を示す図である。図８において、オンライン認識装置は、入力データ収集装置８０１、演算装置８０２、記録装置８０３とユーザインターフェース８０４を備える。また、ユーザインターフェース８０４は表示装置と入力装置で構成される。演算装置８０２では記録装置８０３に保存されているＩ／Ｏ処理命令群から必要な情報の呼び出しと書き込みを実行する。
　演算装置８０２の識別器用特徴量抽出処理、識別結果予測処理、予測結果評価処理、生成指示変数生成処理、生成器更新処理、擬似学習データ生成処理、擬似学習データ選別処理、識別器更新処理は、それぞれ、図１の識別器用特徴量抽出部１０２、識別結果予測部１０３、予測結果評価部１０４、生成器指示変数生成部１０６、生成器更新部１０７、擬似学習データ生成部１０８、擬似学習データ選別部１１１、識別器更新部１１２に対応した処理を実行する。
　また、ユーザインターフェース８０４の正解付与処理、生成指示変数設定処理と生成サンプル数設定処理は、それぞれ、図１の正解付与部１０５、生成器指示変数生成部１０６、生成サンプル数設定部１０９に対応した処理を実行する。
　生成指示変数設定処理は生成器が擬似サンプルを生成するため、手動で生成サンプルの属性を調整する場合の処理である。演算装置８０２にある予測結果評価処理から記録装置８０３に保存する予測結果評価情報を基に正解付きの必要性を判断し、必要な場合、ユーザインターフェース８０４にある正解付与処理を行い、付けられた正解情報を記録装置８０３に正解クラス情報として保存する。また、生成指示変数設定処理と生成サンプル数設定処理で設定した情報を記録装置８０３の生成指示変数として保存し、擬似学習データ生成処理を呼び出し、擬似学習データを生成し、記録装置８０３に格納する。
　擬似学習データ選別処理は擬似学習データから実在サンプルとの尤度（データのリアリティ）が高いデータを手動もしくは自動で選別し、選別された擬似学習データを記録装置８０３に格納する。識別器更新処理は選別擬似学習データを呼び出し、識別器のパラメータを学習し、記録装置８０３に識別器パラメータ情報として保存する。
　以上のように、本実施例は、学習サンプルを生成する生成器は、認識器に対して、認識上困難や不確定性が高いサンプル、あるいは学習サンプルにないパターンのデータを生成するように構築されたため、学習データが不十分な環境でも効率的かつ効果的な学習を行うことが可能となる。それに加えて、テスト環境から得た識別困難なラベルなしサンプルを選別し、効率的かつ正確なラベルが付与された前記サンプルを生成器と認識器両方オンラインで更新することで、認識器の性能が効果的に向上された一方、更新された生成器からテスト環境に合わせるサンプルを生成することも可能となる。
　これにより、学習サンプルが不十分な場合でも、認識精度を向上させることが可能となるオンライン認識装置、及びオンライン認識方法を提供できる。
　図９は本実施例におけるオンライン認識装置の機能ブロック構成図である。本実施例は、カメラに映る人物の検出および属性認識の例について説明する。
　図９において、図１と同一機能は同じ符号を付し、その説明は省略する。図９において、生成器指示変数生成部赤外線、ステレオ、一般可視光カメラなどの撮影装置９０１から撮影した入力画像を人物検出・識別部９０２に入力する。人物検出・識別部９０２は、図１において、識別器用特徴量抽出部１０２、識別結果予測部１０３として構成される。人物検出・識別部９０２は画像に映る人物の画像内の位置を検出し、関連属性を識別する。人物関連属性は検出した人物の年齢、性別、服装、行動、向き方向など例として挙げられる。検出した人物位置と属性のスコアを予測結果評価部１０４に入力し、正解付与の必要性を判断する。また、予測した結果を参考として予測結果提示部９０３で表示する。ラベラーによる正解付きが必要と判断された場合、入力画像を正解付与部１０５に入力し、図１の正解付与部１０５と同様な処理で、図９に示すように、画像に映る人の位置を太枠で指定し、人物に関する属性をラベラーから手動で入力する。
　学習データ生成部９０４は付けられた正解情報と入力画像を用いて、擬似の学習データを生成する。学習データ生成部９０４は、図１において、生成器更新部１０７、生成器指示変数生成部１０６、擬似学習データ生成部１０８として構成される。生成されたデータは図９に示す擬似学習データのように、同じ人物に対して、異なる位置と属性を生成して、学習データとして利用する。例えば、入力データにある年齢はＡ１１，性別はＡ１２、服装はＡ１３、向き方向はＡ１４の人物と太枠からその人物が画像内にいる位置情報を入力データの正解とする。その正解情報の基に、生成された学習データは、入力データに映る人物と画像的な特徴が近い、しかし、年齢はＡ１１，性別はＡ１２、服装はＡ２３と向き方向はＡ２４を有する人物を生成する。また、入力画像と同じカメラ視野範囲で異なる位置にいるように上記人物を生成する。擬似学習データ選別部１１１は生成された擬似学習データのリアリティをベースし、生成したデータから選別処理を行い、選別されたデータを識別器の更新に用いる。
　ラベラーによる正解付きが不必要な場合、人物検出・識別部９０２からの結果を正解情報として入力画像に付与し、識別器更新部１１２は上記正解情報と入力画像を用いて、識別器を更新する。更新された識別器は次の入力データへの検出・識別に用いる。
　これにより、カメラから撮影されていない人物の属性構成と位置情報、および識別器が上手く識別できない画像を生成された擬似学習データにより補完され、これらのデータを用いて識別器を更新することにより、よりロバストな検出と認識が実現できる。
　図１０は本実施例におけるオンライン認識装置の機能ブロック構成図である。本実施例は、撮影装置に映る物体の検出およびカテゴリ認識の例について説明する。
　図１０において、図１と同一機能は同じ符号を付し、その説明は省略する。図１０において、物体撮影装置１００１は、可視カメラ、ステレオカメラ、ＩＲカメラ、放射線（Ｘ線）照射装置など考えられる。物体検出・識別部１００２は、図１において、識別器用特徴量抽出部１０２、識別結果予測部１０３として構成される。
また、学習データ生成部１００４は、図１において、生成器更新部１０７、生成器指示変数生成部１０６、擬似学習データ生成部１０８として構成される。
　図１０において、物体検出・識別部１００２は画像に映る物体の画像内の位置の検出と物体のカテゴリを識別する。予測結果評価部１０４は入力データにおいて、ラベラーによる正解付与が必要と判断された場合、入力データは正解付与部１０５へ入力し、ラベラーから物体の位置とそのカテゴリ名を正解情報として付与する。
　学習データ生成部１００４は正解付与部１０５からの正解情報と入力データを用いて、同じカテゴリの物体において異なる材質、形状と画像内の位置を有する画像を生成する。これは、図１において、事前に同カテゴリの画像から学習済みの生成器更新部から更新した生成器と生成器指示変数生成部からの生成指示変数により上記実データと異なる情報を持つ物体を生成する。擬似学習データ選別部１１１は生成された擬似学習データにおける選別を行い、識別器更新部１１２は選別された学習データを用いて識別器を更新する。
　また、ラベラーによる正解付与が不必要な場合、物体検出・識別部１００２からの結果を正解情報として入力画像に付与し、識別器更新部１１２は上記正解情報と入力画像を用いて、識別器を更新する。
　図１１は本実施例におけるオンライン認識装置の擬似学習データ生成用設定ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）である。擬似学習データ生成用設定ＧＵＩは実施例１において、生成指示変数と生成サンプル数の設定方法を示す図であり、また、擬似学習データ選別部１１１において、手動で擬似学習データを選別する場合の方法も示す図である。
　図１１において、擬似学習データ生成用設定ＧＵＩは１１０１の様な入力ウィンドウで提供される。このＧＵＩは生成指示変数情報、生成サンプル数と選別サンプル数を入力可能な入力ボックス１１０２、１１０４、１１０５を備える。また、生成指示変数を自動生成するか手動で設定するかのチェックボックス１１０３を備える。また、入力された値を反映するための決定ボタン１１０６を備え、これを押すことで、生成指示変数と生成サンプル数が決定され、生成した画像が生成結果表示部１１０８に表示される。図１１の例では、入力データが二つの物体を有する画像の場合、携帯と水筒の擬似学習データ生成用設定ＧＵＩを示す図である。また、現在の入力画像とその正解情報を示した正解付き入力データ表示部１１０７を備える。
　生成結果表示部１１０８は、カテゴリ別に生成した結果を実施例１の擬似学習データ生成部１０８によりデータを生成する当時に計算された画像のリアリティを表す尤度の順番で生成結果を表示する。実施例１における識別器更新部１１２に入力する擬似学習データは尤度順でリストされた生成画像を、選別閾値で設定された以上まで選別する。閾値は尤度でもよい、尤度順番の番号でもよい。また、手動で識別器に更新するための擬似学習データを選別する場合、生成結果表示部１１０８に表示した画像のチェックボックスをチェックした画像も学習に用いることにある。この例は一例であり、設定可能な生成指示変数は適宜増減してもよいし、正解付き入力データ表示部１１０７の代わりに現在の状態をテキストで表示してもよいし、無くしてもよい。また決定ボタン１１０６の代わりに、一定タイミング毎に設定内容を自動送信する機能を有してもよい。また、擬似学習データ生成設定は、この例の様に自由に入力できる方式に限らず、幾つかの候補から選択して設定してもよい。
　以上のように本実施例において、入力画像に映る物体の擬似学習データを生成し、識別器の学習に用いて、識別器はうまく検出・認識できない入力データをオンラインで更新することで、識別器はより迅速にロバスト化になることが可能である。
１０１：入力データ、１０２：識別器用特徴量抽出部、１０３：識別結果予測部、１０４：予測結果評価部、１０５：正解付与部、１０６：生成器指示変数生成部、１０７：生成器更新部、１０８：擬似学習データ生成部、１０９：生成サンプル数設定部、１１０：生成サンプル記憶部、１１１：擬似学習データ選別部、１１２：識別器更新部、２０１：不確定性評価部、２０２：情報密度計算部、２０３：平均尤度計算部、２０４：アンサンブル評価部、５０１：正解付きデータ記憶部、５０２：学習データ、５０３：識別器用特徴量抽出部、５０４：識別器初期化部、５０５：識別器記憶部、５０６：生成器構築部、５０７：生成器記憶部、５０８：生成器指示変数生成部、５０９：データ生成部、５１０：生成データ記憶部、５１１：識別器再構築部、５１２：識別器評価部、８０１：入力データ収集装置、８０２：演算装置、８０３：記録装置、８０４：ユーザインターフェース、９０１：撮影装置、９０２：人物検出・識別部、９０３：予測結果提示部、９０４：学習データ生成部、９０５：擬似学習データ、１００１：物体撮影装置、１００２：物体検出・識別部、１００３：予測結果提示部、１００４：学習データ生成部、１００５：擬似学習データ、１１０１：入力ウィンドウ、１１０２、１１０４、１１０５：入力ボックス、１１０３：チェックボックス、１１０６：決定ボタン、１１０７：正解付き入力データ表示部、１１０８：生成結果表示部

Claims (7)

  1. 　入力されたデータの特徴量を抽出する特徴量抽出部と、該抽出した特徴量に基づき識別結果を予測する識別結果予測部と、該予測した識別結果からラベリングの必要性を判定する予測結果評価部と、該判定結果からオンラインで入力データに正解を付与する正解付与部と、正解付き入力データに基づき生成器のパラメータを更新する生成器更新部と、該更新された生成器のパラメータに基づき生成器を構築し擬似学習データを生成する擬似学習データ生成部と、前記正解付き入力データと前記擬似学習データに基づき予め用意した識別器のパラメータをオンラインで更新する識別器更新部と、該更新された識別器を新たな識別結果予測部として更新することを特徴とするオンライン認識装置。
  2. 　請求項１に記載のオンライン認識装置であって、
    　前記予測結果評価部は、
    　前記識別結果予測部から受け取った識別結果の認識上の不確定性を計算する不確定性評価部と、
    　前記識別結果と学習サンプルとの類似性を計算し、その平均を情報密度情報として出力する情報密度計算部と、
    　前記識別結果から認識器の予測分布との距離を計算し、その距離の値を平均尤度として出力する平均尤度計算部と、
    　前記不確定性評価部で計算した不確定性から評価条件を算出し、該評価条件を満たした場合、前記情報密度情報および前記平均尤度をもとに再度評価を行なうアンサンブル評価部とを有することを特徴とするオンライン認識装置。
  3. 　請求項１に記載のオンライン認識装置であって、
    　前記識別結果予測部で予測した識別結果を提示する識別結果提示部を更に有することを特徴とするオンライン認識装置。
  4. 　入力されたデータの特徴量を抽出し、
    　該抽出した特徴量に基づき識別結果を予測し、
    　該予測した識別結果からラベリングの必要性を判定し、
    　該判定結果からオンラインで入力データに正解を付与し、
    　正解付き入力データに基づき生成器のパラメータを更新し、
    　該更新された生成器のパラメータに基づき生成器を構築し擬似学習データを生成し、
    　前記正解付き入力データと前記擬似学習データに基づき予め用意した識別器のパラメータをオンラインで更新し、
    　該更新された識別器で新たに識別結果を予測することを特徴とするオンライン認識方法。
  5. 　請求項４に記載のオンライン認識方法であって、
    　前記予測した識別結果からラベリングの必要性を判定する処理は、
    　前記予測した識別結果の不確定性を計算し、
    　前記予測した識別結果と学習サンプルとの類似性を計算し、その平均を情報密度情報として計算し、
    　前記予測した識別結果から認識器の予測分布との距離を計算し、その距離の値を平均尤度として計算し、
    　前記不確定性から評価条件を算出し、評価条件を満たした場合、前記情報密度情報および前記平均尤度をもとに前記ラベリングの必要性を再度判定することを特徴とするオンライン認識方法。
  6. 　請求項４に記載のオンライン認識方法であって、
    　さらに、前記予測した識別結果を提示することを特徴とするオンライン認識方法。
  7. 　正解付き入力データに基づき生成器のパラメータを更新し、該更新された生成器のパラメータに基づき生成器を構築し擬似学習データを生成するライン認識装置の設定画面であって、
    　入力データとその正解情報を示した正解付き入力データ表示部と、
    　前記生成した擬似学習データを表示する生成結果表示部とを有することを特徴とするライン認識装置の設定画面。
PCT/JP2018/029882 2017-10-17 2018-08-09 オンライン認識装置、オンライン認識方法、及びそれに用いる設定画面 WO2019077854A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18868723.0A EP3699864A4 (en) 2017-10-17 2018-08-09 ONLINE RECOGNITION DEVICE, ONLINE RECOGNITION PROCESS AND SETTING SCREEN TO BE USED THEREIN
US16/754,408 US20200311575A1 (en) 2017-10-17 2018-08-09 Online recognition apparatus, online recognition method, and setting screen used therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-200825 2017-10-17
JP2017200825A JP6919990B2 (ja) 2017-10-17 2017-10-17 オンライン認識装置、オンライン認識方法、及びそれに用いる設定画面

Publications (1)

Publication Number Publication Date
WO2019077854A1 true WO2019077854A1 (ja) 2019-04-25

Family

ID=66174436

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029882 WO2019077854A1 (ja) 2017-10-17 2018-08-09 オンライン認識装置、オンライン認識方法、及びそれに用いる設定画面

Country Status (4)

Country Link
US (1) US20200311575A1 (ja)
EP (1) EP3699864A4 (ja)
JP (1) JP6919990B2 (ja)
WO (1) WO2019077854A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022254600A1 (ja) * 2021-06-02 2022-12-08 日本電気株式会社 情報処理装置、情報処理方法、データ製造方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020183656A1 (ja) * 2019-03-13 2020-09-17 日本電気株式会社 データ生成方法、データ生成装置及びプログラム
JP7318321B2 (ja) * 2019-06-05 2023-08-01 コニカミノルタ株式会社 情報処理装置、情報処理方法、人物検索システムおよび人物検索方法
JP2021117548A (ja) 2020-01-22 2021-08-10 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2021176584A1 (ja) * 2020-03-04 2021-09-10 三菱電機株式会社 ラベリング装置及び学習装置
JP7277645B2 (ja) * 2020-12-25 2023-05-19 楽天グループ株式会社 情報処理装置、情報処理方法およびプログラム
JP7062747B1 (ja) 2020-12-25 2022-05-06 楽天グループ株式会社 情報処理装置、情報処理方法およびプログラム
JP2022141017A (ja) 2021-03-15 2022-09-29 オムロン株式会社 モデル生成装置、分類装置、データ生成装置、モデル生成方法、及びモデル生成プログラム
WO2023067792A1 (ja) * 2021-10-22 2023-04-27 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204102A (ja) 2007-02-19 2008-09-04 Yokohama National Univ 画像処理システム
JP2013125322A (ja) * 2011-12-13 2013-06-24 Olympus Corp 学習装置、プログラム及び学習方法
JP2016186515A (ja) 2015-03-27 2016-10-27 日本電信電話株式会社 音響特徴量変換装置、音響モデル適応装置、音響特徴量変換方法、およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2402867B1 (en) * 2010-07-02 2018-08-22 Accenture Global Services Limited A computer-implemented method, a computer program product and a computer system for image processing
CN102385707A (zh) * 2010-08-30 2012-03-21 阿里巴巴集团控股有限公司 一种数字图像识别的方法、装置及爬虫服务器
JP6461639B2 (ja) * 2015-02-23 2019-01-30 Kddi株式会社 学習データ生成システム、学習データ生成方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204102A (ja) 2007-02-19 2008-09-04 Yokohama National Univ 画像処理システム
JP2013125322A (ja) * 2011-12-13 2013-06-24 Olympus Corp 学習装置、プログラム及び学習方法
JP2016186515A (ja) 2015-03-27 2016-10-27 日本電信電話株式会社 音響特徴量変換装置、音響モデル適応装置、音響特徴量変換方法、およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3699864A4
TOSHINORI SHINDO, KEIKO NAGABA: "[Toshiba uses new deep learning technology "generation model" for power line inspection]", NIKKEI ROBOTICS, 10 March 2017 (2017-03-10), pages 3 - 9, XP009519914, ISSN: 2189-5783 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022254600A1 (ja) * 2021-06-02 2022-12-08 日本電気株式会社 情報処理装置、情報処理方法、データ製造方法、及びプログラム

Also Published As

Publication number Publication date
JP2019074945A (ja) 2019-05-16
EP3699864A4 (en) 2021-09-08
JP6919990B2 (ja) 2021-08-18
US20200311575A1 (en) 2020-10-01
EP3699864A1 (en) 2020-08-26

Similar Documents

Publication Publication Date Title
JP6919990B2 (ja) オンライン認識装置、オンライン認識方法、及びそれに用いる設定画面
US10699168B1 (en) Computer-executed method and apparatus for assessing vehicle damage
CN110287844B (zh) 基于卷积姿势机和长短时记忆网络的交警手势识别方法
KR101977174B1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
WO2018121690A1 (zh) 对象属性检测、神经网络训练、区域检测方法和装置
KR101873135B1 (ko) 화물을 자동으로 분류 인식하는 투시 검사 시스템 및 방법
JP5558412B2 (ja) 識別器を特定のシーン内のオブジェクトを検出するように適応させるためのシステム及び方法
CN111985608A (zh) 训练生成对抗网络的方法及生成图像的方法
JP2020501238A (ja) 顔検出トレーニング方法、装置及び電子機器
US20130251246A1 (en) Method and a device for training a pose classifier and an object classifier, a method and a device for object detection
CN108960124B (zh) 用于行人再识别的图像处理方法及装置
CN106164980A (zh) 信息处理装置以及信息处理方法
JP5214716B2 (ja) 識別装置
CN111695622A (zh) 变电作业场景的标识模型训练方法、标识方法及装置
US20150324659A1 (en) Method for detecting objects in stereo images
CN110222686B (zh) 物体检测方法、装置、计算机设备和存储介质
US10460158B2 (en) Methods and systems for generating a three dimensional representation of a human body shape
CN108198172B (zh) 图像显著性检测方法和装置
JP2017033197A (ja) 変化領域検出装置、方法、及びプログラム
JP2017102906A (ja) 情報処理装置、情報処理方法及びプログラム
JP2020053073A (ja) 学習方法、学習システム、および学習プログラム
CN112241678A (zh) 评价支援方法、评价支援系统以及计算机可读介质
JP2016099835A (ja) 画像処理装置、画像処理方法、及びプログラム
CN112446275A (zh) 物体数量推定装置、物体数量推定方法以及存储介质
Dumaliang et al. Coin identification and conversion system using image processing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18868723

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018868723

Country of ref document: EP

Effective date: 20200518