WO2021199706A1 - データ分類装置、データ分類方法およびデータ分類プログラム - Google Patents

データ分類装置、データ分類方法およびデータ分類プログラム Download PDF

Info

Publication number
WO2021199706A1
WO2021199706A1 PCT/JP2021/005080 JP2021005080W WO2021199706A1 WO 2021199706 A1 WO2021199706 A1 WO 2021199706A1 JP 2021005080 W JP2021005080 W JP 2021005080W WO 2021199706 A1 WO2021199706 A1 WO 2021199706A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
similarity
classification
unit
classes
Prior art date
Application number
PCT/JP2021/005080
Other languages
English (en)
French (fr)
Inventor
慎吾 水田
慶太 池田
Original Assignee
東レ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東レ株式会社 filed Critical 東レ株式会社
Priority to EP21779595.4A priority Critical patent/EP4131074A4/en
Priority to US17/913,256 priority patent/US20230126191A1/en
Priority to KR1020227025585A priority patent/KR20220160536A/ko
Priority to JP2021512280A priority patent/JPWO2021199706A1/ja
Priority to CN202180024451.7A priority patent/CN115362445A/zh
Publication of WO2021199706A1 publication Critical patent/WO2021199706A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Definitions

  • the present invention relates to a data classification device, a data classification method, and a data classification program.
  • Patent Document 1 A technique for classifying data into a classifier configured by learning using a convolutional neural network is known (see, for example, Patent Document 1).
  • the above-mentioned classifier classifies data of an unknown class that cannot be classified originally into one of the learned and known classes. Therefore, if an unknown class may occur in the data, the accuracy of classification may decrease. Therefore, there has been a demand for a technique capable of suppressing the classification of data of an unknown class into a known class.
  • the present invention has been made in view of the above, and provides a data classification device, a data classification method, and a data classification program capable of suppressing the classification of data of an unknown class into a known class.
  • the purpose is a data classification device, a data classification method, and a data classification program capable of suppressing the classification of data of an unknown class into a known class. The purpose.
  • the data classification device uses the data acquisition unit for acquiring the data to be classified and the trained model learned by using the neural network. Based on the similarity, a classification unit that classifies data into one of a plurality of classes, a similarity calculation unit that calculates the similarity between the data and the trained data used when generating the trained model, and a similarity calculation unit that calculates the similarity between the data and the trained data.
  • a determination unit for determining whether or not the data belongs to the plurality of classes and determining that the data belongs to an unknown class when the data does not belong to any of the plurality of classes is provided.
  • the data classification device uses the data as an input parameter and the classification result and the feature amount of the data as an output parameter of the trained model.
  • the similarity calculation unit calculates the similarity using the feature amounts of the data and the learned data, and the determination unit calculates the similarity. If the criteria are satisfied, the class to which the data belongs is determined according to the classification result of the classification unit, and if the similarity does not satisfy the criteria, it is determined that the data is an unknown class.
  • the data classification device includes a control unit that displays at least the data most similar to the data on the display device together with the determination result by the determination unit.
  • the data classification device when the number of determinations by the determination unit reaches the reference number, the data belongs to any of the plurality of classes among the determinations made by the reference number of times.
  • the similarity calculation unit determines the minimum value in each class of the Euclidean distance in the feature space between the feature amount of the data and the feature amount of the learned data. Calculated as the degree of similarity with each class.
  • the similarity calculation unit determines a predetermined distance in a feature space between the feature amount of the data and the learned data representing each of the plurality of classes. Calculated as the degree of similarity with each class.
  • the data classification method has a data acquisition step of acquiring data to be classified, a learned model learned by using a neural network is read from a storage unit, and the data is classified into a plurality of classes using the learned model.
  • a classification step for classifying into any of the above a similarity calculation step for calculating the similarity between the data and the trained data used when generating the trained model, and the said data for the data based on the similarity.
  • the data classification program includes a data acquisition step for acquiring data to be classified, a classification step for classifying the data into any of a plurality of classes using a trained model trained using a neural network, and a classification step.
  • the similarity calculation step for calculating the similarity between the data and the trained data used when generating the trained model, and the suitability of the data to the plurality of classes are determined based on the similarity. If the data does not belong to any of the plurality of classes, the computer is made to execute a determination step of determining that the data belongs to an unknown class.
  • FIG. 1 is a block diagram showing a functional configuration of a data classification device according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of defective image data stored by the learned data storage unit 92.
  • FIG. 3 is a flowchart showing an outline of processing performed by the data classification device according to the embodiment of the present invention.
  • FIG. 4 is a diagram showing a display example (No. 1) of the determination result.
  • FIG. 5 is a diagram showing a display example (No. 2) of the determination result.
  • FIG. 6 is a diagram illustrating the effect of one embodiment of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of a data classification device according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of defective image data stored by the learned data storage unit 92.
  • FIG. 3 is a flowchart showing an outline of processing performed by the data classification device according to the embodiment of the present invention.
  • FIG. 4 is a diagram showing a display example (
  • FIG. 7 is a diagram showing the variation between the detection rate of the unknown class and the false detection rate of the known class when the threshold value for discriminating between the known class and the unknown class is changed in the example shown in FIG.
  • FIG. 8 is a diagram illustrating another method of determining a threshold value that gives a boundary for discriminating between a known class and an unknown class in one embodiment of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of a data classification device according to an embodiment of the present invention.
  • the data classification device 100 shown in the figure is a device that classifies the data of the defect image obtained by capturing the defects generated in the film manufacturing process using the polymer into one of a plurality of different classes according to the defect type.
  • the drawbacks of the classification target are that the raw materials melted in the film manufacturing process stay inside the manufacturing equipment and are denatured due to excessive temperature, heat, time, etc., foreign substances mixed in the manufacturing process, and the manufacturing equipment. Such as scratches.
  • the data classification device 100 includes an input unit 1, a data acquisition unit 2, an image processing unit 3, a classification unit 4, a similarity calculation unit 5, a determination unit 6, an evaluation value calculation unit 7, a control unit 8, and a storage unit 9. ..
  • Input unit 1 accepts input of various information.
  • the input unit 1 is configured by using a user interface such as a keyboard, a mouse, and a microphone.
  • the data acquisition unit 2 acquires the data of the defect image sent from the defect inspection machine that captures the surface of the film, extracts the defects, and generates the data of the defect image including the defects, and outputs the data to the storage unit 9. And memorize it.
  • the image processing unit 3 performs known image processing on the defect image data, and also performs image processing in which a portion other than the defect of the defect image data is used as a common background and the defect portion is superimposed on the background.
  • the background consists of, for example, a single gray color.
  • the classification unit 4 inputs the data of the defect image processed by the image processing unit 3 into the trained model learned by using the neural network, so that the data of the defect image is classified into one of a plurality of classes.
  • Classify A trained model is a neural network consisting of an input layer, an intermediate layer, and an output layer, each layer having one or more nodes.
  • the trained model is generated by performing training that optimizes the network parameters of the neural network. Network parameters include information about the weights and biases between layers of the neural network.
  • the input parameters of the trained model are the data of the defect image, and the output parameters are the probabilities of belonging to each of the plurality of classes and the predetermined features in the data of the defect image.
  • the neural network is Softmax loss function, and more preferably L 2 Softmax loss function, the introduced convolutional neural network plus the constraints of L 2 norm Softmax loss function (CNN) for (L 2 Softmax loss function, See, for example, R. Ranjan et al., “L 2 -contsrained Softmax Loss for Discriminative Face Verification”, preprint, arXiv: 1703.09507 [cs.CV] (https://arxiv.org/pdf/1703.09507.pdf)).
  • a feature quantity is generally defined as a multidimensional vector composed of a plurality of components that give features to image data.
  • the similarity calculation unit 5 calculates the similarity between the defect image data and the trained defect image data (hereinafter, also referred to as trained data) used when generating the trained model.
  • the similarity calculation unit 5 calculates the similarity using the feature amount of the defect image data and the feature amount of the learned data.
  • the similarity for example, any one of Euclidean distance, Mahalanobis distance, cosine similarity and the like can be applied.
  • the determination unit 6 determines whether the defect image data belongs to a plurality of classes based on the similarity, and if the data does not belong to any of the plurality of classes, it determines that the data belongs to an unknown class.
  • the determination unit 6 determines the class to which the defect image data belongs according to the classification result of the classification unit 4, while when the similarity does not satisfy the criterion, the defect image data is unknown. Judged as a class of.
  • the evaluation value calculation unit 7 determines that the defect image data belongs to any of a plurality of classes among the judgments for the reference number of times. Calculate the evaluation value.
  • the control unit 8 controls the operation of the data classification device 100 in an integrated manner.
  • the control unit 8 has a display control unit 81 for displaying the determination result of the determination unit 6 on the display device.
  • the display control unit 81 outputs the data of the defect image most similar to the data of the defect image to the display device and displays it together with the determination result by the determination unit 6. Further, when the determination evaluation value is smaller than the threshold value, the control unit 8 outputs at least one of the evaluation result and the information prompting the reconstruction of the trained model.
  • the control unit 8 may output the information to the display device and display the information, or may output the information to the audio output device to output the information.
  • the storage unit 9 includes a trained model storage unit 91 and a trained data storage unit 92.
  • the trained model storage unit 91 stores the trained model described above.
  • the trained data storage unit 92 stores defect image data (hereinafter referred to as trained data) used when learning the trained model, feature quantities of the trained data, and a class to which the trained data belongs.
  • FIG. 2 is a diagram showing an example of learned data stored by the learned data storage unit 92.
  • FIG. 2 illustrates a case where there are four classes of defect types (defect type 1 to defect type 4).
  • the storage unit 9 stores the number of determinations made by the determination unit 6. When the number of determinations reaches a predetermined reference number, the number of determinations is reset under the control of the control unit 8. Further, the storage unit 9 stores data including various programs for operating the data classification device 100 and various parameters necessary for the operation of the data classification device 100. The various programs also include a data classification program according to the present embodiment.
  • the storage unit 9 is configured by using a ROM (Read Only Memory) in which various programs and the like are installed in advance, a RAM (Random Access Memory) that stores calculation parameters and data of each process, and the like.
  • Various programs may be recorded on a computer-readable recording medium such as an HDD (Hard Disk Drive), SSD (Solid State Drive), flash memory, CD-ROM, DVD-ROM, Blu-ray (registered trademark). However, it may be made available for download via a communication network.
  • the communication network referred to here is configured by using at least one of an existing public line network, LAN (Local Area Network), WAN (Wide Area Network), and the like, and may be wired or wireless.
  • the data classification device 100 having the above functional configuration has one or more hardware such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field Programmable Gate Array). It is a computer configured using.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • FIG. 3 is a flowchart showing an outline of the processing performed by the data classification device 100.
  • the data acquisition unit 2 acquires the defect image data from the defect inspection machine (step S1).
  • the image processing unit 3 performs image processing (step S2).
  • the image processing unit 3 performs rule-based image processing.
  • the purpose here is to remove unnecessary regions other than the defective portion in the image, and to eliminate an image in which the defect is clearly not captured. All the images may be used in the classification process after step S3, or the images to be classified may be selected in the image process in step S2.
  • a process of cutting out a defect portion in a specific size or a process of making a background portion other than the defect portion into a single color background such as gray is performed, and the defect portion is superimposed on this background.
  • the classification unit 4 classifies using the trained model stored in the trained model storage unit 91 (step S3). Specifically, the classification unit 4 inputs the data of the defect image processed by the image processing unit 3 into the trained model, the probability of belonging to each of the plurality of classes, and the feature amount of the input defect image data. As an output parameter.
  • the similarity calculation unit 5 calculates the similarity between the defect image data acquired in step S1 and the learned data with reference to the learned data storage unit 92 (step S4). For example, the similarity calculation unit 5 calculates the Euclidean distance between the feature amount of the defect image data and the feature amount of the learned data, and calculates the minimum value of the Euclidean distance for each class as the similarity degree.
  • step S5 the determination unit 6 first determines whether or not the similarity satisfies a predetermined criterion. If the similarity satisfies the criteria in step S5 (step S5: Yes), the data classification device 100 proceeds to step S6.
  • the standard here is defined as the range of values taken by the minimum value, for example, when the minimum value of the Euclidean distance between the feature amount of the defect image data and the feature amount of the trained data of each class is set as the similarity. ..
  • step S6 the determination unit 6 makes a determination according to the classification result by the classification unit 4 (step S6). Specifically, the determination unit 6 determines that the class having the maximum probability acquired in step S3 is the class to which the defect image data belongs.
  • step S5 if the similarity does not satisfy the criteria (step S5: No), the determination unit 6 determines that the defect image data is in an unknown class (step S7).
  • control unit 8 increases the number of determinations stored by the storage unit 9 by 1 (step S8).
  • FIG. 4 shows a case where the defect image data is in a known class
  • FIG. 5 shows a case where the defect image data is in an unknown class.
  • the information indicating that the defect image data (image name “Sample1.png”) is classified into the defect type 1 and the four images and the Euclidean distance in the order of the closest Euclidean distance are displayed. There is. These four images are all images of defect type 1.
  • the screen 202 shown in FIG. 5 shows information indicating that the defect image data (image name “Sample3.png”) is in an unknown class, and four images in order of increasing Euclidean distance. These four images have different defect types from each other.
  • the evaluation value calculation unit 7 refers to the storage unit 9 and compares the number of determinations by the determination unit 6 with the predetermined reference number (step S10). When the number of determinations by the determination unit 6 is less than the reference number (step 10: No), the process returns to the data acquisition process in step S1 and the process is repeatedly executed. When the number of determinations by the determination unit 6 reaches the reference number (step S10: Yes), the evaluation value calculation unit 7 determines that the defect image data belongs to any of a plurality of classes among the determinations performed the reference number of times. The determination evaluation value, which is a ratio, is calculated (step S11).
  • step S12 When the calculated judgment evaluation value is smaller than a predetermined threshold value (step S12: Yes), the display control unit 81 notifies the user of the judgment evaluation result by outputting the information of the judgment evaluation result to the display device and displaying it. (Step S13).
  • the display control unit 81 may display the information prompting the reconstruction of the trained model on the display device instead of the judgment evaluation result, or display the judgment evaluation result and the information prompting the reconstruction of the learned model. It may be displayed on the device. This allows the user to recognize that the accuracy of the trained model is not appropriate.
  • control unit 8 resets the number of determinations stored in the storage unit 9 to 0 (step S14). After this, the data classification device 100 ends a series of processes.
  • step S12 if the calculated determination evaluation value is equal to or greater than a predetermined threshold value (step S12: No), the data classification device 100 proceeds to step S14, resets the number of determinations, and ends a series of processes.
  • FIG. 6 is a diagram illustrating the effect of the embodiment described above. Specifically, FIG. 6 shows (a) the calculation of the minimum value of the Euclidean distance between the sample of the known class and each class of the trained data, and (b) each of the sample of the unknown class and the trained data. It is a histogram which shows the result of having calculated the minimum value of the Euclidean distance with a class, respectively. Here, the histogram is created assuming that the class to which the sample belongs has been determined in advance.
  • FIG. 6 shows a case where two threshold values Th1 and Th2 are set as threshold values for providing a boundary for discriminating between a known class and an unknown class.
  • the threshold value is Th1
  • a sample having a threshold value Th1 or less is defined as a known class.
  • a part of the sample of the known class is included in the unknown class
  • the sample of the unknown class is not included in the known class.
  • the threshold value is set to Th2, that is, the case where the sample having the threshold value Th2 or less is defined as a known class
  • the threshold value is set to Th2
  • all the samples of the known class are included below the threshold value
  • the threshold value is set to Th2
  • many of the unknown classes are included in the known class.
  • FIG. 7 is a diagram showing the fluctuation between the detection rate of the unknown class and the false detection rate of the known class when the threshold value is changed in the example shown in FIG.
  • the curve 301 shown in FIG. 7 is a curve called a receiver response curve (ROC: Receiver Operating Characteristic), and points P and Q on the curve correspond to threshold values Th1 and Th2, respectively.
  • ROC Receiver Operating Characteristic
  • the detection rate is 100%, while the false detection rate is less than 10%.
  • the detection rate is about 15%, while the false detection rate is 0%.
  • FIG. 8 is a diagram illustrating another method of determining a threshold value that gives a boundary for discriminating between a known class and an unknown class in the embodiment described above.
  • FIG. 8A is a diagram showing a histogram showing the result of calculating the minimum value of the Euclidean distance between the sample of the known class and each class of the trained data, and the normal distribution curve C thereof. This normal distribution curve C is a line drawn on the assumption that the histogram is normally distributed.
  • FIG. 8B is a histogram showing the result of calculating the minimum value of the Euclidean distance between the sample of the unknown class and each class of the trained data. In FIG. 8, as in FIG. 6, a histogram is created assuming that the class to which the sample belongs has been determined in advance.
  • FIG. 8 shows a case where a threshold value Th3 or Th4 is set as a threshold value that gives a boundary for discriminating between a known class and an unknown class.
  • the threshold is set from the minimum value of the Euclidean distance between the sample of the known class and each class of the trained data.
  • a normal distribution is assumed in the histogram showing the result of calculating the minimum value of the Euclidean distance between the sample of the known class and each class of the trained data.
  • the threshold value is determined from the confidence interval calculated from the mean ⁇ of the normal distribution and the standard deviation ⁇ .
  • the distribution to be obtained is not limited to the normal distribution, and a semi-normal distribution, a Poisson distribution, or a mixed distribution considering multimodality may be assumed as the probability distribution.
  • the threshold value is set to Th3 (66% confidence interval of the normal distribution: mean ⁇ + 1 ⁇ ), that is, a case where a sample having a threshold value Th3 or less is defined as a known class will be described.
  • Th3 66% confidence interval of the normal distribution: mean ⁇ + 1 ⁇
  • the threshold value is set to Th4 (normal distribution 99.9997 confidence interval: mean ⁇ + 6 ⁇ ), that is, a case where a sample having a threshold value Th4 or less is defined as a known class will be described.
  • Th4 normal distribution 99.9997 confidence interval: mean ⁇ + 6 ⁇
  • the threshold value Th4 may be set.
  • the threshold value Th3 may be set.
  • the setting of the threshold value is not limited to the above, and it is preferable to set the threshold value according to the purpose of operation.
  • the degree of similarity between the acquired defect image data and the trained data used when generating the trained model is calculated, and the defect is calculated based on the calculated similarity. Since it is judged whether the image data belongs to multiple classes and if the data does not belong to any of the multiple classes, it is judged to belong to the unknown class, so the data of the unknown class is assigned to the known class. Classification can be suppressed.
  • the user in order to display the data of the defect image most similar to the data of the defect image on the display device together with the determination result, the user can use the known class and the unknown class of the defect image data. In addition to which one belongs to, the basis of the judgment can be visually grasped.
  • the determination evaluation value which is the ratio of the determinations performed the reference number of times that the defect image data belongs to any of a plurality of classes is determined.
  • the evaluation result or information prompting the reconstruction of the trained model is output. Therefore, if the trained model used is not valid, it is possible to promptly notify that fact. can.
  • the conventional film manufacturing process if the optical system of the defect inspection machine is changed or the manufacturing conditions of the product are changed, the trained model used up to that point cannot be properly classified. There was a risk. In addition, it was difficult to evaluate the classification itself during operation.
  • the classification itself is evaluated at predetermined intervals, it is possible to accurately notify the user of the nonconformity of the trained model when there is a change in the manufacturing process.
  • the image is preprocessed in step S2, in consideration of the possibility that there is an error here, it is classified into the images prepared in advance without performing the image processing in step S2, and the threshold value prepared in advance.
  • Another image processing method under the condition that the filter or the like is changed is implemented, and the classification after step S3 can be tried again.
  • the present invention can be applied not only to the defect determination at the time of film production but also to the abnormality detection of time series data (for example, the detection of arrhythmia of human heartbeat data).
  • the data classification device, data classification method, and data classification program of the present invention can be preferably applied to suppress the classification of data of an unknown class into a known class, but the scope of application is not limited to this.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本発明にかかるデータ分類装置は、分類対象のデータを取得するデータ取得部と、ニューラルネットワークを用いて学習した学習済みモデルを用いて前記データを複数のクラスのいずれかに分類する分類部と、前記データと前記学習済みモデルを生成する際に用いた学習済みデータとの類似度を算出する類似度算出部と、前記類似度に基づいて前記データの前記複数のクラスへの属否を判定し、前記データが前記複数のクラスのいずれにも属さない場合、前記データは未知のクラスに属すると判定する判定部と、を備える。

Description

データ分類装置、データ分類方法およびデータ分類プログラム
　本発明は、データ分類装置、データ分類方法およびデータ分類プログラムに関する。
　畳み込みニューラルネットワークを用いた学習によって構成された分類器にデータを分類させる技術が知られている（例えば、特許文献１を参照）。
特開２０１９－９６３１３号公報
　上述した分類器は、本来は分類できない未知のクラスのデータであっても、学習済みの既知のクラスのいずれかに分類してしまう。このため、データの中に未知のクラスが発生し得る場合には、分類の精度が低下するおそれがあった。そこで、未知のクラスのデータを既知のクラスに分類するのを抑制することができる技術が求められていた。
　本発明は、上記に鑑みてなされたものであって、未知のクラスのデータを既知のクラスに分類するのを抑制することができるデータ分類装置、データ分類方法およびデータ分類プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係るデータ分類装置は、分類対象のデータを取得するデータ取得部と、ニューラルネットワークを用いて学習した学習済みモデルを用いて前記データを複数のクラスのいずれかに分類する分類部と、前記データと前記学習済みモデルを生成する際に用いた学習済みデータとの類似度を算出する類似度算出部と、前記類似度に基づいて前記データの前記複数のクラスへの属否を判定し、前記データが前記複数のクラスのいずれにも属さない場合、前記データは未知のクラスに属すると判定する判定部と、を備える。
　本発明の好ましい態様に係るデータ分類装置は、上記発明において、前記学習済みモデルは、前記データを入力パラメータとし、分類結果および前記データの特徴量を出力パラメータとする。
　本発明の好ましい態様に係るデータ分類装置は、上記発明において、前記類似度算出部は、前記データおよび前記学習済みデータの特徴量を用いて類似度を算出し、前記判定部は、前記類似度が基準を満たす場合、前記分類部の分類結果にしたがって前記データが属するクラスを判定し、前記類似度が前記基準を満たさない場合、前記データが未知のクラスであると判定する。
　本発明の好ましい態様に係るデータ分類装置は、上記発明において、前記判定部による判定結果とともに、少なくとも前記データに最も類似したデータを表示装置に表示させる制御部を備える。
　本発明の好ましい態様に係るデータ分類装置は、上記発明において、前記判定部による判定回数が基準回数に達した場合、前記基準回数行った判定のうち前記データが前記複数のクラスのいずれかに属すると判定した割合である判定評価値を算出する評価値算出部と、前記判定評価値が閾値より小さいとき、評価結果および前記学習済みモデルの再構築を促す情報の少なくともいずれか一方を出力する制御部と、を備える。
　本発明の好ましい態様に係るデータ分類装置は、上記発明において、前記類似度算出部は、前記データの特徴量と前記学習済みデータの特徴量との特徴空間におけるユークリッド距離の各クラスにおける最小値を各クラスとの類似度として算出する。
　本発明の好ましい態様に係るデータ分類装置は、上記発明において、前記類似度算出部は、前記データの特徴量と前記複数のクラスをそれぞれ代表する前記学習済みデータとの特徴空間における所定の距離を各クラスとの類似度として算出する。
　本発明に係るデータ分類方法は、分類対象のデータを取得するデータ取得ステップと、ニューラルネットワークを用いて学習した学習済みモデルを記憶部から読み出し、前記学習済みモデルを用いて前記データを複数のクラスのいずれかに分類する分類ステップと、前記データと前記学習済みモデルを生成する際に用いた学習済みデータとの類似度を算出する類似度算出ステップと、前記類似度に基づいて前記データの前記複数のクラスへの属否を判定し、前記データが前記複数のクラスのいずれにも属さない場合、前記データは未知のクラスに属すると判定する判定ステップと、を含む。
　本発明に係るデータ分類プログラムは、分類対象のデータを取得するデータ取得ステップと、ニューラルネットワークを用いて学習した学習済みモデルを用いて前記データを複数のクラスのいずれかに分類する分類ステップと、前記データと前記学習済みモデルを生成する際に用いた学習済みデータとの類似度を算出する類似度算出ステップと、前記類似度に基づいて前記データの前記複数のクラスへの属否を判定し、前記データが前記複数のクラスのいずれにも属さない場合、前記データは未知のクラスに属すると判定する判定ステップと、をコンピュータに実行させる。
　本発明によれば、未知のクラスのデータを既知のクラスに分類するのを抑制することができる。
図１は、本発明の一実施の形態に係るデータ分類装置の機能構成を示すブロック図である。 図２は、学習済みデータ記憶部９２が記憶する欠点画像データの例を示す図である。 図３は、本発明の一実施の形態に係るデータ分類装置が行う処理の概要を示すフローチャートである。 図４は、判定結果の表示例（その１）を示す図である。 図５は、判定結果の表示例（その２）を示す図である。 図６は、本発明の一実施の形態の効果を説明する図である。 図７は、図６に示す例で既知のクラスと未知のクラスを弁別する閾値を変更した場合の未知のクラスの検出率と既知のクラスの誤検出率との変動を示す図である。 図８は、本発明の一実施の形態にて、既知のクラスと未知のクラスとを弁別するための境界を与える閾値の別の決め方を説明する図である。
　以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。
　図１は、本発明の一実施の形態に係るデータ分類装置の機能構成を示すブロック図である。同図に示すデータ分類装置１００は、ポリマーを用いたフィルムの製造プロセスにおいて発生する欠点を撮像した欠点画像のデータを、欠点種に応じて異なる複数のクラスのいずれかに分類する装置である。分類対象の欠点は、フィルムの製造プロセスで溶融した原料が製造装置の内部で滞留し、過剰な温度、熱、時間等に起因して変性したものや製造工程で混入した異物、製造装置に起因する傷などである。
　以下、データ分類装置１００の機能構成を説明する。データ分類装置１００は、入力部１、データ取得部２、画像処理部３、分類部４、類似度算出部５、判定部６、評価値算出部７、制御部８、および記憶部９を備える。
　入力部１は、各種情報の入力を受け付ける。入力部１は、キーボード、マウス、マイクロフォン等のユーザインタフェースを用いて構成される。
　データ取得部２は、フィルムの表面を撮像して欠点を抽出してその欠点を含む欠点画像のデータを生成する欠点検査機から送られてくる欠点画像のデータを取得し、記憶部９に出力して記憶させる。
　画像処理部３は、欠点画像のデータに対して公知の画像処理を行うとともに、欠点画像のデータの欠点以外の部分を共通の背景とし、その背景に欠点部分を重畳する画像処理を行う。背景は、例えばグレーの単色からなる。
　分類部４は、ニューラルネットワークを用いて学習した学習済みモデルに対して、画像処理部３が処理を施した欠点画像のデータを入力することにより、欠点画像のデータを複数のクラスのいずれかに分類する。学習済みモデルは、入力層、中間層および出力層からなり、各層が一または複数のノードを有するニューラルネットワークである。学習済みモデルは、ニューラルネットワークのネットワークパラメータを最適化する学習を行うことによって生成されたものである。ネットワークパラメータには、ニューラルネットワークの層間の重みやバイアスに関する情報が含まれる。学習済みモデルの入力パラメータは欠点画像のデータであり、出力パラメータは複数のクラスの各々に属する確率と、欠点画像のデータにおける所定の特徴量である。このニューラルネットワークは、Softmax損失関数、より好ましくはSoftmax損失関数にＬ2ノルムの制約を加えたL2　Softmax損失関数、を導入した畳み込みニューラルネットワーク（ＣＮＮ）である（L2　Softmax損失関数については、例えばR.　Ranjan　et　al.,　“L2-contsrained　Softmax　Loss　for　Discriminative　Face　Verification”,　preprint,　arXiv:1703.09507　[cs.CV]　(https://arxiv.org/pdf/1703.09507.pdf)を参照）。特徴量は、一般に画像データの特徴を与える複数の成分からなる多次元のベクトルとして定義される。
　類似度算出部５は、欠点画像のデータと学習済みモデルを生成する際に用いた学習済みの欠点画像のデータ（以下、学習済みデータともいう）との類似度を算出する。類似度算出部５は、欠点画像のデータの特徴量と学習済みデータの特徴量を用いて類似度を算出する。類似度としては、例えばユークリッド距離、マハラノビス距離、コサイン類似度等のいずれかを適用することができる。
　判定部６は、類似度に基づいて欠点画像のデータの複数のクラスへの属否を判定し、そのデータが複数のクラスのいずれにも属さない場合には未知のクラスに属すると判定する。判定部６は、類似度が所定の基準を満たす場合、分類部４の分類結果にしたがって欠点画像のデータが属するクラスを判定する一方、類似度が基準を満たさない場合、欠点画像のデータが未知のクラスであると判定する。
　評価値算出部７は、判定部６による判定回数が所定の基準回数に達した場合、基準回数分の判定のうち欠点画像のデータが複数のクラスのいずれかに属すると判定した割合である判定評価値を算出する。
　制御部８は、データ分類装置１００の動作を統括して制御する。制御部８は、判定部６の判定結果を表示装置に表示させる表示制御部８１を有する。表示制御部８１は、判定部６による判定結果とともに、欠点画像のデータに最も類似した欠点画像のデータを表示装置に出力して表示させる。また、制御部８は、判定評価値が閾値より小さいとき、評価結果および学習済みモデルの再構築を促す情報の少なくともいずれか一方を出力する。制御部８は、表示装置にその情報を出力して表示させてもよいし、音声出力装置にその情報を出力して音声出力させてもよい。
　記憶部９は、学習済みモデル記憶部９１と、学習済みデータ記憶部９２とを備える。学習済みモデル記憶部９１は、上述した学習済みモデルを記憶する。学習済みデータ記憶部９２は、学習済みモデルを学習する際に用いた欠点画像データ（以下、学習済みデータという）、その学習済みデータの特徴量および属するクラスを記憶する。図２は、学習済みデータ記憶部９２が記憶する学習済みデータの例を示す図である。図２では、欠点種のクラスが４つある場合（欠点種１～欠点種４）を例示している。
　記憶部９は、判定部６による判定回数を記憶する。この判定回数は、所定の基準回数に達すると、制御部８の制御のもとでリセットされる。また、記憶部９は、データ分類装置１００を動作させるための各種プログラム、およびデータ分類装置１００の動作に必要な各種パラメータ等を含むデータを記憶する。各種プログラムには、本実施の形態に係るデータ分類プログラムも含まれる。記憶部９は、各種プログラム等があらかじめインストールしたＲＯＭ（Read　Only　Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random　Access　Memory）等を用いて構成される。
　各種プログラムは、ＨＤＤ（Hard　Disk　Drive）、ＳＳＤ（Solid　State　Drive）、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ（登録商標）等のコンピュータ読み取り可能な記録媒体に記録してもよいし、通信ネットワークを介してダウンロード可能としてもよい。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local　Area　Network）、およびＷＡＮ（Wide　Area　Network）等の少なくともいずれかを用いて構成されるものであり、有線、無線を問わない。
　以上の機能構成を有するデータ分類装置１００は、ＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＦＰＧＡ（Field　Programmable　Gate　Array）等の１または複数のハードウェアを用いて構成されるコンピュータである。
　図３は、データ分類装置１００が行う処理の概要を示すフローチャートである。まず、データ取得部２が欠点検査機から欠点画像のデータを取得する（ステップＳ１）。
　続いて、画像処理部３は画像処理を行う（ステップＳ２）。この際、画像処理部３は、ルールベースの画像処理を実施する。ここでの目的は画像中の欠点部位以外の不要な領域を除去することや、欠点が撮像されていないことが明らかな画像を排除すること等である。ステップＳ３以降の分類処理は、すべての画像を使用してもよいし、ステップＳ２の画像処理で分類対象の画像の選別を実施してもよい。ここでは、欠点部分を中心に特定のサイズで切り出す処理や、欠点以外の背景部分をグレー等の単色の背景にする処理を行い、この背景に欠点部分を重畳する。
　この後、分類部４は、学習済みモデル記憶部９１が記憶する学習済みモデルを用いて分類を行う（ステップＳ３）。具体的には、分類部４は、画像処理部３が処理を施した欠点画像のデータを学習済みモデルに入力し、複数のクラスの各々に属する確率と、入力した欠点画像のデータの特徴量を出力パラメータとして取得する。
　続いて、類似度算出部５は、学習済みデータ記憶部９２を参照してステップＳ１で取得した欠点画像のデータと学習済みデータとの類似度を算出する（ステップＳ４）。例えば、類似度算出部５は、欠点画像のデータの特徴量と学習済みデータの特徴量とのユークリッド距離を算出し、クラスごとのユークリッド距離の最小値を類似度として算出する。
　この後、判定部６は、まず類似度が所定の基準を満足しているか否かを判定する（ステップＳ５）。ステップＳ５において類似度が基準を満足している場合（ステップＳ５：Ｙｅｓ）、データ分類装置１００はステップＳ６へ移行する。ここでの基準は、例えば欠点画像のデータの特徴量と各クラスの学習済みデータの特徴量とのユークリッド距離の最小値を類似度とする場合、その最小値の取る値の範囲として定義される。
　ステップＳ６において、判定部６は、分類部４による分類結果にしたがって判定を行う（ステップＳ６）。具体的には、判定部６は、ステップＳ３で取得した確率が最大であるクラスを、欠点画像のデータが属するクラスと判定する。
　ステップＳ５において、類似度が基準を満足していない場合（ステップＳ５：Ｎｏ）、判定部６は、欠点画像のデータが未知のクラスであると判定する（ステップＳ７）。
　ステップＳ６またはＳ７の後、制御部８は、記憶部９が記憶する判定回数を１増加させる（ステップＳ８）。
　続いて、表示制御部８１は表示装置に判定結果を出力して表示させる（ステップＳ９）。図４および図５は、判定部６による判定結果の表示装置における表示例を示す図である。具体的には、図４は欠点画像のデータが既知のクラスである場合を示し、図５は欠点画像のデータが未知のクラスである場合を示している。
　図４に示す画面２０１では、欠点画像のデータ（画像名「Sample1.png」）が欠点種１に分類されたことを示す情報と、ユークリッド距離が近い順に４つの画像とユークリッド距離を表示している。この４つの画像はすべて欠点種１の画像である。
　図５に示す画面２０２では、欠点画像のデータ（画像名「Sample3.png」）が未知のクラスであることを示す情報と、ユークリッド距離が近い順に４つの画像を示している。この４つの画像は互いに欠点種が異なっている。
　これらの表示例によれば、判定結果とともに分類対象の画像と類似している画像を表示するため、判定の結果だけでなくその判定の根拠となる情報を提示して、ユーザに判定結果を視覚的に納得させることができる。なお、類似する画像とユークリッド距離の少なくとも一方のみを表示してもよい。また、表示する画像は４つに限られず、１つ以上であれば任意に設定してもよい。
　ステップＳ９の後、評価値算出部７は、記憶部９を参照して、判定部６による判定回数と所定の基準回数とを比較する（ステップＳ１０）。判定部６による判定回数が基準回数未満の場合（ステップ１０：Ｎｏ）は、ステップＳ１のデータ取得処理に戻って処理を繰り返し実行する。判定部６による判定回数が基準回数に達した場合（ステップＳ１０：Ｙｅｓ）、評価値算出部７は、基準回数行った判定のうち欠点画像のデータが複数のクラスのいずれかに属すると判定した割合である判定評価値を算出する（ステップＳ１１）。
　算出された判定評価値が所定の閾値よりも小さい場合（ステップＳ１２：Ｙｅｓ）、表示制御部８１は判定評価結果の情報を表示装置に出力して表示させることにより、判定評価結果をユーザに報知する（ステップＳ１３）。なお、表示制御部８１は、判定評価結果の代わりに、学習済みモデルの再構築を促す情報を表示装置に表示させてもよいし、判定評価結果および学習済みモデルの再構築を促す情報を表示装置に表示させてもよい。これにより、ユーザは学習済みモデルの精度が適切でないと認識することができる。
　続いて、制御部８は、記憶部９が記憶する判定回数をリセットさせて０とする（ステップＳ１４）。この後、データ分類装置１００は一連の処理を終了する。
　ステップＳ１２において、算出された判定評価値が所定の閾値以上の場合は（ステップＳ１２：Ｎｏ）、データ分類装置１００はステップＳ１４へ移行し、判定回数をリセットして一連の処理を終了する。
　図６は、以上説明した実施の形態の効果を説明する図である。具体的には、図６は、（ａ）既知のクラスのサンプルと学習済みデータの各クラスとのユークリッド距離の最小値を算出した結果、（ｂ）未知のクラスのサンプルと学習済みデータの各クラスとのユークリッド距離の最小値を算出した結果、をそれぞれ示すヒストグラムである。ここでは、サンプルが属するクラスを予め判別済みであるとしてヒストグラムを作成している。図６においては、既知のクラスと未知のクラスとを弁別するための境界を与える閾値として、２通りの閾値Ｔｈ１、Ｔｈ２を設定した場合を示している。
　まず、閾値をＴｈ１とした場合、すなわち閾値Ｔｈ１以下のサンプルが既知のクラスと定義した場合を説明する。この場合、（ａ）によれば既知のクラスのサンプルの一部は未知のクラスに含まれる一方、（ｂ）によれば未知のクラスのサンプルは既知のクラスに含まれることはない。
　次に、閾値をＴｈ２とした場合、すなわち閾値Ｔｈ２以下のサンプルが既知のクラスと定義した場合を説明する。この場合、（ａ）によれば既知のクラスのサンプルが全て閾値以下に含まれる一方、（ｂ）によれば未知のクラスの多くが既知のクラスに含まれる。
　図７は、図６に示す例で閾値を変更した場合の未知のクラスの検出率と既知のクラスの誤検出率との変動を示す図である。図７に示す曲線３０１は、受信者応答曲線（ＲＯＣ：Receiver　Operating　Characteristic）と呼ばれる曲線であり、曲線上の点Ｐおよび点Ｑが、閾値Ｔｈ１およびＴｈ２にそれぞれ対応している。閾値Ｔｈ１の場合、検出率は１００％である一方、誤検出率は１０％未満である。これに対して、閾値Ｔｈ２の場合、検出率は１５％程度である一方、誤検出率は０％である。この曲線３０１と横軸との間の面積であるＡＵＣ（Area　Under　ROC　Curve）は０．９８９９であり、完全に分離可能な場合（ＡＵＣ＝１．００）にかなり近い値であることが分かった。すなわち、本実施の形態によれば、既知クラスと未知クラスを高精度で分離できることが明らかになった。
　図８は、以上説明した実施形態にて、既知のクラスと未知のクラスとを弁別するための境界を与える閾値の別の決め方を説明する図である。図８の（ａ）は、既知のクラスのサンプルと学習済みデータの各クラスとのユークリッド距離の最小値を算出した結果を示すヒストグラムと、その正規分布曲線Ｃとを示す図である。この正規分布曲線Ｃは、ヒストグラムが正規分布していると仮定して引いた線である。図８の（ｂ）は、未知のクラスのサンプルと学習済みデータの各クラスとのユークリッド距離の最小値を算出した結果を示すヒストグラムである。図８では、図６と同じく、サンプルが属するクラスを予め判別済みであるとしてヒストグラムを作成している。図８においては、既知のクラスと未知のクラスとを弁別するための境界を与える閾値として、閾値Ｔｈ３、あるいはＴｈ４を設定した場合を示している。
　既知のクラスと未知のクラスとを弁別するための境界を与える閾値を設定するにあたり、未知のクラスのサンプルを予め用意することが難しい場合がある。そのような場合、閾値は既知のクラスのサンプルと学習済みのデータの各クラスとのユークリッド距離の最小値から設定することになる。
　まず、既知のクラスのサンプルと学習済みデータの各クラスとのユークリッド距離の最小値を算出した結果を示すヒストグラムに正規分布を仮定する。次に、その正規分布の平均μと標準偏差σとから算出される信頼区間から閾値を決定する。なお、求める分布は、正規分布に限らず、半正規分布、ポアソン分布を用いることや、多峰性を考慮した混合分布などを確率分布として仮定してもよい。
　ここで、閾値をＴｈ３（正規分布の６６％信頼区間：平均μ＋１σ）とした場合、すなわち閾値Ｔｈ３以下のサンプルが既知のクラスと定義した場合を説明する。この場合、図８の（ａ）に示すように、既知のクラスのサンプルの一部は未知のクラスに含まれる一方、（ｂ）に示すように、未知のクラスのサンプルは既知のクラスに含まれることがない。
　また、閾値をＴｈ４（正規分布の９９．９９９７信頼区間：平均μ＋６σ）とした場合、すなわち閾値Ｔｈ４以下のサンプルが既知のクラスと定義した場合を説明する。この場合、図８の（ａ）に示すように、既知のクラスのサンプルが全て閾値以下に含まれる一方、（ｂ）に示すように、未知のクラスの多くが既知のクラスに含まれる。
　以上より、未知のクラスのサンプルを予め用意することが難しい場合は、既知のクラスのサンプルのみから運用用途に応じた閾値を設定すればよい。例えば既知のクラスのサンプルを未知のクラスのサンプルであると誤って判別することを避けたい場合は、閾値Ｔｈ４のように設定すればよい。逆に未知のクラスのサンプルを既知のクラスのサンプルであると誤って判別することを避けたい場合は閾値Ｔｈ３のように設定すればよい。閾値の設定は上記に限られるものではなく、運用目的に応じて閾値を設定することが好ましい。
　以上説明した本発明の一実施の形態によれば、取得した欠点画像のデータと学習済みモデルを生成する際に用いた学習済みデータとの類似度を算出し、算出した類似度に基づいて欠点画像のデータの複数のクラスへの属否を判定し、そのデータが複数のクラスのいずれにも属さない場合には未知のクラスに属すると判定するため、未知のクラスのデータを既知のクラスに分類するのを抑制することができる。
　また、本実施の形態によれば、判定結果とともに、少なくとも欠点画像のデータに最も類似した欠点画像のデータを表示装置に表示させるため、ユーザは欠点画像のデータが既知のクラスと未知のクラスとのどちらに属しているのかに加えて、その判定の根拠を視覚的に把握することができる。
　また、本実施の形態によれば、判定回数が基準回数に達した場合、基準回数行った判定のうち欠点画像のデータが複数のクラスのいずれかに属すると判定した割合である判定評価値を算出し、算出結果が閾値より小さいとき、評価結果または学習済みモデルの再構築を促す情報を出力するため、使用している学習済みモデルが有効でない場合には速やかにその旨を報知することができる。この点に関して、従来のフィルムの製造プロセスでは、欠点検査機の光学系を変えたり、製品の製造条件を変更したりすると、それまで使用していた学習済みモデルでは適切に分類することができなくなるおそれがあった。加えて、運用中に分類自体を評価すること自体が難しかった。これに対して、本実施の形態では、所定の間隔で分類自体を評価するため、製造プロセスに変更があった場合には、学習済みモデルの不適合を的確にユーザに報知することができる。また、ステップＳ２で画像への前処理を実施しているが、ここに誤りがある可能性を考慮し、あらかじめ準備したステップＳ２の画像処理を実施しない画像で分類することや、あらかじめ準備した閾値、フィルタ等を変更した条件の別の画像処理方法を実施、再度ステップＳ３以降の分類を試すことなども可能である。
　ここまで、本発明を実施するための形態を説明してきたが、本発明は、上述した一実施の形態によってのみ限定されるべきものではない。例えば、類似度算出部５は、欠点画像のデータの特徴量と、各クラスの代表画像のデータの特徴量との間の類似度を算出してもよい。代表画像は、各クラスの特徴量の特徴空間における重心に最も近い特徴量を有する画像でもよいし、各クラスの特徴量の平均に最も近い特徴量を有する画像でもよい。
　また、本発明は、フィルム製造時の欠点判定以外にも、時系列データの異常検知（例えば人の心拍データの不整脈検知）などにも適用することができる。
　本発明のデータ分類装置、データ分類方法およびデータ分類プログラムは、未知のクラスのデータを既知のクラスに分類するのを抑制するのに好ましく適用できるが、適用範囲はこれに限られない。
　１　入力部
　２　データ取得部
　３　画像処理部
　４　分類部
　５　類似度判定部
　６　判定部
　７　評価値算出部
　８　制御部
　９　記憶部
　８１　表示制御部
　９１　学習済みモデル記憶部
　９２　学習済みデータ記憶部
　１００　データ分類装置
　２０１、２０２　画面
　３０１　曲線

Claims (9)

  1. 　分類対象のデータを取得するデータ取得部と、
    　ニューラルネットワークを用いて学習した学習済みモデルを用いて前記データを複数のクラスのいずれかに分類する分類部と、
    　前記データと前記学習済みモデルを生成する際に用いた学習済みデータとの類似度を算出する類似度算出部と、
    　前記類似度に基づいて前記データの前記複数のクラスへの属否を判定し、前記データが前記複数のクラスのいずれにも属さない場合、前記データは未知のクラスに属すると判定する判定部と、
    　を備えるデータ分類装置。
  2. 　前記学習済みモデルは、
    　前記データを入力パラメータとし、
    　分類結果および前記データの特徴量を出力パラメータとする請求項１に記載のデータ分類装置。
  3. 　前記類似度算出部は、
    　前記データおよび前記学習済みデータの特徴量を用いて類似度を算出し、
    　前記判定部は、
    　前記類似度が基準を満たす場合、前記分類部の分類結果にしたがって前記データが属するクラスを判定し、
    　前記類似度が前記基準を満たさない場合、前記データが未知のクラスであると判定する請求項１または２に記載のデータ分類装置。
  4. 　前記判定部による判定結果とともに、少なくとも前記データに最も類似したデータを表示装置に表示させる制御部を備える請求項１～３のいずれか一項に記載のデータ分類装置。
  5. 　前記判定部による判定回数が基準回数に達した場合、前記基準回数行った判定のうち前記データが前記複数のクラスのいずれかに属すると判定した割合である判定評価値を算出する評価値算出部と、
    　前記判定評価値が閾値より小さいとき、評価結果および前記学習済みモデルの再構築を促す情報の少なくともいずれか一方を出力する制御部と、
    　を備える請求項１～４のいずれか一項に記載のデータ分類装置。
  6. 　前記類似度算出部は、
    　前記データの特徴量と前記学習済みデータの特徴量との特徴空間におけるユークリッド距離の各クラスにおける最小値を各クラスとの類似度として算出する請求項１～５のいずれか一項に記載のデータ分類装置。
  7. 　前記類似度算出部は、
    　前記データの特徴量と前記複数のクラスをそれぞれ代表する前記学習済みデータとの特徴空間における所定の距離を各クラスとの類似度として算出する請求項１～５のいずれか一項に記載のデータ分類装置。
  8. 　分類対象のデータを取得するデータ取得ステップと、
    　ニューラルネットワークを用いて学習した学習済みモデルを記憶部から読み出し、前記学習済みモデルを用いて前記データを複数のクラスのいずれかに分類する分類ステップと、
    　前記データと前記学習済みモデルを生成する際に用いた学習済みデータとの類似度を算出する類似度算出ステップと、
    　前記類似度に基づいて前記データの前記複数のクラスへの属否を判定し、前記データが前記複数のクラスのいずれにも属さない場合、前記データは未知のクラスに属すると判定する判定ステップと、
    　を含むデータ分類方法。
  9. 　分類対象のデータを取得するデータ取得ステップと、
    　ニューラルネットワークを用いて学習した学習済みモデルを用いて前記データを複数のクラスのいずれかに分類する分類ステップと、
    　前記データと前記学習済みモデルを生成する際に用いた学習済みデータとの類似度を算出する類似度算出ステップと、
    　前記類似度に基づいて前記データの前記複数のクラスへの属否を判定し、前記データが前記複数のクラスのいずれにも属さない場合、前記データは未知のクラスに属すると判定する判定ステップと、
    　をコンピュータに実行させるデータ分類プログラム。
PCT/JP2021/005080 2020-03-31 2021-02-10 データ分類装置、データ分類方法およびデータ分類プログラム WO2021199706A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP21779595.4A EP4131074A4 (en) 2020-03-31 2021-02-10 DATA CLASSIFICATION DEVICE, DATA CLASSIFICATION METHOD AND DATA CLASSIFICATION PROGRAM
US17/913,256 US20230126191A1 (en) 2020-03-31 2021-02-10 Data classification device, data classification method, and data classification program
KR1020227025585A KR20220160536A (ko) 2020-03-31 2021-02-10 데이터 분류 장치, 데이터 분류 방법, 및 데이터 분류 프로그램
JP2021512280A JPWO2021199706A1 (ja) 2020-03-31 2021-02-10
CN202180024451.7A CN115362445A (zh) 2020-03-31 2021-02-10 数据分类装置、数据分类方法以及数据分类程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020062979 2020-03-31
JP2020-062979 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021199706A1 true WO2021199706A1 (ja) 2021-10-07

Family

ID=77927539

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/005080 WO2021199706A1 (ja) 2020-03-31 2021-02-10 データ分類装置、データ分類方法およびデータ分類プログラム

Country Status (6)

Country Link
US (1) US20230126191A1 (ja)
EP (1) EP4131074A4 (ja)
JP (1) JPWO2021199706A1 (ja)
KR (1) KR20220160536A (ja)
CN (1) CN115362445A (ja)
WO (1) WO2021199706A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014102A1 (ja) * 2022-07-12 2024-01-18 株式会社レゾナック 欠陥分析装置、欠陥分析方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022114332A (ja) * 2021-01-26 2022-08-05 日東電工株式会社 クラス判定システム、クラス判定方法及びクラス判定プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074188A (ja) * 1996-05-23 1998-03-17 Hitachi Ltd データ学習装置およびプラント制御装置
JP2000207377A (ja) * 1999-01-18 2000-07-28 Nec Corp ベクトル分類方法
JP2001142868A (ja) * 1999-11-12 2001-05-25 Fuji Electric Co Ltd ニューラルネットワークの出力値の評価装置、評価方法及び記憶媒体
JP2019096313A (ja) 2017-11-20 2019-06-20 富士通株式会社 情報処理方法及び情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074188A (ja) * 1996-05-23 1998-03-17 Hitachi Ltd データ学習装置およびプラント制御装置
JP2000207377A (ja) * 1999-01-18 2000-07-28 Nec Corp ベクトル分類方法
JP2001142868A (ja) * 1999-11-12 2001-05-25 Fuji Electric Co Ltd ニューラルネットワークの出力値の評価装置、評価方法及び記憶媒体
JP2019096313A (ja) 2017-11-20 2019-06-20 富士通株式会社 情報処理方法及び情報処理装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KEISUKE SHIMA, JUNICHI IMAGI, HIDEAKI HAYASHI, TARO SHIBANOKI, YUICHI KURITA, TOSHIO TSUJI: "A Probabilistic Neural Network with Anomaly Detection and Related Application to an EMG-controlled Prosthetic Hand", JOURNAL OF THE ROBOTICS SOCIETY OF JAPAN, vol. 33, no. 4, 1 January 2015 (2015-01-01), pages 275 - 284, XP055946929, ISSN: 0289-1824, DOI: 10.7210/jrsj.33.275 *
See also references of EP4131074A4
URAKAWA YUNOSUKE : "Unknown Network Anomaly Detection Focused on Quantity of Payload Features", PROCEEDINGS OF THE COMPUTER SECURITY SYMPOSIUM 2018 (CSS2018), 22-25 OCTOBER 2018, vol. 2018, no. 2, 16 November 2018 (2018-11-16) - 25 October 2018 (2018-10-25), Japan, pages 1038 - 1045, XP009537910 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014102A1 (ja) * 2022-07-12 2024-01-18 株式会社レゾナック 欠陥分析装置、欠陥分析方法及びプログラム

Also Published As

Publication number Publication date
EP4131074A4 (en) 2024-05-01
US20230126191A1 (en) 2023-04-27
JPWO2021199706A1 (ja) 2021-10-07
KR20220160536A (ko) 2022-12-06
EP4131074A1 (en) 2023-02-08
CN115362445A (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
JP6924413B2 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
JP6936958B2 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
CN115082467B (zh) 基于计算机视觉的建材焊接表面缺陷检测方法
JP6403261B2 (ja) 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
CN106846316B (zh) 一种gis内部典型缺陷图像自动识别方法
US20220269996A1 (en) Information processing apparatus, information processing method, and storage medium
JP7444439B2 (ja) 欠陥検出分類システム及び欠陥判定トレーニングシステム
JP6798619B2 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
WO2021199706A1 (ja) データ分類装置、データ分類方法およびデータ分類プログラム
US9418440B2 (en) Image segmenting apparatus and method
WO2019102277A1 (en) Method and system for determining hematological parameters in a peripheral blood smear
US20150262068A1 (en) Event detection apparatus and event detection method
JP2015087903A (ja) 情報処理装置及び情報処理方法
JP2017097718A (ja) 識別処理装置、識別システム、識別処理方法、およびプログラム
JP7393313B2 (ja) 欠陥分類装置、欠陥分類方法及びプログラム
US12079310B2 (en) Defect classification apparatus, method and program
JP2008014652A (ja) 異物検査装置、異物検査方法、プログラム、及び記録媒体
Chang et al. An unsupervised neural network approach for automatic semiconductor wafer defect inspection
Mithra et al. FHDT: fuzzy and Hyco-entropy-based decision tree classifier for tuberculosis diagnosis from sputum images
JP2018018153A (ja) 鋼種判別装置及び鋼種判別方法
CN108710915B (zh) 基于多核学习的多特征融合胃镜图像处理方法
CN115375954A (zh) 一种化学实验溶液识别方法、装置、设备及可读存储介质
Faula et al. One-Class Detection and Classification of Defects on Concrete Surfaces
JP6834126B2 (ja) 情報処理装置、欠陥検出方法およびプログラム
JP7206892B2 (ja) 画像検査装置、画像検査のための学習方法および画像検査プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021512280

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21779595

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021779595

Country of ref document: EP

Effective date: 20221031