WO2021140865A1 - 分類システム、分類方法、及びプログラム - Google Patents

分類システム、分類方法、及びプログラム Download PDF

Info

Publication number
WO2021140865A1
WO2021140865A1 PCT/JP2020/047190 JP2020047190W WO2021140865A1 WO 2021140865 A1 WO2021140865 A1 WO 2021140865A1 JP 2020047190 W JP2020047190 W JP 2020047190W WO 2021140865 A1 WO2021140865 A1 WO 2021140865A1
Authority
WO
WIPO (PCT)
Prior art keywords
classification
class
unit
determination
data
Prior art date
Application number
PCT/JP2020/047190
Other languages
English (en)
French (fr)
Inventor
村田　久治
本村　秀人
ジェッフリー フェルナンド
裕也 菅澤
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202080086092.3A priority Critical patent/CN114787732A/zh
Priority to JP2021569800A priority patent/JP7220356B2/ja
Priority to US17/756,863 priority patent/US11989226B2/en
Publication of WO2021140865A1 publication Critical patent/WO2021140865A1/ja
Priority to JP2023004253A priority patent/JP2023056522A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This disclosure is made in view of the above reasons, and an object of the present disclosure is to provide a classification system, a classification method, and a program capable of improving the reliability of class determination of an object.
  • FIG. 5 is a diagram for explaining the first model and the second model in the same classification system.
  • FIG. 6 is a conceptual diagram of the second model as described above.
  • FIG. 7A is an explanatory diagram regarding three image data in the classification system of the same.
  • FIG. 7B is an explanatory diagram regarding three image data in the classification system of the same.
  • FIG. 7C is an explanatory diagram regarding three image data in the classification system of the same.
  • FIG. 8 is a flowchart relating to the operation in the same classification system.
  • FIG. 9 is an explanatory diagram regarding image data of a new defect in the first modification of the classification system of the above.
  • FIG. 10 is a diagram for explaining the operation of the first modification of the above, and is a conceptual diagram relating to the second model.
  • FIG. 11 is a flowchart relating to the operation in the first modification of the above.
  • FIG. 12 is a flowchart relating to the operation in the second modification of the classification system of the same.
  • the classification system 1 includes a first classification unit 11 and a second classification unit 12. Further, as shown in FIG. 1, the classification system 1 includes a processing unit 100, a first input unit 31, a second input unit 32, an output unit 33, and a first model storage unit P1 in which the first model is stored. And a second model storage unit P2 in which the second model is stored.
  • the determination unit 13 described above is provided in the processing unit 100.
  • Each of the two input units and the output units 1st input unit 31 and 2nd input unit 32 is used to input data to the classification system 1.
  • Each (input port) of the first input unit 31 and the second input unit 32 is electrically connected to the processing unit 100, and sends the above-mentioned input data to the processing unit 100.
  • the output unit 33 is used to output data from the classification system 1.
  • Examples of the data output from the classification system 1 by the output unit 33 may include information for executing machine learning, information for executing determination processing, and information for operating the classification system 1.
  • the above-mentioned "determination result" information is included.
  • the first model storage unit P1 stores the first model.
  • the first model storage unit P1 includes one or more storage devices.
  • the storage device is, for example, a RAM (RandomAccessMemory) or an EEPROM (ElectricallyErasableProgrammableReadOnlyMemory).
  • match means that the number of the first class C1 is the same as the number of the second class C2, and the defect type linked to the "class 1" to "class 3" of the first class C1 is also the first. 2 It means that it is the same as the defect type linked to "class 1" to "class 3" of class C2.
  • the plurality of first class C1 and the plurality of second class C2 may not match each other.
  • the number of second class C2 may be less than the number of first class C1.
  • it is desirable that the plurality of first class C1s and the plurality of second class C2s are the same for at least one or more defect types.
  • step Y includes feature quantities related to rotation speed, pressure, and humidity as an example of feature quantities related to manufacturing conditions.
  • These feature quantities are sensor data detected by one or more sensors in step Y.
  • the one or more sensors in step Y include, for example, an angular velocity sensor that monitors the rotation speed of the production equipment (for example, a motor) used in the step Y, a pressure sensor that monitors the pressure of the production equipment (for example, a press machine), and production. It may include a humidity sensor or the like that monitors the humidity in the equipment or the ambient humidity.
  • step Z includes features related to time, flow rate, and temperature as an example of features related to manufacturing conditions. These feature quantities are sensor data detected by one or more sensors in step Z.
  • the one or more sensors in the process Z include, for example, a timekeeping sensor for monitoring the application time of the liquid agent used in the production facility in the process Z, a flow rate sensor for monitoring the flow rate of the liquid agent, a temperature sensor for monitoring the temperature of the liquid agent, and the like. Can include.
  • the feature amount of each process is three types, but the number of types is not particularly limited, and one type or two types may be used, or four or more types may be used. Further, the number of types may differ between processes.
  • the management server receives the image data (inspection image) captured by the imaging device 3 and its file (File) number, associates it with the cell ID, and manages it as a part of the data group D1. To do.
  • the above-mentioned work of labeling a plurality of defective image data visually by the setter into any one (or a plurality) of the defect type "A", the defect type "B", and the defect type "C” is performed. It is desirable to be able to perform the data group D1 on the display device through mouse operation or the like.
  • each feature amount (numerical value) is omitted here because it may differ depending on the type of production equipment actually used.
  • the setter (person) visually creates the second model while referring to the data group D1.
  • the setter is the data of a collection (cluster) of numerical values of each feature amount (each of nine types of feature amounts in total) for all cell IDs whose image data is determined to be defect type "A" in the data group D1.
  • the cluster of numerical values of each feature amount is defined as the specified region R0 in the feature amount space SP1 (see FIG. 6) relating to the manufacturing conditions.
  • the second classification result includes a plurality of defined regions R0 corresponding to a plurality of second class C2s in the feature quantity space SP1 relating to the manufacturing conditions.
  • the feature space SP1 is represented by a two-dimensional (horizontal axis and vertical axis) graph for easier understanding.
  • one of nine types of features (current, voltage, vibration, etc.) (for example, “current”) is applied to the X-axis (horizontal axis), and the Y-axis (for example, "current”) is applied.
  • the vertical axis On the vertical axis), another deviation or one (eg, "voltage") is applied.
  • the number of dimensions of the feature space SP1 is "9".
  • the second model is created as a nine-dimensional feature space SP1, and a plurality of defined regions R0 corresponding to each of the plurality of second class C2s are defined in the feature space SP1.
  • Data regarding the second model is input from, for example, the second input unit 32.
  • the processing unit 100 controls the overall control of the classification system 1, that is, controls the first input unit 31, the second input unit 32, the output unit 33, the first model storage unit P1, and the second model storage unit P2. It is composed of.
  • the processing unit 100 can be realized by, for example, a computer system including one or more processors (microprocessors) and one or more memories. That is, one or more processors execute one or more programs (applications) stored in one or more memories, thereby functioning as the processing unit 100.
  • the program is pre-recorded in the memory of the processing unit 100 here, the program may be provided by being recorded in a non-temporary recording medium such as a memory card or through a telecommunication line such as the Internet.
  • the learning unit 10 executes a learning method for generating a learned model (first model which is the first classification unit 11) for determining image data. That is, the learning unit 10 is mainly responsible for processing related to the learning phase. In the learning method, a plurality of image data are used. As described above, the learning unit 10 generates the first model by supervised learning. That is, the learning unit 10 uses the data in which the setter labels a plurality of image data that have been “NG determined” in advance into any one (or a plurality) of the defect types “A” to “C”, and performs machine learning. To create the first model. That is, the image M1 of the object 2 is used as the learning image.
  • the notification unit 14 corresponds to the function unit 6 that executes a predetermined process according to the determination result in the determination unit 13.
  • the classification system 1 processing unit 100
  • the classification system 1 further includes a functional unit 6.
  • the predetermined processing of the functional unit 6 includes a notification processing.
  • the function unit 6 (notification unit 14) is, for example, through a screen display on the image display device in the output unit 33, a voice message or notification sound (including an alarm sound) from the speaker, or both the screen display and the speaker output. , Notify the user (for example, the inspector of the object 2) of the determination result.
  • the determination unit 13 recognizes the spatial position of the defect 5 (upper right of the edge 20) and the number of defects 5 (1) by the heat map.
  • the determination unit 13 executes the second determination process.
  • "the fact that a predetermined definite condition is not satisfied” can be said to be one of the “uncertainty factors”.
  • the determination unit 13 is based on the distance L0 (see FIG. 6) from the feature amount of the second target data in the feature amount space SP1 to each of the plurality of defined regions R0. Determine the class of object 2. However, as described above, the determination unit 13 has already narrowed down the second class C2 to two. Therefore, the determination unit 13 has "class 1" and "class 2" among the three defined regions R0, that is, the first defined region R1 and the second corresponding to the defect type "A" and the defect type "B", respectively. Focus on the defined area R2.
  • the learning unit 10 associates the image data determined to be the defect type "A" and the defect type "B" in the first determination process with the defect type "A" which is the determination result of the second determination process. Add as teacher data. That is, the learning unit 10 relearns the first model using the determination result of the determination unit 13.
  • step S2 If the determination basis is the same spatial position (step S2: Yes), the determination unit 13 executes the second determination process and determines the class of the object 2 of interest based on the distance L0 in the feature space SP1. (Step S3). Then, the output unit 33 outputs the class determined in the second determination process as the determination result (step S4).
  • the determination unit 13 when the first classification result indicates the result of classification into two or more first class C1, the determination unit 13 has two or more events (defect 5) corresponding to two or more first class C1. ) Are at the same position, the class of the object 2 is determined using the second classification result. Further, if the positions of the two or more events (defects 5) corresponding to the two or more first class C1 are different positions, the determination unit 13 does not use the second classification result and class of the object 2. To judge.
  • the determination unit 13 determines the class of the object 2 without using the second classification result. That is, the determination unit 13 may not execute the second determination process. Therefore, the processing load related to the class determination can be reduced. Further, for example, the inspection time of the object 2 can be shortened.
  • the integrated circuit such as IC or LSI referred to here has a different name depending on the degree of integration, and includes an integrated circuit called a system LSI, VLSI (Very Large Scale Integration), or ULSI (Ultra Large Scale Integration).
  • an FPGA Field-Programmable Gate Array
  • a plurality of electronic circuits may be integrated on one chip, or may be distributed on a plurality of chips.
  • the plurality of chips may be integrated in one device, or may be distributed in a plurality of devices.
  • the computer system referred to here includes a microprocessor having one or more processors and one or more memories. Therefore, the microprocessor is also composed of one or a plurality of electronic circuits including a semiconductor integrated circuit or a large-scale integrated circuit.
  • FIG. 9 is an explanatory diagram regarding image data of a new defect in the first modification of the classification system 1.
  • FIG. 10 is a diagram for explaining the operation of the first modification of the classification system 1, and is a conceptual diagram relating to the second model.
  • FIG. 11 is a flowchart relating to the operation in the first modification of the classification system 1.
  • the determination unit 13 is performing processing related to the application phase using the first model (first determination processing)
  • a new (unknown) defect that has not been learned in the first model may be found.
  • the object 2 of the "image 4" shown in FIG. 9 has a defect 5 distorted in an elliptical shape as a whole. If such a defect 5 has never occurred in the past, there is a possibility that the corresponding defect type is not set as the teacher data.
  • the determination unit 13 of this modification determines that the defect 5 exists at least in the image data, while the defect 5 corresponds to any of the defect types "A" to "C". If it is determined not, the defect 5 is determined to be the defect type "unknown".
  • the determination unit 13 of the basic example does not exist in the same spatial position when the first classification result is a "predetermined definite condition" (the number of defects 5 is one, or the number of defects 5 is a plurality.
  • the determination unit 13 of this modification executes the second determination process regardless of the number of defects 5 and the spatial position. That is, it can be said that the defect 5 of the defect type “unknown” is one of the “uncertain factors”.
  • the determination unit 13 of this modification executes the second determination process. Further, in addition to the defect 5 of the defect type "unknown", for example, even if the defect 5 of the defect type "A" exists and these exist at different spatial positions, the determination unit 13 of this modification is the second. Execute the judgment process.
  • the determination unit 13 of the present modification indicates whether the shortest distance L0 (hereinafter referred to as “target distance L0”) among the three distances L0 from the centers A1 to A3 of the three defined regions R0 is equal to or greater than the threshold value. Determine if it is below the threshold. If the target distance L0 is equal to or greater than the threshold value, that is, if the manufacturing data K2 is relatively far from the center of any specified region R0, the determination unit 13 determines the defect of the defect type “unknown” in the first determination process. 5 is determined to be a "new defect". In this case, since the determination unit 13 of this modification does not correspond to any of "class 1" to "class 3", the output unit 33 does not output as a class determination result.
  • the class of the object 2 is determined to be the class (for example, "class 1") linked to the defect type (for example, the defect type "A") after the determination based on the manufacturing data.
  • the processing unit 100 outputs from the output unit 33 that the object 2 is “class 1”.
  • the manufacturing data K2 may be close to the specified region R0 corresponding to two or more defect types among the defect types "A" to "C".
  • the determination unit 13 of the present modification sets the target distance L0 to the defined region R0. Determine the corresponding two or more defect types.
  • the determination unit 13 does not output the class determination result from the output unit 33 because there are two or more classes and it becomes difficult to obtain consistency.
  • the notification unit 14 has a new defect through the screen display on the image display device in the output unit 33, the output of the voice message or the alarm sound from the speaker, or both the screen display and the speaker output. Warn the user that it is likely.
  • the determination unit 13 determines whether or not the defect type "unknown" exists in the image data of the object 2 of interest (step S11). If the defect type "unknown” does not exist (step S11: No), it is determined whether to output the determination result as it is or to execute the second determination process based on the determined defect type as in the basic example. (Step S12: Go to step S1 in FIG. 8).
  • step S11: Yes the determination unit 13 makes a comparison determination with the threshold value based on the target distance L0 (step S13). If the target distance L0 is equal to or greater than the threshold value (step S13: Yes), the notification unit 14 warns the user of the occurrence of a new defect (step S14).
  • step S13 determines whether the target distance L0 is less than the threshold value (step S13: No). If the target distance L0 is less than the threshold value (step S13: No), the determination unit 13 makes a comparison determination between the difference between the target distance L0 and the other distance L0 and the predetermined value (step S15). If this difference is equal to or greater than a predetermined value (step S15: Yes), the determination unit 13 determines the defect type corresponding to the target distance L0, outputs the determination result (step S16), and the learning unit 10 further determines the first defect type. Re-learning of one model is executed (step S17). If the above difference is less than a predetermined value (step S15: No), the determination unit 13 warns the user of the occurrence of a new defect (step S14).
  • the determination unit 13 can determine whether or not the defect 5 is new in the second determination process after recognizing the existence of the defect 5 of the defect type "unknown" in the first determination process. It has become.
  • the determination unit 13 of the present modification is configured to recognize the existence of the defect type "unknown" in the second determination process even if it does not recognize the existence in the first determination process.
  • the determination unit 13 of the present modification determines in the first determination process that the spatial positions of two or more defect types (for example, "A" and "B") are the same, and the first determination process is performed. 2 A case of executing the determination process will be described.
  • the determination unit 13 of this modification first makes a comparison determination with the threshold value based on the target distance L0. If the target distance L0 is equal to or greater than the threshold value, the determination unit 13 determines that the defect type is “unknown”. However, unlike the first modification, the determination unit 13 does not determine that it is a "new defect”, but trusts the defect types "A” and "B” determined by the first determination process. The determination unit 13 determines the defect type corresponding to the specified region R0 having the shorter distance L0 among the defect types "A” and "B", and outputs the determination result.
  • the determination unit 13 of the present modification then performs a comparison determination between the difference between the target distance L0 and the other distance L0 and the predetermined value. If the difference between the target distance L0 and the other distance L0 is equal to or greater than a predetermined value, the defect type corresponding to the target distance L0 is determined and the determination result is output. Further, since there is a possibility that the determination based on the image data is erroneous due to the lack of learning of the first model, the learning unit 10 relearns the first model using the determination result of the determination unit 13.
  • FIG. 12 is a flowchart relating to the operation in the second modification of the classification system 1.
  • the determination unit 13 determines whether or not the determination basis (two or more defect types) is the same spatial position for the image data of the object 2 of interest (step S21: step of FIG. 8 in a basic example). Corresponds to S2 "Yes").
  • step S21: Yes the determination unit 13 executes the second determination process and makes a comparison determination with the threshold value based on the target distance L0 (step S22). If the determination basis is not the same spatial position (step S21: No), the determination result is output as it is (step S24).
  • step S22 If the target distance L0 is less than the threshold value (step S22: No), the determination unit 13 makes a comparison determination between the difference between the target distance L0 and the other distance L0 and the predetermined value (step S25). If this difference is equal to or greater than a predetermined value (step S25: Yes), the determination unit 13 determines the defect type corresponding to the target distance L0, outputs the determination result (step S26), and the learning unit 10 further determines the first defect type. Relearning of one model is executed (step S27).
  • the reliability regarding the class determination of the object 2 can be further improved.
  • the lack of learning of the first model can be improved.
  • the first model is a trained model, but it does not have to be a trained model.
  • the second model is not a trained model, but may be a trained model.
  • the determination unit 13 is normal as it is without executing the determination based on the manufacturing data (second determination process) if the number of defects is zero (0) in the determination based on the image data (first determination process). The judgment result is output. However, the determination unit 13 may execute the second determination process even if the number of defects is zero (0) in the determination based on the image data (first determination process). If it is normal, the determination result may not be output.
  • the threshold value may be set in a plurality of stages.
  • the classification system (1) includes a first classification unit (11), a second classification unit (12), and a determination unit (13). ..
  • the first classification unit (11) classifies the first target data into at least one first class (C1) among a plurality of first classes (C1).
  • the second classification unit (12) classifies the second target data into at least one second class (C2) among the plurality of second classes (C2).
  • the determination unit (13) uses either one of the first classification result, which is the classification result by the first classification unit (11), and the second classification result, which is the classification result by the second classification unit (12). Determine whether to use both, and determine the class of object (2) based on one or both.
  • the first target data is the image data of the target object (2).
  • the second target data is manufacturing data relating to the manufacturing conditions of the target object (2). According to the first aspect, it is possible to improve the reliability of the class determination of the object (2).
  • the determination unit (13) uses the second classification result when the first classification result satisfies a predetermined definite condition. Instead, determine the class of the object (2). According to the third aspect, the processing load related to the class determination can be reduced.
  • the determination unit (13) when the first classification result shows the result of classification into two or more first classes (C1), the determination unit (13) , Judge as follows. That is, if the positions of the two or more events corresponding to the two or more first class (C1) are the same position, the determination unit (13) uses the second classification result to use the object (2). Determine the class of. Further, if the positions of the two or more events corresponding to the two or more first class (C1) are different positions, the determination unit (13) does not use the second classification result, and the object (2) Determine the class of. According to the fifth aspect, when the positions of two or more events are the same position, the reliability of the class determination of the object (2) can be further improved. Further, when the positions of two or more events are different positions, the processing load related to the class determination can be reduced.
  • the determination unit (13) first uses the first classification result to obtain the object (2). ) Judge the class. When the determination unit (13) has an uncertain factor regarding the class determination of the object (2) in the first classification result, the determination unit (13) determines the class of the object (2) by using the second classification result. According to the seventh aspect, for example, the possibility of finding a classification error in the first classification result can be increased. It can also increase the likelihood of finding new classes (eg new defects).
  • the classification system (1) includes a functional unit (6) that executes a predetermined process according to the determination result in the determination unit (13) using the second classification result. Further prepare. According to the eighth aspect, the applicability of the determination result in the determination unit (13) can be enhanced. For example, if the predetermined process includes the notification process, the determination result can be transmitted to a person.
  • the plurality of first classes (C1) and the plurality of second classes (C2) are objects. It is defined by the defect of (2). According to the ninth aspect, the reliability of defect determination of the object (2) can be improved.
  • the first classification unit (11) selects a plurality of first classes (C1) from the image data. It is a trained model that has been trained. According to the tenth aspect, the reliability regarding the classification in the first classification unit (11) is improved, and as a result, the reliability regarding the class determination of the object (2) can be further improved.
  • the second classification unit (12) includes each of the plurality of second classes (C2). This model is associated with the data distribution of features related to manufacturing conditions. According to the eleventh aspect, the reliability regarding the classification in the second classification unit (12) is improved, and as a result, the reliability regarding the class determination of the object (2) can be further improved.
  • the classification method includes a first classification step, a second classification step, and a determination step.
  • the first classification step the first target data is classified into at least one first class (C1) among a plurality of first classes (C1).
  • the second classification step the second target data is classified into at least one second class (C2) among the plurality of second classes (C2).
  • the determination step it is determined whether to use one of the first classification result, which is the classification result of the first classification step, and the second classification result, which is the classification result of the second classification step, or both. Then, the class of the object is determined based on one or both of them.
  • the first target data is the image data of the target object (2).
  • the second target data is manufacturing data relating to the manufacturing conditions of the target object (2). According to the twelfth aspect, it is possible to provide a classification method capable of improving the reliability of the class determination of the object (2).
  • the program according to the thirteenth aspect is a program for causing one or more processors to execute the classification method in the twelfth aspect. According to the thirteenth aspect, it is possible to provide a function capable of improving the reliability of the class determination of the object (2).
  • the configurations according to the second to eleventh aspects are not essential configurations for the classification system (1) and can be omitted as appropriate.
  • the classification system, classification method, and program of the present disclosure there is an advantage that the reliability of class determination of an object can be improved. Therefore, the invention according to the present disclosure contributes to the improvement of reliability of devices and the like, and is industrially useful.
  • Classification system 11 1st classification unit 12 2nd classification unit 13 Judgment unit 2 Object 6 Functional unit C1 1st class C2 2nd class L0 Distance R0 Specified area SP1 Feature space

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • General Factory Administration (AREA)

Abstract

対象物のクラス判定に関する信頼性の向上を図る。分類システム（１）は、第１分類部（１１）と第２分類部（１２）と判定部（１３）とを備える。第１分類部（１１）は、第１対象データを、複数の第１クラス（Ｃ１）の中の少なくとも１つの第１クラス（Ｃ１）に分類する。第２分類部（１２）は、第２対象データを、複数の第２クラス（Ｃ２）の中の少なくとも１つの第２クラス（Ｃ２）に分類する。判定部１３は、第１分類部（１１）による分類結果である第１分類結果、及び第２分類部（１２）による分類結果である第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物２のクラスを判定する。第１対象データは、対象物（２）の画像データである。第２対象データは、対象物（２）の製造条件に関する製造データである。

Description

分類システム、分類方法、及びプログラム
　本開示は、一般に、分類システム、分類方法、及びプログラムに関する。より詳細には、対象物のクラスを判定する分類システム、分類方法、及びプログラムに関する。
　特許文献１には、製品の品質異常の要因となる異常工程を精度よく推定するための異常工程推定方法が開示されている。この異常工程推定方法では、複数の工程からなる製造ラインにおけるセンサからのセンサデータを収集する。そして、正常な品質にかかる製品のセンサデータに基づき、工程間の経過時間が特徴ベクトルに含まれるように機械学習を実行することで、工程それぞれに対応するセンサ間の相関モデルを複数生成する。そして、相関モデルの出力値に基づいて、工程ごとにおける正常状態からの乖離度を評価して、その乖離度に基づいて、複数の工程のうちから製品の品質異常の要因となる異常工程を判定する。
特開２０１９－４９９４０号公報
　ところで、製品（対象物）のクラス（例えば異常又は欠陥等の種別）をより正確に判定することが望まれる場合がある。
　本開示は上記事由に鑑みてなされ、対象物のクラス判定に関する信頼性の向上を図ることができる、分類システム、分類方法、及びプログラムを提供することを目的とする。
　本開示の一態様の分類システムは、第１分類部と、第２分類部と、判定部と、を備える。第１分類部は、第１対象データを、複数の第１クラスの中の少なくとも１つの第１クラスに分類する。第２分類部は、第２対象データを、複数の第２クラスの中の少なくとも１つの第２クラスに分類する。判定部は、第１分類部による分類結果である第１分類結果、及び第２分類部による分類結果である第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物のクラスを判定する。第１対象データは、対象物の画像データである。第２対象データは、対象物の製造条件に関する製造データである。
　本開示の一態様の分類方法は、第１分類ステップと、第２分類ステップと、判定ステップと、を含む。第１分類ステップにて、第１対象データを、複数の第１クラスの中の少なくとも１つの第１クラスに分類する。第２分類ステップにて、第２対象データを、複数の第２クラスの中の少なくとも１つの第２クラスに分類する。判定ステップにて、第１分類ステップによる分類結果である第１分類結果、及び第２分類ステップによる分類結果である第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物のクラスを判定する。第１対象データは、対象物の画像データである。第２対象データは、対象物の製造条件に関する製造データである。
　本開示の一態様のプログラムは、１以上のプロセッサに本開示の分類方法を実行させるためのプログラムである。
　本開示によれば、対象物のクラス判定に関する信頼性の向上を図ることができる、という利点がある。
図１は、一実施形態に係る分類システムの概略構成図である。 図２Ａは、同上の分類システムにおける対象物（電池缶）及び撮像装置の斜視図であり、対象物の画像データを説明するための概念図である。 図２Ｂは、同上の対象物の画像データの一例（欠陥種別「Ａ」）を示す図である。 図２Ｃは、同上の対象物の画像データの別の一例（欠陥種別「Ｂ」）を示す図である。 図３は、同上の対象物における２種類の欠陥の模式的な図である。 図４Ａは、同上の対象物の画像データの一例を示す図である。 図４Ｂは、図４Ａの対象物に関するヒートマップの概念図である。 図５は、同上の分類システムにおける第１モデル及び第２モデルを説明するための図である。 図６は、同上の第２モデルに関する概念図である。 図７Ａは、同上の分類システムにおける３つの画像データに関する説明図である。 図７Ｂは、同上の分類システムにおける３つの画像データに関する説明図である。 図７Ｃは、同上の分類システムにおける３つの画像データに関する説明図である。 図８は、同上の分類システムにおける動作に関するフローチャートである。 図９は、同上の分類システムの第一変形例における、新しい欠陥の画像データに関する説明図である。 図１０は、同上の第一変形例の動作を説明するための図であり、第２モデルに関する概念図である。 図１１は、同上の第一変形例における動作に関するフローチャートである。 図１２は、同上の分類システムの第二変形例における動作に関するフローチャートである。
　（１）概要
　以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。
　図１は、一実施形態に係る分類システム１の概略構成図である。図２Ａは、分類システム１における対象物２（電池缶Ｈ１）及び撮像装置３の斜視図であり、対象物の画像データを説明するための概念図である。本実施形態に係る分類システム１は、図１に示すように、第１分類部１１と、第２分類部１２と、判定部１３と、を備えている。
　第１分類部１１は、第１対象データを、複数の第１クラスＣ１（図７Ａ～図７Ｃ参照）の中の少なくとも１つの第１クラスＣ１に分類する。第１対象データは、対象物２の画像データである。ここでは一例として、第１分類部１１は、（複数の）画像データから複数の第１クラスＣ１を学習した学習済みモデル（以下、「第１モデル」と呼ぶことがある）であり、第１モデル格納部Ｐ１に格納されている。つまり、第１モデルは、機械学習により生成されたモデルである。以下では、図２Ａに示すように、一例として、対象物２を、アルカリ電池又はリチウムイオン電池等の電池缶Ｈ１（金属製の円筒の電池ケース）であることを想定する。
　第２分類部１２は、第２対象データを、複数の第２クラスＣ２（図７Ｃ参照）の中から少なくとも１つの第２クラスＣ２に分類する。第２対象データは、対象物２の製造条件に関する製造データである。ここでは一例として、第２分類部１２は、複数の第２クラスＣ２の各々と、製造条件に関する特徴量のデータ分布とが対応付けされたモデル（以下、「第２モデル」と呼ぶことがある）である。第２モデルは、一例として、学習済みモデルではない。
　判定部１３は、第１分類部１１による分類結果である第１分類結果、及び第２分類部１２による分類結果である第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物２のクラスを判定する。ここでいう「対象物のクラス」は、例えば、（製造後の）電池缶Ｈ１に発生している１又は複数の事象の種別であり、ここでは「欠陥種別」とリンクされていることを想定する。したがって、ここでは一例として、複数の第１クラスＣ１及び複数の第２クラスＣ２は、対象物２の欠陥によって規定される。
　この構成によれば、判定部１３は、第１分類結果、及び第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物２のクラス（ここでは欠陥種別）を判定する。そのため、画像データだけを頼りに、又は製造データだけを頼りに、対象物２のクラスを判定する場合と比べて、対象物２のクラス判定に関する信頼性の向上を図ることができる。
　（２）詳細
　以下、本実施形態に係る分類システム１の構成について、図１～図８を参照しながら詳しく説明する。
　（２．１）全体構成
　本実施形態に係る分類システム１は、上述した通り、第１分類部１１と、第２分類部１２とを備えている。また分類システム１は、図１に示すように、処理部１００と、第１入力部３１と、第２入力部３２と、出力部３３と、第１モデルが格納される第１モデル格納部Ｐ１と、第２モデルが格納される第２モデル格納部Ｐ２とを更に備えている。上述した判定部１３は、処理部１００に設けられている。
　上述した通り、分類システム１がクラス判定を行う対象物２は、図２Ａに示すように、アルカリ電池又はリチウムイオン電池等の電池缶Ｈ１である。電池缶Ｈ１は、金属製の円筒の電池ケースであり、その一端面（図２Ａでは上端面）が開放された有底円筒状となっている。
　また上述した通り、第１分類部１１は、対象物２の画像データである第１対象データを、複数の第１クラスＣ１の中の「少なくとも１つの第１クラスＣ１」に分類する。つまり、１つの画像データが２つ以上の第１クラスＣ１に分類される場合もある。
　対象物２（電池缶Ｈ１）の画像データは、画像Ｍ１（図２Ｂ及び２Ｃ参照）を表すデータである。画像Ｍ１は、対象物２の画像である。画像Ｍ１は、開放された一端面を上に向けて電池缶Ｈ１を水平な設置面上に立てた状態で、上方から撮像装置３（カメラ）で撮像されたものである。電池缶Ｈ１は、製造後の缶であり、中空である。したがって、画像Ｍ１には、電池缶Ｈ１の縁部２０、内周面２１、及び底面２２が写っている。
　図２Ｂ及び図２Ｃは、それぞれ異常な状態の対象物２（電池缶Ｈ１）の例における画像Ｍ１を示す。
　図２Ｂの画像Ｍ１では、対象物２の縁部２０において、内側に向かって凹んだフラット状の凹み５１がある。言い換えると、図２Ｂの対象物２に発生している事象は、欠陥５であり、具体的にはフラット状の凹み５１である。以下、フラット状の凹み５１が分類される種別（クラス）を、欠陥種別「Ａ」と呼ぶことがある。
　また図２Ｃの画像Ｍ１では、対象物２の縁部２０において、内側に向かって凹んだカーブ状の凹み５２がある。言い換えると、図２Ｃの対象物２に発生している事象は、欠陥５であり、具体的にはカーブ状の凹み５２である。以下、カーブ状の凹み５２が分類される種別（クラス）を、欠陥種別「Ｂ」と呼ぶことがある。
　また対象物２に発生する事象は、対象物２の内周面２１又は底面２２に発生する線傷５３（図７Ｂ参照）もある。以下、線傷５３が分類される種別（クラス）を、欠陥種別「Ｃ」と呼ぶことがある。
　電池缶Ｈ１に生じ得る欠陥５としては、フラット状の凹み５１、カーブ状の凹み５２、及び線傷５３に限定されない。電池缶Ｈ１に生じ得る欠陥５としては、その他にも、点打痕、円擦り傷、汚れ、及び液付着等が挙げられるが、ここでは説明の便宜上、上記の３つ欠陥種別「Ａ」～「Ｃ」のみについて説明する。
　本実施形態に係る分類システム１では、着目した対象物２において、どのような種別の欠陥５が、何箇所発生しているかについて、より正確に判定される（対象物２のクラス判定）。本実施形態の分類システム１では、対象データ（第１対象データである画像データ）の入力に対する最終的な出力は、対象物２が、欠陥のない正常な状態であるか、欠陥のある異常な状態であるか、異常な状態ならどのクラス（欠陥種別）かを示す「判定結果」となる。したがって、分類システム１は、例えば対象物２の検査に利用可能である。以下では、対象物２の判定結果が、欠陥のない正常な状態を示す場合、「ＯＫ判定」と呼ぶことがある。一方、対象物２の判定結果が、欠陥のある異常な状態を示す場合、「ＮＧ判定」と呼ぶことがある。
　特に、詳細は後述するが、欠陥５のサイズが比較的に小さい場合、フラット状の凹み５１ともカーブ状の凹み５２とも判断し得る可能性がある。例えば、図３は、合計９つの対象物２に関する欠陥５の模式的な図であり、上段（一点鎖線の枠Ｆ１参照）にある４つの対象物２は、いずれも欠陥種別「Ａ」に該当するが、左側から右側に向かうほどフラット状の凹み５１のサイズが小さくなっている場合を示す。また下段（二点鎖線の枠Ｆ２参照）にある４つの対象物２は、いずれも欠陥種別「Ｂ」に該当するが、左側から右側に向かうほどカーブ状の凹み５２のサイズが小さくなっている場合を示す。
　ここで、枠Ｆ１と枠Ｆ２の両方に含まれている右端にある対象物２は、その欠陥５のサイズが、他の欠陥５に比べて小さい。そのため、画像データだけによるクラス判定では、欠陥種別「Ａ」及び欠陥種別「Ｂ」のいずれであるかについて判定しにくい場合がある。
　これに対して、本実施形態の分類システム１は、補助的に、第２対象データである製造データも活用することで、より精度の高いクラス判定を実現し得るものである。特に、対象物２に対して何かしらの欠陥（不良）が発生している場合、製造ラインの複数の工程のどこかに、その要因が潜んでいる可能性が高い（例えば生産設備における各種パラメータの設定誤り、又は設備機器の不具合の発生等）。したがって、各工程における製造データにも、異常な数値として発現している可能性が高い。そこで、製造データも活用することで、より精度の高いクラス判定を実現できる。
　（２．２）２つの入力部、及び出力部
　第１入力部３１及び第２入力部３２の各々は、分類システム１にデータを入力するために用いられる。
　第１入力部３１及び第２入力部３２の各々によって分類システム１に入力するデータの例としては、機械学習の実行のための情報、判定処理の実行のための情報、及び、分類システム１の操作のための情報を含み得る。
　ここでは第１入力部３１によって入力するデータは、主に、画像データ（第１対象データ）を含む。つまり、第１入力部３１への入力データは、主に、撮像装置３で撮像された、検査対象となる画像データ（検査画像）を含む。
　一方、第２入力部３２によって入力するデータは、主に、対象物２の製造条件に関する製造データ（第２対象データ）を含む。ここでは一例として、製造データとは、製造ラインに設置された（後述する）各種センサから直接的に検知されたセンサデータ、又はセンサデータに基づき推定された推定データ等である。つまり、第２入力部３２への入力データは、主に、対象物２の製造ラインの１又は複数の製造工程において適用された電流（値）、電圧（値）、温度、湿度、時間、又は流量等に関するデータ（実績データ）を含む。
　第１入力部３１及び第２入力部３２の各々は、データの入力のための１以上のインタフェースを含む。１以上のインタフェースは、データの入力のためのポート、及び分類システム１を操作するための入力装置を含む。入力装置は、例えば、キーボード、マウス、トラックボール、タッチパッド等を含み得る。
　第１入力部３１及び第２入力部３２の各々（入力ポート）は、処理部１００と電気的に接続されていて、上述した入力データを、処理部１００に送る。
　各画像データは、その対象物２の製造条件に関する製造データと対応付けされている。具体的には、製造された各々の対象物２には、その識別番号として「セルＩＤ」（図５参照）が付与されていて、各セルＩＤは、製造データ、及び画像（データ）と対応付けされている。言い換えると、第１入力部３１によって入力するデータは、画像データ、及び当該画像データと対応付けされたセルＩＤを含む。同様に、第２入力部３２によって入力するデータは、製造データ、及び当該製造データと対応付けされたセルＩＤを含む。したがって、処理部１００は、各入力部を通じて、画像データと製造データとを例えば別々のタイミングで取得しても、セルＩＤに基づき、画像データに対応する製造データを（又は製造データに対応する画像データを）特定可能である。
　出力部３３は、分類システム１からデータを出力するために用いられる。出力部３３により分類システム１から出力するデータの例としては、機械学習の実行のための情報、判定処理の実行のための情報、及び、分類システム１の操作のための情報を含み得る。特に出力部３３により出力するデータの例として、上述した「判定結果」の情報を含む。
　出力部３３は、データの出力のための１以上のインタフェースを含む。１以上のインタフェースは、データの出力のためのポート、データを表示するための画像表示装置、及び音声メッセージ及び報知音（警報音）を出力するスピーカ等を含む。画像表示装置は、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等の薄型のディスプレイ装置を含み得る。
　分類システム１を利用するユーザは、出力部３３の画像表示装置を通じて、例えば、複数の対象物２に対する判定結果に関するリストを閲覧できる。特に後述する報知部１４の報知内容は、例えば、出力部３３によって、ユーザに報知され得る。
　（２．３）第１モデル、及び第１モデル格納部
　第１モデル（第１分類部１１）は、第１入力部３１から入力される画像データ（第１対象データ）の判定に使用される。第１モデルは、画像データと判定の結果との関係を学習した学習済みモデルである。言い換えると、第１分類部１１は、対象物２の画像データから複数の第１クラスＣ１（図７Ａ～図７Ｃ参照）を学習した学習済みモデルである。したがって、本実施形態では、第１分類部１１による分類結果である「第１分類結果」とは、学習済みモデルによる「結果」である。
　第１分類部１１（第１モデル）は、対象物２の画像データを、複数の第１クラスＣ１の中の少なくとも１つの第１クラスＣ１に分類する。ここでは、複数の第１クラスＣ１は、分類カテゴリーとして、「クラス１」、「クラス２」及び「クラス３」（図７Ａ～図７Ｃ参照）を含み得る。また第１分類部１１は、対象物２の画像データを、画像データ内の、対象物２に発生している１又は複数の事象（ここでは欠陥５）の種別に基づいて分類する。そして、「クラス１」、「クラス２」及び「クラス３」は、欠陥種別「Ａ」、欠陥種別「Ｂ」、及び欠陥種別「Ｃ」と、一対一でそれぞれリンクしている。
　処理部１００の（後述する）学習部１０は、例えば学習用データセットを利用した教師あり学習により、学習済みモデル（第１モデル）を生成する。具体的には、例えば、設定者（人）が、目視によって「ＮＧ判定」された欠陥のある複数の画像データを、教師データとして、欠陥種別「Ａ」、欠陥種別「Ｂ」、及び欠陥種別「Ｃ」のいずれか１つ（又は複数）にラベリングする。そして、設定者は、そのラベリングしたデータを、例えば第１入力部３１から入力する。そして、学習部１０は、ラベリングされたデータ（画像データと欠陥種別）を用いて、機械学習により、第１モデル（画像分類モデル）を作成する。
　例えば、図５（データ群Ｄ１）を参照しながら説明すると、設定者の目視によって「ＮＧ判定」された「ファイル（File）１０」及び「ファイル４５」・・・の画像データは、それぞれ欠陥種別「Ａ」とラベリングされる。また設定者の目視によって「ＮＧ判定」された「ファイル６８」・・・の画像データは、それぞれ欠陥種別「Ｂ」とラベリングされる。また設定者の目視によって「ＮＧ判定」された「ファイル９０」・・・の画像データは、それぞれ欠陥種別「Ｃ」とラベリングされる。
　第１モデル格納部Ｐ１は、第１モデルを格納する。第１モデル格納部Ｐ１は、１以上の記憶装置を含む。記憶装置は、例えば、ＲＡＭ（Random Access Memory）、又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。
　（２．４）第２モデル、及び第２モデル格納部
　第２モデル（第２分類部１２）は、第２入力部３２から入力される製造データ（第２対象データ）の判定に使用される。第２モデルは、学習済みモデルではなく、設定者（人）によって作成されたモデルである。第２分類部１２は、複数の第２クラスＣ２（図７Ｃ参照）の各々と、製造条件に関する特徴量（図５では、適用された電流（値）、電圧（値）、振動、回転数、圧力、湿度、時間、流量、又は温度）のデータ分布とが対応付けされたモデルである。したがって、本実施形態では、第２分類部１２による分類結果である「第２分類結果」とは、上記第２モデルによる「結果」である。
　第２分類部１２（第２モデル）は、対象物２の製造データ（電流等の特徴量に関する数値）を、複数の第２クラスＣ２の中の少なくとも１つの第２クラスＣ２に分類する。複数の第２クラスＣ２は、分類カテゴリーとして、「クラス１」、「クラス２」及び「クラス３」を含み得る。「クラス１」、「クラス２」及び「クラス３」は、欠陥種別「Ａ」、欠陥種別「Ｂ」、及び欠陥種別「Ｃ」と、一対一でそれぞれリンクしている。つまり、ここでは、複数の第１クラスＣ１と複数の第２クラスＣ２とは、互いに一致する。
　ここでいう「一致」とは、第１クラスＣ１の数が、第２クラスＣ２の数と同じで、さらに第１クラスＣ１の「クラス１」～「クラス３」にリンクする欠陥種別も、第２クラスＣ２の「クラス１」～「クラス３」にリンクする欠陥種別と、同じであることを意味する。例えば、複数の第１クラスＣ１と複数の第２クラスＣ２とは、互いに不一致でもよい。例えば、第２クラスＣ２の数が、第１クラスＣ１の数より少なくてもよい。ただし、複数の第１クラスＣ１と複数の第２クラスＣ２とは、少なくとも１つ以上の欠陥種別について互いに同じであることが望ましい。
　ここでは一例として、対象物２は、図５に示すように、３つの工程（工程Ｘ、工程Ｙ、及び工程Ｚ）を経て製造されているものとする。言い換えると、対象物２の製造ラインは、工程Ｘ、工程Ｙ、及び工程Ｚを含む。図５では、左から順に工程Ｘ、工程Ｙ、及び工程Ｚと並んで図示されているが、実際の工程の順番を示すものではない。また工程の数も３つに限定されるものではない。
　図５のデータ群Ｄ１では、工程Ｘは、製造条件に関する特徴量の一例として、電流（値）、電圧（値）、及び振動に関する特徴量を含む。これらの特徴量は、工程Ｘの１又は複数のセンサで検知されたセンサデータである。工程Ｘにおける１又は複数のセンサは、例えば、工程Ｘで使用される生産設備（例えば加工機のアクチュエータ）の電流及び電圧を監視する電流センサ及び電圧センサを含み得る。また１又は複数のセンサは、工程Ｘにおける生産設備又は周囲環境で発生している振動を検知する振動センサを含み得る。特徴量は、各センサで直接的に検知されたセンサデータに限定されない。例えば、「振動」は、振動センサを用いる代わりに、工程Ｘで使用される生産設備（例えば交流モータ）の交流電流の波形における高調波成分に基づいて、推定されてもよい。
　図５のデータ群Ｄ１では、工程Ｙは、製造条件に関する特徴量の一例として、回転数、圧力、及び湿度に関する特徴量を含む。これらの特徴量は、工程Ｙの１又は複数のセンサで検知されたセンサデータである。工程Ｙにおける１又は複数のセンサは、例えば、工程Ｙで使用される生産設備（例えばモータ）の回転数を監視する角速度センサ、生産設備（例えばプレス機）の圧力を監視する圧力センサ、及び生産設備内の湿度又は周囲湿度を監視する湿度センサ等を含み得る。
　図５のデータ群Ｄ１では、工程Ｚは、製造条件に関する特徴量の一例として、時間、流量、及び温度に関する特徴量を含む。これらの特徴量は、工程Ｚの１又は複数のセンサで検知されたセンサデータである。工程Ｚにおける１又は複数のセンサは、例えば、工程Ｚの生産設備で使用される液剤の適用時間を監視する計時センサ、液剤の流量を監視する流量センサ、液剤の温度を監視する温度センサ等を含み得る。
　図５の例では、各工程の特徴量は３種類であるが、種類の数は特に限定されず、１種類又は２種類でもよいし、４種類以上でもよい。また工程間で種類の数が異なってもよい。
　各セルＩＤは、上述した工程Ｘ～Ｚにおける製造条件に関する特徴量に関して、実際にそのセルＩＤに対応する対象物２の製造時に適用されていた特徴量（数値）と対応付けされている。具体的には、セルＩＤ「１０２３２」に対応する対象物２は、「電流：２．３、電圧：１．２、振動：１．０」という特徴量の製造条件による工程Ｘを経て、製造されたことになる。そしてセルＩＤ「１０２３２」は、工程Ｘのセンサデータとして「電流：２．３、電圧：１．２、振動：１．０」と対応付けて管理されている。同様に各セルＩＤは、工程Ｙ、及び工程Ｚで適用されていた特徴量（数値）とも対応付けされている。
　このようなデータ群Ｄ１の管理は、外部の管理サーバで行われてもよいし、分類システム１（処理部１００）で行われてもよい。管理サーバ（又は処理部１００）は、各工程の１又は複数のセンサから、センサデータとして検知値（電気信号）を受信し、セルＩＤと対応付けて管理する。データ群Ｄ１は、液晶ディスプレイ又は有機ＥＬディスプレイ等の薄型のディスプレイ装置といった表示装置の表示画面（スマートフォン又はタブレット端末等の表示画面でもよい）上に表示されて、設定者（人）が閲覧できることが望ましい。
　また管理サーバ（又は処理部１００）は、撮像装置３で撮像された画像データ（検査画像）及びそのファイル（File）番号を受信し、セルＩＤと対応付けて、データ群Ｄ１の一部として管理する。上述した、設定者の目視で、欠陥のある複数の画像データを欠陥種別「Ａ」、欠陥種別「Ｂ」、及び欠陥種別「Ｃ」のいずれか１つ（又は複数）にラベリングする作業は、表示装置上のデータ群Ｄ１を見ながら、マウス操作等を通じて行えることが望ましい。
　図５では各特徴量（数値）の単位については、実際に使用される生産設備の種類によって異なり得るため、ここでは省略している。
　そして、設定者（人）は、目視によって、データ群Ｄ１を参照しながら、第２モデルを作成する。設定者は、データ群Ｄ１において、画像データが欠陥種別「Ａ」と判断されている全てのセルＩＤに関する各特徴量（全部で９種類の特徴量の各々）の数値の集まり（クラスタ）のデータ分布を、欠陥種別「Ａ」と対応付ける。つまり、各特徴量の数値のクラスタは、製造条件に関する特徴量空間ＳＰ１（図６参照）において、規定領域Ｒ０として規定される。言い換えると、第２分類結果は、製造条件に関する特徴量空間ＳＰ１において、複数の第２クラスＣ２にそれぞれ対応する複数の規定領域Ｒ０を含む。
　図６では、説明の便宜上、特徴量空間ＳＰ１を、より理解し易くするために、二次元（横軸及び縦軸）のグラフで表現している。例えば、図６では、Ｘ軸（横軸）には、９種類の特徴量（電流、電圧、振動・・・）の中のいずれか１つ（例えば「電流」）が適用され、Ｙ軸（縦軸）には、他のずれか１つ（例えば「電圧」）が適用されている。しかし、実際には９種類の特徴量（電流、電圧、振動・・・）の全てについて考慮すると、特徴量空間ＳＰ１の次元数は「９」となる。つまり、第２モデルは、９次元の特徴量空間ＳＰ１として作成され、特徴量空間ＳＰ１の中には、複数の第２クラスＣ２にそれぞれ対応する複数の規定領域Ｒ０が規定される。第２モデルに関するデータは、例えば第２入力部３２から入力される。
　例えば画像データが欠陥種別「Ａ」に該当するセルＩＤ「１０２３２」、「１０５０８」・・・の工程Ｘの「電流」の数値「２．３」、「４．２」・・・に対する同工程Ｘの「電圧」の数値「１．２」、「０．９」・・・のデータを特徴量空間ＳＰ１に反映させる。その結果、データ分布が、ある程度に１つのクラスタ領域を形成する。この領域を「クラス１」にリンクする欠陥種別「Ａ」に対応する第一規定領域Ｒ１として規定する。言い換えると、欠陥種別「Ａ」に該当する対象物２の「電流」対「電圧」に関する多数のデータを点（プロット）で示した場合に、１つのクラスタ領域として形成されたものを、第一規定領域Ｒ１とする。図６の例では、第一規定領域Ｒ１は、Ｙ軸に沿って長い楕円形状の領域である。ここで、設定者は、第一規定領域Ｒ１の中心Ａ１（重心でもよい）の位置（Ｘ－Ｙ座標）を決定する。
　詳細な説明は省略するが、同様に、欠陥種別「Ｂ」に該当する対象物２の「電流」対「電圧」に関する多数のデータをプロットで示した場合に、１つのクラスタ領域として形成されたものを、Ｘ軸に沿って長い楕円形状の第二規定領域Ｒ２とする（図６参照）。また欠陥種別「Ｃ」に該当する対象物２の「電流」対「電圧」に関する多数のデータをプロットで示した場合に、１つのクラスタ領域として形成されたものを、やや小さい楕円形状の第三規定領域Ｒ３とする（図６参照）。設定者は、第二規定領域Ｒ２の中心Ａ２の位置、及び第三規定領域Ｒ３の中心Ａ３の位置も決定する。
　図６の例では、特徴量空間ＳＰ１の次元数が「２」であるが、実際の「９」に増えても、規定領域Ｒ０の数は、第２クラスＣ２の数（欠陥種別の数）と同じで、３つである。ただし、例えば工程別に規定領域Ｒ０を分けてもよい。工程Ｘ（３種類の特徴量）で、欠陥種別「Ａ」～「Ｃ」にそれぞれ対応する３つの規定領域Ｒ０を設定し、同様に工程Ｙ、及び工程Ｚの各々でも、３つの規定領域Ｒ０を設定してもよい（つまり、規定領域Ｒ０の数は９つ）。
　第２モデル格納部Ｐ２は、第２モデルを格納する。第２モデル格納部Ｐ２は、１以上の記憶装置を含む。記憶装置は、例えば、ＲＡＭ、又はＥＥＰＲＯＭである。第２モデル格納部Ｐ２は、処理部１００の外部に設けられているが、処理部１００が内蔵するメモリに相当してもよい。また第２モデル格納部Ｐ２と第１モデル格納部Ｐ１とは別々に設けられているが、１つの格納部によって兼用されてもよい。
　（２．５）処理部
　以下、処理部１００について説明する。
　処理部１００は、分類システム１の全体的な制御、すなわち、第１入力部３１、第２入力部３２、出力部３３、第１モデル格納部Ｐ１、及び第２モデル格納部Ｐ２を制御するように構成される。処理部１００は、例えば、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（アプリケーション）を実行することで、処理部１００として機能する。プログラムは、ここでは処理部１００のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
　処理部１００は、図１に示すように、学習部１０、判定部１３、及び報知部１４を有している。言い換えると、処理部１００は、学習部１０としての機能、判定部１３としての機能、及び報知部１４としての機能を有している。
　学習部１０は、画像データの判定を行う学習済みモデル（第１分類部１１である第１モデル）を生成するための学習方法を実行する。つまり、学習部１０は、主に学習フェーズに関する処理を担う。学習方法では、複数の画像データが用いられる。学習部１０は、上述の通り、教師あり学習により、第１モデルを生成する。すなわち、学習部１０は、設定者が予め「ＮＧ判定」された複数の画像データを欠陥種別「Ａ」～「Ｃ」のいずれか１つ（又は複数）にラベリングしたデータを用いて、機械学習により、第１モデルを作成する。つまり、対象物２の画像Ｍ１が学習画像として利用される。学習画像には、図２Ａ～図２Ｃに示すような「ＮＧ判定」された欠陥のある対象物２の画像Ｍ１だけでなく、「ＯＫ判定」された欠陥のない対象物２の画像も、「基準画像」データとして含まれ得る。
　判定部１３は、主に、学習済みモデル（第１モデル）等を用いた、適用フェーズに関する処理を行う。判定部１３は、第１分類部１１による第１分類結果、及び第２分類部１２による第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定するように構成される。そして、判定部１３は、決定した一方、又は両方の分類結果に基づいて、対象物２のクラスを判定するように構成される。
　ここでは一例として、判定部１３は、第１分類結果を用いることを必須とする。つまり、判定部１３は、クラス判定の対象となる対象物２（着目する対象物２）の画像データを、クラス判定のための主たる材料とし、その対象物２の製造データを、クラス判定のための補助的な材料として用いる。したがって、判定部１３は、第１分類結果に基づいて、対象物２のクラスを判定する第１判定処理と、第１分類結果だけでは判定しにくい場合に、追加的に第２分類結果も考慮して、対象物２のクラスを判定する第２判定処理とを実行する。
　報知部１４は、判定部１３における判定結果に応じて、所定の処理を実行する機能部６に相当する。言い換えると、分類システム１（処理部１００）は、機能部６を更に備えている。ここでは一例として、機能部６の所定の処理は、報知処理を含む。機能部６（報知部１４）は、例えば、出力部３３における画像表示装置への画面表示、又はスピーカからの音声メッセージや報知音（警報音等も含む）、又は画面表示とスピーカ出力の両方を通じて、判定結果をユーザ（例えば対象物２の検査者）に報知する。
　機能部６の所定の処理は、報知処理のみに限定されない。ここでは学習部１０も、機能部６に相当する。機能部６（学習部１０）の所定の処理は、判定部１３の判定結果を、第１モデル及び第２モデルの少なくとも一方に反映させる処理を更に含む。ここでは一例として、学習部１０は、判定部１３の判定結果を用いて、第１モデルの再学習を実行する。
　なお、機能部６の所定の処理は、外部へ情報提供するための処理を含んでもよい。さらに例えば、機能部６の所定の処理は、判定部１３の判定結果に基づき、製造ラインの生産設備における制御系に対して制御信号を送信するようなフィードバック制御の処理を含んでもよい。
　［判定処理］
　本実施形態では、画像データを、製造データよりも信頼性が高いものとし、基本的には、画像データによる判定結果を優先する。したがって、判定部１３は、先に第１モデル格納部Ｐ１内の第１モデル（第１分類部１１）を参照して、クラス判定の対象となる画像データから、その対象物２がどのクラスに該当するかを判定する。つまり、判定部１３は、先に第１分類結果を用いて、対象物２のクラスを判定する。ただし、判定部１３は、第１分類結果において、対象物２のクラス判定に関する不確定要素が存在する場合、第２分類結果を用いて、対象物２のクラスを判定する。
　先ず図７Ａを参照して説明する。図７Ａの「画像１」の対象物２には、比較的大きなサイズの欠陥５（カーブ状の凹み５２）が「１つ」発生している。判定部１３は、第１モデルを用いて、その欠陥５が、欠陥種別「Ａ」及び欠陥種別「Ｃ」とは不一致で、欠陥種別「Ｂ」に一致すると判定する。図７Ａ～図７Ｃにおいて、印「〇」は、「一致」を意味し、印「×」は「不一致」を意味する。
　ここで欠陥５の発生位置（空間位置）に関する判定について説明する。判定部１３は、例えば、Ｇｒａｄ－ＣＡＭの技術を利用したヒートマップにより、欠陥５の空間位置を認識している。図４Ａは、欠陥５がある対象物２の画像Ｍ１を示し、図４Ｂは、図４Ａにおける対象物２のヒートマップである画像Ｍ２を示す。画像Ｍ２では、判定部１３が注視している欠陥５の範囲Ｇ１が、カラーマップ（図４Ｂではグレイスケールで図示）で表示される。判定部１３は、欠陥５の空間位置及び数を、ヒートマップ上における座標で認識している。
　したがって、図７Ａの「画像１」の場合では、判定部１３は、ヒートマップによって、欠陥５の空間位置（縁部２０の右上）、及び欠陥５の数（１つ）を認識している。
　判定部１３は、第１判定処理において、欠陥５の数が１つである場合、第２判定処理を実行しない。要するに、この時点で、対象物２のクラスが、欠陥種別「Ｂ」がリンクしている分類カテゴリーとして「クラス２」に確定される。処理部１００は、出力部３３より、「画像１」の対象物２が「クラス２」であることを出力する。
　次に図７Ｂを参照して説明する。図７Ｂの「画像２」の対象物２には、欠陥５が「２つ」発生している。２つの欠陥５は、それぞれ、カーブ状の凹み５２と、線傷５３とである。判定部１３は、第１モデルを用いて、その２つの欠陥５が、それぞれ、欠陥種別「Ｂ」と欠陥種別「Ｃ」とに一致し、いずれの欠陥５も欠陥種別「Ａ」とは不一致であると判定する。特に上述の通り、判定部１３は、ヒートマップによって、カーブ状の凹み５２の空間位置（縁部２０の右上）、線傷５３の空間位置（底面２２の左下）、及び欠陥５の数（２つ）を認識している。つまり、判定部１３は、２つの欠陥５の空間位置が、互いに異なることを認識している。
　判定部１３は、第１判定処理において、欠陥５の数が複数であり、ただし、それらの空間位置が互いに異なる場合、第２判定処理を実行しない。要するに、この時点で、対象物２のクラスが、欠陥種別「Ｂ」と欠陥種別「Ｃ」とがそれぞれリンクしている分類カテゴリーとして「クラス２」及び「クラス３」に確定される。処理部１００は、出力部３３より、「画像２」の対象物２が「クラス２」及び「クラス３」であることを出力する。
　要するに、本実施形態の判定部１３は、第１分類結果が所定の確定条件を満たす場合、第２分類結果を用いずに、対象物２のクラスを判定する。ここでいう「所定の確定条件」とは、例えば、「欠陥５の数が１つであること」、又は「欠陥５の数が複数の場合に、同一の空間位置に存在しないこと」である。また上述の通り、本実施形態では、判定部１３は、画像データ内における１又は複数の事象（ここでは欠陥５）の（空間）位置に関する情報を更に用いて、対象物２のクラスを判定する。
　更に図７Ｃを参照して説明する。図７Ｃの「画像３」の対象物２には、一見すると小さい１つの欠陥５が発生している。この「画像３」は、図３を参照して説明したように、欠陥５のサイズが比較的に小さい対象物２の画像である。そのため、判定部１３は、図７Ｃの例において、画像データだけによるクラス判定では、その欠陥５の数を２つ（フラット状の凹み５１及びカーブ状の凹み５２）と判定している。結果的に、判定部１３は、１つの欠陥５を、欠陥種別「Ａ」及び欠陥種別「Ｂ」に一致すると判定している。しかし、判定部１３は、ヒートマップによって、フラット状の凹み５１とカーブ状の凹み５２の空間位置が互いに同じであることも認識している。
　図７Ｃの「画像３」では、上述した「所定の確定条件」が満たされておらず、判定部１３は、第２判定処理を実行する。言い換えると、「所定の確定条件が満たされないこと」が、「不確定要素」の１つといえる。不確定要素がある場合に第２判定処理を実行することで、第１分類結果における分類誤り等を見つける可能性を高めることができる。
　判定部１３は、第２判定処理において、第２モデル格納部Ｐ２内の第２モデルを参照して、欠陥５が、欠陥種別「Ａ」及び欠陥種別「Ｂ」のうちどちらであるかを判定する。つまり、判定部１３は、第２判定処理では、３つの第２クラスＣ２（「クラス１」～「クラス３」）から１つの第２クラスを決定するのではない。判定部１３は、第１判定処理による判定結果を考慮して、２つの第２クラスＣ２（「クラス１」及び「クラス２」）に絞り込んだ上でどちらかを決定する。ここでは、図７Ｃに示すように、２つの第２クラスＣ２（「クラス１」及び「クラス２」）は、２つの第１クラスＣ１（「クラス１」及び「クラス２」）と一致する。
　具体的には、判定部１３は、第２分類結果を用いる場合、特徴量空間ＳＰ１における第２対象データの特徴量から複数の規定領域Ｒ０の各々までの距離Ｌ０（図６参照）に基づき、対象物２のクラスを判定する。ただし、上述の通り、判定部１３は、既に第２クラスＣ２を２つに絞り込んでいる。そのため、判定部１３は、３つの規定領域Ｒ０のうち、「クラス１」及び「クラス２」、すなわち、欠陥種別「Ａ」及び欠陥種別「Ｂ」にそれぞれ対応する第一規定領域Ｒ１及び第二規定領域Ｒ２に着目する。判定部１３は、クラス判定の対象となる対象物２の製造データＫ１から、第一規定領域Ｒ１及び第二規定領域Ｒ２の中心Ａ１、Ａ２の各々までの距離Ｌ０を演算する。図６の例では、上述の通り、特徴量空間ＳＰ１を２次元で説明しているため、製造データＫ１は、電流値Ｉ１と電圧値Ｖ１の２つの特徴量に関するデータである。そして、判定部１３は、２つの距離Ｌ０を互いに比較し、距離Ｌ０が短い方の規定領域Ｒ０に対応する欠陥種別が、その着目する対象物２の欠陥種別であると判定する。このように距離Ｌ０に基づく判定を行うことで、対象物２のクラス判定に関する信頼性を更に向上できる。
　図６及び図７Ｃの例では、製造データＫ１から第一規定領域Ｒ１の中心Ａ１までの距離の方が、製造データＫ１から第二規定領域Ｒ２の中心Ａ２までの距離よりも短い。そのため、判定部１３は、第一規定領域Ｒ１に対応する欠陥種別「Ａ」が、「画像３」の対象物２の欠陥種別であると判定する。つまり、対象物２のクラスは、製造データ（センサデータ）による判定を経て、欠陥種別「Ａ」とリンクしている「クラス１」に確定される。処理部１００は、出力部３３より、「画像３」の対象物２が「クラス１」であることを出力する。
　特にこの場合、第１モデルの学習不足の可能性がある。学習部１０は、第１判定処理で欠陥種別「Ａ」及び欠陥種別「Ｂ」と判定されたこの画像データを、第２判定処理の判定結果である欠陥種別「Ａ」と紐づけして、教師データとして追加する。つまり、学習部１０は、判定部１３の判定結果を用いて、第１モデルの再学習を実行する。
　［動作説明］
　上述した判定部１３の判定処理の動作を、図８に示すフローチャートを参照しながら簡単に説明すると以下の通りである。なお、ここでは説明を省略するが、第１判定処理において、欠陥５の数がゼロ（０）の場合については、処理部１００は、出力部３３より、着目する対象物２が正常である判定結果を出力する。
　判定部１３は、着目する対象物２の画像データについて、欠陥種別の数（欠陥数）が２つ以上か否かを判定する（ステップＳ１）。欠陥種別の数が１つであれば（ステップＳ１：Ｎｏ）、出力部３３は、第１判定処理で確定されたクラスを、判定結果として出力する（ステップＳ４）。
　一方、欠陥種別の数が２つ以上であれば（ステップＳ１：Ｙｅｓ）、判定部１３は、判定根拠（２つ以上の欠陥種別）が同一空間位置であるか否かを判定する（ステップＳ２）。判定根拠が異なる空間位置であれば（ステップＳ２：Ｎｏ）、出力部３３は、第１判定処理で確定されたクラスを、判定結果として出力する（ステップＳ４）。
　判定根拠が同一空間位置であれば（ステップＳ２：Ｙｅｓ）、判定部１３は、第２判定処理を実行して、特徴量空間ＳＰ１内における距離Ｌ０に基づき、着目する対象物２のクラスを判定する（ステップＳ３）。そして、出力部３３は、第２判定処理で確定されたクラスを、判定結果として出力する（ステップＳ４）。
　このように、第１分類結果が２つ以上の第１クラスＣ１に分類した結果を示す場合において、判定部１３は、２つ以上の第１クラスＣ１に対応する２つ以上の事象（欠陥５）の位置が、同じ位置であれば、第２分類結果を用いて、対象物２のクラスを判定する。また判定部１３は、２つ以上の第１クラスＣ１に対応する２つ以上の事象（欠陥５）の位置が、異なる位置であれば、第２分類結果を用いずに、対象物２のクラスを判定する。
　［利点］
　以上の通り、本実施形態に係る分類システム１では、判定部１３は、第１分類結果、及び第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方の分類結果に基づいて、対象物２のクラスを判定する。つまり、必要に応じて、第１分類結果及び第２分類結果の両方に基づいて、対象物２のクラス判定を実施する場合もある。そのため、画像データだけを頼りに、又は製造データだけを頼りに、対象物２のクラスを判定する場合と比べて、対象物２のクラス判定に関する信頼性の向上を図ることができる。
　また複数の第１クラスＣ１と複数の第２クラスＣ２とが互いに一致するように設定されているため、複数の第１クラスＣ１と複数の第２クラスＣ２とで、異なるクラスが混じる場合に比べて、対象物２のクラス判定に関する信頼性を更に向上できる。
　また判定部１３は、第１分類結果が所定の確定条件を満たす場合、第２分類結果を用いずに、対象物２のクラスを判定する。つまり、判定部１３は、第２判定処理を実行しない場合がある。そのため、クラス判定に関する処理負荷を軽減できる。また例えば対象物２の検査時間の短縮につながる。
　さらに判定部１３は、画像データ内における欠陥５の位置に関する情報を更に用いて、対象物２のクラスを判定している。結果的に、対象物２のクラス判定に関する信頼性を更に向上できる。特に、２つ以上の欠陥５の位置が同じ位置であれば、第２分類結果を用いて、対象物２のクラスを判定し、２つ以上の欠陥５の位置が異なる位置であれば、第２分類結果を用いずに、対象物２のクラスを判定する。したがって、対象物２のクラス判定に関する信頼性を更に向上でき、また２つ以上の事象の位置が異なる位置である場合、クラス判定に関する処理負荷を軽減できる。
　（３）変形例
　上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係る分類システム１と同様の機能は、分類方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。
　具体的には、一の態様に係る分類方法は、第１分類ステップと第２分類ステップと判定ステップとを備えている。第１分類ステップにて、第１対象データを、複数の第１クラスＣ１の中の少なくとも１つの第１クラスＣ１に分類する。第２分類ステップにて、第２対象データを、複数の第２クラスＣ２の中の少なくとも１つの第２クラスＣ２に分類する。判定ステップにて、第１分類ステップによる分類結果である第１分類結果、及び第２分類ステップによる分類結果である第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物のクラスを判定する。第１対象データは、対象物２の画像データである。第２対象データは、対象物２の製造条件に関する製造データである。
　以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。以下では、上記実施形態を「基本例」と呼ぶこともある。
　本開示における分類システム１は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における分類システム１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１または複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１または複数の電子回路で構成される。
　また、分類システム１における複数の機能が、１つのハウジング内に集約されていることは必須の構成ではない。例えば、分類システム１の構成要素は、複数のハウジングに分散して設けられていてもよい。反対に、分類システム１における複数の機能が、１つのハウジング内に集約されてもよい。さらに、分類システム１の少なくとも一部の機能、例えば、分類システム１の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。
　（３．１）第一変形例
　以下、分類システム１の変形例（第一変形例）について、図９～図１１を参照しながら説明する。以下の本変形例において、基本例の分類システム１と実質的に共通する構成要素については、同じ参照符号を付与して適宜にその説明を省略する場合がある。
　図９は、分類システム１の第一変形例における、新しい欠陥の画像データに関する説明図である。図１０は、分類システム１の第一変形例の動作を説明するための図であり、第２モデルに関する概念図である。図１１は、分類システム１の第一変形例における動作に関するフローチャートである。判定部１３が、第１モデルを用いた適用フェーズに関する処理（第１判定処理）を行っている中で、第１モデルでは学習されていない新たな（未知の）欠陥が見つかる場合がある。例えば、図９に示す「画像４」の対象物２には、全体的に楕円状に歪んだ欠陥５が発生している。このような欠陥５が過去に一度も発生したことが無かった場合、教師データとして、対応する欠陥種別が設定されていない可能性がある。
　そこで本変形例では、図９に示すように、複数の第１クラスＣ１は、欠陥種別「不明」とリンクした分類カテゴリーとして「その他」を更に含む。
　本変形例の判定部１３は、第１判定処理において、少なくとも画像データ内に欠陥５が存在することを判定した一方で、その欠陥５が欠陥種別「Ａ」～「Ｃ」のいずれにも該当しないと判定した場合、その欠陥５を、欠陥種別「不明」と判定する。
　ここで基本例の判定部１３は、第１分類結果が「所定の確定条件」（欠陥５の数が１つであること、又は欠陥５の数が複数の場合に同一の空間位置に存在しないこと）が満たされた場合に、第２分類結果を用いずに、クラス判定を行っていた。しかし、本変形例の判定部１３は、欠陥種別「不明」の欠陥５が存在する場合、例外的に、欠陥５の数及び空間位置を問わずに、第２判定処理を実行する。つまり、欠陥種別「不明」の欠陥５は「不確定要素」の１つといえる。
　具体的には、例えば、欠陥５の数が、１つ（欠陥種別「不明」の欠陥５）のみであっても、本変形例の判定部１３は、第２判定処理を実行する。また欠陥種別「不明」の欠陥５の他にも、例えば欠陥種別「Ａ」の欠陥５が存在し、かつこれらが異なる空間位置に存在しても、本変形例の判定部１３は、第２判定処理を実行する。
　欠陥種別「不明」の欠陥５が存在する場合に欠陥５の数及び空間位置を問わずに第２判定処理を実行する理由として、以下の２つが挙げられる。
　第１の理由として、欠陥種別「不明」の欠陥５が、上述の通り、実際に新しい欠陥５である可能性がある。第２の理由として、実際には、欠陥種別「Ａ」～「Ｃ」のいずれかに該当するべきものが、第１モデルの学習不足によって、誤って欠陥種別「不明」と判定されている可能性がある。
　本変形例の判定部１３は、第２判定処理において、３つの規定領域Ｒ０（図１０参照）全てに着目する。本変形例の判定部１３は、図１０に示すように、クラス判定の対象となる対象物２の製造データＫ２から、３つの規定領域Ｒ０の各々の中心までの距離Ｌ０を演算する。図１０の例でも図６と同様に、説明の便宜上、特徴量空間ＳＰ１を２次元のグラフで表現していて、製造データＫ２は、一例として、電流値Ｉ２と電圧値Ｖ２の２つの特徴量に関するデータである。
　ここで本変形例の判定部１３は、３つの規定領域Ｒ０の中心Ａ１～Ａ３までの３つの距離Ｌ０の中で最も短い距離Ｌ０（以下、「対象距離Ｌ０」と呼ぶ）が、閾値以上か閾値未満かを判定する。対象距離Ｌ０が閾値以上であれば、つまり製造データＫ２がどの規定領域Ｒ０の中心からも比較的離れていれば、判定部１３は、第１判定処理で判定された欠陥種別「不明」の欠陥５が、「新しい欠陥」であると決定する。この場合、本変形例の判定部１３は、「クラス１」～「クラス３」のいずれにも該当しないため、出力部３３からクラスの判定結果として出力しない。その代わりに、本変形例の報知部１４は、例えば、出力部３３における画像表示装置への画面表示、又はスピーカからの音声メッセージや警報音の出力、又は画面表示とスピーカ出力の両方を通じて、新しい欠陥の発生をユーザ（例えば対象物２の検査者）に警告する。
　また本変形例の判定部１３は、対象距離Ｌ０が閾値未満であり、かつその対象距離Ｌ０と他の距離Ｌ０との差が所定値以上である場合、対象距離Ｌ０の規定領域Ｒ０に対応する欠陥種別がその対象物２の欠陥種別であると判定する。つまり、判定部１３は、第１判定処理では、欠陥種別「不明」と判定されていたが、第２判定処理では、製造データＫ２が、欠陥種別「Ａ」～「Ｃ」のうちある１つの欠陥種別に対応する規定領域Ｒ０に、とりわけ近いと判定すると、その欠陥種別に決定する。したがって、対象物２のクラスは、製造データによる判定を経て、その欠陥種別（例えば欠陥種別「Ａ」）とリンクしているクラス（例えば「クラス１」）に確定される。処理部１００は、出力部３３より、対象物２が「クラス１」であることを出力する。
　特にこの場合、第２の理由で述べた通り、第１モデルの学習不足の可能性がある。そこで、学習部１０は、第１判定処理で欠陥種別「不明」と判定されたこの画像データを、第２判定処理の判定結果である欠陥種別「Ａ」と紐づけして、教師データとして追加する。つまり、学習部１０は、判定部１３の判定結果を用いて、第１モデルの再学習を実行する。
　ところで、製造データＫ２が、欠陥種別「Ａ」～「Ｃ」のうち２つ以上の欠陥種別に対応する規定領域Ｒ０に近い場合もあり得る。本変形例の判定部１３は、対象距離Ｌ０が上記の閾値未満であり、かつその対象距離Ｌ０と他の距離Ｌ０との差が所定値未満である場合、これらの距離Ｌ０の規定領域Ｒ０に対応する２つ以上の欠陥種別に決定する。この場合、判定部１３は、２つ以上のクラスが存在することになり、整合性が取りにくくなるため、出力部３３からクラスの判定結果として出力しない。その代わりに、報知部１４は、出力部３３における画像表示装置への画面表示、又はスピーカからの音声メッセージや警報音の出力、又は画面表示とスピーカ出力の両方を通じて、新しい欠陥が発生している可能性が高い旨をユーザに警告する。
　［動作説明］
　上述した本変形例の判定部１３の判定処理の動作を、図１１に示すフローチャートを参照しながら簡単に説明すると以下の通りである。
　判定部１３は、着目する対象物２の画像データについて、欠陥種別「不明」が存在するか否かを判定する（ステップＳ１１）。欠陥種別「不明」が存在しなければ（ステップＳ１１：Ｎｏ）、基本例と同様に、判定した欠陥種別に基づき、そのまま判定結果として出力するか、或いは第２判定処理を実行するかを決定する（ステップＳ１２：図８のステップＳ１へ）。
　一方、欠陥種別「不明」が存在すれば（ステップＳ１１：Ｙｅｓ）、判定部１３は、対象距離Ｌ０に基づき、閾値との比較判定を行う（ステップＳ１３）。対象距離Ｌ０が閾値以上であれば（ステップＳ１３：Ｙｅｓ）、報知部１４は、新しい欠陥の発生をユーザに警告する（ステップＳ１４）。
　また対象距離Ｌ０が閾値未満であれば（ステップＳ１３：Ｎｏ）、判定部１３は、対象距離Ｌ０と他の距離Ｌ０との差と、所定値との比較判定を行う（ステップＳ１５）。この差が所定値以上であれば（ステップＳ１５：Ｙｅｓ）、判定部１３は、対象距離Ｌ０に対応する欠陥種別に決定し、判定結果を出力し（ステップＳ１６）、さらに学習部１０は、第１モデルの再学習を実行する（ステップＳ１７）。上記の差が所定値未満であれば（ステップＳ１５：Ｎｏ）、判定部１３は、新しい欠陥の発生をユーザに警告する（ステップＳ１４）。
　この構成によれば、新しい欠陥５が発生した場合にも、対象物２のクラス判定に関する信頼性の向上を図ることができる。また第１モデルの学習不足も改善され得る。特に新しい欠陥５が発生した場合に、ユーザに報知するため、新しい欠陥５の発生が見過されてしまう可能性を低減できる。
　（３．２）第二変形例
　以下、分類システム１の変形例（第二変形例）について、図１２を参照しながら説明する。以下の本変形例において、基本例の分類システム１と実質的に共通する構成要素については、同じ参照符号を付与して適宜にその説明を省略する場合がある。
　第一変形例では、判定部１３が、第１判定処理で、欠陥種別「不明」の欠陥５の存在を認識した上で、第２判定処理で、その欠陥５が新しいものかどうかを判定可能となっている。本変形例の判定部１３は、第１判定処理では、欠陥種別「不明」の存在を認識していなくても、第２判定処理でその存在を認識するように構成される。
　以下では、本変形例の判定部１３が、第１判定処理で、２つ以上の欠陥種別（例えば「Ａ」と「Ｂ」の２つ）の空間位置が同じであると判定して、第２判定処理を実行する場合について説明する。
　ここで、基本例の判定部１３は、第１判定処理で判定した欠陥種別「Ａ」及び「Ｂ」に対応する第一規定領域Ｒ１及び第二規定領域Ｒ２のみに絞って、２つの距離Ｌ０同士の比較を行っていた。しかし、本変形例の判定部１３は、全ての規定領域Ｒ０の中から、最も短い対象距離Ｌ０を決定する点で、基本例と異なる。
　本変形例の判定部１３は、欠陥種別「Ａ」及び「Ｂ」の空間位置が同じである場合、先ず対象距離Ｌ０に基づき、閾値との比較判定を行う。対象距離Ｌ０が閾値以上であれば、判定部１３は、欠陥種別「不明」と判定する。ただし、第一変形例とは異なり、判定部１３は、「新たな欠陥」とは判定せずに、第１判定処理によって判定された欠陥種別「Ａ」及び「Ｂ」を信頼する。判定部１３は、欠陥種別「Ａ」及び「Ｂ」のうち、距離Ｌ０が短い方の規定領域Ｒ０に対応する欠陥種別に決定して、判定結果を出力する。
　一方、本変形例の判定部１３は、対象距離Ｌ０が閾値未満であれば、次に、対象距離Ｌ０と他の距離Ｌ０との差と、所定値との比較判定を行う。その対象距離Ｌ０と他の距離Ｌ０との差が所定値以上であれば、対象距離Ｌ０に対応する（１つの）欠陥種別に決定して、判定結果を出力する。さらに第１モデルの学習不足に起因して、画像データによる判定が誤った可能性があるため、学習部１０は、判定部１３の判定結果を用いて、第１モデルの再学習を実行する。
　上記の差が所定値未満であれば、判定部１３は、これらの距離Ｌ０の規定領域Ｒ０に対応する２つ以上の欠陥種別に決定する。さらに判定部１３は、この製造データ（センサデータ）によって判定された２つ以上の欠陥種別が、画像データによって判定された欠陥種別「Ａ」及び「Ｂ」と、全て一致するかどうか比較する。全て一致すれば、判定部１３は、そのまま判定結果を出力する。しかし、部分的に不一致であれば、例えば、製造データによる判定が、欠陥種別「Ａ」及び「Ｃ」であり、画像データによる判定が、欠陥種別「Ａ」及び「Ｂ」であれば、判定部１３は、一致している欠陥種別「Ａ」に決定して、判定結果を出力する。なお、完全不一致であれば、判定部１３は、第１判定処理によって判定された欠陥種別「Ａ」及び「Ｂ」を信頼して、判定結果を出力する。
　［動作説明］
　図１２は、分類システム１の第二変形例における動作に関するフローチャートである。
　上述した本変形例の判定部１３の判定処理の動作を、図１２に示すフローチャート図を参照しながら簡単に説明すると以下の通りである。
　判定部１３は、着目する対象物２の画像データについて、判定根拠（２つ以上の欠陥種別）が同一空間位置であるか否かを判定する（ステップＳ２１：基本例でいえば図８のステップＳ２「Ｙｅｓ」に相当）。
　判定根拠が同一空間位置であれば（ステップＳ２１：Ｙｅｓ）、判定部１３は、第２判定処理を実行して、対象距離Ｌ０に基づき、閾値との比較判定を行う（ステップＳ２２）。判定根拠が同一空間位置でなければ（ステップＳ２１：Ｎｏ）、そのまま判定結果を出力する（ステップＳ２４）。
　対象距離Ｌ０が閾値以上であれば（ステップＳ２２：Ｙｅｓ）、報知部１４は、第１判定処理（画像データ）によって判定された２つ以上の欠陥種別を優先する（ステップＳ２３）。判定部１３は、例えばその中からいずれか１つの欠陥種別に決定し、判定結果を出力する（ステップＳ２４）。
　対象距離Ｌ０が閾値未満であれば（ステップＳ２２：Ｎｏ）、判定部１３は、対象距離Ｌ０と他の距離Ｌ０との差と、所定値との比較判定を行う（ステップＳ２５）。この差が所定値以上であれば（ステップＳ２５：Ｙｅｓ）、判定部１３は、対象距離Ｌ０に対応する欠陥種別に決定し、判定結果を出力し（ステップＳ２６）、さらに学習部１０は、第１モデルの再学習を実行する（ステップＳ２７）。
　上記の差が所定値未満であれば（ステップＳ２５：Ｎｏ）、判定部１３は、製造データによる２つ以上の欠陥種別と、画像データによる２つ以上の欠陥種別とで、一致する欠陥種別が少なくとも１つ存在するか否か比較する（ステップＳ２８）。一致する欠陥種別が少なくとも１つ存在すれば（ステップＳ２８：Ｙｅｓ）、判定部１３は、一致する欠陥種別のクラスに決定して、判定結果を出力する（ステップＳ２４）。完全不一致であれば（ステップＳ２８：Ｎｏ）、判定部１３は、画像データの判定を優先させて（ステップＳ２３）、判定結果を出力する（ステップＳ２４）。
　この構成によれば、対象物２のクラス判定に関する信頼性を更に向上できる。また第１モデルの学習不足も改善され得る。
　（３．３）その他の変形例
　基本例では、判定のクラスが、一例として対象物２に発生し得る「欠陥（不良）」によって規定されている。しかし、判定のクラスは、「欠陥」に限定されず、例えば対象物２の品質性の度合い（優良、良、及び普通等）によって規定されてもよい。
　基本例では、第１モデルは、学習済みモデルであるが、学習済みモデルでなくてもよい。また基本例では、第２モデルは、学習済みモデルではないが、学習済みモデルでもよい。
　基本例では、画像データによる判定（第１判定処理）を、製造データによる判定（第２判定処理）よりも先に行っているが、逆に製造データによる判定を先に行ってもよい。
　基本例では、判定部１３は、画像データによる判定（第１判定処理）で、欠陥数がゼロ（０）なら、製造データによる判定（第２判定処理）を実行せずに、そのまま正常である判定結果を出力している。しかし、判定部１３は、画像データによる判定（第１判定処理）で、欠陥数がゼロ（０）であっても、第２判定処理を実行してもよい。また、正常である場合、判定結果は出力されなくてもよい。
　第一変形例及び第二変形例では、閾値が１つのみであるが、閾値は複数段階で設定されていてもよい。
　（４）まとめ
　以上説明したように、第１の態様に係る分類システム（１）は、第１分類部（１１）と、第２分類部（１２）と、判定部（１３）と、を備える。第１分類部（１１）は、第１対象データを、複数の第１クラス（Ｃ１）の中の少なくとも１つの第１クラス（Ｃ１）に分類する。第２分類部（１２）は、第２対象データを、複数の第２クラス（Ｃ２）の中の少なくとも１つの第２クラス（Ｃ２）に分類する。判定部（１３）は、第１分類部（１１）による分類結果である第１分類結果、及び第２分類部（１２）による分類結果である第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物（２）のクラスを判定する。第１対象データは、対象物（２）の画像データである。第２対象データは、対象物（２）の製造条件に関する製造データである。第１の態様によれば、対象物（２）のクラス判定に関する信頼性の向上を図ることができる。
　第２の態様に係る分類システム（１）は、第１の態様において、複数の第１クラス（Ｃ１）と複数の第２クラス（Ｃ２）とは、互いに一致する。第２の態様によれば、複数の第１クラス（Ｃ１）と複数の第２クラス（Ｃ２）とで、異なるクラスが混じる場合に比べて、対象物（２）のクラス判定に関する信頼性を更に向上できる。
　第３の態様に係る分類システム（１）として、第１の態様又は第２の態様において、判定部（１３）は、第１分類結果が所定の確定条件を満たす場合、第２分類結果を用いずに、対象物（２）のクラスを判定する。第３の態様によれば、クラス判定に関する処理負荷を軽減できる。
　第４の態様に係る分類システム（１）として、第１の態様～第３の態様のいずれか１つにおいて、第１分類部（１１）は、画像データ内の、対象物（２）に発生している１又は複数の事象の種別に基づいて分類する。判定部（１３）は、画像データ内における１又は複数の事象の位置に関する情報を更に用いて、対象物（２）のクラスを判定する。第４の態様によれば、対象物（２）のクラス判定に関する信頼性を更に向上できる。
　第５の態様に係る分類システム（１）として、第４の態様において、第１分類結果が、２つ以上の第１クラス（Ｃ１）に分類した結果を示す場合において、判定部（１３）は、以下の通りに判定する。すなわち、判定部（１３）は、２つ以上の第１クラス（Ｃ１）に対応する２つ以上の事象の位置が、同じ位置であれば、第２分類結果を用いて、対象物（２）のクラスを判定する。また判定部（１３）は、２つ以上の第１クラス（Ｃ１）に対応する２つ以上の事象の位置が、異なる位置であれば、第２分類結果を用いずに、対象物（２）のクラスを判定する。第５の態様によれば、２つ以上の事象の位置が同じ位置である場合、対象物（２）のクラス判定に関する信頼性を更に向上できる。また２つ以上の事象の位置が異なる位置である場合、クラス判定に関する処理負荷を軽減できる。
　第６の態様に係る分類システム（１）として、第１の態様～第５の態様のいずれか１つにおいて、第２分類結果は、製造条件に関する特徴量空間（ＳＰ１）において、複数の第２クラス（Ｃ２）にそれぞれ対応する複数の規定領域（Ｒ０）を含む。判定部（１３）は、第２分類結果を用いる場合、特徴量空間（ＳＰ１）における第２対象データの特徴量から複数の規定領域（Ｒ０）の各々までの距離（Ｌ０）に基づき、対象物（２）のクラスを判定する。第６の態様によれば、対象物（２）のクラス判定に関する信頼性を更に向上できる。
　第７の態様に係る分類システム（１）として、第１の態様～第６の態様のいずれか１つにおいて、判定部（１３）は、先に第１分類結果を用いて、対象物（２）のクラスを判定する。判定部（１３）は、第１分類結果において、対象物（２）のクラス判定に関する不確定要素が存在する場合、第２分類結果を用いて、対象物（２）のクラスを判定する。第７の態様によれば、例えば、第１分類結果における分類誤りを見つける可能性を高めることができる。また新しいクラス（例えば新しい欠陥等）を見つける可能性を高めることができる。
　第８の態様に係る分類システム（１）は、第７の態様において、第２分類結果を用いた判定部（１３）における判定結果に応じて、所定の処理を実行する機能部（６）を更に備える。第８の態様によれば、判定部（１３）における判定結果に関する応用性を高めることができる。例えば、所定の処理が報知処理を含めば、判定結果を人に伝えることができる。
　第９の態様に係る分類システム（１）として、第１の態様～第８の態様のいずれか１つにおいて、複数の第１クラス（Ｃ１）及び複数の第２クラス（Ｃ２）は、対象物（２）の欠陥によって規定される。第９の態様によれば、対象物（２）の欠陥判定に関する信頼性を向上できる。
　第１０の態様に係る分類システム（１）として、第１の態様～第９の態様のいずれか１つにおいて、第１分類部（１１）は、画像データから複数の第１クラス（Ｃ１）を学習した学習済みモデルである。第１０の態様によれば、第１分類部（１１）における分類に関する信頼性が向上され、結果的に、対象物（２）のクラス判定に関する信頼性を更に向上できる。
　第１１の態様に係る分類システム（１）として、第１の態様～第１０の態様のいずれか１つにおいて、第２分類部（１２）は、複数の第２クラス（Ｃ２）の各々と、製造条件に関する特徴量のデータ分布とが対応付けされたモデルである。第１１の態様によれば、第２分類部（１２）における分類に関する信頼性が向上され、結果的に、対象物（２）のクラス判定に関する信頼性を更に向上できる。
　第１２の態様に係る分類方法は、第１分類ステップと、第２分類ステップと、判定ステップと、を含む。第１分類ステップにて、第１対象データを、複数の第１クラス（Ｃ１）の中の少なくとも１つの第１クラス（Ｃ１）に分類する。第２分類ステップにて、第２対象データを、複数の第２クラス（Ｃ２）の中の少なくとも１つの第２クラス（Ｃ２）に分類する。判定ステップにて、第１分類ステップによる分類結果である第１分類結果、及び第２分類ステップによる分類結果である第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物のクラスを判定する。第１対象データは、対象物（２）の画像データである。第２対象データは、対象物（２）の製造条件に関する製造データである。第１２の態様によれば、対象物（２）のクラス判定に関する信頼性の向上を図ることが可能な分類方法を提供できる。
　第１３の態様に係るプログラムは、１以上のプロセッサに第１２の態様における分類方法を実行させるためのプログラムである。第１３の態様によれば、対象物（２）のクラス判定に関する信頼性の向上を図ることが可能な機能を提供できる。
　第２～１１の態様に係る構成については、分類システム（１）に必須の構成ではなく、適宜省略可能である。
　本開示の分類システム、分類方法、及びプログラムによれば、対象物のクラス判定に関する信頼性の向上を図ることができる、という利点がある。そのため、本開示に係る発明は、デバイス等の信頼性向上に寄与し、産業上有用である。
　１　分類システム
　１１　第１分類部
　１２　第２分類部
　１３　判定部
　２　対象物
　６　機能部
　Ｃ１　第１クラス
　Ｃ２　第２クラス
　Ｌ０　距離
　Ｒ０　規定領域
　ＳＰ１　特徴量空間

Claims (13)

  1. 　第１対象データを、複数の第１クラスの中の少なくとも１つの第１クラスに分類する第１分類部と、
    　第２対象データを、複数の第２クラスの中の少なくとも１つの第２クラスに分類する第２分類部と、
    　前記第１分類部による分類結果である第１分類結果、及び前記第２分類部による分類結果である第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物のクラスを判定する判定部と、
    を備え、
    　前記第１対象データは、前記対象物の画像データであり、
    　前記第２対象データは、前記対象物の製造条件に関する製造データである、
    　分類システム。
  2. 　前記複数の第１クラスと前記複数の第２クラスとは、互いに一致する、
    　請求項１に記載の分類システム。
  3. 　前記判定部は、前記第１分類結果が所定の確定条件を満たす場合、前記第２分類結果を用いずに、前記対象物のクラスを判定する、
    　請求項１又は請求項２に記載の分類システム。
  4. 　前記第１分類部は、前記画像データ内の、前記対象物に発生している１又は複数の事象の種別に基づいて分類し、
    　前記判定部は、前記画像データ内における前記１又は複数の事象の位置に関する情報を更に用いて、前記対象物のクラスを判定する、
    　請求項１～３のいずれか１項に記載の分類システム。
  5. 　前記第１分類結果が、２つ以上の前記第１クラスに分類した結果を示す場合において、
    　前記判定部は、
    　　２つ以上の前記第１クラスに対応する２つ以上の前記事象の位置が、同じ位置であれば、前記第２分類結果を用いて、前記対象物のクラスを判定し、
    　　２つ以上の前記第１クラスに対応する２つ以上の前記事象の位置が、異なる位置であれば、前記第２分類結果を用いずに、前記対象物のクラスを判定する、
    　請求項４に記載の分類システム。
  6. 　前記第２分類結果は、前記製造条件に関する特徴量空間において、前記複数の第２クラスにそれぞれ対応する複数の規定領域を含み、
    　前記判定部は、前記第２分類結果を用いる場合、前記特徴量空間における前記第２対象データの特徴量から前記複数の規定領域の各々までの距離に基づき、前記対象物のクラスを判定する、
    　請求項１～５のいずれか１項に記載の分類システム。
  7. 　前記判定部は、
    　　先に前記第１分類結果を用いて、前記対象物のクラスを判定し、
    　　前記第１分類結果において、前記対象物のクラス判定に関する不確定要素が存在する場合、前記第２分類結果を用いて、前記対象物のクラスを判定する、
    　請求項１～６のいずれか１項に記載の分類システム。
  8. 　前記第２分類結果を用いた前記判定部における判定結果に応じて、所定の処理を実行する機能部を更に備える、
    　請求項７に記載の分類システム。
  9. 　前記複数の第１クラス及び前記複数の第２クラスは、前記対象物の欠陥によって規定される、
    　請求項１～８のいずれか１項に記載の分類システム。
  10. 　前記第１分類部は、前記画像データから前記複数の第１クラスを学習した学習済みモデルである、
    　請求項１～９のいずれか１項に記載の分類システム。
  11. 　前記第２分類部は、前記複数の第２クラスの各々と、前記製造条件に関する特徴量のデータ分布とが対応付けされたモデルである、
    　請求項１～１０のいずれか１項に記載の分類システム。
  12. 　第１対象データを、複数の第１クラスの中の少なくとも１つの第１クラスに分類する第１分類ステップと、
    　第２対象データを、複数の第２クラスの中の少なくとも１つの第２クラスに分類する第２分類ステップと、
    　前記第１分類ステップによる分類結果である第１分類結果、及び前記第２分類ステップによる分類結果である第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物のクラスを判定する判定ステップと、
    を含み、
    　前記第１対象データは、前記対象物の画像データであり、
    　前記第２対象データは、前記対象物の製造条件に関する製造データである、
    　分類方法。
  13. 　１以上のプロセッサに請求項１２に記載の分類方法を実行させるためのプログラム。
PCT/JP2020/047190 2020-01-08 2020-12-17 分類システム、分類方法、及びプログラム WO2021140865A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080086092.3A CN114787732A (zh) 2020-01-08 2020-12-17 分类系统、分类方法以及程序
JP2021569800A JP7220356B2 (ja) 2020-01-08 2020-12-17 分類システム、分類方法、及びプログラム
US17/756,863 US11989226B2 (en) 2020-01-08 2020-12-17 Classification system and classification method using lerned model and model including data distribution
JP2023004253A JP2023056522A (ja) 2020-01-08 2023-01-16 分類システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-001729 2020-01-08
JP2020001729 2020-01-08

Publications (1)

Publication Number Publication Date
WO2021140865A1 true WO2021140865A1 (ja) 2021-07-15

Family

ID=76787476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047190 WO2021140865A1 (ja) 2020-01-08 2020-12-17 分類システム、分類方法、及びプログラム

Country Status (4)

Country Link
US (1) US11989226B2 (ja)
JP (2) JP7220356B2 (ja)
CN (1) CN114787732A (ja)
WO (1) WO2021140865A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200356A (ja) * 1999-01-08 2000-07-18 Hitachi Ltd 欠陥分類方法およびその装置
JP2016186779A (ja) * 2015-03-27 2016-10-27 東レ株式会社 工程診断装置、工程診断方法および工程診断プログラム
JP2019016249A (ja) * 2017-07-10 2019-01-31 住友電気工業株式会社 判定装置、判定方法および判定プログラム
JP2019049940A (ja) * 2017-09-12 2019-03-28 安川情報システム株式会社 異常工程推定方法、異常工程推定装置および異常工程推定プログラム
WO2019176720A1 (ja) * 2018-03-13 2019-09-19 オムロン株式会社 判別システム、判別装置、学習装置、判別方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007194262A (ja) * 2006-01-17 2007-08-02 Olympus Corp 欠陥判定システムおよび基板処理システム
WO2008004559A1 (fr) * 2006-07-06 2008-01-10 Asahi Glass Company, Limited système de groupage, et dispositif d'évaluation de type de défaut
WO2009041101A1 (ja) * 2007-09-28 2009-04-02 Nec Corporation データ分類方法およびデータ分類装置
JP6063630B2 (ja) * 2012-03-19 2017-01-18 株式会社日立ハイテクノロジーズ パターン計測装置、及び半導体計測システム
JP2018179698A (ja) * 2017-04-11 2018-11-15 オムロン株式会社 シート検査装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200356A (ja) * 1999-01-08 2000-07-18 Hitachi Ltd 欠陥分類方法およびその装置
JP2016186779A (ja) * 2015-03-27 2016-10-27 東レ株式会社 工程診断装置、工程診断方法および工程診断プログラム
JP2019016249A (ja) * 2017-07-10 2019-01-31 住友電気工業株式会社 判定装置、判定方法および判定プログラム
JP2019049940A (ja) * 2017-09-12 2019-03-28 安川情報システム株式会社 異常工程推定方法、異常工程推定装置および異常工程推定プログラム
WO2019176720A1 (ja) * 2018-03-13 2019-09-19 オムロン株式会社 判別システム、判別装置、学習装置、判別方法及びプログラム

Also Published As

Publication number Publication date
JP7220356B2 (ja) 2023-02-10
JPWO2021140865A1 (ja) 2021-07-15
US11989226B2 (en) 2024-05-21
US20220414143A1 (en) 2022-12-29
CN114787732A (zh) 2022-07-22
JP2023056522A (ja) 2023-04-19

Similar Documents

Publication Publication Date Title
TWI826586B (zh) 用於雜訊標籤的對抗訓練系統及方法
US20190197356A1 (en) Data generation apparatus, data generation method, and data generation program
TWI748122B (zh) 用於對多個項進行分類的系統、方法和電腦程式產品
CN104183517B (zh) 智能型弱点图形诊断方法与系统
JP2015041164A (ja) 画像処理装置、画像処理方法およびプログラム
TW202044067A (zh) 基於機器學習之半導體樣本中的缺陷分類
CN115769235A (zh) 提供与训练函数的准确度有关的警报的方法和系统
CN103913150B (zh) 智能电能表电子元器件一致性检测方法
CN116559170A (zh) 一种产品质量检测方法及相关系统
JP2017107313A (ja) 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置
Wang et al. A smart operator advice model by deep learning for motion recognition in human–robot coexisting assembly line
WO2021140865A1 (ja) 分類システム、分類方法、及びプログラム
Yatbaz et al. Introspection of dnn-based perception functions in automated driving systems: State-of-the-art and open research challenges
US11830232B2 (en) Image judgment apparatus and image judgment method
JP5323457B2 (ja) 観察条件決定支援装置および観察条件決定支援方法
KR102269741B1 (ko) 머신러닝을 이용한 오버랩 패턴의 엑스선 검사 방법
JP2021179321A (ja) 状態管理方法、プログラム、及び状態管理システム
TWI465165B (zh) 用於以參考資訊為基礎之評估的方法、系統及電腦程式產品
Schwab et al. Multi-model machine learning based industrial vision framework for assembly part quality control
CN113129333B (zh) 多目标实时跟踪方法及其系统和电子设备
WO2012092132A2 (en) Determining the uniqueness of a model for machine vision
Kim et al. CECvT: Initial Diagnosis of Anomalies in Thermal Images
WO2022123905A1 (ja) 処理システム、学習処理システム、処理方法、及びプログラム
WO2021070505A1 (ja) 分類システム、分類方法、及びプログラム
Pereira et al. Automatic fault detection in soldering process during semiconductor encapsulation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20911839

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021569800

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20911839

Country of ref document: EP

Kind code of ref document: A1