WO2019131742A1 - 検査処理装置、検査処理方法、およびプログラム - Google Patents

検査処理装置、検査処理方法、およびプログラム Download PDF

Info

Publication number
WO2019131742A1
WO2019131742A1 PCT/JP2018/047804 JP2018047804W WO2019131742A1 WO 2019131742 A1 WO2019131742 A1 WO 2019131742A1 JP 2018047804 W JP2018047804 W JP 2018047804W WO 2019131742 A1 WO2019131742 A1 WO 2019131742A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
model
unit
recognized
examination
Prior art date
Application number
PCT/JP2018/047804
Other languages
English (en)
French (fr)
Inventor
邦彦 三好
Original Assignee
株式会社 Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ filed Critical 株式会社 Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ
Priority to JP2019562092A priority Critical patent/JPWO2019131742A1/ja
Priority to CN201880079422.9A priority patent/CN111448585A/zh
Publication of WO2019131742A1 publication Critical patent/WO2019131742A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an inspection processing apparatus, an inspection processing method, and a program.
  • Different types of products have different inspection conditions. Therefore, when the same inspection apparatus inspects different types of products, it is necessary to change the inspection conditions set in the inspection apparatus to those corresponding to the product to be inspected next.
  • the change of the inspection condition that is, the addition and deletion of the inspection condition, and the change of the parameter in the inspection condition are mainly performed manually. However, if the inspection conditions change irregularly, it is easy to forget to change the inspection conditions.
  • Efforts have been made to automate inspections to reduce the human burden on inspection work. For example, there is a method of generating an inspection model compatible with a wide variety of products by machine learning and using the inspection model to inspect a wide variety of products. However, in the method, the accuracy of detecting an abnormality may be lowered due to the number of types of products, inspection items, and the like.
  • an inspection processing apparatus which is compatible with the automation of inspection and the accuracy of abnormality detection when the same inspection apparatus inspects a plurality of inspection targets different in inspection conditions.
  • An inspection processing apparatus is an apparatus that performs processing related to an inspection on an inspection target, and includes a recognition unit and an inspection model selection unit.
  • the recognition unit recognizes an object present in the image from an image showing a space in which the examination is performed.
  • the examination model selection unit selects an examination model to be used for the examination from a plurality of examination models based on the recognized object.
  • FIG. 2 is a block diagram showing an example of a hardware configuration according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an example of an inspection system including an inspection processing apparatus according to the first embodiment.
  • an inspection processing apparatus 1 a camera 2, and an output destination device 3 are shown.
  • the inspection processing apparatus 1 of the present embodiment includes a storage unit 11 and an inspection corresponding unit 12.
  • the examination support unit 12 includes an imaging unit 121 (image acquisition unit), a recognition unit 122, an examination model selection unit 123, an examination unit 124, and an examination information output unit 125.
  • the inspection processing apparatus 1 is an apparatus that performs processing related to an inspection on an inspection target.
  • the inspection processing apparatus 1 of the present embodiment assumes that an inspection is performed using each inspection model corresponding to each inspection target. For example, the product A, the product B, and the product C having different model numbers are inspected by the inspection processing apparatus 1.
  • the inspection processing apparatus 1 has an inspection model corresponding to each product, and if the inspection target is the product A, the inspection is performed by the inspection model A corresponding to the product A.
  • the inspection model A is used as it is, but if the product B is inspected, the inspection model to be used is switched to the inspection model B.
  • the inspection processing apparatus 1 performs inspection by selecting an inspection model corresponding to the inspection target for which the current inspection is performed, from the plurality of inspection models.
  • the inspection model is uniquely determined if the inspection object is known.
  • a plurality of inspection models such as inspection model A-1, inspection model A-2, and inspection model A-3 correspond to the inspection model of product A.
  • the inspection model may be shared.
  • the inspection model of the product A and the product B may be a common inspection model
  • the inspection model of the product C may be an inspection model unique to the product C.
  • each examination model corresponding to each examination object has been generated for the examination by machine learning.
  • a plurality of inspection objects for example, product A, product B, and product C
  • the inspection model includes items to be inspected, values of parameters set in the inspection, threshold values for evaluating numerical values obtained by the inspection, and the like, which are adjusted in accordance with the inspection object. There is. Therefore, when the inspection is performed by the inspection model corresponding to the inspection object, the accuracy of the inspection can be within the allowable range.
  • the inspection target is not particularly limited, and may be a finished product, a part, or a living body such as a human.
  • the contents of the examination are not particularly limited.
  • the inspection processing apparatus 1 may be in charge of a part of the inspection, and an external device may be in charge of the other part of the inspection.
  • the measurement of the inspection target may be performed by an external device, and the inspection processing apparatus 1 may evaluate the inspection target based on the measurement result.
  • the inspection processing apparatus 1 does not acquire from the outside which one of the plurality of inspection objects is to be inspected next. For example, it is assumed that an assistant of the examination or the like does not input to the examination processing apparatus 1 which of the examination objects is to be examined. However, the inspection processing apparatus 1 determines itself the next inspection target, and selects an inspection model according to the inspection target. This eliminates the need for the inspection assistant or the like to input the inspection conditions each time the inspection conditions need to be changed.
  • the storage unit 11 of the inspection processing apparatus 1 stores, for example, data used for processing of each component of the inspection processing apparatus 1 such as an inspection model.
  • the data stored by the storage unit 11 is not particularly limited.
  • the processing result of each component of the inspection processing device 1 may be stored in the storage unit 11 as needed, and each component may acquire the processing result with reference to the storage unit 11.
  • the examination corresponding unit 12 of the examination processing device 1 performs each process related to the examination. The details of each process will be described along with the following description of the components of the inspection handling unit 12.
  • the photographing unit 121 photographs, through the camera 2, an image showing the place where the examination is to be performed, in other words, an image showing the space where the examination is to be performed.
  • an examination space the space in which the examination is performed.
  • An image captured by the camera 2 is used to determine an inspection object.
  • the timing of imaging may be determined arbitrarily according to the situation etc., it is assumed that imaging has been started before the start of the examination.
  • the imaging may be started at a timing when the inspection processing apparatus 1 is turned on, for a predetermined time, or at a time when a sensor (not shown) or the like recognizes that an object has been transported to the inspection space.
  • the inspection processing apparatus 1 may have an information acquisition unit that receives information from the sensor or the like.
  • image is a concept encompassing both still images and moving images, and may be replaced with still images or moving images and read unless there is a particular problem. That is, the photographed image may be a moving image or a still image.
  • the photographing unit 121 controls the photographing of the camera 2, but the inspection processing apparatus 1 does not control the camera 2 but may simply acquire a photographed image from the camera 2. Good.
  • the imaging unit 121 can be said to be an image acquisition unit.
  • FIG. 2 is a diagram for explaining the imaging of the examination space.
  • photographs inspection space is shown by FIG.
  • the camera 2 is arranged in advance so that the examination space is visible.
  • the position, the number, and the like of the cameras 2 may be arbitrarily determined according to the situation and the like.
  • the inspection object 4 is transported to the inspection space for the inspection.
  • the inspection assistant may set the inspection target 4 in the inspection space.
  • the inspection target 4 may be transported to the inspection space by a belt conveyor or the like.
  • the inspection object 4 is reflected in the photographed image.
  • the inspection processing apparatus 1 of this embodiment assumes that an inspection target is recognized or estimated from an image.
  • the inspection target may be recognized or estimated in consideration of information other than the image.
  • a weight sensor or the like may be provided at a place where the test object is installed in the test space, and the test object may be recognized or estimated in consideration of the measurement value by the weight sensor in addition to the image.
  • a reading unit such as a tag containing information on the inspection target may be provided, and the inspection target may be recognized or estimated by further considering the information read from the tag.
  • the recognition unit 122 recognizes an object present in the captured image from the captured image. Specifically, the recognition unit 122 recognizes the object using a recognition model. For example, the shape, pattern, color, material, gloss, etc. of an object appearing in a captured image are comprehensively considered to specify what the object is. In addition, the recognition unit 122 may recognize a figure pattern attached to an object, such as a two-dimensional code or a barcode, and use information indicated by the figure pattern as needed. Thus, the recognition unit 122 recognizes the inspection target. In the present description, “object” also includes living bodies such as humans.
  • the recognition unit 122 may recognize a non-examination target that is not an inspection target. For example, since the camera 2 captures an examination space, a jig for attaching an examination target, a tool used for the examination, a worker, and the like are also reflected in the captured image. The recognition unit 122 may recognize these non-inspection objects. Note that the recognition may be performed only when a difference occurs in the captured image due to a new object appearing in the image, an object in the image moving, or the like.
  • the recognition unit 122 may recognize the recognized object and the position of the feature point of the object.
  • the position to be recognized includes not only the position from the reference point but also the relative position to another recognized object.
  • the positions (positional relationships) of these objects or feature points may be recognized from the positions of the recognized objects or feature points. For example, when a plurality of jigs are recognized, the arrangement of the plurality of jigs may be recognized.
  • the recognition unit 122 may also recognize the motion of the recognized object and the feature points of the object.
  • the recognition unit 122 may recognize the object as an unknown object. For example, when there are a plurality of candidates for what the object is and it can not be determined in any case, or when it can not be identified because the object is moving, it may be recognized as an unknown object. Unknown objects are also included in "recognized objects".
  • the recognition model used may be learned and known.
  • a recognition model dedicated to this examination may be previously constructed by machine learning.
  • the recognition unit 122 may perform recognition using one recognition model, or may perform recognition using a plurality of recognition models. For example, first, a recognition model for an inspection object may be used, and when it is not recognized as an inspection object, a recognition model for a non-inspection object may be used. Alternatively, a model for recognizing an object and a model for recognizing the position or motion of an object may be used properly.
  • the inspection model selection unit 123 selects an inspection model to be used for inspection from a plurality of inspection models based on the recognized object.
  • the inspection model selection unit 123 selects an inspection model corresponding to the recognized inspection object as an inspection model to be used for the inspection.
  • the inspection model corresponding to each inspection object stores a list such as a correspondence table in which the inspection object and the inspection model are associated in advance in the storage unit 11, and the inspection model selection unit 123 refers to the list. , Can be selected.
  • the inspection model selecting unit 123 selects the recognized object. Based on the above, the inspection object is estimated. Then, an inspection model corresponding to the estimated inspection object is selected as an inspection model used for the inspection.
  • the inspection model selection unit 123 estimates the inspection object based on the recognized non-inspection object. Since the jig is highly likely to correspond to the inspection object one by one, it is possible to estimate the inspection object from the jig.
  • FIG. 3 is a diagram for explaining the estimation of the inspection object.
  • the upper side of FIG. 3 shows an image at the time of the previous examination, which was taken from directly above the examination object.
  • a jig 5A corresponding to the previous inspection target 4A and the inspection target 4A is shown.
  • the lower part of FIG. 3 shows an image before the start of the current examination after the previous examination.
  • the inspection object 4A and the jig 5A have already moved, and the inspection object of this time is not installed yet, but the jig 5B corresponding to the inspection object of this time is already installed.
  • the shape of the groove 51B of the installed jig 5B is different from the groove 51A of the jig 5A at the time of the previous inspection. Therefore, it can be seen that, this time, the inspection object corresponding to the newly installed jig 5B is inspected, not the inspection object 4A.
  • the inspection object can be estimated from the non-inspection object.
  • the positions of the jigs at the time of inspection are also considered to be different.
  • the inspection targets are different when the arrangement of the plurality of jigs is circular and when the arrangement is rectangular. Therefore, it is possible to estimate the inspection object based on the position or arrangement of the recognized object.
  • the inspection target can be estimated by the movement of the object.
  • the process of attaching the inspection target or another jig or the like to the unevenness of the jig is different. Therefore, it is possible to estimate the inspection object based on the movement of the recognized object.
  • the inspection model can be selected more quickly. Selecting an examination model earlier increases the possibility that it can be changed to a normal examination model before an examination if an incorrect examination model is selected. For example, in the case where the inspection is an appearance inspection, the selection of the inspection model and the inspection are performed almost at the same time as the inspection target appears in the photographed image, and there is a possibility that an erroneous inspection result may be obtained. However, if an examination model is selected before the examination target is installed, an assistant of the examination or the like can confirm the examination model and change it to a normal examination model before the examination is started.
  • the estimation of the inspection target may be performed by referring to the correspondence list between the information recognized by the recognition unit 122 and the inspection target.
  • the correspondence list may be stored in advance by the storage unit 11 by a manager or the like.
  • an estimated model of the test object may be generated by learning the test object corresponding to the recognized object, and the test object may be estimated using the estimated model.
  • the inspection object may be estimated by comparing the shape of each of the plurality of inspection objects with the shape of the jig.
  • the inspection unit 124 inspects the inspection target using the selected inspection model, and evaluates the inspection target. For example, the inspection unit 124 may perform the inspection based on the appearance of the inspection target shown in the image captured by the imaging unit 121. In this case, the inspection is an appearance inspection, and the inspection processing apparatus 1 can be said to be an appearance inspection apparatus. As items to be inspected as appearance inspection, there may be a scratch, a crack, a stain, and the presence or absence of foreign matter contamination. In addition, misalignment of parts and excess and deficiency may be considered.
  • the inspection unit extracts a feature amount of an inspection target in a captured image, that is, an inspection target under inspection, and generates a feature map. Specifically, for example, even if the inner product of the photographed image and the weight filter or the inner product of the feature map in the process of creation and the weight filter is taken and the convolution process is repeatedly performed by raster scan, the feature map is generated. Good.
  • the inspection unit compares the generated feature map with a plurality of comparison feature maps. It is assumed that the feature map for comparison is generated in advance based on a normal inspection target image and stored in the storage unit 11. In the comparison, the difference between the generated feature map and the feature map for comparison is taken, whereby a distance map is generated for each feature map for comparison.
  • the inspection unit calculates the distance value for each distance map.
  • a global max pooling function may be used.
  • the distance values corresponding to the inspection object under inspection are determined in consideration of all the calculated distance values. For example, the average value of all the calculated distance values may be determined as the distance value corresponding to the inspection object under inspection.
  • the inspection unit determines whether the inspection object under inspection is normal or abnormal based on the distance value corresponding to the inspection object under inspection and a predetermined threshold. In this way, visual inspection may be performed.
  • the photographed image used for appearance inspection may be the same as the photographed image used for recognition of the inspection object, or may be a photographed image after recognition of the inspection object.
  • the inspection target may be recognized from the photographed image at the time when the inspection target is reflected, and the inspection target may be inspected from the photographed image after the inspection target is set at the inspection position.
  • the inspection processing device 1 may perform all the inspections, but a part of the inspection may be performed by an external device. For example, it is conceivable to carry out an inspection of the inside of an inspection object which can not be determined from an image through an external device which inspects the object using X-rays, sound waves or the like. In that case, the inspection processing device 1 transmits the values and the like of the parameters included in the inspection model to the external device, and the numerical values obtained by the inspection are fed back to the inspection processing device 1. Then, the inspection unit 124 performs evaluation based on the determination threshold value and the like included in the inspection model, and calculates the inspection result.
  • the examination information output unit 125 outputs the information related to the examination to the output destination device 3.
  • information related to an examination an examination model used for the examination, a result of the examination, and the like are assumed.
  • the output destination device 3 may be a known one and is not particularly limited. Thereby, various processes can be performed based on a test result. For example, inspection results such as an inspection model used for inspection, inspection availability, and a position where an abnormality is found may be displayed via a display device such as a monitor. Alternatively, by outputting the inspection result to a control device such as a robot arm, it is possible for the robot arm to pick up the inspection object according to the inspection result.
  • FIG. 4 is a schematic flowchart of the entire process of the inspection processing apparatus according to the first embodiment. Here, a flow at the time of inspecting one inspection object is shown.
  • the photographing unit 121 acquires a photographed image of the examination space (S101).
  • the image from the imaging unit 121 is sent to the recognition unit 122, and the inspection model selection process is performed (S102). Thereby, the inspection model is selected based on the image.
  • the flow of inspection model selection processing will be described later.
  • the recognition unit 122 may recognize that the examination can be started when recognizing that the examination target is installed at the examination start position from the photographed image or the like. Alternatively, it may be recognized that the examination can be started by a signal from the examination assistant or the like. If it is recognized that the examination can be started, the examination unit 124 executes the examination using the selected examination model (S104).
  • the inspection result is sent to the inspection information output unit 125, and the inspection information output unit 125 outputs the inspection result to the output destination device 3 (S105).
  • the process of the inspection processing apparatus 1 is completed, and the output destination device 3 can perform the process according to the inspection result.
  • FIG. 5 is a schematic flowchart of an inspection model selection process of the inspection processing apparatus according to the first embodiment.
  • the recognition unit 122 recognizes an object captured in a captured image using a recognition model (S201). If the recognized object is an inspection target (YES in S202), the inspection model selection unit 123 selects an inspection model corresponding to the inspection target (S203). Then, the inspection information output unit 125 outputs the selected inspection target to the output destination device 3 (S204).
  • the inspection model selection unit 123 estimates the inspection object from the recognized object (S205). If the inspection object can be estimated (YES in S206), the inspection model selection unit 123 selects an inspection model corresponding to the estimated inspection object (S207). Then, the inspection information output unit 125 outputs the selected inspection target to the output destination device 3 (S204).
  • the process returns to S201, and recognition based on the next captured image is performed.
  • the flow is looped until the inspection target is selected, whereby the inspection model is finally selected.
  • the flowchart described here is an example, and is not limited to the above example as long as a correct processing result can be obtained. Reordering, addition, and omission of procedures may be performed according to required specifications, changes, and the like of the embodiment.
  • the inspection information output unit 125 outputs the selected inspection object, the process may be omitted. The same applies to the subsequent flowcharts.
  • the inspection is performed by the inspection model corresponding to the inspection target, the accuracy of detecting an abnormality of the inspection target can be within the allowable range. Further, the examination target of the present examination is recognized from the photographed image, and the examination model corresponding to the examination target of the present examination is selected. Therefore, it is not necessary to manually designate an examination model, and the automation of examination is promoted.
  • the inspection processing apparatus 1 estimates the inspection target based on the recognized object. Therefore, the inspection model can be determined before the inspection object is identified. Therefore, the inspection model can be confirmed before the start of the inspection, and the inspection by the erroneous inspection model can be reduced.
  • an inspection object can be grasped
  • FIG. 6 is a diagram showing an example of an inspection system including an inspection processing apparatus according to the second embodiment.
  • the inspection system according to the second embodiment further includes the input source device 6.
  • the inspection processing apparatus 1 according to the second embodiment further includes a model handling unit 13.
  • the model correspondence unit 13 further includes a data acquisition unit 131, a model learning unit 132, an inspection model evaluation unit 133, and a model information output unit 134. The same points as those of the first embodiment will not be described.
  • the switching operation increases the possibility of changing the inspection environment. For example, the possibility of changing the position of a light source, a jig or the like that illuminates the inspection target is increased. Therefore, there is a possibility that the accuracy of the inspection may be reduced if the existing inspection model is used. Therefore, in the second embodiment, an example in which the inspection model is corrected will be described.
  • the data acquisition unit 131 acquires a test image and correct data of the test image from the input source device 6. Then, the model learning unit 132 generates a new inspection model from the existing inspection model based on the test image and its correct data.
  • a photographed image of an actual examination may be used as a test image. That is, the data acquisition unit 131 may receive an evaluation on the previous inspection result as the correct data. Then, the model learning unit 132 may generate a new inspection model from the existing inspection model based on the previous inspection result and the evaluation thereof.
  • the test result output from the test information output unit 125 to the output destination device 3 or the like may be evaluated by the test assistant, and the evaluation result may be input to the data acquisition unit 131 as correct data.
  • the inspection result output by the inspection information output unit 125 as a file may be edited and input to the data acquisition unit 131.
  • the model learning unit 132 newly generates an inspection model using these corrected evaluation results as correct answer data.
  • the learning method may use a known method. Thereby, a plurality of inspection models (for example, inspection model group A) are generated although the corresponding inspection objects (for example, the product A) are the same but the inspection conditions, the determination threshold, and the like are different.
  • the model learning unit 132 may update the identification model as well as the inspection model. For example, a test assistant or the like may input an answer to the identification result to the model learning unit 132, and the model learning unit 132 may update the recognition model using the answer as the correct answer data.
  • the model learning unit 132 may be divided into a model learning unit (inspection model learning unit) for an inspection model and a model learning unit (recognition model learning unit) for a recognition model.
  • the inspection model evaluation unit 133 evaluates each of the plurality of inspection models.
  • the evaluation by the inspection model evaluation unit 133 may be performed as appropriate.
  • the evaluation method may be arbitrarily determined according to the quality required of the inspection object. For example, the inspection model evaluation unit 133 receives, through the data acquisition unit 131, the test image classified as “normal” and the test image classified as “abnormal”. Then, based on the test images, the inspection model evaluation unit 133 evaluates each inspection item of each inspection model, and comprehensively evaluates each inspection model in consideration of the evaluation for each inspection item. Is considered.
  • the inspection model evaluation unit 133 calculates a score according to the possibility of the presence of a scratch, the possibility of contamination, and the possibility of inclusion of foreign matter in the test image.
  • the said score is described as an abnormal degree score.
  • the inspection model is evaluated based on the degree of abnormality score of each inspection item.
  • the evaluation value of the inspection model may be calculated by integrating a coefficient indicating the importance of the inspection item to the abnormality degree score of each inspection item and then adding it.
  • an evaluation method may be considered in which the evaluation value of an inspection model having one or more items for which an abnormality can not be detected is lowered.
  • model information output unit 134 information on a model such as evaluation by the inspection model evaluation unit 133 is output by the model information output unit 134. For example, a warning may be issued when the number of inspection models whose evaluation is lower than a predetermined value among a plurality of inspection models selected arbitrarily is equal to or more than a predetermined number. This can encourage regeneration of the inspection model.
  • the model information output unit 134 may be omitted, and the inspection information output unit 125 may output information on the model.
  • the evaluation of the inspection model evaluation unit 133 thus calculated is used by the inspection model selection unit 123. That is, based on the evaluation of the inspection model evaluation unit 133, the inspection model selection unit 123 according to the present embodiment selects an inspection model to be used for the inspection from among a plurality of inspection models corresponding to the inspection target. Selection criteria for the inspection model may be determined arbitrarily. The examination model with the highest evaluation may be selected. Alternatively, when the inspection assistant or the like designates the importance of the inspection item, an inspection model having a high evaluation (that is, an abnormality degree score) on the inspection item having a high degree of importance may be preferentially selected. This enables an inspection that meets the user's request.
  • FIG. 7 is a schematic flowchart of processing of the model corresponding part in the second embodiment.
  • the data acquisition unit 131 acquires the test image and the correct answer data (S301).
  • the test image and the like are sent to the model learning unit 132, and the model learning unit 132 newly generates a test model based on the test image and the correct data (S302).
  • the inspection model evaluation unit 133 evaluates a plurality of inspection models based on the test image (S303). Note that a new test image may be received via the data acquisition unit 131 for evaluation. Thus, the evaluation of each inspection model is calculated.
  • the model information output unit 134 When the number of inspection models whose evaluation is lower than the threshold exceeds a predetermined number (YES in S304), the model information output unit 134 outputs a warning via the output destination device 3. This prevents the inspection from being performed by a low evaluation model.
  • an inspection model to be considered appropriate is selected from a plurality of inspection models corresponding to one inspection target. This can further enhance the accuracy of detecting an abnormality.
  • an inspection model suitable for a specific inspection item when importance is placed on a specific inspection item, it is possible to flexibly respond to the detailed request of the inspection.
  • the inspection can be prevented from being performed by the inspection model with a low evaluation.
  • the recognition model can also be updated, an image of an unrecognizable product is used as learning data for recognizing a new product, and a new product is recognized in parallel with the inspection. I can do learning.
  • the inspection processing apparatus 1 includes an inspection model of the product A, an inspection model of the product B, and an inspection model of the product C, and the products A and B can be recognized by the recognition model.
  • the product C is installed at an inspection start position or the like and is in an inspection-enabled state.
  • the recognition unit 122 recognizes based on the position of the object of the captured image and the like that the inspection object is in an inspection-enabled state, and is an inspection object that can not recognize the object at the inspection start position. I will judge.
  • the recognition unit 122 recognizes that the object shown in the image is to be inspected but is neither product A nor product B. At this time, the recognition unit 122 may recognize the inspection object as a new product.
  • the inspection model selection unit 123 performs an inspection using an inspection model that does not correspond to a recognizable inspection target. That is, the inspection is performed by the inspection model C which does not correspond to either the product A or the product B. If there is only one inspection model that does not correspond to a recognizable inspection object, the inspection model can be selected as an inspection model corresponding to an inspection object that can not be recognized. In this way, even when the product C can not be recognized, the inspection can be performed using the inspection model C of the product C.
  • the model learning unit 132 performs learning using the captured image at the examination and updates the recognition model. That is, the learning data and the correct data of the recognition model can be obtained for each examination, and the examination and the learning can be performed in parallel. In this way, the recognition model may be updated in parallel with the examination to make it possible to recognize a new examination target.
  • each component may be divided into a plurality of components according to the processing content, data used for processing, and the like.
  • the storage unit 11 may be divided according to the data to be stored.
  • some or all of the components may be plural. Some of the components may be common.
  • some components may be present in an external device, and data may be transmitted to and received from the external device.
  • each component may be separately included in a plurality of devices that perform data communication. That is, each process may be performed by a system configured by a plurality of devices.
  • the first inspection processing apparatus including the recognition unit 122 and the inspection model selection unit 123 may acquire a photographed image from an imaging apparatus that includes the imaging unit 121 and performs imaging, and may select an inspection model. Then, the inspection model selected by the first inspection processing apparatus is transmitted to the second inspection processing apparatus that does not include the recognition unit 122 and the inspection model selection unit 123 and includes the inspection unit 124, and the second inspection processing apparatus An inspection using the inspection model may be performed. In this way, the selection of the inspection model and the inspection can be performed at different places.
  • the delay time is reduced by preparing at least two components likely to cause processing delays and performing the processing of the components in parallel.
  • the inspection unit 124 of the present embodiment performs inspection using an inspection model selected from a plurality of inspection models
  • switching of the inspection model may require time. Accumulation of such delay time may have a significant impact on the entire examination.
  • the inspection target is transported to the inspection space by a belt conveyor or the like
  • the next inspection target may be transported to the inspection space before the inspection is completed, and the belt conveyor may be stopped. is there. Therefore, a plurality of inspection model selection units 123 and inspection units 124 may be prepared, and selection of inspection models, reading of inspection models, and inspection may be performed in parallel.
  • the imaging unit 121, the recognition unit 122, and the inspection model selection unit 123 perform the processing on the subsequent inspection target in advance, and the next inspection of the inspection unit 124 It may be possible to start immediately to reduce inspection delays.
  • a plurality of inspection units 124 may be in charge of different inspection models.
  • the inspection unit A (second inspection processing apparatus A) using the inspection model A and the inspection unit B (second inspection processing apparatus B) using the inspection model B are divided.
  • the inspection model selection unit 123 (first inspection processing device) uses the inspection model A
  • the inspection model selection unit 123 (first inspection processing device) determines that the inspection unit A (second inspection processing device)
  • the inspection processor A) is instructed to perform an inspection. For example, when the inspection target is conveyed by the belt conveyor, the inspection object is inspected in the control unit that controls the destination of the belt conveyor, the control device of the robot arm that divides the inspection target into another lane, etc. It may be instructed to go to the inspection processing device A).
  • the inspection units may cooperate with each other to determine the inspection model used by each inspection unit (each second inspection processing device) in advance. For example, when the number of inspections of the inspection object A exceeds a predetermined value, the inspection unit A (second inspection processing apparatus A) determines that it becomes an inspection device dedicated to the inspection object A, and the determination is received. It is conceivable that the inspection unit B (second inspection processing apparatus B) decides to be in charge of inspections other than the inspection target A.
  • a model learning device including the model corresponding unit 13 generates an inspection model and stores it in the storage device corresponding to the storage unit 11, and the inspection processing device not including the model corresponding unit 13 and including the inspection corresponding unit 12 relates
  • the inspection may be performed using an inspection model stored in the device. In this way, an inspection system may be configured.
  • At least a part of the above-described embodiment may be realized by a dedicated electronic circuit (that is, hardware) such as an integrated circuit (IC) on which a processor, a memory, and the like are mounted.
  • a dedicated electronic circuit that is, hardware
  • IC integrated circuit
  • at least a part of the above-described embodiment may be realized by executing software (program).
  • a general-purpose computer device is used as basic hardware, and a program is stored in a processor (processing circuit) such as a central processing unit (CPU: Central Processing Unit) or an image processing device (GPU: Graphics Processing Unit) mounted on the computer device.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the computer can be the device of the above embodiment by reading out the dedicated software stored in the computer readable storage medium.
  • the type of storage medium is not particularly limited.
  • the computer can be the apparatus of the above-described embodiment by installing the dedicated software downloaded via the communication network.
  • software information processing is implemented specifically using hardware resources.
  • FIG. 8 is a block diagram showing an example of a hardware configuration according to an embodiment of the present invention.
  • the inspection processing apparatus 1 includes a processor 71, a main storage device 72, an auxiliary storage device 73, a network interface 74, and a device interface 75, and is implemented as a computer device 7 connected via a bus 76. it can.
  • the computer apparatus 7 of FIG. 8 is equipped with one each component, you may be equipped with two or more same components.
  • one computer device 7 is shown in FIG. 8, software may be installed in a plurality of computer devices, and each of the plurality of computer devices may execute different processes of software. .
  • the processor 71 is an electronic circuit (processing circuit) including a control device of a computer and an arithmetic device.
  • the processor 71 performs arithmetic processing based on data and programs input from each device or the like of the internal configuration of the computer device 7, and outputs the calculation result and control signal to each device or the like.
  • the processor 71 controls each component constituting the computer device 7 by executing an OS (Operating System) of the computer device 7, an application, and the like.
  • the processor 71 is not particularly limited as long as it can perform the above processing.
  • the inspection counterpart, the model counterpart, and their respective components are implemented by the processor 71.
  • the main storage device 72 is a storage device for storing instructions executed by the processor 71 and various data, and the information stored in the main storage device 72 is read by the processor 71 directly.
  • the auxiliary storage device 73 is a storage device other than the main storage device 72. Note that these storage devices mean any electronic components capable of storing electronic information, and may be memories or storages.
  • the memory may be either volatile memory or non-volatile memory.
  • the storage unit 11 may be realized by the main storage device 72 or the auxiliary storage device 73.
  • the network interface 74 is an interface for connecting to the communication network 8 wirelessly or by wire.
  • the network interface 74 may be one that conforms to the existing communication standard.
  • the network interface 74 may exchange information with the external device 9A communicatively connected via the communication network 8.
  • the external device 9A includes, for example, a camera 2, an output destination device 3, an external sensor, an input source device 6, and the like. Further, the external device 9A may be a device having a part of the components of the inspection processing device 1, or may be the above-described first and second inspection processing devices, a photographing device, a storage device, and the like. Then, the computer device 7 may receive part of the processing result of the examination processing device 1 via the communication network 8 like a cloud service.
  • the device interface 75 is an interface such as USB directly connected to the external device 9B.
  • the external device 9B may be an external storage medium or a storage device.
  • the storage unit 11 may be realized by the external device 9B.
  • the external device 9B may be an output device.
  • the output device may be, for example, a display device for displaying an image, or a device for outputting sound or the like.
  • a display device for displaying an image
  • a device for outputting sound or the like for example, there are LCD (Liquid Crystal Display), CRT (Cathode Ray Tube), PDP (Plasma Display Panel), a speaker, and the like, but the present invention is not limited thereto.
  • the external device 9B may be an input device.
  • the input device includes devices such as a keyboard, a mouse, and a touch panel, and supplies information input by these devices to the computer device 7.
  • the signal from the input device is output to the processor 71.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

検査条件の異なる検査対象を同一の検査装置が検査する場合に、検査の自動化と、異常検知の精度と、を両立する検査処理装置を提供する。本発明の一実施形態である検査処理装置は、検査対象に対する検査に係る処理を行う装置であって、認識部と、検査モデル選定部と、を備える。認識部は、前記検査が行われる空間を映した画像から、前記画像内に存在する物体を認識する。検査モデル選定部は、認識された前記物体に基づき、複数の検査モデルから、前記検査に用いられる検査モデルを選定する。

Description

検査処理装置、検査処理方法、およびプログラム
　本発明は、検査処理装置、検査処理方法、およびプログラムに関する。
　近年、多種少量生産への要求、コストの抑制要求などの高まりを受けて、多種多様な製品に対する検査を同一の検査装置にて行う必要性が高まっている。
　種類の異なる製品は検査条件も異なる。ゆえに、同一の検査装置が種類の異なる製品を検査する場合、検査装置に設定されている検査条件を、次に検査される製品に対応するものに変更する必要がある。当該検査条件の変更、つまり、検査条件の追加および削除、検査条件内のパラメータの変更などは、主に手動で行われている。しかし、検査条件の変更が不規則に発生すると、検査条件を変更し忘れることが起きやすい。
　検査作業の人的負荷を減らすために、検査の自動化のための取り組みも行われてはいる。例えば、機械学習によって、多種多様な製品に対応可能な検査モデルを生成して、当該検査モデルを用いて、多種多様な製品を検査する方法がある。しかし、当該方法では、製品の種類、検査項目などの多さから、異常を検知する精度が低くなる恐れがある。
　検査条件がそれぞれ異なる複数の検査対象を同一の検査装置が検査する場合に、検査の自動化と、異常検知の精度と、を両立する検査処理装置を提供する。
　本発明の一実施形態である検査処理装置は、検査対象に対する検査に係る処理を行う装置であって、認識部と、検査モデル選定部と、を備える。認識部は、前記検査が行われる空間を映した画像から、前記画像内に存在する物体を認識する。検査モデル選定部は、認識された前記物体に基づき、複数の検査モデルから、前記検査に用いられる検査モデルを選定する。
第１の実施形態に係る検査処理装置を含む検査システムの一例を示す図。 検査空間の撮影を説明する図。 検査対象の推定を説明する図。 第１の実施形態に係る検査処理装置の全体処理の概略フローチャート。 第１の実施形態に係る検査処理装置の検査モデルの選定処理の概略フローチャート。 第２の実施形態に係る検査処理装置を含む検査システムの一例を示す図。 第２の実施形態のモデル対応部の処理の概略フローチャート。 本発明の一実施形態におけるハードウェア構成の一例を示すブロック図。
　以下、図面を参照しながら、本発明の実施形態について説明する。
（第１の実施形態）
　図１は、第１の実施形態に係る検査処理装置を含む検査システムの一例を示す図である。図１の例では、検査処理装置１と、カメラ２と、出力先デバイス３と、が示されている。本実施形態の検査処理装置１は、記憶部１１と、検査対応部１２と、を備える。検査対応部１２は、撮影部１２１（画像取得部）と、認識部１２２と、検査モデル選定部１２３と、検査部１２４と、検査情報出力部１２５と、を備える。
　検査処理装置１は、検査対象に対する検査に係る処理を行う装置である。本実施形態の検査処理装置１は、各検査対象に対応する各検査モデルを用いて、検査を行うことを想定する。例えば、型番の異なる、製品Ａ、製品Ｂ、および製品Ｃが、検査処理装置１により検査される。このとき、検査処理装置１は、各製品に対応した検査モデルを有しており、検査対象が製品Ａであれば、製品Ａに対応する検査モデルＡにより検査を行う。また、次の検査において、製品Ａが検査されるのであれば検査モデルＡがそのまま用いられるが、製品Ｂが検査されるのであれば、用いられる検査モデルが検査モデルＢに切り替わる。このように、本実施形態の検査処理装置１は、複数の検査モデルから、今回の検査が行われる検査対象に対応する検査モデルを選定して、検査を行う。
　なお、本実施形態では、検査対象が判明すれば、検査モデルが一意に定まるとする。例えば、検査モデルＡ－１、検査モデルＡ－２、検査モデルＡ－３といった複数の検査モデルが製品Ａの検査モデルに該当するといった事態は想定しない。なお、検査モデルが共用されてもよい。例えば、製品Ａと製品Ｂの検査モデルは共用の検査モデルであり、製品Ｃの検査モデルは製品Ｃ独自の検査モデルであってもよい。
　本実施形態では、各検査対象に対応する各検査モデルは、機械学習によって当該検査のために生成済みであるとする。また、複数の検査対象（例えば、製品Ａ、製品Ｂ、および製品Ｃ）を一つの検査モデルにて検査することは想定しない。検査モデルには、検査される項目、検査にて設定されるパラメータの値、検査により得られた数値を評価するための閾値、などが含まれており、これらが検査対象に合わせて調整されている。ゆえに、検査対象に応じた検査モデルにより検査が行われると、検査の精度を許容範囲内に収めることができる。
　なお、検査対象は、特に限られるものではなく、完成品でも部品でもよいし、ヒトなどの生体でもよい。検査内容も特に限られるものではない。また、検査処理装置１は検査の一部を担当し、検査の他の一部を外部の装置が担当してもよい。例えば、検査対象の測定は外部の装置が実施し、検査処理装置１は当該測定結果から検査対象の評価を行うとしてもよい。
　また、検査処理装置１は、複数の検査対象のいずれが次に検査されるのかを外部から取得しない。例えば、検査の補助者などが、検査対象のいずれが検査されるかを検査処理装置１に入力しないとする。しかし、検査処理装置１は、次の検査対象を自ら判断し、検査対象に応じた検査モデルを選定する。これにより、検査条件を変える必要があるたびに、検査補助者などが検査条件を入力するという手間は不要になる。
　検査処理装置１の記憶部１１は、検査モデルなど、検査処理装置１の各構成要素の処理に用いられるデータなどを記憶する。なお、記憶部１１により記憶されるデータは、特に限られるものではない。検査処理装置１の各構成要素の処理結果が、随時、記憶部１１に記憶され、各構成要素は記憶部１１を参照して処理結果を取得してもよい。
　検査処理装置１の検査対応部１２は、検査に関する各処理を行う。各処理の詳細は、以降の検査対応部１２の構成要素の説明とともに説明する。
　撮影部１２１は、カメラ２を介して、検査が行われる場所を映した画像、言い換えると、検査が行われる空間を映した画像を撮影する。以降、検査が行われる空間を検査空間と記載する。カメラ２による撮影画像は、検査対象を判断するために用いられる。
　なお、撮影のタイミングは、状況などに応じて任意に定めてよいが、検査の開始前から撮影が開始されていることを想定する。例えば、検査処理装置１の電源が投入されたタイミング、所定の時間、図示していないセンサなどが検査空間に物が運ばれたことを認識した時点などで、撮影を開始してもよい。なお、図示していないが、検査処理装置１は、当該センサなどからの情報を受け取る情報取得部を有していてもよい。
　また、本説明において、「画像」という用語は、静止画および動画の両方を包括する概念であり、特に問題がなければ、静止画または動画に置き換えられて読まれてもよい。つまり、撮影画像は、動画でも静止画でもよい。
　また、本実施形態では、カメラ２の撮影を撮影部１２１が制御することを想定したが、検査処理装置１はカメラ２を制御せずに、カメラ２からの撮影画像を単に取得するだけとしてもよい。その場合、撮影部１２１は画像取得部と言える。
　図２は、検査空間の撮影を説明する図である。図２には、検査空間を撮影するカメラ２が示されている。カメラ２は、検査空間が映るように予め配置されている。カメラ２の位置、台数などは、状況などに応じて任意に定めてよい。検査対象４は、検査のために検査空間に運ばれてくる。例えば、検査補助者が検査対象４を検査空間に設置してもよい。あるいは、ベルトコンベアなどにより、検査対象４が検査空間に運ばれてきてもよい。このようにして、撮影画像に検査対象４が映りこむ。
　なお、本実施形態の検査処理装置１は、画像から検査対象を認識または推定することを想定する。しかし、画像以外の情報も考慮して検査対象を認識または推定してもよい。例えば、検査空間内の検査対象を設置する場所に重量センサなどを設けておき、画像に加えて当該重量センサによる計測値をさらに考慮して、検査対象を認識または推定してもよい。あるいは、検査対象に関する情報を含有するタグなどの読み取り部を設けておき、当該タグから読み取った情報をさらに考慮して、検査対象を認識または推定してもよい。
　認識部１２２は、撮影画像から、当該撮影画像内に存在する物体を認識する。具体的には、認識部１２２は、認識モデルを用いて、当該物体を認識する。例えば、撮影画像に映る物体の形状、模様、色、材質、光沢などが総合的に考慮されて、当該物体が何であるかを特定する。また、認識部１２２は、物体に取り付けられた、２次元コード、バーコードなどの図形パターンを認識し、図形パターンが示す情報を必要に応じて用いてもよい。このようにして、認識部１２２は、検査対象を認識する。なお、本説明において、「物体」には、ヒトなどの生体も含まれる。
　認識部１２２は、検査対象ではない非検査対象を認識してもよい。例えば、カメラ２は検査空間を撮影しているため、検査対象を取り付ける治具、検査に用いられる器具、作業員なども撮影画像に映される。認識部１２２は、これらの非検査対象を認識してもよい。なお、新たな物体が画像内に映り込む、画像内の物体が移動したなどにより、撮影画像に差異が生じたときに限り、認識が行われてもよい。
　認識部１２２は、認識された物体および当該物体の特徴点の位置を認識してもよい。なお、認識される位置は、基準点からの位置だけでなく、他の認識された物体との相対的位置も含まれる。また、認識された物体または特徴点の各位置により、これらの物体または特徴点の配置（位置関係）を認識してもよい。例えば、複数の治具が認識された場合に、当該複数の治具の配置を認識してもよい。また、認識部１２２は、認識された物体および当該物体の特徴点の動きを認識してもよい。
　物体が撮影画像内に存在することは認識したが、その物体が何であるかを特定できない場合、認識部１２２は、その物体を不明物体として認識してもよい。例えば、その物体が何であるかの候補が複数あって、いずれにも確定できない場合、または、物体が動いていることにより特定できない場合において、不明物体と認識することが考えられる。不明物体も「認識された物体」に含まれる。
　用いられる認識モデルは学習済みの公知のものでよい。あるいは、この検査のために専用の認識モデルを機械学習により予め構築しておいてもよい。
　なお、認識部１２２は、一つの認識モデルを用いて認識を行ってもよいし、複数の認識モデルを用いて認識を行ってもよい。例えば、まずは検査対象のための認識モデルを用い、検査対象と認識されなかった場合に、非検査対象のための認識モデルを用いてもよい。あるいは、物体を認識するモデルと、物体の位置または動きを認識するためのモデルとを、使い分けてもよい。
　検査モデル選定部１２３は、認識された物体に基づき、複数の検査モデルから、検査に用いられる検査モデルを選定する。認識された物体が検査対象である場合は、検査モデル選定部１２３は、認識された検査対象に対応する検査モデルを、検査に用いられる検査モデルとして、選定する。各検査対象に対応する検査モデルは、検査対象と検査モデルとが対応付けられた対応表などのリストを予め記憶部１１に記憶させておき、当該リストを検査モデル選定部１２３が参照することにより、選定することができる。
　認識された物体が非検査対象である場合、認識された物体が不明物体である場合など、認識部１２２により検査対象が認識されていないときは、検査モデル選定部１２３は、認識された物体に基づき、前記検査対象を推定する。そして、推定された検査対象に対応する検査モデルが、検査に用いられる検査モデルとして選定される。
　例えば、撮影画像内の物体が治具などの非検査対象であると認識された場合では、検査モデル選定部１２３は、認識された非検査対象に基づき検査対象を推定する。治具は検査対象と１対１に対応する可能性が高いため、治具から検査対象を推定することが可能である。
　図３は、検査対象の推定を説明する図である。図３の上側には、検査対象の真上から撮影された、前回の検査時の画像が示されている。前回の検査対象４Ａと、検査対象４Ａに対応する治具５Ａが示されている。図３の下側には、前回の検査後から今回の検査開始前の画像が示されている。検査対象４Ａおよび治具５Ａは既に移動しており、今回の検査対象はまだ設置されていないが、今回の検査対象に対応する治具５Ｂが既に設置されている。この設置された治具５Ｂの溝５１Ｂの形状が、前回の検査時の治具５Ａの溝５１Ａと異なる。ゆえに、今回は、検査対象４Ａが検査されるのではなく、新たに設置された治具５Ｂに対応する検査対象が検査されることが分かる。このように、非検査対象からも検査対象を推定することができる。
　また、異なる検査対象の検査時に、同一の非検査対象が付随する場合であっても、当該非検査対象の数、位置、動きなどが検査対象ごとに相違するならば、その相違に基づいて、検査対象を一意に推定することができる。
　例えば、複数の検査対象が同一の治具により支えられる場合であっても、当該複数の検査対象の大きさがそれぞれ異なるならば、検査時の治具の位置も異なると考えられる。また、複数の治具の配置が円状であるときと、当該配置が矩形状であるときでは、検査対象が異なると想定される。ゆえに、認識された物体の位置または配置に基づき、検査対象の推定が可能である。
　また、物体の動きにより検査対象を推定することができる場合もある。例えば、異なる検査対象が同一の治具により支えられる場合であっても、治具の凹凸に検査対象または他の治具などを取り付けていく工程が異なる場合も多々ある。ゆえに、認識された物体の動きに基づき、検査対象の推定が可能である。
　図３に示すように、検査対象ではなく、非検査対象に基づき検査モデルを選定したほうが、検査モデルをより早く選定することができる。検査モデルをより早く選定したほうが、誤った検査モデルが選定されてしまった場合に、検査前に正常な検査モデルに変更できる可能性が高まる。例えば、検査が外観検査である場合は、検査対象が撮影画像に映ったと同時に、検査モデルの選定と検査とがほぼ同時に行われ、誤った検査結果を得てしまう恐れがある。しかし、検査対象が設置される前に検査モデルが選定されれば、検査開始されるまでに、検査の補助者などが検査モデルを確認して、正常な検査モデルに変更することができる。
　検査対象の推定は、認識部１２２により認識された情報と、検査対象との対応リストを参照することにより、行われてもよい。対応リストは、予め管理者などにより記憶部１１が記憶しておけばよい。あるいは、認識された物体と対応する検査対象を学習することにより、検査対象の推定モデルを生成し、当該推定モデルを用いて、検査対象の推定が行われてもよい。あるいは、複数の検査対象それぞれの形状を、治具の形状と比較することにより、検査対象を推定してもよい。
　検査部１２４は、選定された検査モデルを用いて、検査対象を検査し、検査対象を評価する。例えば、検査部１２４は、撮影部１２１による撮影画像に映し出された検査対象の外観に基づき、検査を行ってもよい。この場合、当該検査は外観検査であり、検査処理装置１は外観検査装置とも言える。外観検査として検査される項目としては、傷、ひび割れ、汚れ、および異物混入の有無が考えられる。また、部品の位置ずれ、および過不足なども考えられる。
　検査の具体例の一つとして、外観検査の検査方法について説明する。まず、検査部は、選定された検査モデルを用いて、撮影画像内の検査対象、つまり検査中の検査対象についての特徴量を抽出して特徴マップを生成する。具体的には、例えば、撮影画像と重みフィルタとの内積、または、作成途中の特徴マップと重みフィルタとの内積をとり、ラスタスキャンによって繰り返し畳み込み処理を行うことにより、特徴マップを生成してもよい。
　次に、検査部は、生成された特徴マップを、複数の比較用の特徴マップと比較する。比較用の特徴マップは、正常な検査対象の画像に基づき、事前に生成されて、記憶部１１に記憶されているとする。当該比較では、生成された特徴マップと比較用の特徴マップとの間の差分が取られ、これにより、比較用の特徴マップごとに、距離マップが生成される。
　そして、検査部は、距離マップごとに、距離値を算出する。距離値の算出には、例えば、ｇｌｏｂａｌ　ｍａｘ　ｐｏｏｌｉｎｇ関数を用いてもよい。距離マップごとの距離値が算出されたら、算出された全ての距離値を考慮して、検査中の検査対象に対応する距離値が決定される。例えば、算出された全ての距離値の平均値などを、検査中の検査対象に対応する距離値と決定してよい。
　最後に、検査部は、検査中の検査対象に対応する距離値と、所定の閾値と、に基づき、検査中の検査対象が正常であるか異常であるかを判別する。このようにして、外観検査が行われてもよい。
　外観検査に用いられる撮影画像は、検査対象の認識に用いられた撮影画像と同じでもよいし、検査対象が認識された後の撮影画像でもよい。例えば、検査対象が映り込んだ時点での撮影画像から検査対象を認識し、検査対象が検査位置に設置された後の撮影画像から検査対象を検査してもよい。
　上記の外観検査のように、検査処理装置１が全ての検査を行ってもよいが、検査の一部が外部の装置により行われてもよい。例えば、画像からでは判断できない検査対象の内部の検査を、Ｘ線、音波などを用いて検査する外部装置を介して実施することが考えられる。その場合、検査処理装置１は、検査モデルに含まれるパラメータの値などを外部装置に送信し、検査により得られた数値などが検査処理装置１にフィードバックされる。そして、検査部１２４が、検査モデルに含まれる判定閾値などに基づき評価を行い、検査結果を算出する。
　検査情報出力部１２５は、検査に係る情報を出力先デバイス３に出力する。検査に係る情報には、検査に用いられる検査モデル、検査の結果などが想定される。出力先デバイス３は、公知のものでよく、特に限られるものではない。これにより、検査結果に基づいて、様々な処理を実行することができる。例えば、検査に用いられる検査モデル、検査の可否、異常が発見された位置といった検査結果を、モニタなどの表示装置を介して、表示してもよい。あるいは、ロボットアームなどの制御装置に対し、検査結果を出力することにより、ロボットアームが、検査結果に応じて、検査対象を取り分けるといったことも可能になる。
　次に、本実施形態の処理の流れについて説明する。図４は、第１の実施形態に係る検査処理装置の全体処理の概略フローチャートである。ここでは、検査対象を一つ検査する際のフローを示す。
　撮影部１２１が、検査空間の撮影画像を取得する（Ｓ１０１）。撮影部１２１からの画像が認識部１２２に送られ、検査モデルの選定処理が行われる（Ｓ１０２）。これにより、当該画像に基づき、検査モデルが選定される。検査モデルの選定処理の流れは、後述する。
　次に、検査が開始可能であることが認識される（Ｓ１０３）。例えば、認識部１２２は、撮影画像などから検査対象が検査開始位置に設置されたことを認識したときに、検査が開始可能と認識してもよい。あるいは、検査補助者などからの信号により、検査が開始可能と認識されてもよい。検査が開始可能であると認識されると、検査部１２４が選定された検査モデルを用いて検査を実行する（Ｓ１０４）。
　検査完了後、検査結果が検査情報出力部１２５に送られ、検査情報出力部１２５が検査結果を出力先デバイス３に出力する（Ｓ１０５）。以上により、検査処理装置１の処理が終了し、出力先デバイス３が検査結果に応じた処理を行うことができる。
　次に、検査モデルの選定処理の流れについて説明する。図５は、第１の実施形態に係る検査処理装置の検査モデルの選定処理の概略フローチャートである。
　認識部１２２が認識モデルを用いて撮影画像内に映りこんだ物体を認識する（Ｓ２０１）。認識された物体が検査対象である場合（Ｓ２０２のＹＥＳ）は、検査モデル選定部１２３が、当該検査対象に対応する検査モデルを選定する（Ｓ２０３）。そして、検査情報出力部１２５が、選定された検査対象を出力先デバイス３に出力する（Ｓ２０４）。
　検査対象が認識されなかった場合（Ｓ２０２のＮＯ）は、検査モデル選定部１２３が認識された物体から検査対象を推定する（Ｓ２０５）。検査対象を推定できた場合（Ｓ２０６のＹＥＳ）は、検査モデル選定部１２３は推定された検査対象に対応する検査モデルを選定する（Ｓ２０７）。そして、検査情報出力部１２５が、選定された検査対象を出力先デバイス３に出力する（Ｓ２０４）。
　検査対象を推定できなかった場合（Ｓ２０６のＮＯ）は、Ｓ２０１の処理に戻り、次の撮影画像による認識が行われる。こうして、検査対象が選定されるまでフローがループされることにより、最終的に検査モデルが選定される。
　なお、ここで説明されるフローチャートは一例であり、正しい処理結果が得られるならば、上記の例に限られるものではない。実施形態の求められる仕様、変更などに応じて、手順の並び替え、追加、および省略が行われてもよい。例えば、上記では、検査情報出力部１２５が選定された検査対象を出力するとしたが、当該処理は省略されてもよい。以降のフローチャートについても同様である。
　以上のように、本実施形態によれば、検査対象に応じた検査モデルにより検査が行われるため、検査対象の異常を検知する精度を許容範囲内に収めることができる。また、撮影画像から今回の検査の検査対象を認識し、今回の検査の検査対象に応じた検査モデルが選定される。ゆえに、手動での検査モデルの指定が不要であり、検査の自動化が推進される。
　また、本実施形態の検査処理装置１は、検査対象が認識できなかったときは、認識された物体に基づき、検査対象を推定する。そのため、検査対象が判明する前から、検査モデルを確定することができる。ゆえに、検査モデルを検査開始前に確認することができ、誤った検査モデルによる検査を軽減することができる。
　また、外観検査を行う場合は、外観検査を行うために用意されたカメラ２の画像に基づいて、検査対象を把握することができる。ゆえに、検査対象を把握するための専用のカメラ２を設けるコストが不要になる。
（第２の実施形態）
　図６は、第２の実施形態に係る検査処理装置を含む検査システムの一例を示す図である。第２の実施形態に係る検査システムには、入力元デバイス６がさらに含まれる。第２の実施形態に係る検査処理装置１は、モデル対応部１３をさらに備える。モデル対応部１３は、データ取得部１３１と、モデル学習部１３２と、検査モデル評価部１３３と、モデル情報出力部１３４と、をさらに備える。なお、第１の実施形態と同様な点は、説明を省略する。
　検査対象を切り替える頻度が高くなると、切り替えの作業により、検査環境が変化する可能性が増す。例えば、検査対象を照らす光源、治具などの位置が変化する可能性が増す。そのため、既存の検査モデルを用いると、検査の精度が低下する恐れがある。そこで、第２の実施形態では、検査モデルの補正を行う例について述べる。
　しかし、過学習などの要因により、補正された最新の検査モデルを用いたほうが異常検知の精度が高いとは必ずしも言えない。ゆえに、最新の検査モデルだけでなく、これまでの検査モデルも残しておくこととする。つまり、第１の実施形態とは異なり、一つの検査対象に対応する検査モデルが複数あることを想定する。そして、学習回数が異なる複数の検査モデルから、検査に用いられる検査モデルを選定する。
　データ取得部１３１は、入力元デバイス６から、テスト画像と、そのテスト画像の正解データを取得する。そして、モデル学習部１３２は、テスト画像とその正解データとに基づき、既存の検査モデルから新たな検査モデルを生成する。
　なお、実際の検査の撮影画像がテスト画像として用いられてもよい。つまり、データ取得部１３１は、正解データとして、以前の検査結果に対する評価を受け付けてもよい。そして、モデル学習部１３２は、以前の検査結果と、それに対する評価と、に基づき、既存の検査モデルから新たな検査モデルを生成してもよい。
　例えば、検査情報出力部１２５が出力先デバイス３などに出力した検査結果が、検査補助者により評価されて、その評価結果が、正解データとして、データ取得部１３１に入力されてもよい。あるいは、検査情報出力部１２５がファイルとして出力した検査結果が編集されて、データ取得部１３１に入力されてもよい。モデル学習部１３２は、これらの修正された評価結果を正解データとして用いて、検査モデルを新たに生成する。学習方法は公知の手法を用いてよい。これにより、対応する検査対象（例えば製品Ａ）は同じではあるが、検査条件、判定閾値などが異なる複数の検査モデル（例えば検査モデルＡ群）が生成される。
　モデル学習部１３２は、検査モデルと同様に、識別モデルを更新してもよい。例えば、検査補助者などが識別結果に対する解答をモデル学習部１３２に入力し、モデル学習部１３２が当該解答を正解データとして用いて、認識モデルを更新してもよい。また、モデル学習部１３２が、検査モデルのためのモデル学習部（検査モデル学習部）と、認識モデルのためのモデル学習部（認識モデル学習部）とに、別々に分けられていてもよい。
　検査モデル評価部１３３は、複数の検査モデルそれぞれを評価する。検査モデル評価部１３３による評価は、適宜、行われてよい。評価方法は、検査対象に要求される品質などに応じて、任意に定めてよい。例えば、検査モデル評価部１３３は、「正常」に分類されるテスト画像と、「異常」に分類されるテスト画像を、データ取得部１３１を介して受け付ける。そして、検査モデル評価部１３３が、これらのテスト画像に基づき、各検査モデルの各検査項目に対して評価を行い、検査項目ごとの評価を考慮して、各検査モデルを総合的に評価する方法が考えられる。
　例えば、検査項目が、傷、汚れ、および異物混入の３つとする。検査モデル評価部１３３は、テスト画像に、傷が存在する可能性、汚れが存在する可能性、および異物が混入している可能性に応じた点数を、それぞれ算出する。当該点数を異常度スコアと記載する。実際に異常がある場合、異常度スコアが高い検査モデルの方が、異常検知の精度が高いと言える。次に、各検査項目の異常度スコアに基づき、検査モデルを評価する。例えば、各検査項目の異常度スコアに、当該検査項目の重要性を示す係数を積算した上で加算して、検査モデルの評価値を算出してもよい。あるいは、一つでも異常を検知できなかった項目がある検査モデルの評価値を低くするといった評価方法が考えられる。
　また、検査モデル評価部１３３による評価などの、モデルに関する情報は、モデル情報出力部１３４により出力される。例えば、任意に選択された複数の検査モデルのうち、評価が所定値よりも低い検査モデルの数が、所定数以上である場合は、警告を発してもよい。これにより、検査モデルの再生成を促すことができる。なお、モデル情報出力部１３４を省略し、検査情報出力部１２５がモデルに関する情報を出力してもよい。
　こうして算出された検査モデル評価部１３３の評価は、検査モデル選定部１２３により用いられる。つまり、本実施形態の検査モデル選定部１２３は、検査モデル評価部１３３の評価に基づき、検査対象に対応する複数の検査モデルのうちから、検査に用いられる検査モデルを選定する。検査モデルの選定基準は任意に定めてよい。最も評価の高い検査モデルが選定されてもよい。あるいは、検査補助者などから、検査項目の重要度を指定されたときは、重要度の高い検査項目に対する評価（つまり異常度スコア）が高い検査モデルが優先的に選定されてもよい。これにより、ユーザの要望に即した検査を可能にする。
　次に、第２の実施形態における検査処理装置１の処理の流れについて説明する。図７は、第２の実施形態のモデル対応部の処理の概略フローチャートである。
　データ取得部１３１がテスト画像と正解データを取得する（Ｓ３０１）。当該テスト画像などがモデル学習部１３２に送られ、モデル学習部１３２が、テスト画像と正解データとに基づき検査モデルを新たに生成する（Ｓ３０２）。そして、検査モデル評価部１３３が、テスト画像に基づき、複数の検査モデルを評価する（Ｓ３０３）。なお、評価のために新たなテスト画像を、データ取得部１３１を介して、受け付けてもよい。これにより、各検査モデルの評価が算出される。
　閾値よりも評価が低い検査モデルが所定数を超えた場合（Ｓ３０４のＹＥＳ）は、モデル情報出力部１３４が、出力先デバイス３を介して、警告を出力する。これにより、評価の低い検査モデルにより検査が行われることを防ぐ。
　閾値よりも評価が低い検査モデルが所定数を超えていない場合（Ｓ３０４のＮＯ）は、本フローは終了する。こうして、各検査モデルの評価が算出され、図５に示された検査モデルの選定処理において、検査モデル選定部１２３が検査モデルを選定する際（Ｓ２０３およびＳ２０４）に、各検査モデルの評価に基づき検査モデルが選定される。これにより、適切と想定される検査モデルにより検査が行われるため、異常検知の精度が保たれる。
　以上のように、本実施形態によれば、１つの検査対象に対応する複数の検査モデルから、適切とされる検査モデルが選定される。これにより、異常を検知する精度をより高めることができる。また、特定の検査項目を重視したい場合に、当該特定の検査項目に適した検査モデルを用いることができるため、検査の詳細な要望に対し柔軟に対応することができる。
　また、本実施形態によれば、検査モデルの評価が低い場合に警告を発することができるため、評価の低い検査モデルにより検査が行われることを防ぐことができる。
　また、本実施形態によれば、認識モデルも更新可能であるため、認識できない製品の画像を、新たな製品を認識するための学習データとして用い、検査と並行して、新たな製品を認識する学習を行うことができる。
（第３の実施形態）
　これまでの実施形態では、認識モデルにより全ての検査対象が認識可能であると想定した。しかし、当該想定では、検査対象が増えた場合に、新たな検査対象を認識する認識モデルが生成されるまで検査を行うことができない。そのため、新たな検査対象の検査モデルは生成したが、新たな検査対象の認識モデルが生成されていないために、検査が開始できないこともあり得る。
　そこで、新たな検査対象の検査モデルは生成したが、新たな検査対象の認識モデルが生成されていない場合に、検査を行いつつ、並行して新たな検査対象の認識モデルの学習を行う実施形態について説明する。なお、本実施形態の構造および処理の流れは、これまでの実施形態と同様のため、ブロック図およびフロー図は省略する。
　例えば、検査処理装置１が、製品Ａの検査モデルと、製品Ｂの検査モデルと、製品Ｃの検査モデルとを有し、認識モデルにより製品Ａと製品Ｂは認識可能であるとする。そして、製品Ｃが、検査開始位置などに設置されて、検査可能な状態になったとする。この場合において、認識部１２２は、撮影画像の物体の位置などに基づき検査対象が検査可能な状態になったことを認識し、さらに、検査開始位置にある物体を認識不可能な検査対象であると判断する。言い換えると、認識部１２２は、画像に映された物体は検査対象のはずだが、製品Ａでも製品Ｂでもないと認識する。このとき、認識部１２２は、検査対象を新たな製品と認識してもよい。
　そして、検査モデル選定部１２３は、認識可能な検査対象と対応していない検査モデルにて検査を行う。つまり、製品Ａにも製品Ｂにも対応していない検査モデルＣにて検査が行われる。認識可能な検査対象と対応していない検査モデルが一つしかなければ、当該検査モデルを認識できない検査対象に対応する検査モデルとして選定することができる。このようにして、製品Ｃを認識できない場合でも、製品Ｃの検査モデルＣを用いて検査を行うことができる。
　そして、モデル学習部１３２は、検査時の撮影画像に製品Ｃが映し出されているとして、検査時の撮影画像を用いて学習を行い、認識モデルを更新する。つまり、１回の検査ごとに認識モデルの学習データと正解データを入手することができ、検査と学習を並行して行うことができる。このようにして、検査と並行して認識モデルを更新し、新たな検査対象を認識可能にしてもよい。
　以上のように、本実施形態によれば、検査対象が増えた場合でも、認識モデルが生成されるまで検査ができないという事態を防ぎ、新製品の迅速な出荷に対応できる。
　なお、上述の各実施形態の構成要素は、仕様などに応じて、適宜、変更されてもよい。例えば、各構成要素は、処理内容、処理に用いるデータなどに応じて、複数に分けられていてもよい。例えば、記憶部１１が、記憶するデータに応じて、分けられていてもよい。また、構成要素の一部または全てが複数ある構成でもよい。構成要素の一部が共通であってもよい。また、一部の構成要素が外部の装置に存在し、当該外部の装置とデータの送受を行ってもよい。あるいは、各構成要素が、データ通信を行う複数の装置に、別々に含まれていてもよい。つまり、複数の装置で構成されたシステムにより、各処理が行われてもよい。
　例えば、認識部１２２および検査モデル選定部１２３を含む第１の検査処理装置が、撮影部１２１を含み撮影を行う撮影装置から撮影画像を取得し、検査モデルを選定してもよい。そして、第１の検査処理装置により選定された検査モデルが、認識部１２２および検査モデル選定部１２３を含まず検査部１２４を含む第２の検査処理装置に送信され、第２の検査処理装置により当該検査モデルを用いた検査が行われてもよい。このようにすると、検査モデルの選定と検査とを、異なる場所で行うこともできる。
　また、処理の遅延に繋がりそうな構成要素を少なくとも二つ用意し、当該構成要素の処理を並列に行うことにより、遅延時間を減らすといった構成も考えられる。例えば、本実施形態の検査部１２４は、複数の検査モデルから選択された検査モデルを用いて検査を行うが、検査モデルの切り替えに時間を要することもあり得る。このような遅延時間が蓄積すると、検査全体に多大な影響を及ぼす恐れがある。例えば、ベルトコンベアなどにより、検査対象が検査空間に運ばれてくる場合に、検査が完了する前に、次の検査対象が検査空間に運ばれてしまい、ベルトコンベアを停止させる事態になる恐れもある。そこで、検査モデル選定部１２３および検査部１２４を複数用意し、検査モデルの選定、検査モデルの読み込み、および検査を並列に処理するようにしてもよい。これにより、検査対象が、一つ前の検査対象に対する検査の終了を待っているという事態を減少させることができる。また、検査部１２４の検査が完了する前に、撮影部１２１、認識部１２２、および検査モデル選定部１２３が、以降の検査対象に対する処理を事前に行っておき、検査部１２４の次の検査が即座に開始できるようにして、検査の遅延を減らすようにしてもよい。
　あるいは、複数の検査部１２４（あるいは複数の第２の検査処理装置）が、それぞれ異なる検査モデルを担当するようにしてもよい。例えば、検査モデルＡを用いる検査部Ａ（第２の検査処理装置Ａ）と、検査モデルＢを用いる検査部Ｂ（第２の検査処理装置Ｂ）と、に分けておく。そして、検査モデル選定部１２３（第１の検査処理装置）が検査モデルＡを用いる場合と判定した場合に、検査モデル選定部１２３（第１の検査処理装置）は、検査部Ａ（第２の検査処理装置Ａ）にて検査を行うように指示する。例えば、ベルトコンベアで検査対象が運ばれている場合に、ベルトコンベアの行先を制御する制御装置、検査対象を別のレーンに分けるロボットアームの制御装置などに、検査対象を検査部Ａ（第２の検査処理装置Ａ）に向かわすように指示してもよい。
　また、各検査部（各第２の検査処理装置）が用いる検査モデルを予め定めておくのではなく、検査部（第２の検査処理装置）同士が協働して決定してもよい。例えば、検査対象Ａの検査数が所定値を越えた場合に、検査部Ａ（第２の検査処理装置Ａ）が、検査対象Ａの専用の検査装置になることを決定し、その決定を受けた検査部Ｂ（第２の検査処理装置Ｂ）が、検査対象Ａ以外の検査を担当すると決定することが考えられる。
　また、モデル対応部１３を含むモデル学習装置が検査モデルを生成して、記憶部１１に該当するストレージ装置に記憶し、モデル対応部１３を含まず検査対応部１２を含む検査処理装置が当該ストレージ装置に記憶された検査モデルを用いて検査を行ってもよい。このようにして、検査システムが構成されてもよい。
　なお、上記の実施形態の少なくとも一部は、プロセッサ、メモリなどを実装しているＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：集積回路）などの専用の電子回路（すなわちハードウェア）により実現されてもよい。また、上記の実施形態の少なくとも一部は、ソフトウェア（プログラム）を実行することにより、実現されてもよい。例えば、汎用のコンピュータ装置を基本ハードウェアとして用い、コンピュータ装置に搭載された中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、画像処理装置（ＧＰＵ：Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサ（処理回路）にプログラムを実行させることにより、上記の実施形態の処理を実現することが可能である。言い換えると、当該プログラムの実行により、プロセッサ（処理回路）が、検査処理装置１の各処理を実行できるように構成される。
　例えば、コンピュータが読み取り可能な記憶媒体に記憶された専用のソフトウェアをコンピュータが読み出すことにより、コンピュータを上記の実施形態の装置とすることができる。記憶媒体の種類は特に限定されるものではない。また、通信ネットワークを介してダウンロードされた専用のソフトウェアをコンピュータがインストールすることにより、コンピュータを上記の実施形態の装置とすることができる。こうして、ソフトウェアによる情報処理が、ハードウェア資源を用いて、具体的に実装される。
　図８は、本発明の一実施形態におけるハードウェア構成の一例を示すブロック図である。検査処理装置１は、プロセッサ７１と、主記憶装置７２と、補助記憶装置７３と、ネットワークインタフェース７４と、デバイスインタフェース７５と、を備え、これらがバス７６を介して接続されたコンピュータ装置７として実現できる。
　なお、図８のコンピュータ装置７は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図８では、１台のコンピュータ装置７が示されているが、ソフトウェアが複数のコンピュータ装置にインストールされて、当該複数のコンピュータ装置それぞれがソフトウェアの異なる一部の処理を実行してもよい。
　プロセッサ７１は、コンピュータの制御装置および演算装置を含む電子回路（処理回路）である。プロセッサ７１は、コンピュータ装置７の内部構成の各装置などから入力されたデータやプログラムに基づいて演算処理を行い、演算結果や制御信号を各装置などに出力する。具体的には、プロセッサ７１は、コンピュータ装置７のＯＳ（オペレーティングシステム）や、アプリケーションなどを実行することにより、コンピュータ装置７を構成する各構成要素を制御する。プロセッサ７１は、上記の処理を行うことができれば特に限られるものではない。検査対応部、モデル対応部、およびそれらの各構成要素は、プロセッサ７１により実現される。
　主記憶装置７２は、プロセッサ７１が実行する命令および各種データなどを記憶する記憶装置であり、主記憶装置７２に記憶された情報がプロセッサ７１により直接読み出される。補助記憶装置７３は、主記憶装置７２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、メモリでもストレージでもよい。また、メモリには、揮発性メモリと、不揮発性メモリがあるが、いずれでもよい。記憶部１１は、主記憶装置７２または補助記憶装置７３により実現されてもよい。
　ネットワークインタフェース７４は、無線または有線により、通信ネットワーク８に接続するためのインタフェースである。ネットワークインタフェース７４は、既存の通信規格に適合したものを用いればよい。ネットワークインタフェース７４により、通信ネットワーク８を介して通信接続された外部装置９Ａと情報のやり取りが行われてもよい。
　外部装置９Ａは、例えばカメラ２、出力先デバイス３、外部のセンサ、入力元デバイス６などが含まれる。また、外部装置９Ａは、検査処理装置１の構成要素の一部を有する装置でもよく、上述の第１および第２の検査処理装置、撮影装置、ストレージ装置などでもよい。そして、コンピュータ装置７は、検査処理装置１の処理結果の一部を、クラウドサービスのように通信ネットワーク８を介して受け取ってもよい。
　デバイスインタフェース７５は、外部装置９Ｂと直接接続するＵＳＢなどのインタフェースである。外部装置９Ｂは、外部記憶媒体でもよいし、ストレージ装置でもよい。記憶部１１は、外部装置９Ｂにより実現されてもよい。
　外部装置９Ｂは出力装置でもよい。出力装置は、例えば、画像を表示するための表示装置でもよいし、音声などを出力する装置などでもよい。例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、スピーカなどがあるが、これらに限られるものではない。
　なお、外部装置９Ｂは入力装置でもよい。入力装置は、キーボード、マウス、タッチパネルなどのデバイスを備え、これらのデバイスにより入力された情報をコンピュータ装置７に与える。入力装置からの信号はプロセッサ７１に出力される。
　上記に、本発明の一実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１：検査処理装置、１１：記憶部、１２：検査対応部、１２１：撮影部（画像取得部）、１２２：認識部、１２３：検査モデル選定部、１２４：検査部、１２５：検査情報出力部、１３：モデル対応部、１３１：データ取得部、１３２：モデル学習部、１３３：検査モデル評価部、１３４：モデル情報出力部、２：カメラ、３：出力先デバイス、４（４Ａ）：検査対象、５（５Ａ、５Ｂ）：治具、５１（５１Ａ、５１Ｂ）：治具の溝、６：入力元デバイス、７：コンピュータ装置、７１：プロセッサ、７２：主記憶装置、７３：補助記憶装置、７４：ネットワークインタフェース、７５：デバイスインタフェース、７６：バス、８：通信ネットワーク、９（９Ａ、９Ｂ）：外部装置

Claims (15)

  1. 　検査対象に対する検査に係る処理を行う検査処理装置であって、
    　前記検査が行われる空間を映した画像から、前記画像内に存在する物体を認識する認識部と、
    　認識された前記物体に基づき、複数の検査モデルから、前記検査に用いられる検査モデルを選定する検査モデル選定部と、
    　を備える検査処理装置。
  2. 　前記認識部により前記検査対象が認識されていないときに、
    　前記検査モデル選定部が、認識された前記物体に基づき、前記検査対象を推定し、
    　推定された前記検査対象に対応する検査モデルを、前記検査に用いられる検査モデルとして選定する
    　請求項１に記載の検査処理装置。
  3. 　前記認識部が前記物体を非検査対象であると認識し、
    　前記検査モデル選定部が、認識された前記非検査対象に基づき、前記検査対象を推定する
    　請求項２に記載の検査処理装置。
  4. 　前記認識部が、認識された前記物体の位置または配置を認識し、
    　前記検査モデル選定部が、少なくとも、認識された前記位置または前記配置に基づき、前記検査対象を推定する
    　請求項２に記載の検査処理装置。
  5. 　前記認識部が、認識された前記物体の動きを認識し、
    　前記検査モデル選定部が、認識された前記動きに基づき、前記検査対象を推定する
    　請求項２に記載の検査処理装置。
  6. 　検査モデルに対する評価を行う検査モデル評価部をさらに備え、
    　前記検査対象に対応する検査モデルが複数ある場合に、前記検査に用いられる検査モデルが、前記評価に基づき、前記検査対象に対応する複数の検査モデルから選定される
    　請求項１ないし５のいずれか一項に記載の検査処理装置。
  7. 　前記認識部が、前記物体を認識不可能な検査対象であると判断した場合に、
    　前記検査モデル選定部が、認識可能な検査対象と対応していない検査モデルを、前記検査に用いられる検査モデルとして選定する
    　請求項１ないし６のいずれか一項に記載の検査処理装置。
  8. 　前記検査モデル選定部は、前記認識部で認識された物体が前記検査対象である場合、前記検査対象に対応する検査モデルを選定する
    　請求項１に記載の検査処理装置。
  9. 　選定された検査モデルを用いて、前記検査を行う検査部
    　をさらに備える請求項１ないし８のいずれか一項に記載の検査処理装置。
  10. 　前記検査部が、前記画像に映し出された前記検査対象の外観に基づき、前記検査を行う
    　請求項９に記載の検査処理装置。
  11. 　前記検査部が少なくとも二つ存在し、
    　少なくとも二つの検査部が、それぞれ異なる検査対象に対して、前記検査を行う
    　請求項９または１０に記載の検査処理装置。
  12. 　前記少なくとも二つの検査部が、それぞれ異なる検査モデルを用いて、前記検査を行う
    　請求項１１に記載の検査処理装置。
  13. 　前記検査部が、第Ｎ（Ｎは１以上の整数）番目の検査対象に対して、前記検査を行っている間に、前記検査モデル選定部が、第Ｎ番目よりも後の検査対象に対応する検査モデルを選定する
    　請求項９または１０に記載の検査処理装置。
  14. 　検査対象に対する検査に係る処理を行うための検査処理方法であって、
    　前記検査が行われる空間を映した画像から、前記画像内に存在する物体を認識するステップと、
    　認識された前記物体に基づき、複数の検査モデルから、前記検査に用いられる検査モデルを選定するステップと、
    　を備える検査処理方法。
  15. 　検査対象に対する検査に係る処理を行うためのプログラムであって、
    　前記検査が行われる空間を映した画像から、前記画像内に存在する物体を認識するステップと、
    　認識された前記物体に基づき、複数の検査モデルから、前記検査に用いられる検査モデルを選定するステップと、
    　を備えるプログラム。
PCT/JP2018/047804 2017-12-27 2018-12-26 検査処理装置、検査処理方法、およびプログラム WO2019131742A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019562092A JPWO2019131742A1 (ja) 2017-12-27 2018-12-26 検査処理装置、検査処理方法、およびプログラム
CN201880079422.9A CN111448585A (zh) 2017-12-27 2018-12-26 检查处理装置、检查处理方法以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-251570 2017-12-27
JP2017251570 2017-12-27

Publications (1)

Publication Number Publication Date
WO2019131742A1 true WO2019131742A1 (ja) 2019-07-04

Family

ID=67063708

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/047804 WO2019131742A1 (ja) 2017-12-27 2018-12-26 検査処理装置、検査処理方法、およびプログラム

Country Status (3)

Country Link
JP (1) JPWO2019131742A1 (ja)
CN (1) CN111448585A (ja)
WO (1) WO2019131742A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210166081A1 (en) * 2019-12-02 2021-06-03 Level 3 Communications, Llc Optical identification of telecommunications equipment
JP2022100239A (ja) * 2020-12-23 2022-07-05 トランスポーテーション アイピー ホールディングス，エルエルシー 機器検査のためのシステムおよび方法
WO2022250031A1 (ja) * 2021-05-24 2022-12-01 アナウト株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
WO2022260142A1 (ja) * 2021-06-09 2022-12-15 京セラ株式会社 認識器学習装置、認識装置、電子機器、及び学習方法
JP2023035559A (ja) * 2021-09-01 2023-03-13 ダイハツ工業株式会社 情報処理装置および情報処理システム
WO2023106157A1 (ja) * 2021-12-10 2023-06-15 東京エレクトロン株式会社 基板検査方法、基板検査プログラム、及び基板検査装置
JP7524824B2 (ja) 2021-05-13 2024-07-30 株式会社明電舎 推論装置
US12125046B2 (en) 2023-10-20 2024-10-22 Level 3 Communications, Llc Optical identification of telecommunications equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09113631A (ja) * 1995-10-13 1997-05-02 Ishida Co Ltd Ｘ線異物検出装置
JP2005241310A (ja) * 2004-02-24 2005-09-08 Nagoya Electric Works Co Ltd 外観検査装置、外観検査方法および外観検査プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09113631A (ja) * 1995-10-13 1997-05-02 Ishida Co Ltd Ｘ線異物検出装置
JP2005241310A (ja) * 2004-02-24 2005-09-08 Nagoya Electric Works Co Ltd 外観検査装置、外観検査方法および外観検査プログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210166081A1 (en) * 2019-12-02 2021-06-03 Level 3 Communications, Llc Optical identification of telecommunications equipment
US20240046278A1 (en) * 2019-12-02 2024-02-08 Level 3 Communications, Llc Optical identification of telecommunications equipment
US11798005B2 (en) * 2019-12-02 2023-10-24 Level 3 Communications, Llc Optical identification of telecommunications equipment
JP7340580B2 (ja) 2020-12-23 2023-09-07 トランスポーテーション アイピー ホールディングス，エルエルシー 機器検査のためのシステムおよび方法
JP2022100239A (ja) * 2020-12-23 2022-07-05 トランスポーテーション アイピー ホールディングス，エルエルシー 機器検査のためのシステムおよび方法
JP7524824B2 (ja) 2021-05-13 2024-07-30 株式会社明電舎 推論装置
WO2022250031A1 (ja) * 2021-05-24 2022-12-01 アナウト株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
WO2022260142A1 (ja) * 2021-06-09 2022-12-15 京セラ株式会社 認識器学習装置、認識装置、電子機器、及び学習方法
JP7260706B2 (ja) 2021-06-09 2023-04-18 京セラ株式会社 認識器学習装置、認識装置、電子機器、及び学習方法
JP2022188780A (ja) * 2021-06-09 2022-12-21 京セラ株式会社 認識器学習装置、認識装置、電子機器、及び学習方法
JP2023035559A (ja) * 2021-09-01 2023-03-13 ダイハツ工業株式会社 情報処理装置および情報処理システム
JP7519970B2 (ja) 2021-09-01 2024-07-22 ダイハツ工業株式会社 情報処理装置および情報処理システム
WO2023106157A1 (ja) * 2021-12-10 2023-06-15 東京エレクトロン株式会社 基板検査方法、基板検査プログラム、及び基板検査装置
US12125046B2 (en) 2023-10-20 2024-10-22 Level 3 Communications, Llc Optical identification of telecommunications equipment

Also Published As

Publication number Publication date
JPWO2019131742A1 (ja) 2020-12-10
CN111448585A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
WO2019131742A1 (ja) 検査処理装置、検査処理方法、およびプログラム
US9773304B2 (en) Inspection apparatus, inspection method, and program
JP7004145B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
US20150261899A1 (en) Robot simulation system which simulates takeout process of workpieces
JP6251519B2 (ja) 加工対象物検査のための方法及びシステム
JP5218723B2 (ja) 蛍光探傷方法および蛍光探傷装置
US10366484B2 (en) Inspection method, inspection apparatus, processing apparatus, and recording medium for detecting defects of a work
US20080013825A1 (en) Simulation device of robot system
US20180330193A1 (en) Image processing device, non-transitory computer readable storage medium, and image processing system
KR20210008352A (ko) 촬상된 품목의 결함을 검출하기 위한 시스템 및 방법
JP2007071678A (ja) 検査システム
CN108492327B (zh) Aoi图像匹配方法、系统、可读存储介质及智能设备
US11933739B2 (en) Inspection apparatus
KR20210091189A (ko) 자동 시각적 검사 공정에서 설정 단계의 최적화
US20220005183A1 (en) Multi-camera visual inspection appliance and method of use
JP6777604B2 (ja) 検査システムおよび検査方法
US20240328774A1 (en) CMM Downtime System
WO2021079727A1 (ja) 外観検査装置、外観検査方法および外観検査プログラム
JP2018005500A (ja) 画像処理システム、画像処理方法、および画像処理プログラム
CN114846513A (zh) 动作分析系统和动作分析程序
JP7410387B2 (ja) 付属品の取り付け位置検査方法及び取り付け位置検査装置
JP2019049509A (ja) 表面検査装置及び表面検査方法
CN108874881B (zh) 一种点检方法、装置、设备及介质
US10852244B2 (en) Image processing apparatus, image processing method, and recording medium
US20220392057A1 (en) Defect position determination system, appearance inspection method and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18895460

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019562092

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18895460

Country of ref document: EP

Kind code of ref document: A1