WO2022244075A1 - 検査システム - Google Patents

検査システム Download PDF

Info

Publication number
WO2022244075A1
WO2022244075A1 PCT/JP2021/018652 JP2021018652W WO2022244075A1 WO 2022244075 A1 WO2022244075 A1 WO 2022244075A1 JP 2021018652 W JP2021018652 W JP 2021018652W WO 2022244075 A1 WO2022244075 A1 WO 2022244075A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
observation
model
movement trajectory
series data
Prior art date
Application number
PCT/JP2021/018652
Other languages
English (en)
French (fr)
Inventor
あずさ 澤田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/018652 priority Critical patent/WO2022244075A1/ja
Priority to JP2023522022A priority patent/JPWO2022244075A1/ja
Publication of WO2022244075A1 publication Critical patent/WO2022244075A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an inspection system, an inspection method, and a recording medium.
  • An inspection system has been proposed that inspects the presence or absence of foreign matter in a liquid sealed in a transparent or translucent container.
  • Non-Patent Document 1 a method and apparatus for predicting the certainty of the identification result output by the identification model configured by the deep neural network for image identification has been proposed (see, for example, Non-Patent Document 1). Specifically, when an image is input to a trained discriminant model, intermediate feature values extracted from the discriminative model and true class probability (TCP: True Class Probability) are used as teacher data, and the input is obtained from the discriminative model. A machine-learned confidence prediction model is used so that the output is the confidence of the discrimination result of the discrimination model.
  • TCP True Class Probability
  • the identification results of models that identify types of objects are not always 100% reliable and may be incorrect. There is a possibility that It is important to be able to predict the certainty of the identification results of the identification model, especially in applications where failures can have a serious impact, such as the inspection of foreign substances in liquid pharmaceuticals such as injectable preparations.
  • Non-Patent Document 1 when an image to be identified is input to a trained identification model, intermediate feature amounts and true class probabilities extracted from the identification model are used as teacher data, and the confidence prediction model to learn.
  • a configuration that trains a confidence prediction model using input images (intermediate features of them) as training data it is difficult to differentiate the confidences of multiple results estimated from multiple similar input images. be. Therefore, in the method described in Non-Patent Document 1, a difference is added to the confidence of the result estimated from time-series data representing mutually similar movement trajectories obtained by insufficient observation from a plurality of different types of objects. It is difficult.
  • the present invention is to provide an inspection system that solves the above problems.
  • An inspection system includes: Time-series data representing the movement trajectory of an object obtained by observation and the type of the object are used as first teacher data, and the time-series data representing the movement trajectory of the object obtained by observation are used to determine the object.
  • a discriminative model learning means for learning a discriminative model for estimating the type of A time series representing the movement trajectory of an object obtained by observation using time-series data representing the movement trajectory of an object obtained by observation, its observation specifications, and the type of the object as second teacher data.
  • a certainty prediction model learning means for learning a certainty prediction model for predicting the certainty of an estimation result of the discriminative model from data observation specifications; Using the learned discrimination model, estimating the type of the object from time series data representing the movement trajectory of the object obtained by observation, and using the learned confidence prediction model, the time series determination means for predicting the confidence level of the estimation result of the discriminative model from observation data data; is configured to include
  • an inspection method includes: Time-series data representing the movement trajectory of an object obtained by observation and the type of the object are used as first teacher data, and the time-series data representing the movement trajectory of the object obtained by observation are used to determine the object. learn a discriminant model that estimates the type of A time series representing the movement trajectory of an object obtained by observation using time-series data representing the movement trajectory of an object obtained by observation, its observation specifications, and the type of the object as second teacher data.
  • a computer-readable recording medium includes to the computer, Time-series data representing the movement trajectory of an object obtained by observation and the type of the object are used as first teacher data, and the time-series data representing the movement trajectory of the object obtained by observation are used to determine the object.
  • a process of learning a discriminative model that estimates the type of A time series representing the movement trajectory of an object obtained by observation using time-series data representing the movement trajectory of an object obtained by observation, its observation specifications, and the type of the object as second teacher data.
  • the present invention by having the configuration as described above, even when time-series data representing a plurality of mutually similar movement trajectories obtained by observation from a plurality of objects of different types, the observation specifications are different. If so, we can differentiate between the confidences of the results estimated from the time-series data.
  • FIG. 1 is a block diagram of an inspection system according to a first embodiment of the present invention
  • FIG. It is a block diagram showing an example of an inspection device in a 1st embodiment of the present invention.
  • 4 is a diagram showing a configuration example of image information according to the first embodiment of the present invention.
  • FIG. It is a figure which shows the structural example of the tracking information in the 1st Embodiment of this invention. It is a figure which shows the structural example of the inspection result information in the 1st Embodiment of this invention.
  • FIG. 4 is a schematic diagram showing an example of a method of creating teacher data used for machine learning of a certainty prediction model according to the first embodiment of the present invention
  • 4 is a flow chart showing an example of operation in a learning phase according to the first embodiment of the present invention
  • FIG. 4 is a flow chart showing an example of operation in an inspection phase in the first embodiment of the present invention
  • FIG. 7 is a schematic diagram showing another example of a method of creating teacher data used for machine learning of a certainty prediction model according to the first embodiment of the present invention
  • FIG. 11 is a schematic diagram showing an example of a method of learning a discriminant model according to Modification 3 of the first embodiment of the present invention
  • FIG. 10 is a schematic diagram showing an example of a method of creating teacher data used for machine learning of a certainty prediction model in Modification 4 of the first embodiment of the present invention.
  • FIG. 11 is a schematic diagram showing an example of a method of creating teacher data used for machine learning of a certainty prediction model in Modification 5 of the first embodiment of the present invention.
  • FIG. 11 is a schematic diagram showing an example of a discrimination model used in modification 6 of the first embodiment of the present invention;
  • FIG. 4 is a block diagram of an inspection system according to a second embodiment of the present invention; FIG.
  • FIG. 1 is a block diagram of an inspection system 100 according to the first embodiment of the invention.
  • an inspection system 100 is a system for inspecting the presence or absence of foreign matter in a liquid enclosed in a container 400 .
  • the inspection system 100 includes a grasping device 110, an illumination device 120, a camera device 130, an inspection device 200, and a display device 300 as main components.
  • a container 400 is a transparent or translucent container such as a glass bottle or a PET bottle.
  • the inside of the container 400 is sealed and filled with a liquid such as a medicine or water.
  • the liquid enclosed in the container 400 may contain foreign matter. Examples of foreign matter include pieces of glass, pieces of plastic, pieces of rubber, hair, pieces of fiber, soot, and the like.
  • the gripping device 110 is configured to grip the container 400 in a predetermined posture.
  • the predetermined posture is arbitrary.
  • the predetermined posture may be the posture when the container 400 is upright.
  • the predetermined posture may be a posture in which the container 400 is tilted at a predetermined angle from the upright posture.
  • the upright posture of the container 400 is assumed to be the predetermined posture.
  • a mechanism for holding the container 400 in an upright position is optional.
  • the gripping mechanism includes a pedestal on which the container 400 is placed in an upright position, and a member that presses the upper surface of the cap 401 that is the top of the container 400 placed on the pedestal. It's okay.
  • the gripping device 110 is configured to tilt, swing, or rotate the container 400 in a predetermined direction from an upright position while gripping the container 400 .
  • a mechanism for tilting, swinging, and rotating the container 400 is arbitrary.
  • the mechanism for tilting, swinging, and rotating may include a motor that tilts, swings, and rotates the entire gripping mechanism while gripping the container 400 .
  • the gripping device 110 is connected to the inspection device 200 by wire or wirelessly.
  • the gripping device 110 tilts, swings, and rotates the container 400 in a predetermined direction from an upright posture while gripping the container 400 .
  • the gripping device 110 stops tilting, swinging, and rotating the container 400, and returns to gripping the container 400 in an upright posture.
  • the illumination device 120 is configured to irradiate the liquid sealed in the container 400 with illumination light.
  • the illumination device 120 is, for example, a surface light source having a size corresponding to the size of the container 400 .
  • the illumination device 120 is installed on the opposite side of the container 400 to the side where the camera device 130 is installed. That is, illumination by the illumination device 120 is transmitted illumination.
  • the position of the illumination device 120 is not limited to this.
  • the camera device 130 is a photographing device that continuously photographs the liquid in the container 400 at a predetermined frame rate from a predetermined position on the opposite side of the container 400 where the lighting device 120 is installed.
  • the camera device 130 may include, for example, a color camera equipped with a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary MOS) image sensor having a pixel capacity of several million pixels.
  • Camera device 130 is connected to inspection device 200 by wire or wirelessly.
  • the camera device 130 is configured to transmit time-series images obtained by photographing to the inspection device 200 together with information indicating photographing times.
  • the display device 300 is a display device such as an LCD (Liquid Crystal Display).
  • the display device 300 is connected to the inspection device 200 by wire or wirelessly.
  • the display device 300 is configured to display the inspection result of the container 400 performed by the inspection device 200 and the like.
  • the inspection device 200 is an information processing device that performs image processing on time-series images captured by the camera device 130 and inspects the presence or absence of foreign matter in the liquid enclosed in the container 400 . Inspection device 200 is connected to grasping device 110, camera device 130, and display device 300 by wire or wirelessly.
  • FIG. 2 is a block diagram showing an example of the inspection device 200.
  • the inspection device 200 includes a communication I/F section 210 , an operation input section 220 , a storage section 230 and an arithmetic processing section 240 .
  • the communication I/F unit 210 is composed of a data communication circuit, and is configured to perform wired or wireless data communication with the gripping device 110, the camera device 130, the display device 300, and other external devices (not shown). ing.
  • the operation input unit 220 is composed of an operation input device such as a keyboard and a mouse, and is configured to detect an operator's operation and output it to the arithmetic processing unit 240 .
  • the storage unit 230 is composed of one or more types of storage devices such as hard disks and memories, and is configured to store processing information and programs 231 necessary for various processes in the arithmetic processing unit 240 .
  • the program 231 is a program that realizes various processing units by being read and executed by the arithmetic processing unit 240, and is transmitted from an external device (not shown) or a recording medium via a data input/output function such as the communication I/F unit 210. It is read in advance and stored in the storage unit 230 .
  • Main processing information stored in the storage unit 230 includes image information 232 , tracking information 233 , identification model 234 , confidence prediction model 235 , and inspection result information 236 .
  • the image information 232 includes time-series images obtained by continuously photographing the liquid in the container 400 with the camera device 130 . If floating matter exists in the liquid in the container 400, the image information 232 shows an image of the floating matter.
  • FIG. 3 shows a configuration example of the image information 232.
  • FIG. The image information 232 in this example is composed of an entry consisting of a set of a container ID 2321 , photographing time 2322 and frame image 2323 .
  • An ID for uniquely identifying the container 400 to be inspected is set in the container ID 2321 item.
  • As the container ID 2321 a serial number assigned to the container 400, a barcode attached to the container 400, fingerprint information collected from the cap 401 of the container 400, or the like can be considered.
  • the shooting time 2322 and the frame image 2323 are set with the shooting time and the frame image.
  • the photographing time 2322 is set to a precision (for example, in units of milliseconds) that can be distinguished from other frame images with the same container ID.
  • the photographing time 2322 for example, the elapsed time from when the container 400 stopped tilting, swinging, or rotating may be used.
  • the container ID 2321 is associated with each frame image 2323 in the example of FIG. 3, the container ID 2321 may be associated with each group of a plurality of frame images 2323 .
  • the tracking information 233 includes time-series data representing the moving trajectory of the suspended matter detected and tracked by detecting the image of the suspended matter present in the liquid in the container 400 shown in the image information 232 and its observation specifications.
  • Observation specifications include, for example, the length of the observed trajectory, the size of the observed floating object, the start time of the observed trajectory, the location in the container 400 where the observed trajectory existed, and the trajectory.
  • the trace information 233 in this example is composed of entries of a container ID 2331, a set of a trace ID 2332, a pointer 2333-1 and a pointer 2333-2.
  • An ID that uniquely identifies the container 400 is set in the container ID 2331 entry.
  • An entry consisting of a set of tracking ID 2332, pointer 2333-1 and pointer 2333-2 is provided for each floating object to be tracked.
  • An ID for distinguishing the tracked floating matter from other floating matter in the same container 400 is set in the tracking ID 2332 item.
  • a pointer to the movement locus information 2334 of the floating object to be tracked is set in the pointer 2333-1 item.
  • a pointer to the observation item list 2335 of the moving trajectory information of the floating object to be tracked is set in the pointer 2333-2 item.
  • the movement trajectory information 2334 consists of an entry consisting of a set of time 23341, position information 23342, size 23343, color 23344, and shape 23345.
  • the items of time 23341, position information 23342, size 23343, color 23344, and shape 23345 include the photographing time, coordinate values indicating the position of the tracked floating object at the photographing time, the size of the floating object, the color of the floating object, and the like.
  • the shape of the float is set.
  • the coordinate values may be, for example, coordinate values in a predetermined coordinate system.
  • the predetermined coordinate system may be a camera coordinate system centered on the camera, or a world coordinate system centered on a certain position in space.
  • Entries in the trajectory information 2334 are arranged in order of time 23341 .
  • the time 23341 of the top entry is the tracking start time.
  • the time 23341 of the last entry is the tracking end time.
  • the times 23341 of entries other than the first and last entries are tracking intermediate times.
  • the observation item list 2335 is a list of observation items considered to be related to the degree of certainty of the type of floating matter estimated from the movement trajectory information 2334 .
  • the observation specification list 2335 of this example is composed of entries each consisting of a set of a tracking length 23351, a floating object size 23352, a tracking start time 23353, a tracking area 23354, and a moving trajectory information quality 23355 related to the trajectory information 2334. It is
  • the length of the trajectory indicated by the trajectory information 2334 is set in the tracking length 23351 item.
  • the length of the movement trajectory may be the number of entries (that is, the number of frame images) forming the movement trajectory information 2334, or the length of time from the tracking start time to the tracking end time. It is considered that the longer the movement trajectory of a floating object is observed, the higher the probability that the movement corresponding to the type of the floating object appears in the movement trajectory. On the other hand, it is considered that a floating object with a short moving trajectory has a low probability that a movement corresponding to the type of the floating object appears in the moving trajectory. Therefore, the tracking length 23351 can be one of the observation parameters related to the degree of certainty of the type of floating matter estimated from the moving trajectory.
  • a value obtained by statistically processing the size 23343 included in the movement trajectory information 2334 (for example, average value, maximum value, minimum value, median value) is set in the item of the size 23352 of the floating object.
  • Large-sized foreign matter tends to settle early after the tilting, rocking, and rotation of the container 400 are stopped. Therefore, the size 23352 of the floating object can be one of the observation parameters related to the certainty of the type of floating object estimated from the movement trajectory.
  • the tracking start time of the movement trajectory information 2334 is set in the tracking start time 23353 item.
  • the tracking start time is a value representing the length of elapsed time from the time when the container 400 stops tilting, rocking, or rotating to the time when tracking of the movement trajectory information 2334 is started. It is considered that the earlier the tracking start time 23353 is, the more likely it is to be affected by the flow of the liquid, so it will take longer for the movement corresponding to the type of floating matter to appear in the movement trajectory. On the other hand, if the tracking start time 23353 is delayed, the influence of the liquid flow is reduced, so it is considered that the probability that movement corresponding to the type of floating matter will appear in the movement trajectory increases. Therefore, the tracking start time 23353 can be one of the observation parameters related to the certainty of the type of floating matter estimated from the movement trajectory.
  • a value indicating in which area within the container 400 the movement trajectory indicated by the movement trajectory information 2334 is set is set in the item of the tracking region 23354 .
  • Tracking regions are also called observation locations.
  • the tracking area 23354 may be, for example, a value specifying the circumscribing rectangle of the movement trajectory (for example, a coordinate value of the vertex of the circumscribing rectangle), or the shortest distance from the circumscribing rectangle to the liquid surface, wall surface, or bottom surface of the container 400. It may be a value representing Near the liquid surface of the container 400, it is difficult to correctly detect foreign matter due to the influence of air bubbles floating on the liquid surface. Moreover, it is not easy to correctly detect floating matter near the wall surface of the container 400 due to the lens effect.
  • the region in the container 400 in which the movement trajectory is located affects the reliability of the movement trajectory and the degree of certainty of the type of floating matter estimated from the movement trajectory.
  • the quality of the trajectory information 2334 is set in the trajectory information quality 23355 item.
  • the quality of the trajectory information 2334 may be determined, for example, based on the discontinuity of the position information 23342 included in the trajectory information 2334 and the amount of variation in the size 23343/color 23344/shape 23345 .
  • the movement trajectory information 2334 with excessive size variation and positional discontinuity that are expected to result in uncertain detection and tracking has poor reliability as a movement trajectory resulting from tracking the same floating object. Therefore, the quality 23355 of trajectory information can be one of the observation parameters related to the certainty of the type of floating object estimated from the trajectory.
  • observation specifications used in the present invention are not limited to the above. Confidence in the types of floating objects estimated from their movement trajectories, such as conditions that make it difficult to correctly evaluate features even though they are not directly included in the feature values of the discriminative model, and conditions that may increase exceptional errors due to failures in the observation itself. Any other observational dimension may be used as long as it is related to .
  • the observation specifications to be used may be determined from the characteristics of the observation (such as conditions under which the assumptions assumed in the detection/tracking process collapse), or conditions estimated from actual errors (such as conditions where the basis for identification cannot be clearly read). It's okay.
  • the identification model 234 is a model for estimating the type of floating matter from the time-series data representing the moving trajectory of the floating matter.
  • the discriminative model 234 may be configured using, for example, a recursive structure of neural networks such as RNN and LSTM.
  • the identification model 234 may use padding, pooling and resizing to result in identification of fixed length data.
  • the certainty prediction model 235 is a model that predicts the certainty of the result estimated by the discriminative model 234 based on the observation specifications of the time series data representing the movement trajectory of the floating object based on the time series data related to the observation specifications. is.
  • the certainty prediction model 235 may be constructed using, for example, a neural network.
  • confidence prediction model 235 may be a linear discriminator, decision tree, or the like.
  • the inspection result information 236 includes information according to the result of inspection for the presence or absence of foreign matter in the liquid sealed in the container 400 .
  • the inspection results include the estimation result of the type of floating matter calculated by the discrimination model 234 and the confidence factor of the estimation result of the discrimination model 234 calculated by the confidence prediction model 235 .
  • FIG. 5 shows a configuration example of the inspection result information 236.
  • the inspection result information 236 in this example is obtained from entries of a container ID 2361, an inspection result 2362, the number of detected foreign matter 2363, the number of detected air bubbles 2364, a set of a detected foreign matter ID 2365 and a pointer 2366, and a set of a detected air bubble ID 2367 and a pointer 2368. It is configured.
  • the entry of the container ID 2361 is set with an ID that uniquely identifies the container 400 to be inspected.
  • the entry of the inspection result 2362 is set with an inspection result of either OK (inspection passed) or NG (inspection unsuccessful).
  • the entry of the number of detected foreign matter 2363 is set with the total number of detected foreign matter.
  • the total number of detected bubbles is set in the entry of the number of detected bubbles 2364 .
  • the identification result may include an aggregate of components in the liquid in addition to air bubbles and foreign matter.
  • An entry of a set of detected foreign object ID 2365 and pointer 2366 is provided for each detected foreign object.
  • An ID for distinguishing the detected foreign matter from other foreign matter in the same container 400 is set in the item of the detected foreign matter ID 2365 .
  • a pointer to the detected foreign matter information 2369 of the detected foreign matter is set in the pointer 2366 item.
  • An entry of a pair of detected bubble ID 2367 and pointer 2368 is provided for each detected bubble.
  • An ID for distinguishing the detected bubble from other bubbles in the same container 400 is set in the item of detected bubble ID 2367 .
  • a pointer to the detected bubble information 2370 of the detected bubble is set in the pointer 2368 item.
  • the detected foreign matter information 2369 is composed of a set of a tracking ID 23691, a pointer 23692-1 and a pointer 23692-2, a judgment result 23693, a degree of certainty 23694, and a visualized image 23695.
  • the trace ID 23691 field contains the trace ID 2332 of the detected foreign matter.
  • a pointer to the movement locus information 23696 of the detected foreign object is set in the pointer 23692-1 item.
  • Movement trajectory information 23696 is a copy of movement trajectory information 2334 during tracking of the detected foreign object.
  • a pointer to an observation specification list 23697 related to the movement trajectory information 23696 of the detected foreign object is set.
  • the observation item list 23697 is a copy of the observation item list 2335 related to the movement trajectory information 2334 during tracking of the detected foreign object.
  • text indicating that the determination result is "foreign matter” is set.
  • the entry of the degree of certainty 23694 is set with the degree of certainty, which is an index representing the certainty of the determination result 23693 .
  • At least one image that visualizes the movement trajectory information 23696 of the detected foreign matter is set in the entry of the visualized image 23695 .
  • the detected air bubble information 2370 consists of a set of tracking ID 23701, pointer 23702-1 and pointer 23702-2, determination result 23703, certainty 23704, and visualized image 23705.
  • the tracking ID 23701 field contains the tracking ID 2332 of the detected bubble.
  • Pointer 23702-1 is set with a pointer to movement trajectory information 23706 of the detected bubble.
  • Trajectory information 23706 is a copy of trajectory information 2334 when tracking the detected bubble.
  • a pointer to the observation item list 23707 related to the movement locus information 23706 of the detected bubble is set in the pointer 23702-2 item.
  • the observation item list 23707 is a copy of the observation item list 2335 related to the movement trajectory information 2334 of the detected bubble tracking information.
  • the determination result 23703 entry is set with text indicating that the determination result is "bubble".
  • the entry of the degree of certainty 23704 is set with the degree of certainty, which is an index representing the certainty of the determination result 23703 .
  • At least one image that visualizes the movement trajectory information 23706 of the detected bubbles is set in the entry of the visualized image 23705 .
  • the arithmetic processing unit 240 has a microprocessor such as an MPU and its peripheral circuits, and reads and executes the program 231 from the storage unit 230 to cooperate with the hardware and the program 231. It is configured so as to realize various processing units.
  • Main processing units implemented by the arithmetic processing unit 240 include an acquisition unit 241 , a discrimination model learning unit 242 , a certainty prediction model learning unit 243 , and a determination unit 244 .
  • the acquisition unit 241 is configured to control the gripping device 110 and the camera device 130 to acquire image information 232 representing an image of floating matter present in the liquid enclosed in the container 400 . Further, the acquisition unit 241 is configured to acquire tracking information 233 including time-series data representing the movement trajectory of floating matter and its observation specifications by analyzing the image information 232 . Details of the acquisition unit 241 will be described below.
  • the acquisition unit 241 first activates the gripping device 110 that grips the container 400 to be inspected in an upright posture, thereby tilting, swinging, and rotating the container 400 to be inspected. Next, after a certain period of time has passed since the acquisition unit 241 was started, the acquisition unit 241 stops the gripping device 110, thereby causing the container 400 to stand still in a predetermined posture. By tilting, swinging, and rotating the container 400 for a certain period of time and then standing still, a state in which the liquid flows by inertia within the stationary container 400 is obtained. Next, the acquisition unit 241 starts an operation of continuously photographing the liquid in the container 400 to be inspected at a predetermined frame rate with the camera device 130 under transmitted illumination by the illumination device 120 . That is, if the time Ts is the time when the container 400 stops after being tilted, swung, and rotated, the acquisition unit 241 starts the photographing operation from time Ts.
  • the acquisition unit 241 continuously captures images of the liquid in the container 400 with the camera device 130 from time Ts to time Te when the predetermined time Tw elapses.
  • the predetermined time Tw is set so that, for example, assuming that all floating substances floating in the liquid are bubbles, all the bubbles move upward in the container 400 and are no longer considered to move downward. It may be set longer than the time required to obtain an accurate movement trajectory (hereinafter referred to as the minimum photographing time length).
  • the minimum imaging time length may be determined in advance by experiments or the like and fixedly set in the acquisition unit 241 .
  • the obtaining unit 241 may immediately stop the photographing by the camera device 130 when the time Te is reached, or may continue the photographing by the camera device 130 .
  • the acquisition unit 241 adds the shooting time and the container ID to each of the time-series frame images acquired from the camera device 130 and stores them in the storage unit 230 as image information 232 .
  • the acquiring unit 241 detects shadows of floating matter in the liquid in the container 400 from each of the frame images. For example, the acquisition unit 241 detects the shadow of floating matter in the liquid by the method described below. However, the obtaining unit 241 may detect the shadow of floating matter in the liquid by a method other than the method described below.
  • the acquisition unit 241 performs binarization processing on each frame image to create a binarized frame image.
  • the acquiring unit 241 detects shadows of floating objects from each of the binarized frame images as follows.
  • the acquisition unit 241 first sets the binarized frame image, which is the target for detecting the shadow of floating matter, as the binarized frame image of interest.
  • a differential image is generated between the binarized frame image of interest and the binarized frame image photographed after ⁇ t.
  • ⁇ t is set to such a time that the same floating matter partially overlaps in the two images, or appears at very close positions even if they do not overlap. Therefore, the time difference ⁇ t is determined according to the properties and flow conditions of the liquid and the foreign matter.
  • the matching image portions in the two binarized frame images are erased, leaving only the different image portions.
  • the obtaining unit 241 detects the shadow of the binarized frame image of interest corresponding to the portion where the shadow appears in the difference image as the shadow of the floating matter present in the binarized frame image of interest.
  • the acquisition unit 241 tracks the detected floating matter in time-series images and creates tracking information 233 according to the tracking results.
  • the acquisition unit 241 initializes the tracking information 233 .
  • the container ID of the container 400 to be inspected is set in the entry of container ID 2331 in FIG.
  • the acquisition unit 241 tracks the floating object in the time-series images by the method described below, and according to the tracking result, the tracking ID 2332 and the pointer in FIG. 2333-1 and pointer 233-2 pair entry, movement trajectory information 2334, and observation specification list 2335 are created.
  • the acquisition unit 241 focuses on the binarized frame image with the earliest shooting time in the time series of the binarized frame images created above.
  • the acquisition unit 241 assigns a unique tracking ID to each floating object detected in the binarized frame image of interest.
  • the acquisition unit 241 sets the tracking ID given to the floating matter detected in the binarized frame image of interest to the item of the tracking ID 2332 in FIG.
  • the photographing time of the binarized frame image under consideration is set in the time 23341 item of the first entry of the movement trajectory information 2334 indicated by 2333-1, and the position information 23342, size 23343, color 23344, and shape 23345 items are set. Set the coordinate value, size, color and shape of the floating object in the binarized frame image of interest.
  • the acquisition unit 241 shifts attention to a binarized frame image one frame after the binarized frame image of interest.
  • the acquisition unit 241 focuses on one floating object detected in the binarized frame image of interest.
  • the acquiring unit 241 compares the position of the floating object under consideration with the position of the floating object detected in the binarized frame image one frame earlier (hereinafter referred to as the preceding binarized frame image). If there is a floating matter within a predetermined threshold distance from the floating matter of interest, it is determined that the floating matter of interest and the floating matter present within the threshold distance are the same floating matter. In this case, the acquisition unit 241 assigns, to the floating matter of interest, the tracking ID assigned to the floating matter determined to be the same floating matter.
  • the acquiring unit 241 secures a new entry in the moving track information 2334 pointed to by the pointer 2333-1 of the entry of the tracking information 233 to which the assigned tracking ID 2332 is set, and acquires the time 23341 and position information of the secured entry.
  • the shooting time of the binarized frame image of interest and the coordinate values, size, color, and shape of the floating matter of interest are set.
  • the acquisition unit 241 determines that the interested floating matter is a new floating matter and assigns a new tracking ID. .
  • the acquisition unit 241 sets the tracking ID assigned to the currently focused floating object to the item of the tracking ID 2332 in FIG. , set the shooting time of the binarized frame image under consideration in the item of the time 23341 of the first entry of , and set the coordinate value, size, and color of the floating object under consideration in the items of the position information 23342, the size 23343, the color 23344, and the shape 23345. and shape.
  • the acquisition unit 241 shifts attention to the next floating matter detected in the focused binarized frame image, and repeats the same processing as described above. After paying attention to all floating substances detected in the binarized frame image of interest, the acquiring unit 241 shifts its attention to the next frame image, and repeats the same processing as described above. Then, when the acquisition unit 241 finishes paying attention to the last frame image in the image information 232, it ends the tracking process.
  • the acquisition unit 241 performs tracking based on the distance between floating objects in two adjacent frame images.
  • the acquisition unit 241 may perform tracking based on the distance between floating objects in two frame images adjacent to each other across n frames (n is a positive integer equal to or greater than 1).
  • the acquisition unit 241 obtains the tracking result obtained by tracking based on the distance between floating objects in two frame images adjacent to each other with m frames (m is a positive integer equal to or greater than 0) and the m+j frames (j is a positive integer Tracking may be performed by comprehensively determining the tracking results based on the distance between floating objects in two frame images adjacent to each other with a positive integer of 1 or more interposed therebetween.
  • the acquisition unit 241 creates an observation specification list 2335 for each movement trajectory information 2334 created as described above.
  • the acquisition unit 241 focuses on one piece of the movement track information 2334 .
  • the acquisition unit 241 creates an initial state observation item list 2335 related to the currently focused movement trajectory information 2334 in the area pointed to by the pointer set in the pointer 2333-2.
  • the acquisition unit 241 sets the length of the movement trajectory represented by the movement trajectory information 2334 of interest in the tracking length 23351 item.
  • the acquisition unit 241 sets a value obtained by statistically processing the size 23343 included in the movement trajectory information 2334 of interest in the item of the size 23352 of the floating object.
  • the acquisition unit 241 sets the tracking start time of the movement trajectory information 2334 of interest in the item of the tracking start time 23353 .
  • the acquisition unit 241 sets a value indicating in which region within the container 400 the movement trajectory represented by the movement trajectory information 2334 of interest is in the item of the tracking region 23354 .
  • the acquisition unit 241 sets a numerical value representing the quality of the moving track information of interest 2334 in the item of moving track information quality 23355 .
  • the acquisition unit 241 shifts attention to one of the remaining trajectory information 2334 and repeats the same processing as described above. This process is repeated until attention is paid to all movement trajectory information 2334 .
  • the discriminative model learning unit 242 is configured to generate the discriminative model 234 by machine learning.
  • the discriminative model learning unit 242 uses the time-series data representing the movement trajectory of the floating object and the type of the floating object as teacher data (hereinafter also referred to as first teacher data).
  • teacher data hereinafter also referred to as first teacher data.
  • the time-series data representing the movement trajectory of the floating object for example, the movement trajectory information 2334 shown in FIG. 4 may be used.
  • the time-series data representing the movement trajectory of the floating object is obtained by removing one, two, or all of the size 23343, the color 23344, and the shape 23345 from the movement trajectory information 2334 shown in FIG. information.
  • the type of floating matter may be a label value representing either foreign matter or air bubbles.
  • the first training data includes time-series data representing the movement trajectory of the floating object and labels representing the types of the floating object.
  • Such first teacher data can be created, for example, through interactive processing with the user.
  • the identification model learning unit 242 displays the movement trajectory information 2334 acquired by the acquisition unit 241 on the screen of the display device 300 and receives the label of the movement trajectory information 2334 from the user through the operation input unit 220 . Then, the discriminant model learning unit 242 creates a set of the displayed trajectory information 2334 and the received label as one piece of first teacher data.
  • the method of creating the first training data is not limited to the above.
  • the discriminative model learning unit 242 uses the above-described first teacher data, inputs time-series data representing the movement trajectory of floating matter (foreign matter or air bubbles), and outputs the discriminative model 234 of the type of floating matter. It is configured to be generated by machine learning.
  • the certainty predictive model learning unit 243 is configured to generate the certainty predictive model 235 by machine learning.
  • FIG. 6 is a schematic diagram showing an example of a method for creating teacher data used for machine learning of the certainty prediction model 235.
  • each of the teacher data 250 includes time-series data 2501 representing the movement trajectory of floating matter, the type 2502 of the floating matter, and its observation data 2503 .
  • the time-series data 2501 for example, the movement track information 2334 shown in FIG. 4 may be used.
  • the time-series data 2501 may be, for example, remaining information obtained by removing one, two, or all of the size 23343, color 23344, and shape 23345 from the movement trajectory information 2334 shown in FIG. .
  • the observation item list 2335 of the trajectory information 2334 shown in FIG. 4 may be used.
  • the floating matter type 2502 may be a label value representing either foreign matter or air bubbles.
  • label values can be created, for example, through interactive processing with the user.
  • the certainty prediction model learning unit 243 displays the movement trajectory information 2334 acquired by the acquisition unit 241 on the screen of the display device 300 and receives the label of the movement trajectory information 2334 from the user through the operation input unit 220 . Then, the certainty prediction model learning unit 243 creates a set of the displayed movement trajectory information 2334 and the received label and observation specification list 2335 of the movement trajectory information 2334 as one teacher data.
  • the method of creating teacher data is not limited to the above.
  • the certainty prediction model learning unit 243 creates one new teacher data 252 from one teacher data 250 as follows. First, the certainty prediction model learning unit 243 inputs the time-series data 2501 in the teacher data 250 to the learned discrimination model 234, and estimates the type of floating objects finally output from the discrimination model 234. get. Next, the certainty prediction model learning unit 243 compares the type of floating matter represented by the estimation result of the discrimination model 234 with the type of floating matter in the teacher data 250 (block 251). Next, the certainty predictive model learning unit 243 creates a pair of the certainty 2521 set to the value corresponding to the comparison result and the observation specification 2503 in the teacher data 250 as the teacher data 252 .
  • a large value (for example, 1 or a value closer to 1) may be set when both match (that is, when the estimation result of the identification model 234 is correct).
  • This value may be a predetermined fixed value (eg, 1), or the softmax value (TCP) of the correct class of the discriminative model 234 .
  • a small value (for example, 0 or a value close to 0) may be used.
  • This value may be a predetermined fixed value (eg, 0), or the softmax value (TCP) of the correct class of the discriminative model 234 .
  • the certainty prediction model learning unit 243 uses the teacher data 252 created as described above, the input is the observation specification of the time series data representing the movement trajectory of the floating object obtained by observation, and the output is the observation specification It is configured to generate a certainty prediction model 235, which is the certainty of the estimation result of the discriminative model 234 estimated from the original time-series data, by machine learning.
  • the determination unit 244 uses the learned identification model 234 to estimate the type of floating matter from the time-series data representing the movement trajectory of the suspended matter in the liquid enclosed in the container 400 acquired by the acquiring unit 241. is configured to The determining unit 244 is configured to predict the certainty of the estimation result of the discriminant model 234 from the observation specifications acquired by the acquiring unit 241 using the learned certainty prediction model 235 . In addition, the determination unit 244 creates inspection result information 236 including the type of floating matter estimated using the discrimination model 234 and the certainty of the estimation result of the discrimination model 234 registered using the certainty prediction model 235. is configured as
  • the determination unit 244 reads out the tracking information 233 from the storage unit 230, and for each tracking ID included in the tracking information 233, the movement trajectory information 2334 representing the movement trajectory of the floating object is used as time-series data to identify the learned identification model 234. , it is determined whether the floating substance with the tracking ID is a foreign substance or an air bubble.
  • the determination unit 244 uses the identification model 234 by inputting the observation specification list 2335 of the movement trajectory of the floating object to the learned confidence prediction model 235 for each tracking ID included in the tracking information 233. Predict the degree of certainty of the determination result of the type of suspended matter that has been determined. Then, the determination unit 244 creates inspection result information 236 according to the determination result and stores it in the storage unit 230 . Further, the determination unit 244 displays the inspection result information 236 on the display device 300 and/or transmits it to an external device through the communication I/F unit 210 .
  • phases of the inspection system 100 are roughly divided into a learning phase and an inspection phase.
  • the learning phase is a phase in which the identification model 234 and the confidence prediction model 235 are created by machine learning.
  • the inspection phase is a phase in which the presence or absence of foreign matter in the liquid enclosed in the container 400 is inspected using the learned discrimination model 234 and confidence prediction model 235 .
  • FIG. 7 is a flow chart showing an example of the operation of the learning phase.
  • the acquiring unit 241 first acquires image information 232 representing an image of floating matter present in the liquid enclosed in the container 400 by controlling the gripping device 110 and the camera device 130 (step S1).
  • the acquisition unit 241 acquires the tracking information 233 including the time-series data representing the moving trajectory of the floating matter and its observation specifications (step S2).
  • the discriminative model learning unit 242 creates first teacher data used for machine learning of the discriminative model 234 (step S3).
  • the discriminative model learning unit 242 uses the created first teacher data to generate the discriminative model 234 by machine learning, with the input as time-series data representing the movement trajectory of the floating object and the output as the type of the floating object. (step S4).
  • the certainty predictive model learning unit 243 creates second teacher data used for machine learning of the certainty predictive model 235 (step S5).
  • the certainty prediction model learning unit 243 uses the created second teacher data, the input is the observation specification of the time series data representing the movement trajectory of the floating object obtained by observation, and the output is the observation specification
  • a certainty factor prediction model 235 is generated by machine learning as the certainty factor of the estimation result of the discrimination model 234 estimated from the original time-series data (step S6).
  • FIG. 8 is a flow chart showing an example of the operation of the inspection phase.
  • the acquisition unit 241 acquires image information 232 representing an image of floating matter present in the liquid enclosed in the container 400 by controlling the gripping device 110 and the camera device 130 (step S11).
  • the acquisition unit 241 acquires the tracking information 233 including the time-series data representing the movement trajectory of the floating matter and its observation specifications (step S12).
  • the determination unit 244 uses the learned identification model 234 to estimate the type of floating matter from the time-series data representing the movement trajectory of the floating matter included in the tracking information 233 (step S13).
  • the determination unit 244 uses the learned confidence prediction model 235 to extract the result of the estimation by the identification model 234 from the observation specification list of the time-series data representing the movement trajectory of the floating object included in the tracking information 233. is predicted (step S14).
  • the determination unit 244 creates inspection result information 236 based on the estimated type of floating matter and the predicted certainty of the estimation result (step S15).
  • the certainty prediction model learning unit 243 uses source data composed of a set of time-series data representing the movement trajectory of the floating object obtained by the acquiring unit 241, its observation specifications, and the type of floating object.
  • the determination unit 244 acquires observation specifications related to the time-series data representing the movement trajectory of the object obtained by the acquisition unit 241, and uses the learned confidence prediction model 235 to use the acquired observation specifications. This is for outputting the confidence of the estimation result of the discriminant model 234 estimated from the original.
  • the determination unit 244 may modify or correct the estimation result by the discrimination model 234 based on the confidence predicted by the confidence prediction model 235 .
  • the determination unit 244 predicts from the observation specifications of the time-series data using the certainty prediction model 235.
  • the type of floating matter may be corrected to air bubbles instead of foreign matter.
  • the determination unit 244 predicts from the observation specifications of the time-series data using the certainty prediction model 235
  • the degree of certainty of the estimation result may be calculated as a foreign matter likelihood score.
  • the determination unit 244 determines the foreign matter likelihood score by the identification model 234 (probability of foreign matter output by the identification model 234). , may be corrected using the certainty factor of the estimation result predicted from the observation specifications of the time-series data using the certainty factor prediction model 235 .
  • the certainty predictive model learning unit 243 may use a predetermined output of the discrimination model 234 for learning the certainty predictive model 235 .
  • the predetermined output of the discriminative model 234 may be, for example, a feature quantity output from the intermediate layer of the discriminative model 234 .
  • FIG. 9 is a schematic diagram showing another example of a method for creating teacher data used for machine learning of the certainty prediction model 235.
  • 252A is teacher data
  • 2522 is a predetermined output of the discrimination model 234.
  • the certainty prediction model learning unit 243 creates one new teacher data 252A from one teacher data 250 as follows.
  • the certainty prediction model learning unit 243 inputs the time series data 2501 in the teacher data 250 to the learned discrimination model 234, and the classification result of the floating object type finally output from the discrimination model 234. A predetermined output 2522 is obtained.
  • the confidence prediction model learning unit 243 compares the type of floating matter represented by the estimation result of the discrimination model 234 with the type of floating matter in the teacher data 250. 2521 (block 251). Then, the certainty prediction model learning unit 243 creates a set of the certainty 2521, the observation specification 2503 in the teacher data 250, and the predetermined output 2522 as the teacher data 252A.
  • the certainty prediction model learning unit 243 uses the teacher data 252A created as described above to identify the observation specifications of the time-series data representing the movement trajectory of the floating matter obtained by observing the input and the time-series data. Confidence as a set with a predetermined output 2522 output from the discriminative model 234 when input to the model 234, and the output as the certainty of the estimation result of the discriminative model 234 estimated from the time series data related to the above observation specifications It is configured to generate the degree prediction model 235 by machine learning.
  • the determination unit 244 may use the predetermined output of the discrimination model 234 for confidence prediction. For example, the determination unit 244 assigns the observation specification list of the time-series data representing the movement trajectory of the floating object included in the tracking information 233 and the time-series data to the learned confidence prediction model 235 as the identification model 234. A combination with a predetermined output 2522 output from the discriminative model 234 at the time of input is input, and the certainty factor of the estimation result of the discriminative model 234 is obtained.
  • the predetermined output of the discriminative model 234 is the feature quantity output from the intermediate layer of the discriminative model 234.
  • the predetermined output of discriminative model 234 is not limited to the above.
  • a given output of discriminative model 234 may be the final output of discriminative model 234 .
  • the discriminative model learning unit 242 may further learn the discriminative model 234 generated in step S4 at any time after the certainty prediction model 235 is generated in step S6 of FIG. In that case, the discriminative model learning unit 242 may control the learning of the discriminative model 243 based on the certainty predicted by the learned certainty prediction model 235 .
  • FIG. 10 is a schematic diagram showing an example of a learning method for the discriminative model 234 according to Modification 3.
  • teacher data 260 includes time-series data 2601 representing the movement trajectory of a floating object and the type 2602 of the floating object.
  • Observation specifications 2603 of time-series data 2601 are prepared for each teacher data 260 .
  • the discriminative model learning unit 242 learns the discriminative model 234 using the teacher data 260
  • the discriminative model learning unit 242 inputs the observation specifications 2603 paired with the teacher data 260 to the learned confidence prediction model 235, and the confidence prediction model 235
  • the learning of the discriminative model 234 is controlled by the confidence output from .
  • the discriminant model learning unit 242 reduces the learning weight as the certainty is lower. As a result, the identification accuracy of the identification model 234 can be improved.
  • the certainty prediction model learning unit 243 divides the time-series data representing the movement trajectory of floating matter obtained by observation into several partial time-series data, and observes the individual partial time-series data. It is configured to perform machine learning of the confidence predictive model 235 using the originals.
  • FIG. 11 is a schematic diagram showing an example of a method for creating teacher data used for machine learning of the certainty prediction model 235 in modification 4.
  • each of the teacher data 250 includes time-series data 2501, types of floating matter 2502, and observation specifications 2503 as already described with reference to FIG.
  • the time-series data 2501 may be, for example, the trajectory information 2334 in FIG.
  • the observation specification 2503 may be, for example, the observation specification list 2335 of FIG.
  • the certainty prediction model learning unit 243 has a data conversion unit 2431 that converts each of the teacher data 250 into two new teacher data 250-1 and 250-2.
  • the teacher data 250-1 consists of time-series data 2501-1, types of floating matter 2502-1, and observation specifications 2503-1.
  • the teacher data 250-2 consists of time-series data 2501-2, types of floating matter 2502-2, and observation specifications 2503-2. Although one teacher data 250 is converted into two teacher data in the example of FIG. 11, it may be converted into three or more teacher data.
  • the data conversion unit 2431 converts the teacher data 250 into teacher data 250-1 and 250-2 by, for example, the following method. First, the data conversion unit 2431 calculates an intermediate time between the tracking start time and the tracking end time of the time-series data 2501 in the teacher data 250 . Next, the data conversion unit 2431 converts the time-series data 2501 into time-series data 2501-1 from the tracking start time to the intermediate time and time-series data 2501-2 from the intermediate time to the tracking end time. . Next, the data conversion unit 2431 creates floating matter types 2502 - 1 and 2502 - 2 having the same contents as the floating matter type 2502 of the teacher data 250 . Next, data conversion section 2431 creates observation specifications 2503-1 and 2503-2 from time-series data 2501-1 and 2501-2.
  • the data conversion unit 2431 creates observation specifications 2503-1 from the time-series data 2501-1 by the following method. First, the data conversion unit 2431 determines the number of frame images constituting the time-series data 2501-1, or the length of time from the shooting time of the first frame image in the time-series data 2501-1 to the shooting time of the last frame image. and set it as the tracking length of the time-series data 2501-1. Next, the data conversion unit 2431 calculates values (for example, average value, maximum value, minimum value, median value) obtained by statistically processing the sizes 23343 included in the time-series data 2501-1, and converts them to the sizes of floating objects. Satoru.
  • values for example, average value, maximum value, minimum value, median value
  • the data conversion unit 2431 acquires the photographing time of the first frame image of the time-series data 2501-1, and uses it as the tracking start time.
  • the data conversion unit 2431 calculates values (for example, coordinate values of apexes of the circumscribing rectangle) specifying the circumscribing rectangle of the movement trajectory represented by the time-series data 2501-1, and defines them as the tracking area.
  • the data conversion unit 2431 calculates the quality of the movement trajectory information based on the discontinuity of the position information 23342 included in the time-series data 2501-1 and the amount of variation in the size 23343, color 23344, and shape 23345.
  • the data conversion unit 2431 converts the tracking length calculated as described above, the size of the floating object, the tracking start time, the tracking area, and the observation specification 2503-1 composed of the collection of quality of the moving trajectory information. to create Using a similar method, the data conversion unit 2431 creates observation specifications 2503-2 from the time-series data 2501-2.
  • the certainty prediction model learning unit 243 creates one new teacher data 252-1 from one teacher data 250-1 as follows. First, the certainty prediction model learning unit 243 inputs the time-series data 2501-1 in the teacher data 250-1 to the learned discrimination model 234, and the type of floating matter finally output from the discrimination model 234. Get the estimation result of . Next, confidence prediction model learning unit 243 compares the type of floating matter represented by the estimation result of discrimination model 234 with the type of floating matter 2502-1 in teacher data 250-1 (block 251). Next, the certainty predictive model learning unit 243 sets the certainty 2521-1 set to the value according to the comparison result and the observation specification 2503-1 in the teacher data 250-1 as teacher data 252-1. create.
  • Confidence prediction model learning unit 243 creates one new teacher data from teacher data 250-2 by a similar method. As a result, 2 ⁇ n pieces of teacher data 252 - 1 and the like are finally generated from n pieces of teacher data 250 .
  • the certainty prediction model learning unit 243 uses the teacher data 252-1 etc. created as described above, the input is the observation specification of the time series data representing the movement trajectory of the floating object obtained by observation, and the output is A certainty prediction model 235 is generated by machine learning as the certainty of the estimation result of the discriminative model 234 estimated from the time-series data related to the observation specifications.
  • the number of teacher data used for learning the confidence prediction model 235 can be increased.
  • the number of time-series data representing movement trajectories of foreign matter is small.
  • the number of incorrect time-series data time-series data in which a bubble is identified as a foreign matter, and time-series data in which a foreign matter is identified as a bubble
  • a large amount of teacher data can be created from such a small number of time-series data.
  • FIG. 12 is a schematic diagram showing an example of a method of creating teacher data used for machine learning of the certainty prediction model 235 in modification 5. As shown in FIG. 12, the same reference numerals as in FIG. 11 denote the same parts, 252-1A is teacher data, and 2522-1 is the discrimination result of the discrimination model 234. In FIG. Referring to FIG. 12, certainty prediction model learning unit 243 creates one new teacher data 252-1A from one teacher data 250-1 as follows.
  • the certainty prediction model learning unit 243 inputs the time-series data 2501-1 in the teacher data 250-1 to the learned discrimination model 234, and acquires the estimation result 2522-1 output from the discrimination model 234. do.
  • the confidence prediction model learning unit 243 creates a confidence 2521-1 according to the result of comparing the type of floating matter represented by the estimation result 2522-1 and the type of floating matter in the teacher data 250-1. (block 251). Confidence predictive model learning unit 243 creates a set of confidence 2521-1, observation specification 2503-1 in teacher data 250-1, and estimation result 2522-1 as teacher data 252-1A.
  • the certainty prediction model learning unit 243 uses the teacher data 252-1A and the like created as described above, and inputs the observation specifications of the time series data representing the movement trajectory of the floating object obtained by observation and the time series The data is paired with the estimation result 2522-1 output from the discrimination model 234 when the data is input to the discrimination model 234, and the output is the confidence of the estimation result of the discrimination model 234 estimated from the time series data related to the above observation specifications. It is configured to generate a certainty prediction model 235 by machine learning.
  • the determination unit 244 may use the estimation result 2522-1 of the discriminative model 234 for confidence prediction. For example, the determination unit 244 assigns the observation specification list of the time-series data representing the movement trajectory of the floating object included in the tracking information 233 and the time-series data to the learned confidence prediction model 235 as the identification model 234. A set with the estimation result 2522-1 output from the discriminative model 234 when input is input, and the certainty factor of the estimation result of the discriminative model 234 outputted from the certainty factor prediction model 235 is obtained.
  • the confidence prediction model learning unit 243 obtains the estimation result 2522-1 by inputting the time series data 2501-1 to the learned discrimination model 234.
  • the method of obtaining estimation result 2522-1 estimated from partial time-series data 2501-1 is not limited to the above.
  • the certainty prediction model 235 by configuring the certainty prediction model 235 so as to output the identification result based on the feature amount up to the time series data in the middle, the entire time series data 2501 including the time series data 2501-1 can be generated.
  • An estimation result 2522-1 estimated from the partial time-series data corresponding to the time-series data 2501-1 may be obtained from the discrimination model 234 by inputting it to the trained discrimination model 234.
  • the identification model 234 is composed of, for example, an LSTM, and can output the identification result from the final stage as indicated by the solid line arrow, and can output the intermediate frame as indicated by the broken line arrow from the middle stage. It is configured to be able to output identification results with features up to.
  • FIG. 14 is a block diagram of an inspection system 500 according to a second embodiment of the invention.
  • the inspection system 500 comprises discriminant model learning means 501 , certainty prediction model learning means 502 and determination means 503 .
  • the discriminant model learning means 501 uses time-series data representing the movement trajectory of the object obtained by observation and the type of the object as first teacher data, and uses time series data representing the movement trajectory of the object obtained by observation. It is configured to learn a discriminative model for estimating object types from series data.
  • the discriminant model learning means 501 can be configured, for example, in the same manner as the discriminative model learning unit 242 in FIG. 2, but is not limited thereto.
  • Confidence prediction model learning means 502 uses time-series data representing the movement trajectory of the object obtained by observation, its observation specifications, and the type of object as second teacher data, and the object obtained by observation It is configured to learn a certainty prediction model that predicts the certainty of the estimation result of the discriminative model from the observed specifications of the time-series data representing the movement trajectory of the object.
  • the certainty predictive model learning means 502 can be configured, for example, in the same manner as the certainty predictive model learning unit 243 in FIG. 2, but is not limited thereto.
  • the determination means 503 is configured to estimate the type of object from the time-series data representing the movement trajectory of the object obtained by observation using the learned discrimination model. Further, the determination means 503 is configured to predict the confidence of the estimation result of the discriminant model from the observed data of the time-series data using the learned confidence prediction model.
  • the determination means 503 can be configured, for example, in the same manner as the determination section 244 in FIG. 2, but is not limited thereto.
  • the inspection system 500 configured as above operates as follows. That is, first, the discriminant model learning means 501 uses the time-series data representing the movement trajectory of the object obtained by observation and the type of the object as first teacher data, and uses the movement of the object obtained by observation. A discriminant model is learned to estimate the type of object from the time-series data representing the trajectory. Next, the certainty prediction model learning means 502 uses the time-series data representing the movement trajectory of the object obtained by observation, its observation specifications, and the type of object as second teacher data, and obtains by observation. It learns a certainty prediction model that predicts the certainty of the estimation result of the discriminative model from the observation data of the time-series data representing the movement trajectory of the object.
  • the determination means 503 uses the learned discrimination model to estimate the type of the object from the time-series data representing the movement trajectory of the object obtained by observation, and the learned confidence prediction model is used to predict the confidence of the estimation result of the discriminative model from the observed parameters of the time-series data.
  • the inspection system 500 configured and operated as described above, even if the time-series data representing a plurality of mutually similar movement trajectories obtained by observation from a plurality of different types of objects, the observation specifications are different. If so, we can differentiate between the confidences of the results estimated from the time-series data.
  • the certainty prediction model learning means 502 uses time-series data representing the movement trajectory of the object obtained by observation, its observation specifications, and the type of object as the second teacher data, This is for learning a certainty prediction model for predicting the certainty of the estimation result of the discriminative model from the observation specifications of the obtained time-series data representing the moving trajectory of the object.
  • the determining means 503 is for predicting the confidence of the estimation result of the discriminative model from the observed data of the time-series data using the learned confidence prediction model.
  • the present invention has been described above with several embodiments and modifications, the present invention is not limited to the above embodiments and modifications, and various additions and modifications are possible.
  • the present invention can also combine the embodiments and modifications described above.
  • the operation of performing identification and confidence prediction using the learned discrimination model and confidence model described in the first embodiment, and the learned discrimination model and confidence prediction model described in any of the modifications is an inspection system that concurrently or alternately performs identification and confidence prediction using .
  • the present invention can be used for inspection systems in general that estimate the type of an object from time-series data representing the movement trajectory of the object obtained by observation.
  • the present invention can be applied to an inspection system that inspects the presence or absence of foreign matter in a liquid enclosed in a container.
  • the present invention can be applied to a preclinical test system for investigating the safety of pharmaceuticals by determining the presence or absence of abnormalities in mice or the like from time-series data representing movement trajectories of mice or the like.
  • Time-series data representing the movement trajectory of an object obtained by observation and the type of the object are used as first teacher data, and the time-series data representing the movement trajectory of the object obtained by observation are used to determine the object.
  • a certainty prediction model learning means for learning a certainty prediction model for predicting the certainty of an estimation result of the discriminative model from data observation specifications; Using the learned discrimination model, estimating the type of the object from time series data representing the movement trajectory of the object obtained by observation, and using the learned confidence prediction model, the time series determination means for predicting the confidence level of the estimation result of the discriminative model from observation data data; inspection system.
  • the certainty prediction model learning means is configured such that the type of the object estimated from the time-series data in the second teacher data using the learned discrimination model is the object in the second teacher data. If it does not match the type, acquire a certainty that is lower than when it matches, and use the acquired certainty and the observation specifications in the second teacher data as third teacher data.
  • the inspection system learns the confidence prediction model by The inspection system according to Appendix 1.
  • the observation specifications include at least one of the length of the movement trajectory, the size of the target object, the start time of the movement trajectory, the observation location of the movement trajectory, and the quality of the time-series data. , 3.
  • the determination means corrects the determination result of the type of the object based on the determination result of the certainty factor. 4.
  • the inspection system according to any one of Appendices 1 to 3.
  • the confidence prediction model learning means learns the confidence prediction model using a predetermined output obtained by inputting the time-series data in the second teacher data to the learned discrimination model, 5.
  • the inspection system according to any one of Appendices 1 to 4.
  • the discriminant model learning means further learns the learned discriminant model using the confidence predicted by the learned confidence prediction model for learning control. 6.
  • the certainty prediction model learning means converts the second teacher data into a plurality of new teacher data, and each new teacher data is a plurality of new teacher data obtained by replacing the time-series data in the second teacher data. One time-series data after conversion to time-series data, the type of object in the second teacher data, and the observation specifications of the one partial time-series data,
  • the confidence prediction model learning means uses the new teacher data to learn the confidence prediction model. 7.
  • the inspection system according to any one of Appendices 1 to 6.
  • the confidence prediction model learning means machine-learns the confidence prediction model using a discrimination result obtained by inputting time-series data in the new teacher data to the learned discrimination model.
  • the inspection system according to Appendix 7.
  • Time-series data representing the movement trajectory of an object obtained by observation and the type of the object are used as first teacher data, and the time-series data representing the movement trajectory of the object obtained by observation are used to determine the object. learn a discriminant model that estimates the type of A time series representing the movement trajectory of an object obtained by observation using time-series data representing the movement trajectory of an object obtained by observation, its observation specifications, and the type of the object as second teacher data.
  • Time-series data representing the movement trajectory of an object obtained by observation and the type of the object are used as first teacher data, and the time-series data representing the movement trajectory of the object obtained by observation are used to determine the object.
  • a process of learning a discriminative model that estimates the type of A time series representing the movement trajectory of an object obtained by observation using time series data representing the movement trajectory of an object obtained by observation, its observation specifications, and the type of the object as second teacher data.
  • a process of learning a confidence prediction model that predicts the confidence of the estimation result of the discriminative model from the observation specifications of the data;
  • the type of the object is estimated from time series data representing the movement trajectory of the object obtained by observation, and using the learned confidence prediction model, the time series a process of predicting the degree of certainty of the estimation result of the discriminative model from the observed data data;
  • a computer-readable recording medium that records a program for performing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

観測により得られた対象物の移動軌跡を表す時系列データと対象物の種類とを教師データとして用い、対象物の移動軌跡を表す時系列データから対象物の種類を識別するモデルを機械学習する識別モデル学習手段と、観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と対象物の種類とを第２の教師データとして用い、対象物の移動軌跡を表す時系列データの観測諸元から識別モデルの推定結果の確信度を推定する確信度予測モデルを機械学習する確信度予測モデル学習手段と、学習済みの識別モデルを用いて、観測により得られた対象物の移動軌跡から対象物の種類を推定し、学習済みの確信度予測モデルを用いて、時系列データの観測諸元から識別モデルの推定結果の確信度を予測する判定手段と、を備える。

Description

検査システム
　本発明は、検査システム、検査方法、および、記録媒体に関する。
　透明または半透明な容器に封入された液体中の異物の有無を検査する検査システムが提案されている。
　例えば、観測により得られる液体中の粒子の軌道を表す時系列データを取得し、上記粒子の軌道に基づいて粒子の種類（ガラス薄片など）を判定する方法および装置が提案されている（例えば、特許文献１参照）。
　また、液体中の物体の動き方（移動軌跡など）を観測により取得し、この取得した物体の動き方と、事前に学習しておいた液体中の異物の動き方とを比較することにより、液体中に異物が存在するか否かを検査する方法および装置が提案されている（例えば、特許文献２参照）。
　一方、深層ニューラルネットワークにより構成された画像識別を行う識別モデルが出力する識別結果の確信度を予測する方法および装置が提案されている（例えば、非特許文献１参照）。具体的には、学習済みの識別モデルに画像を入力した際に識別モデルから取り出される中間特徴量と真のクラス確率（ＴＣＰ：True Class Probability）とを教師データとして用い、入力を識別モデルから得られる画像の中間特徴量とし、出力を識別モデルの識別結果の確信度とするように機械学習された確信度予測モデルを使用する。
特開２０１９－２１５３７６号公報 特開２０１９－１７４３４６号公報
Charles Corbiere et al., "Addressing Failure Prediction by Learning Model Confidence" (NeurIPS2019)
　観測して得られた液体中の物体の移動軌跡を表す時系列データに基づいて物体の種類（例えば、異物または気泡）を識別するモデルの識別結果は、１００％信頼できるとは限らず、間違っている可能性がある。注射製剤など液体医薬品の液中異物検査を目的とするような失敗が深刻な影響をもたらすアプリケーションでは特に、識別モデルの識別結果の確からしさを予測し得ることが重要である。
　非特許文献１に記載の方法では、学習済みの識別モデルに識別対象の画像を入力した際に識別モデルから取り出される中間特徴量と真のクラス確率とを教師データとして用いて、確信度予測モデルを学習する。しかし、入力画像（の中間特徴量）を教師データとして確信度予測モデルを学習する構成では、類似する複数の入力画像から推定される複数の結果の確信度間に差を持たせることは困難である。そのため、非特許文献１に記載の方法では、種類の異なる複数の物体から不充分な観測により得られた互いに類似する移動軌跡を表す時系列データから推定される結果の確信度に差を付けることは困難である。
　本発明は、上述した課題を解決する検査システムを提供することにある。
　本発明の一形態に係る検査システムは、
　観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習する識別モデル学習手段と、
　観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習する確信度予測モデル学習手段と、
　学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する判定手段と、
を備えるように構成されている。
　また、本発明の一形態に係る検査方法は、
　観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習し、
　観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習し、
　学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する、
ように構成されている。
　また、本発明の一形態に係るコンピュータ読み取り可能な記録媒体は、
　コンピュータに、
　観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習する処理と、
　観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習する処理と、
　学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する処理と、
を行わせるためのプログラムを記録するように構成されている。
　本発明は、上述したような構成を有することにより、種類の異なる複数の対象物から観測により得られた互いに類似する複数の移動軌跡を表す時系列データであってもその観測諸元が相違する場合、それら時系列データから推定される結果の確信度間に差を付けることができる。
本発明の第１の実施形態に係る検査システムのブロック図である。 本発明の第１の実施形態における検査装置の一例を示すブロック図である。 本発明の第１の実施形態における画像情報の構成例を示す図である。 本発明の第１の実施形態における追跡情報の構成例を示す図である。 本発明の第１の実施形態における検査結果情報の構成例を示す図である。 本発明の第１の実施形態における確信度予測モデルの機械学習に用いる教師データを作成する方法の一例を示す模式図である。 本発明の第１の実施形態における学習フェーズの動作の一例を示すフローチャートである。 本発明の第１の実施形態における検査フェーズの動作の一例を示すフローチャートである。 本発明の第１の実施形態における確信度予測モデルの機械学習に用いる教師データを作成する方法の他の例を示す模式図である。 本発明の第１の実施形態における変形例３による識別モデルの学習方法の例を示す模式図である。 本発明の第１の実施形態における変形例４において確信度予測モデルの機械学習に用いる教師データを作成する方法の一例を示す模式図である。 本発明の第１の実施形態における変形例５における確信度予測モデルの機械学習に用いる教師データを作成する方法の例を示す模式図である。 本発明の第１の実施形態における変形例６で用いる識別モデルの例を示す模式図である。 本発明の第２の実施形態に係る検査システムのブロック図である。
　次に、本発明の第１の実施形態について、図面を参照して詳細に説明する。
　図１は、本発明の第１の実施形態に係る検査システム１００のブロック図である。図１を参照すると、検査システム１００は、容器４００に封入された液体中の異物の有無を検査するシステムである。検査システム１００は、主な構成要素として、把持装置１１０と、照明装置１２０と、カメラ装置１３０と、検査装置２００と、表示装置３００と、を備えている。
　容器４００は、ガラス瓶やペットボトルなどの透明または半透明な容器である。容器４００の内部には、薬剤や水などの液体が封入・充填されている。また、容器４００に封入された液体中には、異物が混入している可能性がある。異物としては、例えば、ガラス片、プラスチック片、ゴム片、髪の毛、繊維片、煤、などが想定される。
　把持装置１１０は、容器４００を所定の姿勢で把持するように構成されている。所定の姿勢は任意である。例えば、容器４００が正立しているときの姿勢を所定の姿勢としてよい。あるいは、容器４００が正立した姿勢から所定の角度で傾いた姿勢を所定の姿勢としてよい。以下では、容器４００が正立した姿勢を所定の姿勢として説明する。容器４００を正立した姿勢で把持する機構は、任意である。例えば、把持する機構は、容器４００を正立した姿勢で載置する台座と、台座上に載置された容器４００の頭頂部であるキャップ４０１の上面部を押圧する部材などを含んで構成されていてよい。
　また、把持装置１１０は、容器４００を把持した状態で、容器４００を正立した姿勢から所定方向に傾斜させ、または揺動させ、または回転させるように構成されている。容器４００を傾斜・揺動・回転させる機構は、任意である。例えば、傾斜・揺動・回転させる機構は、把持機構全体を、容器４００を把持した状態で傾斜・揺動・回転させるモータを含んで構成されていてよい。
　また、把持装置１１０は、有線または無線により検査装置２００と接続されている。把持装置１１０は、検査装置２００からの指示により起動されると、容器４００を把持した状態で、容器４００を正立した姿勢から所定方向に傾斜・揺動・回転させる。また、把持装置１１０は、検査装置２００からの指示により停止されると、容器４００を傾斜・揺動・回転させる動作を停止し、容器４００を正立した姿勢で把持する状態に復帰する。
　上記のように容器４００を傾斜・揺動・回転させ、その後に静止させると、静止した容器４００内で液体が慣性により流動する状態が得られる。液体が流動すると、液体に混入された異物が浮遊する状態が得られる。また、液体が流動すると、容器４００の内側壁面などに付着していた気泡や液体の流動の過程で混ざり込んだ気泡が液体中を浮遊する可能性がある。従って、検査装置２００は、浮遊物が異物であるか、気泡であるかを識別する必要がある。
　照明装置１２０は、容器４００に封入された液体に対して照明光を照射するように構成されている。照明装置１２０は、例えば、容器４００の大きさに応じたサイズの面光源である。照明装置１２０は、容器４００からみてカメラ装置１３０が設置される側とは反対側に設置されている。すなわち、照明装置１２０による照明は、透過照明である。ただし、照明装置１２０の位置はこれに限定せず、例えば容器４００の底面側やカメラ装置１３０に隣接する位置に設置して、反射光照明として撮影する形態をとってもよい。
　カメラ装置１３０は、容器４００からみて照明装置１２０が設置される側とは反対側の所定位置から、容器４００内の液体を、所定のフレームレートで連続して撮影する撮影装置である。カメラ装置１３０は、例えば、数百万画素程度の画素容量を有するＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　ＭＯＳ）イメージセンサを備えたカラーカメラを含んで構成されていてよい。カメラ装置１３０は、有線または無線により、検査装置２００と接続されている。カメラ装置１３０は、撮影して得られた時系列の画像を、撮影時刻を示す情報などと共に、検査装置２００に対して送信するように構成されている。
　表示装置３００は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ：液晶ディスプレイ）などの表示装置である。表示装置３００は、検査装置２００と有線または無線により接続されている。表示装置３００は、検査装置２００で行われた容器４００の検査結果などを表示するように構成されている。
　検査装置２００は、カメラ装置１３０によって撮影して得られた時系列の画像に対して画像処理を行って、容器４００に封入された液体中の異物の有無を検査する情報処理装置である。検査装置２００は、把持装置１１０、カメラ装置１３０、および表示装置３００と有線または無線により接続されている。
　図２は、検査装置２００の一例を示すブロック図である。図２を参照すると、検査装置２００は、通信Ｉ／Ｆ部２１０と操作入力部２２０と記憶部２３０と演算処理部２４０とを備えている。
　通信Ｉ／Ｆ部２１０は、データ通信回路から構成され、有線または無線により把持装置１１０、カメラ装置１３０、表示装置３００、および図示しない他の外部装置との間でデータ通信を行うように構成されている。操作入力部２２０は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部２４０に出力するように構成されている。
　記憶部２３０は、ハードディスクやメモリなどの１種類あるいは多種類の１以上の記憶装置から構成され、演算処理部２４０における各種処理に必要な処理情報およびプログラム２３１を記憶するように構成されている。プログラム２３１は、演算処理部２４０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部２１０などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部２３０に保存される。記憶部２３０に記憶される主な処理情報には、画像情報２３２、追跡情報２３３、識別モデル２３４、確信度予測モデル２３５、および、検査結果情報２３６がある。
　画像情報２３２は、容器４００内の液体をカメラ装置１３０によって連続して撮影して得られた時系列の画像を含んでいる。容器４００内の液体中に浮遊物が存在する場合、画像情報２３２には、浮遊物の像が写っている。
　図３は、画像情報２３２の構成例を示す。この例の画像情報２３２は、容器ＩＤ２３２１と撮影時刻２３２２とフレーム画像２３２３との組からなるエントリから構成されている。容器ＩＤ２３２１の項目には、検査対象とした容器４００を一意に識別するＩＤが設定される。容器ＩＤ２３２１としては、容器４００に振られた通し番号、容器４００に貼付されたバーコード、容器４００のキャップ４０１などから採取された物体指紋情報などが考えられる。撮影時刻２３２２およびフレーム画像２３２３の各項目には、撮影時刻およびフレーム画像が設定される。撮影時刻２３２２は、同じ容器ＩＤの他のフレーム画像と区別して識別できるような精度（例えばミリ秒単位）に設定されている。撮影時刻２３２２は、例えば、容器４００の傾斜・揺動・回転を停止した時点からの経過時間を用いてよい。図３の例では、フレーム画像２３２３毎に容器ＩＤ２３２１を関連付けているが、複数のフレーム画像２３２３のグループ毎に容器ＩＤ２３２１を関連付けるようにしてもよい。
　追跡情報２３３は、画像情報２３２に写っている容器４００内の液体中に存在する浮遊物の像を検出して追跡した浮遊物の移動軌跡を表す時系列データとその観測諸元とを含んでいる。観測諸元は、例えば、観測された移動軌跡の長さ、観測された浮遊物の大きさ、観測された移動軌跡の開始時刻、観測された移動軌跡が存在した容器４００内の場所、移動軌跡の品質など、事前に定められた１または２以上の情報を意味する。図４は、追跡情報２３３の構成例を示す。この例の追跡情報２３３は、容器ＩＤ２３３１、追跡ＩＤ２３３２とポインタ２３３３－１とポインタ２３３３－２との組、の各エントリから構成されている。容器ＩＤ２３３１のエントリには、容器４００を一意に識別するＩＤが設定される。追跡ＩＤ２３３２とポインタ２３３３－１とポインタ２３３３－２との組からなるエントリは、追跡対象の浮遊物毎に設けられる。追跡ＩＤ２３３２の項目には、追跡対象の浮遊物を同じ容器４００内の他の浮遊物と識別するためのＩＤが設定される。ポインタ２３３３－１の項目には、追跡対象とする浮遊物の移動軌跡情報２３３４へのポインタが設定される。ポインタ２３３３－２の項目には、追跡対象とする浮遊物の移動軌跡情報の観測諸元リスト２３３５へのポインタが設定される。
　移動軌跡情報２３３４は、時刻２３３４１と位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５との組からなるエントリから構成されている。時刻２３３４１と位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５との項目には、撮影時刻とその撮影時刻における追跡対象の浮遊物の位置を示す座標値と浮遊物のサイズと浮遊物の色と浮遊物の形状とが設定される。時刻２３３４１に設定する撮影時刻は、フレーム画像の撮影時刻２３２２を用いる。座標値は、例えば、予め定められた座標系における座標値であってよい。また、予め定められた座標系は、カメラを中心としてみたカメラ座標系であってもよいし、空間中のある位置を中心として考えたワールド座標系であってもよい。移動軌跡情報２３３４のエントリは、時刻２３３４１の順に並べられている。先頭のエントリの時刻２３３４１は、追跡開始時刻である。最後尾のエントリの時刻２３３４１は、追跡終了時刻である。先頭および最後尾以外のエントリの時刻２３３４１は、追跡中間時刻である。
　観測諸元リスト２３３５は、移動軌跡情報２３３４から推定される浮遊物の種類の確信度に関係すると考えられる観測諸元のリストである。本例の観測諸元リスト２３３５は、移動軌跡情報２３３４に係る追跡長２３３５１と浮遊物の大きさ２３３５２と追跡開始時刻２３３５３と追跡領域２３３５４と移動軌跡情報の品質２３３５５との組からなるエントリから構成されている。
　追跡長２３３５１の項目には、移動軌跡情報２３３４が表す移動軌跡の長さが設定される。移動軌跡の長さは、移動軌跡情報２３３４を構成するエントリ数（即ち、フレーム画像数）であってもよいし、追跡開始時刻から追跡終了時刻までの時間長であってもよい。移動軌跡が長く観測された浮遊物ほど、その浮遊物の種類に応じた動きが移動軌跡中に現れている確率が高いと考えられる。反対に、移動軌跡が短い浮遊物は、その浮遊物の種類に応じた動きが移動軌跡に現れている確率が低いと考えられる。従って、追跡長２３３５１は、移動軌跡から推定される浮遊物の種類の確信度に関係する観測諸元の１つになり得る。
　浮遊物の大きさ２３３５２の項目には、移動軌跡情報２３３４に含まれるサイズ２３３４３を統計処理した値（例えば、平均値、最大値、最小値、中央値）が設定される。サイズの大きい異物は、容器４００の傾斜・揺動・回転を停止した後、初期に沈降する傾向がある。従って、浮遊物の大きさ２３３５２は、移動軌跡から推定される浮遊物の種類の確信度に関係する観測諸元の１つになり得る。
　追跡開始時刻２３３５３の項目には、移動軌跡情報２３３４の追跡開始時刻が設定される。追跡開始時刻は、換言すれば、容器４００の傾斜・揺動・回転を停止させた時点から当該移動軌跡情報２３３４の追跡開始時点までの経過時間の長さを表す値である。追跡開始時刻２３３５３が早いほど、液体の流動の影響を受け易いため浮遊物の種類に応じた動きが移動軌跡に現れるまでに時間がかかると考えられる。一方、追跡開始時刻２３３５３が遅くなれば、液体の流動の影響が少なくなるため浮遊物の種類に応じた動きが移動軌跡に現れる確率が高くなると考えられる。従って、追跡開始時刻２３３５３は、移動軌跡から推定される浮遊物の種類の確信度に関係する観測諸元の１つになり得る。
　追跡領域２３３５４の項目には、移動軌跡情報２３３４が表す移動軌跡が容器４００内のどの領域におけるものであるかを表す値が設定される。追跡領域は、観測場所とも呼ばれる。追跡領域２３３５４は、例えば、移動軌跡の外接矩形を特定する値（例えば外接矩形の頂点の座標値）であってもよいし、上記外接矩形から容器４００の液面・壁面・底面までの最短距離を表す値であってもよい。容器４００の液面近くでは液面に浮いている気泡の影響により異物を正しく検出するのが難しい。また、容器４００の壁面の近くではレンズ効果により浮遊物を正しく検出するのが容易でない。また、容器４００の底面の近くは影などの影響により浮遊物を正しく検出するのが難しい。そのため、容器４００内のどの領域における移動軌跡であるかは、その移動軌跡の信頼性、ひいてはその移動軌跡から推定される浮遊物の種類の確信度に影響を及ぼす。
　移動軌跡情報の品質２３３５５の項目には、移動軌跡情報２３３４の品質が設定される。移動軌跡情報２３３４の品質は、例えば、移動軌跡情報２３３４に含まれる位置情報２３３４２の不連続さ、サイズ２３３４３・色２３３４４・形状２３３４５の変動量に基づいて判定してよい。例えば、検知や追跡の結果が不確かと予想される過剰なサイズの変動や位置の不連続さが存在する移動軌跡情報２３３４は、同じ浮遊物を追跡した結果の移動軌跡である信頼性に乏しい。そのため、移動軌跡情報の品質２３３５５は、移動軌跡から推定される浮遊物の種類の確信度に関係する観測諸元の１つになり得る。
　但し、本発明で使用する観測諸元は上記に限定されない。識別モデルの特徴量に直接含まれないが、特徴量が正しく評価し難くなる条件、観測自体の失敗などによる例外的誤りを増やし得る条件など、移動軌跡から推定される浮遊物の種類の確信度に関係するものであれば、他の任意の観測諸元を利用してよい。また、使用する観測諸元は、観測の特性から決めてもよい（検知・追跡処理で仮定した前提が崩れる条件など）し、実際の誤りから推定した条件（識別根拠がはっきり読み取れない条件など）でもよい。
　識別モデル２３４は、浮遊物の移動軌跡を表す時系列データから浮遊物の種類を推定するモデルである。識別モデル２３４は、例えば、ＲＮＮやＬＳＴＭなどのニューラルネットワークの再帰的構造を用いて構成してよい。或いは、識別モデル２３４は、パディング、プーリング処理やリサイズを用いて、固定長データの識別に帰着してもよい。
　確信度予測モデル２３５は、浮遊物の移動軌跡を表す時系列データの観測諸元から、当該観測諸元に係る時系列データに基づいて識別モデル２３４によって推定された結果の確信度を予測するモデルである。確信度予測モデル２３５は、例えば、ニューラルネットワークを用いて構成してよい。或いは、確信度予測モデル２３５は、線形識別器、決定木などでもよい。
　検査結果情報２３６は、容器４００に封入された液体中の異物の有無を検査した結果に応じた情報を含んでいる。検査結果には、識別モデル２３４によって算出された浮遊物の種類の推定結果と、確信度予測モデル２３５によって算出された識別モデル２３４の推定結果の確信度とが含まれる。
　図５は、検査結果情報２３６の構成例を示す。この例の検査結果情報２３６は、容器ＩＤ２３６１、検査結果２３６２、異物検出数２３６３、気泡検出数２３６４、検出異物ＩＤ２３６５とポインタ２３６６との組、検出気泡ＩＤ２３６７とポインタ２３６８との組、の各エントリから構成されている。容器ＩＤ２３６１のエントリには、検査対象の容器４００を一意に識別するＩＤが設定される。検査結果２３６２のエントリには、ＯＫ（検査合格）またはＮＧ（検査不合格）の何れかの検査結果が設定される。異物検出数２３６３のエントリには、検出された異物の総数が設定される。気泡検出数２３６４のエントリには、検出された気泡の総数が設定される。なお、識別結果として、気泡と異物以外に液中の成分の凝集物などを含んでもよい。
　検出異物ＩＤ２３６５とポインタ２３６６との組のエントリは、検出された異物毎に設けられる。検出異物ＩＤ２３６５の項目には、検出された異物を同じ容器４００内の他の異物と識別するためのＩＤが設定される。ポインタ２３６６の項目には、検出された異物の検出異物情報２３６９へのポインタが設定される。
　検出気泡ＩＤ２３６７とポインタ２３６８との組のエントリは、検出された気泡毎に設けられる。検出気泡ＩＤ２３６７の項目には、検出された気泡を同じ容器４００内の他の気泡と識別するためのＩＤが設定される。ポインタ２３６８の項目には、検出された気泡の検出気泡情報２３７０へのポインタが設定される。
　検出異物情報２３６９は、追跡ＩＤ２３６９１とポインタ２３６９２－１とポインタ２３６９２－２との組、判定結果２３６９３、確信度２３６９４、可視化画像２３６９５、の各エントリから構成されている。追跡ＩＤ２３６９１の項目には、検出された異物の追跡ＩＤ２３３２が設定される。ポインタ２３６９２－１の項目には、検出された異物の移動軌跡情報２３６９６へのポインタが設定される。移動軌跡情報２３６９６は、検出された異物の追跡時の移動軌跡情報２３３４のコピーである。ポインタ２３６９２－２の項目には、検出された異物の移動軌跡情報２３６９６に係る観測諸元リスト２３６９７へのポインタが設定される。観測諸元リスト２３６９７は、検出された異物の追跡時の移動軌跡情報２３３４に係る観測諸元リスト２３３５のコピーである。判定結果２３６９３のエントリには、判定結果が「異物」である旨のテキストが設定される。確信度２３６９４のエントリには、判定結果２３６９３の確からしさを表す指標である確信度が設定される。可視化画像２３６９５のエントリには、検出された異物の移動軌跡情報２３６９６を可視化した画像が少なくとも１枚設定される。
　検出気泡情報２３７０は、追跡ＩＤ２３７０１とポインタ２３７０２－１とポインタ２３７０２－２との組、判定結果２３７０３、確信度２３７０４、可視化画像２３７０５、の各エントリから構成されている。追跡ＩＤ２３７０１の項目には、検出された気泡の追跡ＩＤ２３３２が設定される。ポインタ２３７０２－１の項目には、検出された気泡の移動軌跡情報２３７０６へのポインタが設定される。移動軌跡情報２３７０６は、検出された気泡の追跡時の移動軌跡情報２３３４のコピーである。ポインタ２３７０２－２の項目には、検出された気泡の移動軌跡情報２３７０６に係る観測諸元リスト２３７０７へのポインタが設定される。観測諸元リスト２３７０７は、検出された気泡の追跡情報の移動軌跡情報２３３４に係る観測諸元リスト２３３５のコピーである。判定結果２３７０３のエントリには、判定結果が「気泡」である旨のテキストが設定される。確信度２３７０４のエントリには、判定結果２３７０３の確からしさを表す指標である確信度が設定される。可視化画像２３７０５のエントリには、検出された気泡の移動軌跡情報２３７０６を可視化した画像が少なくとも１枚設定される。
　再び図２を参照すると、演算処理部２４０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部２３０からプログラム２３１を読み込んで実行することにより、上記ハードウェアとプログラム２３１とを協働させて各種処理部を実現するように構成されている。演算処理部２４０で実現される主な処理部には、取得部２４１、識別モデル学習部２４２、確信度予測モデル学習部２４３、および、判定部２４４がある。
　取得部２４１は、把持装置１１０およびカメラ装置１３０を制御して、容器４００に封入された液体中に存在する浮遊物の像を写した画像情報２３２を取得するように構成されている。また、取得部２４１は、画像情報２３２を解析することにより、浮遊物の移動軌跡を表す時系列データとその観測諸元とを含む追跡情報２３３を取得するように構成されている。以下、取得部２４１の詳細を説明する。
　取得部２４１は、先ず、検査対象の容器４００を正立した姿勢で把持している把持装置１１０を起動することにより、検査対象の容器４００を傾斜・揺動・回転させる。次に、取得部２４１は、起動後、一定時間が経過すると、把持装置１１０を停止させることにより、容器４００を所定の姿勢で静止させる。このように容器４００を一定時間にわたって傾斜・揺動・回転させた後に静止させることにより、静止した容器４００内で液体が慣性によって流動する状態が得られる。次に、取得部２４１は、照明装置１２０による透過照明の下で、検査対象の容器４００内の液体をカメラ装置１３０によって所定のフレームレートで連続して撮影する動作を開始する。即ち、取得部２４１は、容器４００が傾斜・揺動・回転された後に静止した時刻を時刻Ｔｓとすると、時刻Ｔｓから上記撮影動作を開始する。
　また、取得部２４１は、時刻Ｔｓから所定時間Ｔｗが経過する時刻Ｔｅまで、容器４００内の液体をカメラ装置１３０によって連続して撮影し続ける。上記所定時間Ｔｗは、例えば、液体中を浮遊する浮遊物が全て気泡であると仮定した場合に、全ての気泡が容器４００の上方に向かって移動し、もはや下方に移動するとは考えられないような移動軌跡が得られるのに必要な時間（以下、最小撮影時間長と記す）以上に設定されていてよい。最小撮影時間長は、予め実験などによって決定され、取得部２４１に固定的に設定されていてよい。なお、取得部２４１は、時刻Ｔｅに達したときに、カメラ装置１３０による撮影を直ちに停止してもよいし、なおもカメラ装置１３０による撮影を続けてもよい。
　取得部２４１は、カメラ装置１３０から取得した時系列のフレーム画像のそれぞれに、撮影時刻および容器ＩＤを付加し、画像情報２３２として記憶部２３０に保存する。
　次に取得部２４１は、所定時間長分の時系列のフレーム画像が取得されると、それらのフレーム画像のそれぞれから、容器４００内の液体中の浮遊物の陰影を検出する。例えば、取得部２４１は、以下に記載するような方法によって液体中の浮遊物の陰影を検出する。但し、取得部２４１は、以下に記載した以外の方法によって液体中の浮遊物の陰影を検出してよい。
　先ず、取得部２４１は、フレーム画像のそれぞれに対して２値化処理を行って、２値化フレーム画像を作成する。次に、取得部２４１は、２値化フレーム画像のそれぞれから、以下のようにして浮遊物の陰影を検出する。
　取得部２４１は、先ず、浮遊物の陰影を検出する対象とする２値化フレーム画像を注目中２値化フレーム画像とする。次に、注目中２値化フレーム画像と、撮影時刻がΔｔだけ後の２値化フレーム画像との差分画像を生成する。ここで、Δｔは、２つの画像において同じ浮遊物が一部分で重なるか、重ならない場合でもごく近接した位置に現れる程度の時間に設定される。そのため、時間差Δｔは、液体および異物の性質や流動状態などに応じて定められる。上記差分画像では、２つの２値化フレーム画像で一致する画像部分は消去され、相違する画像部分だけが残される。このため、２つの２値化フレーム画像の同じ位置に現れる容器４００の輪郭や傷などは消去され、浮遊物の陰影だけが現れる。取得部２４１は、差分画像で陰影が現れた箇所に対応する注目中２値化フレーム画像の陰影を、注目中２値化フレーム画像中に存在する浮遊物の陰影として検出する。
　取得部２４１は、検出された浮遊物を時系列の画像の中で追跡し、追跡の結果に応じて追跡情報２３３を作成する。先ず、取得部２４１は、追跡情報２３３を初期化する。この初期化では、図４の容器ＩＤ２３３１のエントリに検査対象の容器４００の容器ＩＤが設定される。次に、取得部２４１は、以下に記載するような方法によって、時系列の画像の中で、浮遊物を追跡し、その追跡結果に応じて、浮遊物毎に、図４の追跡ＩＤ２３３２とポインタ２３３３－１とポインタ２３３－２との組のエントリ、移動軌跡情報２３３４、観測諸元リスト２３３５を作成する。
　先ず、取得部２４１は、上記作成した２値化フレーム画像の時系列のうち、撮影時刻が最も過去の２値化フレーム画像に注目する。次に、取得部２４１は、注目中２値化フレーム画像において検出された浮遊物それぞれに、一意となる追跡ＩＤを付与する。次に、取得部２４１は、検出された浮遊物毎に、注目中２値化フレーム画像において検出された浮遊物に付与した追跡ＩＤを、図４の追跡ＩＤ２３３２の項目に設定し、対応するポインタ２３３３－１で指示される移動軌跡情報２３３４の先頭エントリの時刻２３３４１の項目に注目中２値化フレーム画像の撮影時刻を設定し、位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５との項目に注目中２値化フレーム画像における浮遊物の座標値とサイズと色と形状とを設定する。
　次に、取得部２４１は、注目中２値化フレーム画像より１フレームだけ後の２値化フレーム画像に注目を移す。次に、取得部２４１は、注目中２値化フレーム画像において検出された浮遊物の１つに注目する。次に、取得部２４１は、注目中浮遊物の位置と、１フレームだけ前の２値化フレーム画像（以下、先行２値化フレーム画像と記す）において検出された浮遊物の位置とを比較し、注目中浮遊物から予め定められた閾値距離以内に浮遊物が存在すれば、注目中浮遊物と当該閾値距離以内に存在した浮遊物とは同一の浮遊物であると判定する。この場合、取得部２４１は、注目中の浮遊物に、同一の浮遊物と判定した浮遊物に対して付与されている追跡ＩＤを付与する。そして、取得部２４１は、付与した追跡ＩＤ２３３２が設定されている追跡情報２３３のエントリのポインタ２３３３－１が指し示す移動軌跡情報２３３４に新たなエントリを確保し、その確保したエントリの時刻２３３４１と位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５とに、注目中２値化フレーム画像の撮影時刻と注目中浮遊物の座標値とサイズと色と形状とを設定する。
　一方、取得部２４１は、先行２値化フレーム画像において注目中浮遊物から閾値距離以内に浮遊物が存在しない場合、注目中浮遊物は新規な浮遊物と判定し、新たな追跡ＩＤを付与する。次に、取得部２４１は、注目中浮遊物に付与した追跡ＩＤを、新たに確保したエントリの図４の追跡ＩＤ２３３２の項目に設定し、対応するポインタ２３３３－１で指示される移動軌跡情報２３３４の先頭エントリの時刻２３３４１の項目に注目中２値化フレーム画像の撮影時刻を設定し、位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５との項目に注目中浮遊物の座標値とサイズと色と形状とを設定する。
　取得部２４１は、注目中浮遊物についての処理を終えると、注目中２値化フレーム画像において検出された次の浮遊物に注目を移し、前述した処理と同様の処理を繰り返す。そして、取得部２４１は、注目中２値化フレーム画像において検出された全ての浮遊物について注目し終えると、１フレームだけ後のフレーム画像に注目を移し、上述した処理と同様の処理を繰り返す。そして、取得部２４１は、画像情報２３２における最後のフレーム画像まで注目し終えると、追跡処理を終了する。
　以上の説明では、取得部２４１は、隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行った。しかし、取得部２４１は、ｎフレーム（ｎは１以上の正の整数）を挟んで隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行うようにしてもよい。また、取得部２４１は、ｍフレーム（ｍは０以上の正の整数）を挟んで隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行った追跡結果と、ｍ＋ｊフレーム（ｊは１以上の正の整数）を挟んで隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行った追跡結果とを総合的に判断して追跡を行うようにしてもよい。
　取得部２４１は、追跡処理を終えると、上述のようにして作成した移動軌跡情報２３３４毎に観測諸元リスト２３３５を作成する。先ず、取得部２４１は、移動軌跡情報２３３４の１つに注目する。次に取得部２４１は、ポインタ２３３３－２に設定したポインタが指す領域に注目中の移動軌跡情報２３３４に係る初期状態の観測諸元リスト２３３５を作成する。次に取得部２４１は、追跡長２３３５１の項目に、注目中の移動軌跡情報２３３４が表す移動軌跡の長さを設定する。次に取得部２４１は、浮遊物の大きさ２３３５２の項目に、注目中の移動軌跡情報２３３４に含まれるサイズ２３３４３を統計処理した値を設定する。次に取得部２４１は、追跡開始時刻２３３５３の項目に、注目中の移動軌跡情報２３３４の追跡開始時刻を設定する。次に取得部２４１は、追跡領域２３３５４の項目に、注目中の移動軌跡情報２３３４が表す移動軌跡が容器４００内のどの領域におけるものであるかを表す値を設定する。次に取得部２４１は、移動軌跡情報の品質２３３５５の項目に、注目中の移動軌跡情報２３３４の品質を表す数値を設定する。取得部２４１は、注目中の移動軌跡情報２３３４に係る観測諸元リスト２３３５を作成し終えると、残りの移動軌跡情報２３３４の１つに注目を移し、前述したと同様の処理を繰り返す。この処理を全ての移動軌跡情報２３３４について注目し終えるまで繰り返す。
　識別モデル学習部２４２は、識別モデル２３４を機械学習により生成するように構成されている。
　識別モデル学習部２４２は、浮遊物の移動軌跡を表す時系列データとその浮遊物の種類とを教師データ（以下、第１の教師データとも記す）として用いる。浮遊物の移動軌跡を表す時系列データは、例えば、図４に示した移動軌跡情報２３３４を使用してよい。或いは、浮遊物の移動軌跡を表す時系列データは、例えば、図４に示した移動軌跡情報２３３４からサイズ２３３４３、色２３３４４、および、形状２３３４５の１つ、または２つ、または全てを取り除いた残りの情報であってよい。また、浮遊物の種類は、異物および気泡の何れかを表すラベル値であってよい。このように第１の教師データは、浮遊物の移動軌跡を表す時系列データとその浮遊物の種類を表すラベルとを含む。このような第１の教師データは、例えば、ユーザとの間の対話的処理によって作成することができる。例えば、識別モデル学習部２４２は、取得部２４１によって取得された移動軌跡情報２３３４を表示装置３００の画面に表示し、操作入力部２２０を通じてユーザから当該移動軌跡情報２３３４のラベルを受け付ける。そして、識別モデル学習部２４２は、表示した移動軌跡情報２３３４と受け付けたラベルとの組を１つの第１の教師データとして作成する。但し、第１の教師データの作成方法は上記に限定されない。
　識別モデル学習部２４２は、上記のような第１の教師データを用い、入力を浮遊物（異物または気泡）の移動軌跡を表す時系列データとし、出力を浮遊物の種類とする識別モデル２３４を機械学習により生成するように構成されている。
　確信度予測モデル学習部２４３は、確信度予測モデル２３５を機械学習により生成するように構成されている。
　図６は、確信度予測モデル２３５の機械学習に用いる教師データを作成する方法の一例を示す模式図である。図６において、教師データ２５０のそれぞれは、浮遊物の移動軌跡を表す時系列データ２５０１とその浮遊物の種類２５０２とその観測諸元２５０３とを含んで構成されている。時系列データ２５０１は、例えば、図４に示した移動軌跡情報２３３４を使用してよい。或いは、時系列データ２５０１は、例えば、図４に示した移動軌跡情報２３３４からサイズ２３３４３、色２３３４４、および、形状２３３４５の１つ、または２つ、または全てを取り除いた残りの情報であってよい。また、観測諸元２５０３は、図４に示した移動軌跡情報２３３４の観測諸元リスト２３３５を使用してよい。また、浮遊物の種類２５０２は、異物および気泡の何れかを表すラベル値であってよい。このようなラベル値は、例えば、ユーザとの間の対話的処理によって作成することができる。例えば、確信度予測モデル学習部２４３は、取得部２４１によって取得された移動軌跡情報２３３４を表示装置３００の画面に表示し、操作入力部２２０を通じてユーザから当該移動軌跡情報２３３４のラベルを受け付ける。そして、確信度予測モデル学習部２４３は、表示した移動軌跡情報２３３４と受け付けたラベルと移動軌跡情報２３３４の観測諸元リスト２３３５との組を１つの教師データとして作成する。但し、教師データの作成方法は上記に限定されない。
　また、確信度予測モデル学習部２４３は、１つの教師データ２５０から１つの新たな教師データ２５２を以下のようにして作成する。先ず、確信度予測モデル学習部２４３は、教師データ２５０中の時系列データ２５０１を、学習済みの識別モデル２３４に入力し、識別モデル２３４から最終的に出力される浮遊物の種類の推定結果を取得する。次に、確信度予測モデル学習部２４３は、識別モデル２３４の推定結果が表す浮遊物の種類と教師データ２５０中の浮遊物の種類とを比較する（ブロック２５１）。次に、確信度予測モデル学習部２４３は、比較結果に応じた値に設定した確信度２５２１と教師データ２５０中の観測諸元２５０３との組を教師データ２５２として作成する。
　上記の比較結果に応じた値として、両者が一致する場合（すなわち、識別モデル２３４の推定結果が正しい場合）には、大きな値（例えば１或いは１により近い値）としてよい。この値は事前に定められた固定値（例えば１）を使用してもよいし、識別モデル２３４の正解クラスのソフトマックス値（ＴＣＰ）を使用してもよい。一方、両者が一致しない場合（すなわち、識別モデル２３４の推定結果が誤っている場合）には、小さな値（例えば０或いは０により近い値）としてよい。この値は事前に定められた固定値（例えば０）を使用してもよいし、識別モデル２３４の正解クラスのソフトマックス値（ＴＣＰ）を使用してもよい。
　確信度予測モデル学習部２４３は、上記のようにして作成した教師データ２５２を用い、入力を観測により得られた浮遊物の移動軌跡を表す時系列データの観測諸元とし、出力を上記観測諸元に係る時系列データから推定される識別モデル２３４の推定結果の確信度とする確信度予測モデル２３５を機械学習により生成するように構成されている。
　判定部２４４は、学習済みの識別モデル２３４を用いて、取得部２４１によって取得された容器４００に封入された液体中の浮遊物の移動軌跡を表す時系列データから浮遊物の種類を推定するように構成されている。また、判定部２４４は、学習済みの確信度予測モデル２３５を用いて、取得部２４１によって取得された観測諸元から識別モデル２３４の推定結果の確信度を予測するように構成されている。また、判定部２４４は、識別モデル２３４を用いて推定した浮遊物の種類と、確信度予測モデル２３５用いて登録側した識別モデル２３４の推定結果の確信度とを含む検査結果情報２３６を作成するように構成されている。
　例えば、判定部２４４は、記憶部２３０から追跡情報２３３を読み出し、追跡情報２３３に含まれる追跡ＩＤ毎に、浮遊物の移動軌跡を表す移動軌跡情報２３３４を時系列データとして学習済みの識別モデル２３４に入力することにより、当該追跡ＩＤの浮遊物が異物であるか気泡であるかを判定する。また、判定部２４４は、追跡情報２３３に含まれる追跡ＩＤ毎に、浮遊物の移動軌跡の観測諸元リスト２３３５を学習済みの確信度予測モデル２３５に入力することにより、識別モデル２３４を用いて判定した浮遊物の種類の判定結果の確信度を予測する。そして、判定部２４４は、判定結果に応じた検査結果情報２３６を作成し、記憶部２３０に保存する。また、判定部２４４は、検査結果情報２３６を表示装置３００に表示し、または／および、通信Ｉ／Ｆ部２１０を通じて外部装置へ送信する。
　次に、本実施形態に係る検査システム１００の動作を説明する。検査システム１００のフェーズは、学習フェーズと検査フェーズとに大別される。学習フェーズは、識別モデル２３４および確信度予測モデル２３５を機械学習により作成するフェーズである。検査フェーズは、学習済みの識別モデル２３４および確信度予測モデル２３５を用いて、容器４００に封入された液体中の異物の有無を検査するフェーズである。
　図７は学習フェーズの動作の一例を示すフローチャートである。図７を参照すると、先ず、取得部２４１は、把持装置１１０およびカメラ装置１３０を制御して、容器４００に封入された液体中に存在する浮遊物の像を写した画像情報２３２を取得する（ステップＳ１）。次に、取得部２４１は、画像情報２３２を解析することにより、浮遊物の移動軌跡を表す時系列データとその観測諸元とを含む追跡情報２３３を取得する（ステップＳ２）。
　次に、識別モデル学習部２４２は、識別モデル２３４の機械学習に用いる第１の教師データを作成する（ステップＳ３）。次に、識別モデル学習部２４２は、作成した第１の教師データを用い、入力を浮遊物の移動軌跡を表す時系列データとし、出力を浮遊物の種類とする識別モデル２３４を機械学習により生成する（ステップＳ４）。
　次に、確信度予測モデル学習部２４３は、確信度予測モデル２３５の機械学習に用いる第２の教師データを作成する（ステップＳ５）。次に、確信度予測モデル学習部２４３は、作成した第２の教師データを用い、入力を観測により得られた浮遊物の移動軌跡を表す時系列データの観測諸元とし、出力を上記観測諸元に係る時系列データから推定される識別モデル２３４の推定結果の確信度とする確信度予測モデル２３５を機械学習により生成する（ステップＳ６）。
　図８は検査フェーズの動作の一例を示すフローチャートである。図８を参照すると、先ず、取得部２４１は、把持装置１１０およびカメラ装置１３０を制御して、容器４００に封入された液体中に存在する浮遊物の像を写した画像情報２３２を取得する（ステップＳ１１）。次に、取得部２４１は、画像情報２３２を解析することにより、浮遊物の移動軌跡を表す時系列データとその観測諸元とを含む追跡情報２３３を取得する（ステップＳ１２）。
　次に、判定部２４４は、学習済みの識別モデル２３４を用いて、追跡情報２３３に含まれる浮遊物の移動軌跡を表す時系列データから浮遊物の種類を推定する（ステップＳ１３）。次に、判定部２４４は、学習済みの確信度予測モデル２３５を用いて、追跡情報２３３に含まれる浮遊物の移動軌跡を表す時系列データの観測諸元リストから、識別モデル２３４による上記推定結果の確信度を予測する（ステップＳ１４）。次に、判定部２４４は、推定した浮遊物の種類および予測した推定結果の確信度に基づいて、検査結果情報２３６を作成する（ステップＳ１５）。
　以上説明したように、本実施形態によれば、種類の異なる複数の浮遊物から観測により得られた互いに類似する複数の移動軌跡を表す時系列データであってもその観測諸元が相違する場合、それら時系列データから推定される浮遊物の種類の推定結果の確信度間に差を付けることができる。その理由は、確信度予測モデル学習部２４３は、取得部２４１により得られた浮遊物の移動軌跡を表す時系列データとその観測諸元と上記浮遊物の種類との組から構成されるソースデータを取得し、学習された識別モデル２３４を用いてソースデータ中の時系列データから推定される対象物の種類がソースデータ中の対象物の種類とを教師データとして用いて、確信度予測モデル２３５を機械学習により生成するためである。また、判定部２４４は、取得部２４１により得られた対象物の移動軌跡を表す時系列データに係る観測諸元を取得し、学習済みの確信度予測モデル２３５を用いて、上記取得した観測諸元から推定される識別モデル２３４の推定結果の確信度を出力するためである。
　続いて、本実施形態の変形例について説明する。
＜変形例１＞
　判定部２４４は、確信度予測モデル２３５によって予測された確信度に基づいて、識別モデル２３４による推定結果を修正ないし補正してよい。
　例えば、判定部２４４は、識別モデル２３４を用いて時系列データから推定した浮遊物の種類が異物であった場合、確信度予測モデル２３５を用いて当該時系列データの観測諸元から予測した上記推定結果の確信度が予め定められた閾値より小さい（低い）ときは、上記浮遊物の種類を異物でなく気泡に修正してよい。
　また例えば、判定部２４４は、識別モデル２３４を用いて時系列データから推定した浮遊物の種類が異物であった場合、確信度予測モデル２３５を用いて当該時系列データの観測諸元から予測した上記推定結果の確信度を、異物らしさスコアとして算出してよい。
　また例えば、判定部２４４は、識別モデル２３４を用いて時系列データから推定した浮遊物の種類が異物であった場合、識別モデル２３４による異物らしさスコア（識別モデル２３４が出力する異物の確率）を、確信度予測モデル２３５を用いて当該時系列データの観測諸元から予測した上記推定結果の確信度を用いて補正してよい。
＜変形例２＞
　確信度予測モデル学習部２４３は、識別モデル２３４の所定の出力を確信度予測モデル２３５の学習に使ってもよい。ここで、識別モデル２３４の所定の出力とは、例えば、識別モデル２３４の中間層から出力される特徴量としてよい。図９は、確信度予測モデル２３５の機械学習に用いる教師データを作成する方法の他の例を示す模式図である。図９において、図６と同一符号は同一部分を示し、２５２Ａは教師データ、２５２２は識別モデル２３４の所定の出力である。図９を参照すると、確信度予測モデル学習部２４３は、１つの教師データ２５０から１つの新たな教師データ２５２Ａを以下のようにして作成する。先ず、確信度予測モデル学習部２４３は、教師データ２５０中の時系列データ２５０１を、学習済みの識別モデル２３４に入力し、識別モデル２３４から最終的に出力される浮遊物の種類の識別結果と所定の出力２５２２とを取得する。次に、確信度予測モデル学習部２４３は、図６と同様に、識別モデル２３４の推定結果が表す浮遊物の種類と教師データ２５０中の浮遊物の種類とを比較した結果に応じた確信度２５２１を作成する（ブロック２５１）。そして、確信度予測モデル学習部２４３は、確信度２５２１と教師データ２５０中の観測諸元２５０３と所定の出力２５２２との組を教師データ２５２Ａとして作成する。
　確信度予測モデル学習部２４３は、上記のようにして作成した教師データ２５２Ａを用い、入力を観測により得られた浮遊物の移動軌跡を表す時系列データの観測諸元と当該時系列データを識別モデル２３４に入力したときに識別モデル２３４から出力される所定の出力２５２２との組とし、出力を上記観測諸元に係る時系列データから推定される識別モデル２３４の推定結果の確信度とする確信度予測モデル２３５を機械学習により生成するように構成されている。
　また、判定部２４４は、識別モデル２３４の上記所定の出力を確信度予測に使ってもよい。例えば、判定部２４４は、学習済みの確信度予測モデル２３５に対して、追跡情報２３３に含まれる浮遊物の移動軌跡を表す時系列データの観測諸元リストと当該時系列データを識別モデル２３４に入力したときに識別モデル２３４から出力される所定の出力２５２２との組を入力し、識別モデル２３４の推定結果の確信度を取得する。
　以上の説明では、識別モデル２３４の所定の出力は、識別モデル２３４の中間層から出力される特徴量とした。しかし、識別モデル２３４の所定の出力は上記に限定されない。識別モデル２３４の所定の出力は、識別モデル２３４の最終出力としてもよい。
＜変形例３＞
　識別モデル学習部２４２は、図７のステップＳ６において確信度予測モデル２３５が生成された後の任意の時点において、ステップＳ４において生成した識別モデル２３４の更なる学習を行ってよい。その場合、識別モデル学習部２４２は、学習済みの確信度予測モデル２３５で予測される確信度に基づいて、識別モデル２４３の学習を制御するようにしてよい。
　図１０は、変形例３による識別モデル２３４の学習方法の例を示す模式図である。図１０において、教師データ２６０は、浮遊物の移動軌跡を表す時系列データ２６０１とその浮遊物の種類２６０２とを含んで構成される。また、教師データ２６０毎に、その時系列データ２６０１の観測諸元２６０３が用意されている。識別モデル学習部２４２は、教師データ２６０を用いて識別モデル２３４を学習する際、教師データ２６０と組みになる観測諸元２６０３を学習済みの確信度予測モデル２３５に入力し、確信度予測モデル２３５から出力される確信度によって、識別モデル２３４の学習を制御する。例えば、識別モデル学習部２４２は、確信度がより低いほど、学習の重みをより小さくする。これによって、識別モデル２３４の識別精度を向上させることができる。
＜変形例４＞
　この変形例では、確信度予測モデル学習部２４３は、観測により得られた浮遊物の移動軌跡を表す時系列データを幾つかの部分時系列データに分割し、個々の部分時系列データの観測諸元を用いて、確信度予測モデル２３５の機械学習を行うように構成されている。
　図１１は、変形例４において確信度予測モデル２３５の機械学習に用いる教師データを作成する方法の一例を示す模式図である。図１１において、教師データ２５０のそれぞれは、図６を参照して既に説明したような時系列データ２５０１と浮遊物の種類２５０２と観測諸元２５０３とを含んで構成されている。時系列データ２５０１は、例えば図４の移動軌跡情報２３３４であり得る。また、観測諸元２５０３は、例えば図４の観測諸元リスト２３３５であり得る。
　変形例４では、確信度予測モデル学習部２４３は、教師データ２５０のそれぞれを新たな２つの教師データ２５０－１、２５０－２に変換するデータ変換部２４３１を有する。教師データ２５０－１は、時系列データ２５０１－１と浮遊物の種類２５０２－１と観測諸元２５０３－１とから構成される。教師データ２５０－２は、時系列データ２５０１－２と浮遊物の種類２５０２－２と観測諸元２５０３－２とから構成される。図１１の例では、１つの教師データ２５０を２つの教師データに変換したが、３つ以上の教師データに変換してもよい。
　データ変換部２４３１は、例えば、以下のような方法によって、教師データ２５０を教師データ２５０－１、２５０－２に変換する。先ず、データ変換部２４３１は、教師データ２５０中の時系列データ２５０１の追跡開始時刻と追跡終了時刻との間の中間の時刻を算出する。次に、データ変換部２４３１は、時系列データ２５０１を、追跡開始時刻から中間時刻までの区間の時系列データ２５０１－１と中間時刻から追跡終了時刻までの時系列データ２５０１－２とに変換する。次に、データ変換部２４３１は、教師データ２５０の浮遊物の種類２５０２と同じ内容の浮遊物の種類２５０２－１、２５０２－２を作成する。次に、データ変換部２４３１は、時系列データ２５０１－１、２５０１－２から観測諸元２５０３－１、２５０３－２を作成する。
　例えば、データ変換部２４３１は、以下のような方法によって、時系列データ２５０１－１から観測諸元２５０３－１を作成する。先ず、データ変換部２４３１は、時系列データ２５０１－１を構成するフレーム画像数、または、時系列データ２５０１－１の先頭のフレーム画像の撮影時刻から最終のフレーム画像の撮影時刻までの時間長を算出し、それを時系列データ２５０１－１の追跡長とする。次に、データ変換部２４３１は、時系列データ２５０１－１に含まれるサイズ２３３４３を統計処理した値（例えば、平均値、最大値、最小値、中央値）を算出し、それを浮遊物の大きさとする。次に、データ変換部２４３１は、時系列データ２５０１－１の先頭のフレーム画像の撮影時刻を取得し、それを追跡開始時刻とする。次に、データ変換部２４３１は、時系列データ２５０１－１が表す移動軌跡の外接矩形を特定する値（例えば外接矩形の頂点の座標値）を算出し、それを追跡領域とする。次に、データ変換部２４３１は、時系列データ２５０１－１に含まれる位置情報２３３４２の不連続さ、サイズ２３３４３・色２３３４４・形状２３３４５の変動量に基づいて、移動軌跡情報の品質を算出する。そして、データ変換部２４３１は、上述のようにして算出した追跡長、浮遊物の大きさ、追跡開始時刻、追跡領域、および、移動軌跡情報の品質の集まりから構成される観測諸元２５０３－１を作成する。同様の方法により、データ変換部２４３１は、時系列データ２５０１－２から観測諸元２５０３－２を作成する。
　次に、確信度予測モデル学習部２４３は、１つの教師データ２５０－１から新たな１つの教師データ２５２－１を以下のようにして作成する。先ず、確信度予測モデル学習部２４３は、教師データ２５０－１中の時系列データ２５０１－１を、学習済みの識別モデル２３４に入力し、識別モデル２３４から最終的に出力される浮遊物の種類の推定結果を取得する。次に、確信度予測モデル学習部２４３は、識別モデル２３４の推定結果が表す浮遊物の種類と教師データ２５０－１中の浮遊物の種類２５０２－１とを比較する（ブロック２５１）。次に、確信度予測モデル学習部２４３は、比較結果に応じた値に設定した確信度２５２１－１と教師データ２５０－１中の観測諸元２５０３－１との組を教師データ２５２－１として作成する。上記の比較結果に応じた値として、図６を参照して既に説明したような値としてよい。確信度予測モデル学習部２４３は、同様の方法により、教師データ２５０－２から新たな１つの教師データを作成する。その結果、ｎ個の教師データ２５０から最終的に２×ｎ個の教師データ２５２－１等が生成されることになる。
　確信度予測モデル学習部２４３は、上記のようにして作成した教師データ２５２－１等を用い、入力を観測により得られた浮遊物の移動軌跡を表す時系列データの観測諸元とし、出力を上記観測諸元に係る時系列データから推定される識別モデル２３４の推定結果の確信度とする確信度予測モデル２３５を機械学習により生成する。
　このように変形例４によれば、確信度予測モデル２３５の学習に用いる教師データの数を増大することができる。一般に容器に封入された液体中の異物検査では、異物が混入しているケース自体が稀であるため、異物の移動軌跡を表す時系列データの数は少ない。さらに、異物の識別精度が高い場合、不正解となる時系列データ（本来は気泡なのに異物と識別される時系列データや、本来は異物なのに気泡と識別される時系列データ）はさらに少ない。変形例４によれば、そのような数の少ない時系列データから多くの教師データを作成することができる。
＜変形例５＞
　変形例５では、変形例４において、確信度予測モデル学習部２４３は、識別モデル２３４を用いて時系列データから識別した結果を確信度予測モデル２３５の学習に使用する。図１２は、変形例５における確信度予測モデル２３５の機械学習に用いる教師データを作成する方法の例を示す模式図である。図１２において、図１１と同一符号は同一部分を示し、２５２－１Ａは教師データ、２５２２－１は識別モデル２３４の識別結果である。図１２を参照すると、確信度予測モデル学習部２４３は、１つの教師データ２５０－１から１つの新たな教師データ２５２－１Ａを以下のようにして作成する。先ず、確信度予測モデル学習部２４３は、教師データ２５０－１中の時系列データ２５０１－１を、学習済みの識別モデル２３４に入力し、識別モデル２３４から出力される推定結果２５２２－１を取得する。次に、確信度予測モデル学習部２４３は、推定結果２５２２－１が表す浮遊物の種類と教師データ２５０－１中の浮遊物の種類とを比較した結果に応じた確信度２５２１－１を作成する（ブロック２５１）。そして、確信度予測モデル学習部２４３は、確信度２５２１－１と教師データ２５０－１中の観測諸元２５０３－１と推定結果２５２２－１との組を教師データ２５２－１Ａとして作成する。
　確信度予測モデル学習部２４３は、上記のようにして作成した教師データ２５２－１Ａ等を用い、入力を観測により得られた浮遊物の移動軌跡を表す時系列データの観測諸元と当該時系列データを識別モデル２３４に入力したときに識別モデル２３４から出力される推定結果２５２２－１との組とし、出力を上記観測諸元に係る時系列データから推定される識別モデル２３４の推定結果の確信度とする確信度予測モデル２３５を機械学習により生成するように構成されている。
　また、判定部２４４は、識別モデル２３４の推定結果２５２２－１を確信度予測に使ってもよい。例えば、判定部２４４は、学習済みの確信度予測モデル２３５に対して、追跡情報２３３に含まれる浮遊物の移動軌跡を表す時系列データの観測諸元リストと当該時系列データを識別モデル２３４に入力したときに識別モデル２３４から出力される推定結果２５２２－１との組を入力し、確信度予測モデル２３５から出力される識別モデル２３４の推定結果の確信度を取得する。
　上記の変形例６では、確信度予測モデル学習部２４３は、時系列データ２５０１－１を、学習済みの識別モデル２３４に入力することにより、推定結果２５２２－１を取得した。しかし、部分的な時系列データ２５０１－１から推定される推定結果２５２２－１を取得する方法は、上記に限定されない。例えば、確信度予測モデル２３５を、途中の時系列データまでの特徴量に基づいて識別結果を出力するように構成しておくことにより、時系列データ２５０１－１を包含する時系列データ２５０１全体を学習済みの識別モデル２３４に入力し、時系列データ２５０１－１に相当する部分的な時系列データから推定される推定結果２５２２－１を識別モデル２３４から取得するようにしてもよい。上記のような構成を有する識別モデル２３４の例を図１３の模式図に示す。図１３を参照すると、識別モデル２３４は、例えばＬＳＴＭにより構成されており、最終段から実線矢印に示すように識別結果を出力することができると共に、途中の段から破線矢印に示すように途中フレームまでの特徴で識別結果を出力することができるように構成されている。
［第２の実施の形態］
　図１４は、本発明の第２の実施形態に係る検査システム５００のブロック図である。図１４を参照すると、検査システム５００は、識別モデル学習手段５０１と確信度予測モデル学習手段５０２と判定手段５０３とを備えている。
　識別モデル学習手段５０１は、観測により得られた対象物の移動軌跡を表す時系列データと対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから対象物の種類を推定する識別モデルを学習するように構成されている。識別モデル学習手段５０１は、例えば、図２の識別モデル学習部２４２と同様に構成することができるが、それに限定されない。
　確信度予測モデル学習手段５０２は、観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から識別モデルの推定結果の確信度を予測する確信度予測モデルを学習するように構成されている。確信度予測モデル学習手段５０２は、例えば、図２の確信度予測モデル学習部２４３と同様に構成することができるが、それに限定されない。
　判定手段５０３は、学習済みの識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから対象物の種類を推定するように構成されている。また、判定手段５０３は、学習済みの確信度予測モデルを用いて、時系列データの観測諸元から識別モデルの推定結果の確信度を予測するように構成されている。判定手段５０３は、例えば、図２の判定部２４４と同様に構成することができるが、それに限定されない。
　以上のように構成された検査システム５００は、以下のように動作する。即ち、先ず、識別モデル学習手段５０１は、観測により得られた対象物の移動軌跡を表す時系列データと対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから対象物の種類を推定する識別モデルを学習する。次に、確信度予測モデル学習手段５０２は、観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から識別モデルの推定結果の確信度を予測する確信度予測モデルを学習する。次に、判定手段５０３は、学習済みの識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから対象物の種類を推定し、また、学習済みの確信度予測モデルを用いて、時系列データの観測諸元から識別モデルの推定結果の確信度を予測する。
　以上のように構成され動作する検査システム５００によれば、種類の異なる複数の対象物から観測により得られた互いに類似する複数の移動軌跡を表す時系列データであってもその観測諸元が相違する場合、それら時系列データから推定される結果の確信度間に差を付けることができる。その理由は、確信度予測モデル学習手段５０２は、観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から識別モデルの推定結果の確信度を予測する確信度予測モデルを学習するためである。また、判定手段５０３は、学習済みの確信度予測モデルを用いて、時系列データの観測諸元から識別モデルの推定結果の確信度を予測するためである。
　以上、本発明について幾つかの実施形態および変形例を挙げて説明したが、本発明は以上の実施形態および変形例に限定されず、各種の付加変更が可能である。例えば、本発明は、上述した実施形態および変形例を組み合わせることもできる。例えば、第１の実施形態で説明した学習済みの識別モデルおよび確信度モデルを用いて識別および確信度予測を行う動作と、何れかの変形例で説明した学習済みの識別モデルおよび確信度予測モデルを用いて識別および確信度予測を行う動作とを、平行ないし交互に行う検査システムも本発明に含まれる。
　本発明は、観測により得られた対象物の移動軌跡を表す時系列データから対象物の種類を推定する検査システム全般に利用できる。例えば、本発明は、容器に封入された液体中の異物の有無を検査する検査システムに適用できる。また、本発明は、マウス等の移動軌跡を表す時系列データからマウス等の異常の有無を判定することにより、医薬品の安全性を調べる前臨床試験システムに適用できる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
　観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習する識別モデル学習手段と、
　観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習する確信度予測モデル学習手段と、
　学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する判定手段と、
を備える検査システム。
［付記２］
　前記確信度予測モデル学習手段は、前記学習済みの識別モデルを用いて前記第２の教師データ中の前記時系列データから推定される対象物の種類が前記第２の教師データ中の対象物の種類と一致しないときは一致するときに比較して低い値となる確信度を取得し、前記取得した確信度と前記第２の教師データ中の前記観測諸元とを第３の教師データとして用いて前記確信度予測モデルを学習する、
付記１に記載の検査システム。
［付記３］
　前記観測諸元は、前記移動軌跡の長さ、前記対象物の大きさ、前記移動軌跡の開始時刻、前記移動軌跡の観測場所、および、前記時系列データの品質のうちの少なくとも１つを含む、
付記１または２に記載の検査システム。
［付記４］
　前記判定手段は、前記確信度の判定結果に基づいて、前記対象物の種類の判定結果を修正する、
付記１乃至３の何れかに記載の検査システム。
［付記５］
　前記確信度予測モデル学習手段は、前記第２の教師データ中の前記時系列データを学習済みの前記識別モデルに入力して得られる所定の出力を用いて前記確信度予測モデルを学習する、
付記１乃至４の何れかに記載の検査システム。
［付記６］
　前記識別モデル学習手段は、学習済みの前記確信度予測モデルで予測される確信度を学習の制御に用いて、学習済みの前記識別モデルを更に学習する、
付記１乃至５の何れかに記載の検査システム。
［付記７］
　前記確信度予測モデル学習手段は、前記第２の教師データを複数の新たな教師データに変換し、それぞれの新たな教師データは、前記第２の教師データ中の時系列データを複数の新たな時系列データに変換した後の１つの時系列データと前記第２の教師データ中の対象物の種類と前記１つの部分時系列データの観測諸元とを含み、
　前記確信度予測モデル学習手段は、前記新たな教師データを用いて、前記確信度予測モデルを学習する、
付記１乃至６の何れかに記載の検査システム。
［付記８］
　前記確信度予測モデル学習手段は、前記新たな教師データ中の時系列データを学習済みの前記識別モデルに入力して得られる識別結果を用いて、前記確信度予測モデルを機械学習する、
付記７に記載の検査システム。
［付記９］
　観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習し、
　観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習し、
　学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する、
検査方法。
［付記１０］
　コンピュータに、
　観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習する処理と、
　観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習する処理と、
　学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
１００　検査システム
１１０　把持装置
１２０　照明装置
１３０　カメラ装置
２００　検査装置
３００　表示装置
４００　容器
４０１　キャップ

Claims (10)

  1. 　観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習する識別モデル学習手段と、
    　観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習する確信度予測モデル学習手段と、
    　学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する判定手段と、
    を備える検査システム。
  2. 　前記確信度予測モデル学習手段は、前記学習済みの識別モデルを用いて前記第２の教師データ中の前記時系列データから推定される対象物の種類が前記第２の教師データ中の対象物の種類と一致しないときは一致するときに比較して低い値となる確信度を取得し、前記取得した確信度と前記第２の教師データ中の前記観測諸元とを第３の教師データとして用いて前記確信度予測モデルを学習する、
    請求項１に記載の検査システム。
  3. 　前記観測諸元は、前記移動軌跡の長さ、前記対象物の大きさ、前記移動軌跡の開始時刻、前記移動軌跡の観測場所、および、前記時系列データの品質のうちの少なくとも１つを含む、
    請求項１または２に記載の検査システム。
  4. 　前記判定手段は、前記確信度の判定結果に基づいて、前記対象物の種類の判定結果を修正する、
    請求項１乃至３の何れかに記載の検査システム。
  5. 　前記確信度予測モデル学習手段は、前記第２の教師データ中の前記時系列データを学習済みの前記識別モデルに入力して得られる所定の出力を用いて前記確信度予測モデルを学習する、
    請求項１乃至４の何れかに記載の検査システム。
  6. 　前記識別モデル学習手段は、学習済みの前記確信度予測モデルで予測される確信度を学習の制御に用いて、学習済みの前記識別モデルを更に学習する、
    請求項１乃至５の何れかに記載の検査システム。
  7. 　前記確信度予測モデル学習手段は、前記第２の教師データを複数の新たな教師データに変換し、それぞれの新たな教師データは、前記第２の教師データ中の時系列データを複数の新たな時系列データに変換した後の１つの時系列データと前記第２の教師データ中の対象物の種類と前記１つの時系列データの観測諸元とを含み、
    　前記確信度予測モデル学習手段は、前記新たな教師データを用いて、前記確信度予測モデルを学習する、
    請求項１乃至６の何れかに記載の検査システム。
  8. 　前記確信度予測モデル学習手段は、前記新たな教師データ中の時系列データを学習済みの前記識別モデルに入力して得られる識別結果を用いて、前記確信度予測モデルを機械学習する、
    請求項７に記載の検査システム。
  9. 　観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習し、
    　観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習し、
    　学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する、
    検査方法。
  10. 　コンピュータに、
    　観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習する処理と、
    　観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習する処理と、
    　学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する処理と、
    を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2021/018652 2021-05-17 2021-05-17 検査システム WO2022244075A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/018652 WO2022244075A1 (ja) 2021-05-17 2021-05-17 検査システム
JP2023522022A JPWO2022244075A1 (ja) 2021-05-17 2021-05-17

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018652 WO2022244075A1 (ja) 2021-05-17 2021-05-17 検査システム

Publications (1)

Publication Number Publication Date
WO2022244075A1 true WO2022244075A1 (ja) 2022-11-24

Family

ID=84141336

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018652 WO2022244075A1 (ja) 2021-05-17 2021-05-17 検査システム

Country Status (2)

Country Link
JP (1) JPWO2022244075A1 (ja)
WO (1) WO2022244075A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011153944A (ja) * 2010-01-28 2011-08-11 Hitachi High-Technologies Corp 自動分析装置
CN104215584A (zh) * 2014-08-29 2014-12-17 华南理工大学 一种基于高光谱图像技术区分大米产地的检测方法
US20180322660A1 (en) * 2017-05-02 2018-11-08 Techcyte, Inc. Machine learning classification and training for digital microscopy images
JP2019174346A (ja) * 2018-03-29 2019-10-10 富士通株式会社 検査方法、検査装置、及び検査プログラム
JP2019529882A (ja) * 2016-08-22 2019-10-17 アイリス インターナショナル， インコーポレイテッド 生体粒子の分類のシステム及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011153944A (ja) * 2010-01-28 2011-08-11 Hitachi High-Technologies Corp 自動分析装置
CN104215584A (zh) * 2014-08-29 2014-12-17 华南理工大学 一种基于高光谱图像技术区分大米产地的检测方法
JP2019529882A (ja) * 2016-08-22 2019-10-17 アイリス インターナショナル， インコーポレイテッド 生体粒子の分類のシステム及び方法
US20180322660A1 (en) * 2017-05-02 2018-11-08 Techcyte, Inc. Machine learning classification and training for digital microscopy images
JP2019174346A (ja) * 2018-03-29 2019-10-10 富士通株式会社 検査方法、検査装置、及び検査プログラム

Also Published As

Publication number Publication date
JPWO2022244075A1 (ja) 2022-11-24

Similar Documents

Publication Publication Date Title
US10746665B2 (en) Methods and apparatus for classifying an artifact in a specimen
CA2976769C (en) Model-based methods and apparatus for classifying an interferent in specimens
US11035870B2 (en) Systems, methods and apparatus for identifying a specimen container cap
US11650197B2 (en) Methods and apparatus adapted to quantify a specimen from multiple lateral views
US11042788B2 (en) Methods and apparatus adapted to identify a specimen container from multiple lateral views
US11022620B2 (en) Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen
US11538159B2 (en) Methods and apparatus for label compensation during specimen characterization
JP6865776B2 (ja) 深層学習を用いるコンピュータビジョニングを使用したデジタル品質管理
JP7234502B2 (ja) 方法、装置、及びプログラム
WO2022244075A1 (ja) 検査システム
US20240169517A1 (en) Methods and apparatus for automated specimen characterization using diagnostic analysis system with continuous performance based training
JP7359297B2 (ja) 検査システム
JP2021003929A (ja) 学習用データ生成装置及び物体検知装置
WO2023047542A1 (ja) 学習装置
WO2023175943A1 (ja) 異物検査装置
US20240168006A1 (en) Methods and apparatus for hashing and retrieval of training images used in hiln determinations of specimens in automated diagnostic analysis systems
US11548729B1 (en) Recycling system with discrete conveyor bins for improved accuracy
WO2024079857A1 (ja) 検査システム
WO2020144881A1 (ja) 検品支援方法、及び検品支援システム
WO2023230024A1 (en) Methods and apparatus for determining a viewpoint for inspecting a sample within a sample container

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21940695

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023522022

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21940695

Country of ref document: EP

Kind code of ref document: A1