WO2021214995A1 - 判定装置 - Google Patents
判定装置 Download PDFInfo
- Publication number
- WO2021214995A1 WO2021214995A1 PCT/JP2020/017750 JP2020017750W WO2021214995A1 WO 2021214995 A1 WO2021214995 A1 WO 2021214995A1 JP 2020017750 W JP2020017750 W JP 2020017750W WO 2021214995 A1 WO2021214995 A1 WO 2021214995A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- image data
- state
- determination
- time
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
- G01N21/9018—Dirt detection in containers
- G01N21/9027—Dirt detection in containers in containers after filling
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Definitions
- the present invention relates to a determination device, a determination method, a recording medium, and a determination system.
- the technology for detecting foreign substances in the liquid contained in the container is known.
- Patent Document 1 is one of the techniques used when detecting a foreign substance.
- Patent Document 1 describes a first irradiation source for irradiating the container with the first irradiation light, a second irradiation source for irradiating the container with the second irradiation light from a direction different from the first irradiation light, and imaging.
- a foreign matter detection device having means and inspection means is described.
- the imaging means captures the transmitted light on the transmitted light path of the first irradiation light from the container and the diffusely reflected light of the second irradiation light. Then, the inspection means detects the foreign matter in the filling liquid based on the image acquired by the imaging means.
- Patent Document 1 discloses that the first irradiation light and the second irradiation light are irradiated in different time zones.
- an object of the present invention is to provide a determination device, a determination method, a recording medium, and a determination system that solve the problem that foreign matter may not be detected accurately and efficiently.
- the determination device which is one form of the present disclosure, in order to achieve such an object
- a division unit that divides the time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions into time-series image data according to the lighting conditions.
- a determination unit that determines foreign matter mixed in the inside of the container based on each of the time-series image data divided by the division unit, and a determination unit. It has a structure of having.
- Judgment device The time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions is divided into time-series image data according to the lighting conditions. Based on each of the divided time-series image data, the foreign matter mixed in the inside of the container is determined.
- the recording medium which is another form of the present disclosure is For the judgment device, A division unit that divides the time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions into time-series image data according to the lighting conditions. A determination unit that determines foreign matter mixed in the inside of the container based on each of the time-series image data divided by the division unit, and a determination unit. It is a computer-readable recording medium on which a program for realizing the above is recorded.
- a first illumination unit that irradiates the image pickup device that acquires image data with light so that the transmitted light transmitted through the container is incident.
- a second illumination unit that irradiates the image pickup device that acquires image data with light so that the transmitted light transmitted through the container does not enter.
- the liquid filled in the container is photographed in an environment in which a plurality of lighting conditions including the first state in which the first lighting unit irradiates light and the second state in which the second lighting unit irradiates light are switched.
- a determination device having a determination unit for determining a foreign substance mixed in, and a determination device. It has a structure of having.
- FIG. 1st Embodiment of this disclosure It is a figure which shows the structural example of the determination system in 1st Embodiment of this disclosure. It is a figure which shows an example of the positional relationship between a container and lighting. It is a figure for demonstrating the lighting example of lighting. It is a figure for demonstrating the lighting example of lighting. It is a block diagram which shows the structural example of the lighting control device. It is a figure which shows the lighting control example by a lighting control device. It is a figure which shows the lighting control example by a lighting control device. It is a block diagram which shows the structural example of the determination apparatus. It is a figure which shows an example of image information. It is a figure which shows the processing example of the division part.
- FIG. 1 is a diagram showing a configuration example of the determination system 100.
- FIG. 2 is a diagram showing an example of the positional relationship between the container 700 and the lighting.
- 3 and 4 are diagrams for explaining a lighting example of lighting.
- FIG. 5 is a block diagram showing a configuration example of the lighting control device 400.
- 6 and 7 are diagrams showing an example of lighting control by the lighting control device 400.
- FIG. 8 is a block diagram showing a configuration example of the determination device 600.
- FIG. 9 is a diagram showing an example of image information 631.
- FIG. 10 is a diagram showing a processing example of the division unit 642.
- FIG. 11 is a flowchart showing an operation example of the determination device 600.
- FIG. 12 is a flowchart showing a processing example of the determination unit 645.
- FIG. 13 is a diagram showing an example of another positional relationship between the container 700 and the lighting.
- a determination system 100 that detects an object mixed in a container 700 filled with a liquid such as water or a chemical and determines a foreign substance among the detected objects will be described.
- the determination system 100 acquires time-series image data by taking a picture with the camera 500 while switching a plurality of lighting conditions. For example, the determination system 100 switches between a state in which the container 700 is irradiated with light from the first illumination unit 310 and a state in which the container 700 is irradiated with light from the second illumination unit 320 at predetermined intervals. , Acquire time-series image data. Then, the determination system 100 divides the acquired time-series image data into time-series image data corresponding to each state, and then determines a foreign substance based on each of the divided time-series image data.
- the foreign matter to be determined includes a foreign matter that transmits light such as a glass piece and a foreign matter that does not transmit light such as a rubber piece and hair.
- a piece of glass which is a foreign substance that transmits light, has a heavier specific gravity than a foreign substance that does not transmit light, such as a rubber piece or hair. Sink.
- the side filled with the liquid in the container 700 is defined as the upper side, and the opposite side is defined as the lower side.
- the liquid filled inside the container 700 is collected under the container 700.
- FIG. 1 is a side view showing an overall configuration example of the determination system 100.
- the determination system 100 includes, for example, a gripping device 200, a first illumination unit 310, a second illumination unit 320, an illumination control device 400, a camera 500, and a determination device 600.
- the first lighting unit 310 and the lighting control device 400 are connected so as to be able to communicate with each other.
- the second lighting unit 320 and the lighting control device 400 are connected so as to be able to communicate with each other.
- the camera 500 and the determination device 600 are connected so as to be able to communicate with each other.
- the lighting control device 400 and the camera 500 can be connected so as to be able to communicate with each other.
- the gripping device 200 is a device that grips the container 700.
- the gripping device 200 includes an upper grip portion that projects downward and abuts on the upper side of the container 700, and a lower grip portion that projects upward and abuts on the lower side of the container 700.
- the upper gripping portion of the gripping device 200 abuts on the container 700 from the upper side of the container 700
- the lower gripping portion abuts on the container 700 from the lower side of the container 700, whereby the gripping device 200 ,
- the container 700 is sandwiched from above and below to grip the container 700.
- the gripping device 200 may grip the container 700 by a method other than the above-exemplified method.
- the gripping device 200 can tilt or rotate the container 700 while sandwiching and gripping the container 700. By tilting or rotating the container 700 while the gripping device 200 sandwiches the container 700, foreign matter settled inside the container 700 can be lifted up.
- the configuration for the gripping device 200 to incline or rotate the container 700 is not particularly limited.
- the gripping device 200 may be configured to tilt or rotate the container 700 using known methods.
- the first lighting unit 310 irradiates the liquid filled in the container 700 with light according to the control from the lighting control device 400.
- FIG. 1 shows an example of the positional relationship between the first illumination unit 310, the second illumination unit 320, and the container 700 when viewed from the side surface direction
- FIG. 2 shows the first illumination unit 310 when viewed from the shooting direction of the camera 500.
- An example of the positional relationship between the second lighting unit 320 and the container 700 is shown.
- the first lighting unit 310 is installed on the side opposite to the side on which the camera 500 is installed when viewed from the container 700 and the gripping device 200. According to such a configuration, the first illumination unit 310 irradiates the camera 500 with light through the container 700.
- the transmitted light transmitted through the container 700 is incident on the camera 500.
- the transmitted light at the location where the foreign substance is present is blocked by the foreign substance that does not transmit light.
- black circles represent foreign substances that do not transmit light.
- the first lighting unit 310 has a shutter curtain using a liquid crystal display or the like.
- the shutter curtain included in the first illumination unit 310 closes when the first illumination unit 310 is not irradiating light. Therefore, it can be said that the first illumination unit 310 can take two states, a lighting state of irradiating light and an extinguishing state of closing the shutter curtain.
- the second lighting unit 320 irradiates the liquid filled in the container 700 with light according to the control from the lighting control device 400.
- the second lighting unit 320 is installed on, for example, a side surface of the container 700. According to such a configuration, the second illumination unit 320 irradiates light from the side surface direction of the container 700.
- the transmitted light transmitted through the container 700 is not directly incident on the camera 500.
- the foreign substance that transmits light is present inside the container 700, the foreign substance that transmits light existing in the container 700 diffusely reflects the light. Therefore, as shown in FIG.
- the second illumination unit 320 irradiates the light, so that the diffusely reflected light diffusely reflected by the foreign substance is incident on the camera 500.
- white circles represent foreign substances that transmit light.
- the second lighting unit 320 can have a shutter curtain using a liquid crystal display or the like.
- the shutter curtain of the second lighting unit 320 closes when the second lighting unit 320 is not irradiating light, as in the case of the first lighting unit 310. That is, it can be said that the second lighting unit 320 can take two states, a lighting state of irradiating light and an extinguishing state of closing the shutter curtain.
- the second lighting unit 320 does not have to have a shutter curtain.
- the installation position of the second lighting unit 320 is not limited to the cases illustrated in FIGS. 1 and 2.
- the second illuminating unit 320 is located at a position other than those illustrated in FIGS. 1 and 2 such as diagonally rearward if the transmitted light radiated by the second illuminating unit 320 and transmitted through the container 700 does not directly enter the camera 500. It may be installed.
- the lighting control device 400 is a control device that switches lighting conditions by controlling the lighting state and the extinguishing state of the first lighting unit 310 and the second lighting unit 320.
- FIG. 5 shows a configuration example of the lighting control device 400. Referring to FIG. 5, the lighting control device 400 has, for example, a control unit 410.
- the lighting control device 400 has, for example, an arithmetic unit such as a CPU and a storage device.
- the lighting control device 400 realizes the processing unit by executing a program stored in the storage device by the arithmetic unit.
- the lighting control device 400 may realize the above-mentioned processing unit by hardware.
- the control unit 410 controls the state of the first lighting unit 310 and the second lighting unit 320 by transmitting a lighting instruction to the first lighting unit 310 and the second lighting unit 320.
- the first lighting unit 310 is in the lighting state and the second lighting unit 320 is in the extinguishing state at the same time, or the first lighting unit 310 is in the extinguishing state at the same time.
- the state of the first lighting unit 310 and the second lighting unit 320 is controlled so that the lighting unit 320 becomes one of the second states in which the lighting unit 320 is in the lighting state.
- the illumination condition is in the first state
- the transmitted light transmitted through the container 700 is incident on the camera 500.
- the illumination condition is in the second state, the transmitted light transmitted through the container 700 does not enter the camera 500.
- control unit 410 controls the state of the first lighting unit 310 and the second lighting unit 320 so that the lighting intervals of the first lighting unit 310 and the second lighting unit 320 are synchronized with the shooting interval of the camera 500. Can be done. In other words, the control unit 410 can control the first illumination unit 310 and the second illumination unit 320 so as to switch between the first state and the second state at intervals according to the shooting interval of the camera 500. For example, as will be described later, the camera 500 acquires image data at a high frame rate of about 150 to 200 fps.
- control unit 410 sets the first illumination unit 310 and the second illumination unit 320 so as to switch between the first state and the second state at intervals of 0.005 seconds to 0.0067 seconds or a multiple thereof. It can be controlled.
- the control unit 410 may be configured to send and receive necessary information for synchronizing the intervals with the camera 500.
- FIG. 6 shows an example of control by the control unit 410.
- the control unit 410 controls the states of the first lighting unit 310 and the second lighting unit 320 so that the first state and the second state are switched each time the camera 500 takes a picture. Can be done.
- the control unit 410 controls the states of the first lighting unit 310 and the second lighting unit 320 so that the first state and the second state are switched at equal intervals such as every 0.005 seconds to 0.0067 seconds. Can be done.
- control unit 410 can be configured to change the interval for switching between the first state and the second state with the passage of time.
- FIG. 7 shows another control example by the control unit 410.
- the control unit 410 continues the second state until the camera 500 shoots twice, and then switches to the first state.
- the control unit 410 keeps the second state for 0.01 seconds to 0.013 seconds, and then sets the first state for 0.005 seconds to 0.0067 seconds.
- the control unit 410 continues such switching for a predetermined time. Subsequently, the control unit 410 continues the process of switching between the first state and the second state at equal intervals for a predetermined time.
- the control unit 410 continues the first state for 0.01 seconds to 0.013 seconds, and then switches to the second state for 0.005 seconds to 0.0067 seconds for a predetermined time. In this way, the control unit 410 can change the switching interval so that the second state is made longer than the first state immediately after the start of shooting, while the first state is made longer than the second state with the passage of time. You can. In addition, after continuing the second state for 0.015 seconds to 0.02 seconds, the control unit 410 sets the first state and the second state, such as setting the first state for 0.005 seconds to 0.0067 seconds. The switching interval may be changed arbitrarily.
- the time for switching in the second state to be longer than that in the first state, the time for switching at equal intervals, the time for switching in the first state to be longer than that in the second state, and the respective times are also arbitrary. You can set it.
- a glass piece or the like which is a foreign substance that transmits light, has a heavier specific gravity than a foreign substance that does not transmit light, such as a rubber piece or hair, and is in a state of flying up in the liquid filled inside the container 700. Sinks to the bottom sooner.
- the proportion of the second stage suitable for detecting foreign matter that transmits light at an early stage after the start of imaging is increased, and the ratio of the first stage suitable for detecting foreign matter that does not transmit light with the passage of time is increased. By increasing the ratio, it becomes possible to perform detection according to the characteristics of the foreign matter.
- control unit 410 can control the states of the first lighting unit 310 and the second lighting unit 320 so that the first state and the second state are switched at predetermined intervals. ..
- the camera 500 is an imaging device that acquires image data by photographing the container 700. For example, the camera 500 starts taking image data after tilting the container 700 or the like. As shown in FIG. 1, the camera 500 is preliminarily installed at a predetermined position on the side opposite to the side where the first illumination unit 310 is located when viewed from the gripping device 200. The camera 500 may be configured to send and receive necessary information for synchronizing the intervals to and from the lighting control device 400.
- the camera 500 continuously acquires image data at a high frame rate of about 150 to 200 fps. Then, the camera 500 transmits the acquired image data to the determination device 600 together with information indicating the shooting time and the like.
- the camera 500 may acquire image data at a frame rate other than those illustrated above.
- the states of the first lighting unit 310 and the second lighting unit 320 are controlled by the lighting control device 400. Therefore, the time-series image data acquired by the camera 500 includes the image data captured in the first state and the second image data captured in the first state, such as the image data captured in the first state and the image data captured in the second state alternately existing. The image data taken in the state is mixed.
- the determination device 600 is an information processing device that detects an object mixed in the container 700 filled with the liquid and determines a foreign substance based on the image data captured and acquired by the camera 500.
- FIG. 8 shows a configuration example of the determination device 600. Referring to FIG. 8, the determination device 600 has, for example, a screen display unit 610, a communication I / F unit 620, a storage unit 630, and an arithmetic processing unit 640 as main components.
- the screen display unit 610 is composed of a screen display device such as an LCD (Liquid Crystal Display).
- the screen display unit 610 can display various information stored in the storage unit 630 such as image information 631, tracking information 632, and determination result information 633 on the screen in response to an instruction from the arithmetic processing unit 640.
- the communication I / F unit 620 is composed of a data communication circuit.
- the communication I / F unit 620 performs data communication with a camera 500, an external device, or the like connected via a communication line.
- the storage unit 630 is a storage device such as a hard disk or a memory.
- the storage unit 630 stores processing information and a program 634 required for various processes in the arithmetic processing unit 640.
- the program 634 realizes various processing units by being read and executed by the arithmetic processing unit 640.
- the program 634 is read in advance from an external device or a recording medium via a data input / output function such as the communication I / F unit 620, and is stored in the storage unit 630.
- the main information stored in the storage unit 630 includes, for example, image information 631, tracking information 632, determination result information 633, and the like.
- the image information 631 includes time-series image data acquired by the camera 500.
- the image data and the information indicating the date and time when the camera 500 acquired the image data are associated with each other.
- FIG. 9 shows an example of time-series image data included in the image information 631.
- the image information 631 contains a mixture of image data captured in the first state and image data captured in the second state.
- the lighting control device 400 switches between the first state and the second state. Therefore, the image data stored as the image information 631 includes the image data captured in the first state and the image data captured in the second state, such that the image data captured in the first state and the image data captured in the second state alternately exist.
- the image data taken in is mixed with the image data taken in.
- the tracking information 632 includes information according to the result of tracking by the tracking unit 644, which will be described later.
- the identification information given for each object and the time-series information indicating the position of the object are associated with each other.
- the time-series information indicating the position of the object includes, for example, time information and position information such as coordinates indicating the position of the object at each time.
- the tracking unit 644 uses the time-series image data included in the image information 631 by the dividing unit 642 as the time-series image data captured in the first state and the time-series captured in the second state. After dividing into image data, tracking is performed based on each time-series data after division. Therefore, the tracking information 632 includes information according to the result of tracking using the time-series data corresponding to the first state and the result of tracking using the time-series data corresponding to the second state. Information and is included.
- the tracking information 632 may include information other than the position of the object as illustrated above.
- the tracking information 632 may include information indicating the area of the detection area.
- the determination result information 633 includes information indicating the result of the determination by the determination unit 645.
- the identification information given for each object is associated with the information indicating the result of determination by the determination unit 645 based on the tracking information 632. That is, the determination result information 633 includes information indicating which of the foreign substances, air bubbles, scratches and stains on the container corresponds to the detected object.
- the arithmetic processing unit 640 has a microprocessor such as an MPU and its peripheral circuits.
- the arithmetic processing unit 640 reads the program 634 from the storage unit 630 and executes it, thereby realizing various processing units in cooperation with the hardware and the program 634.
- the main processing units realized by the arithmetic processing unit 640 include, for example, an image acquisition unit 641, a division unit 642, a detection unit 643, a tracking unit 644, a determination unit 645, and an output unit 646.
- the image acquisition unit 641 acquires the image data acquired by the camera 500 from the camera 500 via the communication I / F unit 620. Then, the image acquisition unit 641 stores the acquired image data in the storage unit 630 as image information 631 in association with, for example, the acquisition date and time (information indicating the shooting time) of the image data.
- the dividing unit 642 divides the time-series image data included in the image information 631 into time-series image data taken in the first state and time-series image data taken in the second state.
- the determination device 600 has information indicating under what conditions (at what intervals) the lighting control device 400 switches between the first state and the second state. Therefore, the division unit 642 uses the above information to obtain the time-series image data included in the image information 631 with the time-series image data captured in the first state based on the time corresponding to the image data. It is divided into time-series image data taken in two states.
- FIG. 10 is a diagram for explaining an example of the division process by the division unit 642.
- the division unit 642 captures the image information 631 in a state in which the image data captured in the first state and the image data captured in the second state are mixed, and is a time-series image captured in the first state. It is divided into data and time-series image data taken in the second state.
- the division unit 642 may divide the time-series image data based on information other than the time. For example, when the dividing unit 642 captures time-series image data in the second state and the time-series image data captured in the first state based on the ratio of light and darkness when the image data is binarized. It may be divided into a series of image data. The division unit 642 may perform the division processing by combining the methods exemplified above.
- the detection unit 643 detects an object existing in the container 700 or the region corresponding to the liquid filled in the container 700 based on the image data. For example, the detection unit 643 performs binarization processing on the image data and detects an object based on the result of the binarization processing. The detection unit 643 may detect the object by using other known techniques.
- the detection unit 643 detects an object from each of the time-series image data captured in the first state divided by the division unit 642, and also from each of the time-series image data captured in the second state. Detect an object. As shown in FIG. 3, in the first state, while the transmitted light is incident on the camera 500, the transmitted light at the portion where the foreign matter is present is blocked by the foreign matter that does not transmit the light. Therefore, the detection unit 643 can mainly detect an object containing a foreign substance that does not transmit light, based on the image data taken in the first state. On the other hand, as shown in FIG.
- the detection unit 643 can detect an object containing a foreign substance that mainly transmits light, based on the image data taken in the second state.
- the tracking unit 644 tracks the object detected by the detection unit 643. As described above, the camera 500 acquires image data at a high frame rate such as 200 fps. Therefore, it is assumed that the positions of the same objects are extremely close to each other between two image data in which the shooting times are continuous (the shooting times are closer than a predetermined value). Therefore, the tracking unit 644 compares the position of the object detected by the detection unit 643 with the position of the object detected by the detection unit 643 in the image data one before (or within a predetermined value) the shooting time.
- the tracking unit 644 when there is an object in which the distance between the objects is equal to or less than a predetermined threshold value, the tracking unit 644 has image data in which the distance is equal to or less than the threshold value and the object detected by the detection unit 643 and the shooting time are one before. It is determined that the object detected by the detection unit 643 is the same object. In this case, the tracking unit 644 adds identification information such as an ID given to the object determined to be the same object to the object detected by the detection unit 643. On the other hand, in the image data one before the shooting time (or within a predetermined value), when there is no object whose distance from the object detected by the detection unit 643 is equal to or less than a predetermined threshold value, the tracking unit 644 Determines that a new object has been detected. In this case, the tracking unit 644 adds identification information such as a new ID to the detected object.
- the tracking unit 644 provides identification information to the object detected by the detection unit 643 by performing tracking based on the distance between the objects in different image data. Further, the tracking unit 644 acquires the coordinates indicating the position of the object detected by the detection unit 643. Then, the tracking unit 644 associates the identification information with the time information indicating the shooting time of the image data and the coordinates, and stores the tracking information 632 in the storage unit 630.
- the tracking unit 644 tracks the tracking based on the time-series image data captured in the first state and the tracking based on the time-series image data captured in the second state, which is divided by the dividing unit 642. And do. That is, the tracking unit 644 compares the positions based on the time-series image data captured in the first state, and also compares the positions based on the time-series image data captured in the second state.
- the detection unit 643 mainly detects an object containing a foreign substance that does not transmit light, based on the image data taken in the first state.
- the tracking unit 644 can track an object containing a foreign substance that does not mainly transmit light, based on the time-series image data taken in the first state.
- the detection unit 643 detects an object containing a foreign substance that mainly transmits light, based on the image data taken in the second state. Therefore, the tracking unit 644 can track an object containing a foreign substance that mainly transmits light, based on the time-series image data taken in the second state.
- the determination unit 645 determines whether the object detected by the detection unit 643 corresponds to a bubble or a foreign substance based on the tracking information 632. Then, the determination unit 645 stores the determination result of each object detected by the detection unit 643 in the storage unit 630 as the determination result information 633.
- the determination unit 645 determines that the object is moving upward based on the tracking information 632, the determination unit 645 determines that the object is a bubble.
- the determination unit 645 determines that the object is moving downward based on the tracking information 632, the determination unit 645 determines that the object is a foreign substance.
- the determination unit 645 can determine whether the object is a bubble or a foreign substance by determining the moving direction of the object based on the tracking information 632.
- the determination unit 645 may determine the air bubbles and the foreign matter by a method other than the above-exemplified method, such as performing the above determination using a model learned in advance.
- the tracking information 632 includes information according to the result of tracking using the time-series data corresponding to the first state and tracking using the time-series data corresponding to the second state. Information according to the result of the work is included. Therefore, the determination unit 645 is either a bubble or a foreign substance that does not transmit light, based on the information according to the result of tracking using the time-series data corresponding to the first state of the tracking information 632. You may judge whether or not. Similarly, the determination unit 645 is based on the information according to the result of tracking using the time-series data corresponding to the second state of the tracking information 632, and the object is either a bubble or a foreign substance that transmits light. It may be determined whether or not there is. In this way, the determination unit 645 can determine whether the object is a bubble or a foreign substance, and can determine whether or not the foreign substance transmits light.
- the determination unit 645 may use information other than the tracking information 632 when determining the object.
- the determination unit 645 can determine an object by using information indicating an image feature, size, average luminance value, and the like of the object together. By also judging information other than movement such as the size of the object and the average brightness value, the characteristics of bubbles and foreign substances can be comprehensively judged, so that higher judgment accuracy can be obtained.
- the output unit 646 outputs image information 631, tracking information 632, determination result information 633, and the like.
- the output unit 646 displays the image information 631, the tracking information 632, the determination result information 633, and the like on the screen display unit 610, or transmits the image information 631, the tracking information 632, the determination result information 633, and the like to the external device via the communication I / F unit 620. Can be done.
- the above is a configuration example of the determination device 600.
- the determination device 600 may have a configuration other than the above.
- the determination device 600 can be configured to instruct the gripping device 200 to tilt / rotate or stop tilting / rotating.
- the container 700 is a translucent container such as a glass bottle or a PET bottle.
- the inside of the container 700 is filled with a liquid such as water or a chemical.
- Foreign matter may be mixed inside the container 700.
- foreign matter for example, foreign matter that does not transmit light such as rubber pieces, hair, fiber pieces, and soot, and foreign matter that transmits light such as glass and plastic pieces are assumed.
- the above is a configuration example of the gripping device 200, the first lighting unit 310, the second lighting unit 320, the lighting control device 400, the camera 500, and the judgment device 600 included in the determination system 100. Subsequently, an operation example of the determination device 600 will be described with reference to FIGS. 11 and 12.
- the image acquisition unit 641 acquires the image data acquired by the camera 500 from the camera 500 via the communication I / F unit 620 (step S101).
- the image acquisition unit 641 acquires time-series image data in a state in which the image data captured in the first state and the image data captured in the second state are mixed.
- the dividing unit 642 divides the time-series image data into the time-series image data taken in the first state and the time-series image data taken in the second state (step S102).
- the determination device 600 has information indicating under what conditions (at what intervals) the lighting control device 400 switches between the first state and the second state.
- the dividing unit 642 divides the time-series image data included in the image information 631 into time-series image data taken in the first state and time-series image data taken in the second state. do.
- the dividing unit 642 may perform the dividing process by using a method other than the above-exemplified method.
- the detection unit 643 detects an object existing in the container 700 or the region corresponding to the liquid filled in the container 700 based on the time-series image data taken in the first state. (Step S111). In the process of step S111, the detection unit 643 mainly detects an object containing a foreign substance that does not transmit light. The detection unit 643 may detect an object using a known technique.
- the tracking unit 644 tracks the object detected by the detection unit 643 (step S112). That is, the tracking unit 644 mainly tracks an object including a foreign substance that does not transmit light. For example, the tracking unit 644 tracks an object based on the distance between the objects in the image data whose shooting times are close (or continuous).
- step S113, No If all the objects detected by the detection unit 643 cannot be tracked in the image data (step S113, No), the tracking unit 644 tracks the objects that are not being tracked. On the other hand, when all the objects detected by the detection unit 643 can be tracked in the image data (step S113, Yes), the tracking unit 644 completes the tracking based on the image data.
- step S114, Yes When tracking is completed for all the time-series image data captured in the first state divided by the dividing unit 642 (step S114, Yes), the determination device 600 processes based on the time-series image data captured in the first state. To finish. On the other hand, when there is undetected or untracked image data (step S114, No), the determination device 600 continues the detection by the detection unit 643 and the tracking by the tracking unit 644.
- the detection unit 643 detects an object existing in the container 700 or the region corresponding to the liquid filled in the container 700 based on the time-series image data taken in the second state. (Step S121). In the process of step S121, the detection unit 643 mainly detects an object containing a foreign substance that transmits light. The detection unit 643 may detect an object using a known technique.
- the tracking unit 644 tracks the object detected by the detection unit 643 (step S122). That is, the tracking unit 644 mainly tracks an object including a foreign substance that transmits light. For example, the tracking unit 644 tracks an object based on the distance between the objects in the image data whose shooting times are close (or continuous).
- step S123, No If all the objects detected by the detection unit 643 cannot be tracked in the image data (step S123, No), the tracking unit 644 tracks the objects that are not being tracked. On the other hand, when all the objects detected by the detection unit 643 can be tracked in the image data (step S123, Yes), the tracking unit 644 completes the tracking based on the image data.
- step S124, Yes When tracking is completed for all the time-series image data captured in the second state divided by the dividing unit 642 (step S124, Yes), the determination device 600 processes based on the time-series image data captured in the second state. To finish. On the other hand, when there is undetected or untracked image data (step S124, No), the determination device 600 continues the detection by the detection unit 643 and the tracking by the tracking unit 644.
- step S111 to step S114 and the processing from step S121 to step S124 may be performed in parallel. Subsequently, a processing example of the determination unit 645 will be described with reference to FIG.
- the determination unit 645 acquires the tracking information 632 (step S201).
- the determination unit 645 determines whether the object detected by the detection unit 643 is a bubble or a foreign substance based on the tracking information 632 (step S202). For example, the determination unit 645 can determine whether the object is a bubble or a foreign substance based on the moving direction of the object. The determination unit 645 may make a determination by a method other than the above-exemplified method. The determination unit 645 may determine whether the object is a bubble or a foreign substance, and may determine whether the foreign substance is a foreign substance that transmits light or a foreign substance that does not transmit light.
- the above is a processing example of the determination unit 645.
- the determination device 600 has a division unit 642, a detection unit 643, a tracking unit 644, and a determination unit 645.
- the tracking unit 644 tracks the object detected by the detection unit 643 based on the time-series image data captured in the first state divided by the division unit 642, and when the object is photographed in the second state. It is possible to track the object detected by the detection unit 643 based on the image data of the series.
- the determination unit 645 can make a determination based on the result of tracking by the tracking unit 644.
- detection, tracking, and determination are performed by a method suitable for a foreign substance that transmits light
- detection, tracking, and determination are performed by a method suitable for a foreign substance that does not transmit light. Can be done. As a result, foreign matter can be detected accurately and efficiently.
- the determination system 100 can have a third illumination unit 330.
- the third lighting unit 330 irradiates the liquid filled in the container 700 with light at the same intervals as the second lighting unit 320.
- the third lighting unit 330 can be installed, for example, in the side surface direction of the container 700 and on the side opposite to the installation position of the second lighting unit 320 when viewed from the container 700.
- the determination system 100 may have a plurality of lights.
- the function as the determination device 600 is realized by one information processing device has been described.
- the function as the determination device 600 may be realized by a plurality of information processing devices connected via a network.
- the determination system 100 includes a lighting control device 400 and a determination device 600.
- the determination device 600 may have a function as the lighting control device 400. That is, the lighting control device 400 and the determination device 600 can be integrally configured.
- the determination device 600 has a function as the lighting control device 400, the determination system 100 does not have to have an individual lighting control device 400.
- the first lighting unit 310 is in the lighting state of the first lighting unit 310 and the second lighting unit 320 is in the extinguishing state at the same time, and the first lighting unit 310 is in the extinguishing state at the same time. Is in the extinguished state and the second illuminating unit 320 is in the lit state.
- the lighting conditions are not necessarily limited to the cases illustrated in this embodiment.
- the lighting conditions include a state in which the first lighting unit 310 is in the lighting state and the second lighting unit 320 is in the lighting state at the same time, and the first lighting unit 310 and the second lighting unit 320 are in the extinguishing state.
- a state other than the above-exemplified state may be included, such as the third lighting unit 330 being in the lighting state. Further, for example, the state in which the first lighting unit 310 is in the lighting state and the second lighting unit 320 is in the lighting state and the state in which the first lighting unit 310 is in the extinguishing state and the second lighting unit 320 is in the lighting state are switched. , Switching other than those illustrated in this embodiment may be performed.
- FIG. 14 shows a hardware configuration example of the determination device 800.
- the determination device 800 has the following hardware configuration as an example.
- -CPU Central Processing Unit
- 801 Arimetic unit
- ROM Read Only Memory
- RAM Random Access Memory
- 803 storage device
- -Program group 804 loaded in RAM 803
- a storage device 805 that stores the program group 804.
- -Drive device 806 that reads and writes the recording medium 810 external to the information processing device.
- -Communication interface 807 that connects to the communication network 811 outside the information processing device -I / O interface 808 that inputs and outputs data -Bus 809 connecting each component
- the determination device 800 can realize the functions as the division unit 821 and the determination unit 822 shown in FIG. 15 by the CPU 801 acquiring the program group 804 and executing the program group 801.
- the program group 804 is stored in the storage device 805 or the ROM 802 in advance, for example, and the CPU 801 loads the program group 804 into the RAM 803 or the like and executes the program group 804 as needed.
- the program group 804 may be supplied to the CPU 801 via the communication network 811 or may be stored in the recording medium 810 in advance, and the drive device 806 may read the program and supply the program to the CPU 801.
- FIG. 14 shows an example of the hardware configuration of the determination device 800.
- the hardware configuration of the determination device 800 is not limited to the above case.
- the determination device 800 may be configured from a part of the above-described configuration, such as not having the drive device 806.
- the dividing unit 821 divides the time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions into the time-series image data according to the lighting conditions.
- the lighting conditions include the first state in which the transmitted light transmitted through the container is incident on the image pickup device for acquiring image data, and the transmitted light transmitted through the container is not incident on the image pickup device for acquiring image data.
- the division unit 821 uses the acquired time-series image data as the time-series image data taken in the first state and the time-series image data taken in the second state. It can be divided into image data.
- the determination unit 822 determines the foreign matter mixed in the inside of the container based on each of the time-series image data divided by the division unit 821.
- the determination device 800 has a division unit 821 and a determination unit 822. According to such a configuration, the determination unit 822 can determine the foreign matter mixed in the inside of the container based on each of the time-series image data divided by the division unit 821. This makes it possible to determine after dividing the continuously photographed time-series data based on the photographing conditions. As a result, foreign matter can be detected accurately and efficiently.
- the above-mentioned determination device 800 can be realized by incorporating a predetermined program into the determination device 800. Specifically, in the program according to another embodiment of the present invention, the time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions to the determination device 800 is used as the lighting conditions. To realize a dividing unit that divides into corresponding time-series image data and a determination unit that determines foreign matter mixed in the inside of the container based on each of the time-series image data divided by the dividing unit. It is a program.
- the time-series image data acquired by the determination device 800 by photographing the liquid filled in the container while switching a plurality of illumination conditions is used as the illumination condition. It is a method of dividing into corresponding time-series image data and determining foreign matter mixed in the inside of the container based on each of the divided time-series image data.
- (Appendix 1) A division unit that divides the time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions into time-series image data according to the lighting conditions.
- a determination unit that determines foreign matter mixed in the inside of the container based on each of the time-series image data divided by the division unit, and a determination unit.
- Judgment device having.
- the lighting conditions include a first state in which the transmitted light transmitted through the container is incident on the image pickup device for acquiring image data, and a first state in which the transmitted light transmitted through the container is not incident on the image pickup device for acquiring image data.
- Judgment device that includes 2 states.
- the dividing unit is a determination device that divides time-series image data based on information indicating the time when the image data was acquired.
- the determination device according to any one of Supplementary note 1 to Supplementary note 6.
- a detection unit that detects an object from each image data included in each of the time-series image data divided by the division unit, and a detection unit.
- a tracking unit that tracks the object detected by the detection unit for each time-series image data divided by the division unit.
- the determination unit is a determination device that determines whether or not the object detected by the detection unit is a foreign substance based on the result of tracking by the tracking unit.
- Appendix 8 The determination device according to Appendix 7.
- the determination unit is a determination device that determines whether the object is a bubble or a foreign substance.
- the determination unit is a determination device that determines whether the object is the foreign matter and whether or not the foreign matter transmits light.
- (Appendix 10) Judgment device The time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions is divided into time-series image data according to the lighting conditions. A determination method for determining foreign matter mixed in the inside of the container based on each of the divided time-series image data.
- a division unit that divides the time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions into time-series image data according to the lighting conditions.
- a determination unit that determines foreign matter mixed in the inside of the container based on each of the time-series image data divided by the division unit, and a determination unit.
- a computer-readable recording medium that records programs to achieve this.
- a first illumination unit that irradiates the image pickup device that acquires image data with light so that the transmitted light transmitted through the container is incident.
- a second illumination unit that irradiates the image pickup device that acquires image data with light so that the transmitted light transmitted through the container does not enter.
- the liquid filled in the container is photographed in an environment in which a plurality of lighting conditions including the first state in which the first lighting unit irradiates light and the second state in which the second lighting unit irradiates light are switched.
- Imaging device and Inside the container based on the divided portion that divides the time-series image data acquired by the imaging device into the time-series image data according to the lighting conditions and the time-series image data divided by the divided portion.
- a determination device having a determination unit for determining a foreign substance mixed in, and a determination device.
- Judgment system with. (Appendix 13)
- the first lighting unit is a determination system having a shutter curtain that closes when not irradiating light.
- (Appendix 14) The determination system according to Appendix 12 or Appendix 13.
- a determination system including a lighting control device that switches between the first state in which the first lighting unit irradiates light and the second state in which the second lighting unit irradiates light.
- the lighting control device is a determination system that switches between the first state and the second state at equal intervals.
- the lighting control device is a determination system that changes the interval for switching between the first state and the second state with the passage of time.
- (Appendix 17) The determination system according to any one of Supplementary note 14 to Supplementary note 16.
- the lighting control device changes from a state in which the second state is longer than the first state to a state in which the first state is longer than the second state.
- a determination system that changes the interval for switching from the second state.
- the determination system according to any one of Supplementary note 14 to Supplementary note 17.
- the lighting control device is a determination system that switches between the first state and the second state according to the shooting interval of the image pickup device that acquires image data.
- the programs described in each of the above embodiments and appendices may be stored in a storage device or recorded in a computer-readable recording medium.
- the recording medium is a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, and a semiconductor memory.
- Judgment system 100 Judgment system 200 Gripping device 310 1st lighting unit 320 2nd lighting unit 330 3rd lighting unit 400 Lighting control device 410 Control unit 500 Camera 600 Judgment device 610 Screen display unit 620 Communication I / F unit 630 Storage unit 631 Image information 632 Tracking information 633 Judgment result information 634 Program 640 Calculation processing unit 641 Image acquisition unit 642 Division unit 643 Detection unit 644 Tracking unit 645 Judgment unit 646 Output unit 700 Container 800 Judgment device 801 CPU 802 ROM 803 RAM 804 Program group 805 Storage device 806 Drive device 807 Communication interface 808 Input / output interface 809 Bus 810 Recording medium 811 Communication network 821 Division unit 822 Judgment unit
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
判定装置800は、複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部821と、前記分割部821が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、を有する。
Description
本発明は、判定装置、判定方法、記録媒体、判定システムに関する。
容器に入った液体中の異物を検出するための技術が知られている。
異物を検出する際に用いられる技術の一つとして、例えば、特許文献1がある。特許文献1には、第1の照射光を容器に照射する第1の照射源と、第1の照射光と異なる方向から第2の照射光を容器に照射する第2の照射源と、撮像手段と、検査手段と、を有する異物検出装置が記載されている。特許文献1によると、撮像手段は、容器からの第1の照射光の透過光路上の透過光の撮影と、第2の照射光の乱反射光の撮影を行う。そして、検査手段は、撮像手段が取得した画像に基づいて、充填液体中の異物を検出する。また、特許文献1には、第1の照射光と第2の照射光とを別時間帯で照射するようにしたことが開示されている。
特許文献1に記載のように、第1の照射光と第2の照射光とを単に別時間帯で照射する場合、検査に時間がかかったり、異物の重さなど異物の性質に応じた適切なタイミングで撮影を行うことが出来なかったりすることがあった。その結果、精度よく効率的に異物を検出できないおそれが生じていた。
そこで、本発明の目的は、精度よく効率的に異物を検出できないおそれがある、という課題を解決する、判定装置、判定方法、記録媒体、判定システムを提供することにある。
かかる目的を達成するため本開示の一形態である判定装置は、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
を有する
という構成をとる。
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
を有する
という構成をとる。
また、本開示の他の形態である判定方法は、
判定装置が、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割し、
分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する
という構成をとる。
判定装置が、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割し、
分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する
という構成をとる。
また、本開示の他の形態である記録媒体は、
判定装置に、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
判定装置に、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
また、本開示の他の形態である判定システムは、
画像データを取得する撮像装置に対して容器を透過した透過光が入射するよう光を照射する第1照明部と、
画像データを取得する撮像装置に対して容器を透過した透過光が入射しないよう光を照射する第2照明部と、
前記第1照明部が光を照射する第1状態と、前記第2照明部が光を照射する第2状態とを含む複数の照明条件が切り替わる環境下で、容器に充填された液体を撮影する撮像装置と、
前記撮像装置が取得した時系列の画像データを前記照明条件に応じた時系列の画像データに分割する分割部と、前記分割部が分割した時系列の画像データそれぞれに基づいて前記容器の内部に混入している異物を判定する判定部と、を有する判定装置と、
を有する
という構成をとる。
画像データを取得する撮像装置に対して容器を透過した透過光が入射するよう光を照射する第1照明部と、
画像データを取得する撮像装置に対して容器を透過した透過光が入射しないよう光を照射する第2照明部と、
前記第1照明部が光を照射する第1状態と、前記第2照明部が光を照射する第2状態とを含む複数の照明条件が切り替わる環境下で、容器に充填された液体を撮影する撮像装置と、
前記撮像装置が取得した時系列の画像データを前記照明条件に応じた時系列の画像データに分割する分割部と、前記分割部が分割した時系列の画像データそれぞれに基づいて前記容器の内部に混入している異物を判定する判定部と、を有する判定装置と、
を有する
という構成をとる。
上述したような各構成によると、精度よく効率的に異物を検出することを可能とする判定装置、判定方法、記録媒体、判定システムを提供することが可能となる。
[第1の実施形態]
本開示の第1の実施形態について、図1から図13までを参照して説明する。図1は、判定システム100の構成例を示す図である。図2は、容器700と照明の位置関係の一例を示す図である。図3、図4は、照明の点灯例を説明するための図である。図5は、照明制御装置400の構成例を示すブロック図である。図6、図7は、照明制御装置400による点灯制御例を示す図である。図8は、判定装置600の構成例を示すブロック図である。図9は、画像情報631の一例を示す図である。図10は、分割部642の処理例を示す図である。図11は、判定装置600の動作例を示すフローチャートである。図12は、判定部645の処理例を示すフローチャートである。図13は、容器700と照明の他の位置関係の一例を示す図である。
本開示の第1の実施形態について、図1から図13までを参照して説明する。図1は、判定システム100の構成例を示す図である。図2は、容器700と照明の位置関係の一例を示す図である。図3、図4は、照明の点灯例を説明するための図である。図5は、照明制御装置400の構成例を示すブロック図である。図6、図7は、照明制御装置400による点灯制御例を示す図である。図8は、判定装置600の構成例を示すブロック図である。図9は、画像情報631の一例を示す図である。図10は、分割部642の処理例を示す図である。図11は、判定装置600の動作例を示すフローチャートである。図12は、判定部645の処理例を示すフローチャートである。図13は、容器700と照明の他の位置関係の一例を示す図である。
本開示の第1の実施形態においては、水や薬剤などの液体を充填した容器700内部に混入している物体を検出して、検出した物体のうち異物を判定する判定システム100について説明する。後述するように、判定システム100は、複数の照明条件を切り替えながらカメラ500による撮影を行うことで、時系列の画像データを取得する。例えば、判定システム100は、容器700に対して第1照明部310から光を照射する状態と、容器700に対して第2照明部320から光を照射する状態と、を所定の間隔で切り替えながら、時系列の画像データを取得する。そして、判定システム100は、取得した時系列の画像データをそれぞれの状態に対応する時系列の画像データに分割した後、分割した時系列の画像データそれぞれに基づいて、異物を判定する。
なお、本実施形態において、判定対象である異物には、ガラス片などの光を透過する異物と、ゴム片や髪の毛などの光を透過しない異物とがある。一般に、光を透過する異物であるガラス片などは、ゴム片や髪の毛などの光を透過しない異物よりも比重が重く、容器700内部に充填された液体内において、舞い上がった状態からより早く底に沈む。
また、本実施形態においては、図1で示す状態のうち容器700において液体を充填する側を上側、反対側を下側と定義して説明する。図1の場合、容器700の内部に充填された液体は、容器700の下側に溜まっている。
図1は、判定システム100の全体の構成例を示す側面図である。図1を参照すると、判定システム100は、例えば、把持装置200と、第1照明部310と、第2照明部320と、照明制御装置400と、カメラ500と、判定装置600と、を含んでいる。図1で示すように、第1照明部310と照明制御装置400とは、互いに通信可能なよう接続されている。また、第2照明部320と照明制御装置400とは、互いに通信可能なよう接続されている。また、カメラ500と判定装置600とは、互いに通信可能なよう接続されている。また、照明制御装置400とカメラ500とは、互いに通信可能なよう接続することが出来る。
把持装置200は、容器700を把持する装置である。例えば、把持装置200は、下方に向かって突出し容器700の上側に当接する上側把持部と、上方に向かって突出し容器700の下側に当接する下側把持部とを含んでいる。図1で示すように、把持装置200のうち上側把持部が容器700の上側から容器700に当接し、下側把持部が容器700の下側から容器700に当接することで、把持装置200は、容器700を上下方向から挟み込んで容器700を把持する。なお、把持装置200は、上記例示した以外の方法で容器700を把持しても構わない。
また、把持装置200は、容器700を挟み込んで把持した状態で、容器700を傾斜させたり回転させたりすることが出来る。把持装置200が容器700を挟み込んだ状態で容器700を傾斜させたり回転させたりすることで、容器700の内部で沈殿している異物を舞い上がらせることが出来る。なお、本実施形態においては、把持装置200が容器700を傾斜させたり回転させたりするための構成については特に限定しない。把持装置200は、既知の方法を用いて、容器700を傾斜させたり回転させたりするよう構成して構わない。
第1照明部310は、照明制御装置400からの制御に応じて、容器700内に充填された液体に対して光を照射する。図1は、側面方向からみた、第1照明部310と第2照明部320と容器700の位置関係の一例を示しており、図2は、カメラ500の撮影方向からみた、第1照明部310と第2照明部320と容器700の位置関係の一例を示している。図1、図2で示すように、第1照明部310は、容器700や把持装置200からみてカメラ500が設置される側とは反対側に設置されている。このような構成によると、第1照明部310は、容器700越しにカメラ500に対して光を照射する。その結果、図3で示すように、第1照明部310が光を照射している間、カメラ500には、容器700を透過した透過光が入射する。この際、容器700の内部に光を透過しない異物が存在する場合には、光を透過しない異物により当該異物が存在する箇所の透過光が遮られる。例えば、図3では、黒色の丸により、光を透過しない異物が表されている。
また、第1照明部310は、液晶などを用いたシャッター幕を有している。第1照明部310が有するシャッター幕は、第1照明部310が光を照射していないときに閉じる。そのため、第1照明部310は、光を照射する点灯状態と、シャッター幕が閉じている消灯状態と、の2つの状態をとることが出来る、ということも出来る。
第2照明部320は、第1照明部310と同様に、照明制御装置400からの制御に応じて、容器700内に充填された液体に対して光を照射する。図1、図2で示すように、第2照明部320は、容器700の例えば側面に設置されている。このような構成によると、第2照明部320は、容器700の側面方向から光を照射する。その結果、図4で示すように、第2照明部320が光を照射している間、カメラ500には、容器700を透過した透過光が直接入射しない。なお、容器700の内部に光を透過する異物が存在する場合には、容器700内に存在する光を透過する異物が、光を乱反射させる。そのため、図4で示すように、容器700の内部に光を透過する異物が存在する場合、第2照明部320が光を照射することで、異物により乱反射した乱反射光がカメラ500に入射する。例えば、図4では、白色の丸により、光を透過する異物が表されている。
また、第2照明部320は、液晶などを用いたシャッター幕を有することが出来る。第2照明部320が有するシャッター幕は、第1照明部310の場合と同様に、第2照明部320が光を照射していないときに閉じる。つまり、第2照明部320は、光を照射する点灯状態と、シャッター幕が閉じている消灯状態と、の2つの状態をとることが出来る、ということも出来る。なお、第2照明部320は、シャッター幕を有していなくても構わない。
なお、第2照明部320の設置位置は、図1、図2で例示する場合に限定されない。第2照明部320は、第2照明部320が照射して容器700を透過した透過光が直接、カメラ500に入射しない位置ならば、斜め後方など図1、図2で例示する以外の位置に設置されていても構わない。
照明制御装置400は、第1照明部310と第2照明部320の点灯状態、消灯状態を制御することで、照明条件を切り替える制御装置である。図5は、照明制御装置400の構成例を示している。図5を参照すると、照明制御装置400は、例えば、制御部410を有している。
照明制御装置400は、例えば、CPUなどの演算装置と記憶装置とを有している。例えば、照明制御装置400は、記憶装置が記憶するプログラムを演算装置が実行することで、上記処理部を実現する。照明制御装置400は、ハードウェアにより上記処理部を実現しても構わない。
制御部410は、第1照明部310や第2照明部320に点灯指示を送信することなどにより、第1照明部310や第2照明部320の状態を制御する。例えば、制御部410は、同一時刻において第1照明部310が点灯状態にあり第2照明部320が消灯状態にある第1状態、または、同一時刻において第1照明部310が消灯状態にあり第2照明部320が点灯状態にある第2状態、のいずれかになるように、第1照明部310や第2照明部320の状態を制御する。なお、上述したように、照明条件が第1状態にある場合、カメラ500に対して容器700を透過した透過光が入射する。一方、照明条件が第2状態にある場合、カメラ500に対して容器700を透過した透過光が入射しない。
また、制御部410は、第1照明部310や第2照明部320の点灯間隔がカメラ500の撮影間隔と同期するように、第1照明部310や第2照明部320の状態を制御することが出来る。換言すると、制御部410は、カメラ500の撮影間隔に応じた間隔で第1状態と第2状態とを切り替えるよう、第1照明部310や第2照明部320を制御することが出来る。例えば、後述するように、カメラ500は、150~200fps程度の高フレームレートで画像データを取得する。そのため、制御部410は、0.005秒~0.0067秒、または、その倍数、の間隔で、第1状態と第2状態とを切り替えるよう、第1照明部310や第2照明部320を制御することが出来る。なお、制御部410は、カメラ500との間で、間隔を同期するための必要な情報を送受信するよう構成しても構わない。
図6は、制御部410による制御例を示している。例えば、制御部410は、図6で示すように、カメラ500が撮影するごとに第1状態と第2状態とが切り替わるよう、第1照明部310や第2照明部320の状態を制御することが出来る。換言すると、制御部410は、第1状態と第2状態とが0.005秒~0.0067秒ごとなど等間隔で切り替わるように、第1照明部310や第2照明部320の状態を制御することが出来る。
また、制御部410は、時間の経過とともに第1状態と第2状態とを切り替える間隔を変えるよう構成することが出来る。図7は、制御部410による他の制御例を示している。例えば、図7を参照すると、制御部410は、カメラ500が2回撮影するまで第2状態を続けた後、第1状態に切り替える。例えば、制御部410は、第2状態を0.01秒~0.013秒間続けた後、0.005秒~0.0067秒の間第1状態とする。制御部410は、このような切り替えを所定時間続ける。続いて、制御部410は、等間隔で第1状態と第2状態とを切り替える処理を所定時間続ける。その後、制御部410は、第1状態を0.01秒~0.013秒間続けた後、0.005秒~0.0067秒の間第2状態とする切り替えを所定時間行う。このように、制御部410は、撮影開始直後に第1状態よりも第2状態を長くする一方で、時間の経過とともに第2状態よりも第1状態を長くするよう、切り替える間隔を変えることが出来る。なお、第2状態を0.015秒~0.02秒間続けた後、0.005秒~0.0067秒の間第1状態とするなど、制御部410が第1状態と第2状態とを切り替える間隔は、任意に変更して構わない。また、第2状態の方が第1状態よりも長い切り替えを行う時間、等間隔の切り替えを行う時間、第1状態方が第2状態よりも長い切り替えを行う時間、それぞれの時間についても任意に設定して構わない。上述したように、一般に、光を透過する異物であるガラス片などは、ゴム片や髪の毛などの光を透過しない異物よりも比重が重く、容器700内部に充填された液体内において、舞い上がった状態からより早く底に沈む。そのため、撮影開始後早期の段階で光を透過する異物を検出するのに好適な第2段階の割合を大きくし、時間の経過とともに光を透過しない異物を検出するのに好適な第1段階の割合を大きくすることで、異物の特性に沿った検出を行うことが可能となる。
例えば、以上のように、制御部410は、第1状態と第2状態とが予め定められた間隔で切り替わるように、第1照明部310や第2照明部320の状態を制御することが出来る。
カメラ500は、容器700を撮影することで画像データを取得する撮像装置である。例えば、カメラ500は、容器700を傾斜などさせた後、画像データの撮影を開始する。図1で示すように、カメラ500は、把持装置200からみて第1照明部310が位置する側とは反対側の所定位置に予め設置されている。カメラ500は、間隔を同期するための必要な情報を照明制御装置400との間で送受信するよう構成しても構わない。
例えば、カメラ500は、150~200fps程度の高フレームレートで連続的に画像データを取得する。そして、カメラ500は、取得した画像データを、撮影時刻を示す情報などとともに、判定装置600へ対して送信する。カメラ500は、上記例示した以外のフレームレートで画像データを取得しても構わない。
なお、上述したように、第1照明部310や第2照明部320の状態は、照明制御装置400により制御される。そのため、カメラ500が取得する時系列の画像データは、第1状態において撮影した画像データと第2状態において撮影した画像データとが交互に存在するなど、第1状態において撮影した画像データと第2状態において撮影した画像データとが混ざったものとなる。
判定装置600は、カメラ500が撮影・取得した画像データに基づいて、液体を充填した容器700内部に混入している物体を検出して異物を判定する情報処理装置である。図8は、判定装置600の構成例を示している。図8を参照すると、判定装置600は、主な構成要素として、例えば、画面表示部610と、通信I/F部620と、記憶部630と、演算処理部640と、を有している。
画面表示部610は、LCD(Liquid Crystal Display、液晶ディスプレイ)などの画面表示装置からなる。画面表示部610は、演算処理部640からの指示に応じて、画像情報631、追跡情報632、判定結果情報633などの記憶部630に格納された各種情報を画面表示することが出来る。
通信I/F部620は、データ通信回路からなる。通信I/F部620は、通信回線を介して接続されたカメラ500や外部装置などとの間でデータ通信を行う。
記憶部630は、ハードディスクやメモリなどの記憶装置である。記憶部630は、演算処理部640における各種処理に必要な処理情報やプログラム634を記憶する。プログラム634は、演算処理部640に読み込まれて実行されることにより各種処理部を実現する。プログラム634は、通信I/F部620などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部630に保存されている。記憶部630で記憶される主な情報としては、例えば、画像情報631、追跡情報632、判定結果情報633などがある。
画像情報631は、カメラ500が取得した時系列の画像データを含んでいる。画像情報631においては、例えば、画像データと、画像データをカメラ500が取得した日時を示す情報(撮影時刻を示す情報)と、が対応づけられている。
図9は、画像情報631に含まれる時系列の画像データの一例を示している。図9を参照すると、画像情報631には、第1状態において撮影した画像データと第2状態において撮影した画像データとが混ざっている。上述したように、カメラ500が画像データを取得する際には、照明制御装置400により第1状態と第2状態とが切り替えられている。そのため、画像情報631として格納される画像データは、第1状態において撮影した画像データと第2状態において撮影した画像データとが交互に存在するなど、第1状態において撮影した画像データと第2状態において撮影した画像データとが混ざった状態になる。
追跡情報632は、後述する追跡部644が追跡を行った結果に応じた情報を含んでいる。例えば、追跡情報632においては、物体ごとに与えられる識別情報と、物体の位置を示す時系列情報と、が対応づけられている。また、物体の位置を示す時系列情報には、例えば、時刻情報と、各時刻における物体の位置を示す座標などの位置情報と、が含まれている。
なお、後述するように、追跡部644は、分割部642が画像情報631に含まれる時系列の画像データを、第1状態において撮影した時系列の画像データと第2状態において撮影した時系列の画像データとに分割した後に、分割後のそれぞれの時系列データに基づく追跡を行う。そのため、追跡情報632には、第1状態に対応する時系列データを用いた追跡を行った結果に応じた情報と、第2状態に対応する時系列データを用いた追跡を行った結果に応じた情報と、が含まれる。
なお、追跡情報632には、上記例示したような物体の位置以外の情報が含まれても構わない。例えば、追跡情報632には、検出領域の面積を示す情報などが含まれていても構わない。
判定結果情報633は、判定部645が判定した結果を示す情報を含んでいる。例えば、判定結果情報633においては、物体ごとに与えられる識別情報と、判定部645が追跡情報632に基づいて判定した結果を示す情報と、が対応づけられている。つまり、判定結果情報633には、検出した物体が異物、気泡、容器の傷や汚れなど、のうちのいずれに該当するかを示す情報が含まれている。
演算処理部640は、MPUなどのマイクロプロセッサとその周辺回路を有する。演算処理部640は、記憶部630からプログラム634を読み込んで実行することにより、上記ハードウェアとプログラム634とを協働させて各種処理部を実現する。演算処理部640で実現される主な処理部としては、例えば、画像取得部641、分割部642、検出部643、追跡部644、判定部645、出力部646などがある。
画像取得部641は、通信I/F部620を介して、カメラ500から当該カメラ500が取得した画像データを取得する。そして、画像取得部641は、取得した画像データを、例えば画像データの取得日時(撮影時刻を示す情報)と対応付けて、画像情報631として記憶部630に格納する。
分割部642は、画像情報631に含まれる時系列の画像データを、第1状態において撮影した時系列の画像データと第2状態において撮影した時系列の画像データとに分割する。例えば、判定装置600は、照明制御装置400がどのような条件(どのような間隔で)で第1状態と第2状態とを切り替えるかを示す情報を有している。そこで、分割部642は、上記情報を用いて、画像データに対応する時刻などに基づいて、画像情報631に含まれる時系列の画像データを、第1状態において撮影した時系列の画像データと第2状態において撮影した時系列の画像データとに分割する。
図10は、分割部642による分割処理の一例を説明するための図である。図10で示すように、分割部642は、第1状態において撮影した画像データと第2状態において撮影した画像データとが混ざった状態の画像情報631を、第1状態において撮影した時系列の画像データと、第2状態において撮影した時系列の画像データと、に分割する。
なお、分割部642は、時刻以外の情報に基づいて時系列の画像データを分割しても構わない。例えば、分割部642は、画像データを2値化した際の明暗の割合などに基づいて、時系列の画像データを、第1状態において撮影した時系列の画像データと第2状態において撮影した時系列の画像データとに分割しても構わない。分割部642は、上記例示した方法を組み合わせて分割処理を行っても構わない。
検出部643は、画像データに基づいて、容器700や容器700内に充填された液体に対応する領域内に存在する物体を検出する。例えば、検出部643は、画像データに対する2値化処理を行って、2値化処理の結果に基づいて物体を検出する。なお、検出部643は、そのほか既知の技術を用いて物体を検出しても構わない。
本実施形態の場合、検出部643は、分割部642が分割した、第1状態において撮影した時系列の画像データそれぞれから物体を検出するとともに、第2状態において撮影した時系列の画像データそれぞれから物体を検出する。図3で示すように、第1状態においては、カメラ500に透過光が入射する一方で、光を透過しない異物により当該異物が存在する箇所の透過光が遮られる。そのため、検出部643は、第1状態において撮影した画像データに基づいて、主に光を透過しない異物を含む物体を検出することが出来る。一方、図4で示すように、第2状態においては、カメラ500に透過光が入射しない一方で、光を透過する異物による乱反射光がカメラ500に入射する。そのため、検出部643は、第2状態において撮影した画像データに基づいて、主に光を透過する異物を含む物体を検出することが出来る。
追跡部644は、検出部643が検出した物体の追跡を行う。上述したように、カメラ500は、200fpsなどの高フレームレートで画像データを取得している。そのため、撮影時刻が連続する(撮影時刻が所定値より近い)2つの画像データ間において、同一の物体の位置は極めて近いものと想定される。そこで、追跡部644は、検出部643が検出した物体の位置と、撮影時刻が一つ前(または、所定値内)の画像データにおいて検出部643が検出した物体の位置と、を比較する。そして、追跡部644は、物体間の距離が予め定められた閾値以下である物体が存在する場合、距離が閾値以下である、検出部643が検出した物体と撮影時刻が一つ前の画像データにおいて検出部643が検出した物体とが同一の物体であると判定する。この場合、追跡部644は、検出部643が検出した物体に、同一の物体と判断した物体に対して付与されているIDなどの識別情報を付与する。一方、撮影時刻が一つ前(または、所定値内)の画像データにおいて、検出部643が検出した物体との間の距離が予め定められた閾値以下となる物体が存在しない場合、追跡部644は新規な物体を検出したと判定する。この場合、追跡部644は、検出した物体に対して新たなIDなどの識別情報を付与する。
例えば、以上のように、追跡部644は、異なる画像データにおける物体間の距離に基づく追跡を行うことで、検出部643が検出した物体に対して識別情報を与える。また、追跡部644は、検出部643が検出した物体の位置を示す座標を取得する。そして、追跡部644は、識別情報と画像データの撮影時刻を示す時刻情報と座標とを対応付けて、追跡情報632として記憶部630に格納する。
なお、本実施形態の場合、追跡部644は、分割部642が分割した、第1状態において撮影した時系列の画像データに基づく追跡と、第2状態において撮影した時系列の画像データに基づく追跡と、を行う。つまり、追跡部644は、第1状態において撮影した時系列の画像データに基づく位置の比較を行うとともに、第2状態において撮影した時系列の画像データに基づく位置の比較を行う。上述したように、検出部643は、第1状態において撮影した画像データに基づいて、主に光を透過しない異物を含む物体を検出する。そのため、追跡部644は、第1状態において撮影した時系列の画像データに基づいて、主に光を透過しない異物を含む物体の追跡を行うことが出来る。一方、検出部643は、第2状態において撮影した画像データに基づいて、主に光を透過する異物を含む物体を検出する。そのため、追跡部644は、第2状態において撮影した時系列の画像データに基づいて、主に光を透過する異物を含む物体の追跡を行うことが出来る。
判定部645は、追跡情報632に基づいて、検出部643が検出した物体が気泡と異物のいずれに該当するか判定する。そして、判定部645は、検出部643が検出した各物体の判定結果について、判定結果情報633として記憶部630に格納する。
例えば、判定部645は、追跡情報632に基づいて物体が上方へと移動していると判断される場合、当該物体は気泡であると判定する。一方、判定部645は、追跡情報632に基づいて、物体が下方へと移動していると判断される場合、当該物体は異物であると判定する。例えば、以上のように、判定部645は、追跡情報632に基づいて物体の移動方向を判断することで、物体が気泡または異物のいずれであるかを判定することが出来る。なお、判定部645は、予め学習されたモデルなどを用いて上記判定を行うなど、上記例示した以外の方法により気泡と異物とを判定しても構わない。
なお、上述したように、追跡情報632には、第1状態に対応する時系列データを用いた追跡を行った結果に応じた情報と、第2状態に対応する時系列データを用いた追跡を行った結果に応じた情報と、が含まれる。そのため、判定部645は、追跡情報632のうち第1状態に対応する時系列データを用いた追跡を行った結果に応じた情報に基づいて、物体が気泡または光を透過しない異物のいずれであるかを判定しても構わない。同様に、判定部645は、追跡情報632のうち第2状態に対応する時系列データを用いた追跡を行った結果に応じた情報に基づいて、物体が気泡または光を透過する異物のいずれであるかを判定しても構わない。このように、判定部645は、物体が気泡または異物のいずれであるかを判定するとともに、異物が光を透過するか否か判定することが出来る。
なお、判定部645は、物体の判定を行う際、追跡情報632以外の情報を用いても構わない。例えば、判定部645は、物体の画像特徴、サイズや平均輝度値などを示す情報を併用して、物体の判定を行うことが出来る。物体のサイズや平均輝度値など動き以外の情報も併せて判断することによって、気泡や異物の特徴を総合的に判断できるため、より高い判定精度を得ることが可能になる。
出力部646は、画像情報631、追跡情報632、判定結果情報633などを出力する。例えば、出力部646は、画像情報631、追跡情報632、判定結果情報633などを、画面表示部610上に画面表示したり、通信I/F部620を介して外部装置に対して送信したりすることが出来る。
以上が、判定装置600の構成例である。
なお、判定装置600は上述した以外の構成を有しても構わない。例えば、判定装置600は、把持装置200に対して傾斜・回転の指示をしたり傾斜・回転の停止を指示したりするよう構成することが出来る。
容器700は、ガラス瓶やペットボトルなどの透光性を有する容器である。容器700の内部には、水や薬剤などの液体が充填されている。容器700の内部には、異物が混入している可能性がある。異物としては、例えば、ゴム片、髪の毛、繊維片、煤などの光を透過しない異物や、ガラスやプラスチック片などの光を透過する異物が想定される。
以上が、判定システム100が有する把持装置200、第1照明部310、第2照明部320、照明制御装置400、カメラ500、判定装置600の構成例である。続いて、図11、図12を参照して、判定装置600の動作例について説明する。
図11を参照すると、画像取得部641は、通信I/F部620を介して、カメラ500から当該カメラ500が取得した画像データを取得する(ステップS101)。画像取得部641は、第1状態において撮影した画像データと第2状態において撮影した画像データとが混ざった状態の時系列の画像データを取得する。
分割部642は、時系列の画像データを、第1状態において撮影した時系列の画像データと第2状態において撮影した時系列の画像データとに分割する(ステップS102)。例えば、判定装置600は、照明制御装置400がどのような条件(どのような間隔で)で第1状態と第2状態とを切り替えるかを示す情報を有している。分割部642は、上記情報を用いて、画像情報631に含まれる時系列の画像データを、第1状態において撮影した時系列の画像データと第2状態において撮影した時系列の画像データとに分割する。分割部642は、上記例示した以外の方法を用いて分割処理を行っても構わない。
検出部643は、第1状態において撮影した時系列の画像データに基づいて、容器700や容器700内に充填された液体に対応する領域内に存在する物体を検出する。(ステップS111)。ステップS111の処理において、検出部643は、主に光を透過しない異物を含む物体を検出する。なお、検出部643は、既知の技術を用いて物体を検出して構わない。
追跡部644は、検出部643が検出した物体の追跡を行う(ステップS112)。つまり、追跡部644は、主に光を透過しない異物を含む物体の追跡を行う。例えば、追跡部644は、撮影時刻が近い(または連続する)画像データにおける物体間の距離に基づいて、物体を追跡する。
画像データ内において検出部643が検出したすべての物体を追跡できていない場合(ステップS113、No)、追跡部644は、追跡していない物体の追跡を行う。一方、画像データ内において検出部643が検出したすべての物体を追跡できた場合(ステップS113、Yes)、追跡部644は、当該画像データに基づく追跡を完了する。
分割部642が分割した、第1状態において撮影した時系列の画像データすべてについて追跡が完了した場合(ステップS114、Yes)、判定装置600は第1状態において撮影した時系列の画像データに基づく処理を終了する。一方、未検出や未追跡の画像データがある場合(ステップS114、No)、判定装置600は、検出部643による検出や追跡部644による追跡を続行する。
また、検出部643は、第2状態において撮影した時系列の画像データに基づいて、容器700や容器700内に充填された液体に対応する領域内に存在する物体を検出する。(ステップS121)。ステップS121の処理において、検出部643は、主に光を透過する異物を含む物体を検出する。なお、検出部643は、既知の技術を用いて物体を検出して構わない。
追跡部644は、検出部643が検出した物体の追跡を行う(ステップS122)。つまり、追跡部644は、主に光を透過する異物を含む物体の追跡を行う。例えば、追跡部644は、撮影時刻が近い(または連続する)画像データにおける物体間の距離に基づいて、物体を追跡する。
画像データ内において検出部643が検出したすべての物体を追跡できていない場合(ステップS123、No)、追跡部644は、追跡していない物体の追跡を行う。一方、画像データ内において検出部643が検出したすべての物体を追跡できた場合(ステップS123、Yes)、追跡部644は、当該画像データに基づく追跡を完了する。
分割部642が分割した、第2状態において撮影した時系列の画像データすべてについて追跡が完了した場合(ステップS124、Yes)、判定装置600は第2状態において撮影した時系列の画像データに基づく処理を終了する。一方、未検出や未追跡の画像データがある場合(ステップS124、No)、判定装置600は、検出部643による検出や追跡部644による追跡を続行する。
以上が、判定装置600の動作例である。なお、ステップS111からステップS114までの処理と、ステップS121からステップS124までの処理は並列で行って構わない。続いて、図12を参照して、判定部645の処理例について説明する。
図12を参照すると、判定部645は、追跡情報632を取得する(ステップS201)。
判定部645は、追跡情報632に基づいて、検出部643が検出した物体が気泡または異物のいずれであるかを判定する(ステップS202)。例えば、判定部645は、物体の移動方向に基づいて、物体が気泡または異物のいずれであるかを判定することが出来る。判定部645は、上記例示した以外の方法により判定を行っても構わない。なお、判定部645は、物体が気泡または異物のいずれであるかを判定するとともに、異物が光を透過する異物と光を透過しない異物のいずれであるかを判定しても構わない。
以上が、判定部645の処理例である。
このように、判定装置600は、分割部642と検出部643と追跡部644と判定部645とを有している。このような構成により、追跡部644は、分割部642が分割した、第1状態において撮影した時系列の画像データに基づいて検出部643が検出した物体の追跡と、第2状態において撮影した時系列の画像データに基づいて検出部643が検出した物体の追跡と、を行うことが出来る。また、判定部645は、追跡部644による追跡の結果に基づく判定を行うことが出来る。これにより、連続的に撮影した時系列のデータに基づいて、光を透過する異物に好適な方法で検出、追跡、判定を行うとともに、光を透過しない異物に好適な方法で検出、追跡、判定を行うことが可能となる。その結果、精度よく効率的に異物を検出することが可能となる。
なお、判定システム100の構成は、本実施形態において例示した場合に限定されない。例えば、図13で示すように、判定システム100は、第3照明部330を有することが出来る。第3照明部330は、第2照明部320と同様の間隔で、容器700内に充填された液体に対して光を照射する。図13で示すように、第3照明部330は、例えば、容器700の側面方向であって、当該容器700からみて第2照明部320の設置位置とは反対側に設置することが出来る。このように、判定システム100は、複数の照明を有していても構わない。
また、本実施形態においては、1台の情報処理装置により判定装置600としての機能を実現する場合について説明した。しかしながら、判定装置600としての機能は、ネットワークを介して接続された複数台の情報処理装置により実現されても構わない。
また、本実施形態において、判定システム100は、照明制御装置400と判定装置600とを有するとした。しかしながら、判定装置600が照明制御装置400としての機能を有しても構わない。つまり、照明制御装置400と判定装置600とは一体的に構成することが出来る。判定装置600が照明制御装置400としての機能を有する場合、判定システム100は、個別の照明制御装置400を有さなくても構わない。
また、本実施形態においては、照明条件の一例として、同一時刻において第1照明部310が点灯状態にあり第2照明部320が消灯状態にある第1状態と、同一時刻において第1照明部310が消灯状態にあり第2照明部320が点灯状態にある第2状態と、をあげた。しかしながら、照明条件は、必ずしも本実施形態で例示した場合に限定されない。例えば、照明条件には、同一時刻において第1照明部310が点灯状態にあり第2照明部320が点灯状態にある状態や、第1照明部310と第2照明部320とが消灯状態にあり第3照明部330が点灯状態にあるなど、上記例示した以外の状態が含まれても構わない。また、例えば、第1照明部310が点灯状態にあり第2照明部320が点灯状態にある状態と第1照明部310が消灯状態にあり第2照明部320が点灯状態にある状態を切り替えるなど、本実施形態で例示した以外の切り替えが行われても構わない。
[第2の実施形態]
次に、図14、図15を参照して、本発明の第2の実施形態について説明する。第2の実施形態では、判定装置800の構成の概要について説明する。
次に、図14、図15を参照して、本発明の第2の実施形態について説明する。第2の実施形態では、判定装置800の構成の概要について説明する。
図14は、判定装置800のハードウェア構成例を示している。図14を参照すると、判定装置800は、一例として、以下のようなハードウェア構成を有している。
・CPU(Central Processing Unit)801(演算装置)
・ROM(Read Only Memory)802(記憶装置)
・RAM(Random Access Memory)803(記憶装置)
・RAM803にロードされるプログラム群804
・プログラム群804を格納する記憶装置805
・情報処理装置外部の記録媒体810の読み書きを行うドライブ装置806
・情報処理装置外部の通信ネットワーク811と接続する通信インタフェース807
・データの入出力を行う入出力インタフェース808
・各構成要素を接続するバス809
・CPU(Central Processing Unit)801(演算装置)
・ROM(Read Only Memory)802(記憶装置)
・RAM(Random Access Memory)803(記憶装置)
・RAM803にロードされるプログラム群804
・プログラム群804を格納する記憶装置805
・情報処理装置外部の記録媒体810の読み書きを行うドライブ装置806
・情報処理装置外部の通信ネットワーク811と接続する通信インタフェース807
・データの入出力を行う入出力インタフェース808
・各構成要素を接続するバス809
また、判定装置800は、プログラム群804をCPU801が取得して当該CPU801が実行することで、図15に示す分割部821、判定部822としての機能を実現することが出来る。なお、プログラム群804は、例えば、予め記憶装置805やROM802に格納されており、必要に応じてCPU801がRAM803などにロードして実行する。また、プログラム群804は、通信ネットワーク811を介してCPU801に供給されてもよいし、予め記録媒体810に格納されており、ドライブ装置806が該プログラムを読み出してCPU801に供給してもよい。
なお、図14は、判定装置800のハードウェア構成例を示している。判定装置800のハードウェア構成は上述した場合に限定されない。例えば、判定装置800は、ドライブ装置806を有さないなど、上述した構成の一部から構成されてもよい。
分割部821は、複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、照明条件に応じた時系列の画像データに分割する。例えば、照明条件には、画像データを取得する撮像装置に対して容器を透過した透過光が入射する第1状態と、画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第2状態と、を含むことが出来る。照明条件に第1状態と第2状態とを含む場合、分割部821は、取得した時系列の画像データを、第1状態で撮影した時系列の画像データと第2状態で撮影した時系列の画像データとに分割することが出来る。
判定部822は、分割部821が分割した時系列の画像データそれぞれに基づいて、容器の内部に混入している異物を判定する。
このように、判定装置800は、分割部821と判定部822とを有している。このような構成によると、判定部822は、分割部821が分割した時系列の画像データそれぞれに基づいて、容器の内部に混入している異物を判定することが出来る。これにより、連続的に撮影した時系列のデータを撮影条件に基づいて分割した後判定することが可能となる。その結果、精度よく効率的に異物を検出することが可能となる。
なお、上述した判定装置800は、当該判定装置800に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、判定装置800に、複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、照明条件に応じた時系列の画像データに分割する分割部と、分割部が分割した時系列の画像データそれぞれに基づいて、容器の内部に混入している異物を判定する判定部と、を実現するためのプログラムである。
また、上述した判定装置800により実行される判定方法は、判定装置800が、複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、照明条件に応じた時系列の画像データに分割し、分割した時系列の画像データそれぞれに基づいて、容器の内部に混入している異物を判定する、という方法である。
上述した構成を有する、プログラム、又は、判定方法、の発明であっても、上記判定装置800と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における判定装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における判定装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
(付記1)
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
を有する
判定装置。
(付記2)
付記1に記載の判定装置であって、
前記照明条件には、画像データを取得する撮像装置に対して容器を透過した透過光が入射する第1状態と、画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第2状態と、が含まれている
判定装置。
(付記3)
付記2に記載の判定装置であって、
画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第2状態の際には、前記第1状態において光を照射する照明部が有するシャッター幕が閉じた状態である
判定装置。
(付記4)
付記2または付記3に記載の判定装置であって、
前記第1状態と前記第2状態とを切り替える間隔が時間の経過とともに変化している
判定装置。
(付記5)
付記1から付記4までのいずれか1項に記載の判定装置であって、
前記分割部は、画像データを取得する撮像装置の撮影間隔に応じて前記照明条件を切り替えながら撮影することで取得した時系列の画像データを分割する
判定装置。
(付記6)
付記5に記載の判定装置であって、
前記分割部は、画像データを取得した時刻を示す情報に基づいて、時系列の画像データを分割する
判定装置。
(付記7)
付記1から付記6までのいずれか1項に記載の判定装置であって、
前記分割部が分割した時系列の画像データそれぞれに含まれる各画像データから物体を検出する検出部と、
前記検出部が検出した前記物体を、前記分割部が分割した時系列の画像データごとに追跡する追跡部と、
を有し、
前記判定部は、前記追跡部による追跡の結果に基づいて、前記検出部が検出した前記物体が前記異物であるか否か判定する
判定装置。
(付記8)
付記7に記載の判定装置であって、
前記判定部は、前記物体が気泡であるか、または、前記異物であるか、を判定する
判定装置。
(付記9)
付記7または付記8に記載の判定装置であって、
前記判定部は、前記物体が前記異物であると判定するとともに、当該異物が光を透過するか否か判定する
判定装置。
(付記10)
判定装置が、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割し、
分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する
判定方法。
(付記11)
判定装置に、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
(付記12)
画像データを取得する撮像装置に対して容器を透過した透過光が入射するよう光を照射する第1照明部と、
画像データを取得する撮像装置に対して容器を透過した透過光が入射しないよう光を照射する第2照明部と、
前記第1照明部が光を照射する第1状態と、前記第2照明部が光を照射する第2状態とを含む複数の照明条件が切り替わる環境下で、容器に充填された液体を撮影する撮像装置と、
前記撮像装置が取得した時系列の画像データを前記照明条件に応じた時系列の画像データに分割する分割部と、前記分割部が分割した時系列の画像データそれぞれに基づいて前記容器の内部に混入している異物を判定する判定部と、を有する判定装置と、
を有する
判定システム。
(付記13)
付記12に記載の判定システムであって、
前記第1照明部は、光を照射していないときに閉じるシャッター幕を有している
判定システム。
(付記14)
付記12または付記13に記載の判定システムであって、
前記第1照明部が光を照射する前記第1状態と、前記第2照明部が光を照射する前記第2状態とを切り替える照明制御装置を有する
判定システム。
(付記15)
付記14に記載の判定システムであって、
前記照明制御装置は、前記第1状態と前記第2状態とを等間隔で切り替える
判定システム。
(付記16)
付記14または付記15に記載の判定システムであって、
前記照明制御装置は、前記第1状態と前記第2状態とを切り替える間隔を、時間の経過とともに変化させる
判定システム。
(付記17)
付記14から付記16までのいずれか1項に記載の判定システムであって、
前記照明制御装置は、時間の経過とともに、前記第1状態よりも前記第2状態の方が長い状態から前記第2状態よりも前記第1状態の方が長い状態へと、前記第1状態と前記第2状態とを切り替える間隔を変化させる
判定システム。
(付記18)
付記14から付記17までのいずれか1項に記載の判定システムであって、
前記照明制御装置は、画像データを取得する撮像装置の撮影間隔に応じて、前記第1状態と前記第2状態とを切り替える
判定システム。
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
を有する
判定装置。
(付記2)
付記1に記載の判定装置であって、
前記照明条件には、画像データを取得する撮像装置に対して容器を透過した透過光が入射する第1状態と、画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第2状態と、が含まれている
判定装置。
(付記3)
付記2に記載の判定装置であって、
画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第2状態の際には、前記第1状態において光を照射する照明部が有するシャッター幕が閉じた状態である
判定装置。
(付記4)
付記2または付記3に記載の判定装置であって、
前記第1状態と前記第2状態とを切り替える間隔が時間の経過とともに変化している
判定装置。
(付記5)
付記1から付記4までのいずれか1項に記載の判定装置であって、
前記分割部は、画像データを取得する撮像装置の撮影間隔に応じて前記照明条件を切り替えながら撮影することで取得した時系列の画像データを分割する
判定装置。
(付記6)
付記5に記載の判定装置であって、
前記分割部は、画像データを取得した時刻を示す情報に基づいて、時系列の画像データを分割する
判定装置。
(付記7)
付記1から付記6までのいずれか1項に記載の判定装置であって、
前記分割部が分割した時系列の画像データそれぞれに含まれる各画像データから物体を検出する検出部と、
前記検出部が検出した前記物体を、前記分割部が分割した時系列の画像データごとに追跡する追跡部と、
を有し、
前記判定部は、前記追跡部による追跡の結果に基づいて、前記検出部が検出した前記物体が前記異物であるか否か判定する
判定装置。
(付記8)
付記7に記載の判定装置であって、
前記判定部は、前記物体が気泡であるか、または、前記異物であるか、を判定する
判定装置。
(付記9)
付記7または付記8に記載の判定装置であって、
前記判定部は、前記物体が前記異物であると判定するとともに、当該異物が光を透過するか否か判定する
判定装置。
(付記10)
判定装置が、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割し、
分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する
判定方法。
(付記11)
判定装置に、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
(付記12)
画像データを取得する撮像装置に対して容器を透過した透過光が入射するよう光を照射する第1照明部と、
画像データを取得する撮像装置に対して容器を透過した透過光が入射しないよう光を照射する第2照明部と、
前記第1照明部が光を照射する第1状態と、前記第2照明部が光を照射する第2状態とを含む複数の照明条件が切り替わる環境下で、容器に充填された液体を撮影する撮像装置と、
前記撮像装置が取得した時系列の画像データを前記照明条件に応じた時系列の画像データに分割する分割部と、前記分割部が分割した時系列の画像データそれぞれに基づいて前記容器の内部に混入している異物を判定する判定部と、を有する判定装置と、
を有する
判定システム。
(付記13)
付記12に記載の判定システムであって、
前記第1照明部は、光を照射していないときに閉じるシャッター幕を有している
判定システム。
(付記14)
付記12または付記13に記載の判定システムであって、
前記第1照明部が光を照射する前記第1状態と、前記第2照明部が光を照射する前記第2状態とを切り替える照明制御装置を有する
判定システム。
(付記15)
付記14に記載の判定システムであって、
前記照明制御装置は、前記第1状態と前記第2状態とを等間隔で切り替える
判定システム。
(付記16)
付記14または付記15に記載の判定システムであって、
前記照明制御装置は、前記第1状態と前記第2状態とを切り替える間隔を、時間の経過とともに変化させる
判定システム。
(付記17)
付記14から付記16までのいずれか1項に記載の判定システムであって、
前記照明制御装置は、時間の経過とともに、前記第1状態よりも前記第2状態の方が長い状態から前記第2状態よりも前記第1状態の方が長い状態へと、前記第1状態と前記第2状態とを切り替える間隔を変化させる
判定システム。
(付記18)
付記14から付記17までのいずれか1項に記載の判定システムであって、
前記照明制御装置は、画像データを取得する撮像装置の撮影間隔に応じて、前記第1状態と前記第2状態とを切り替える
判定システム。
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
100 判定システム
200 把持装置
310 第1照明部
320 第2照明部
330 第3照明部
400 照明制御装置
410 制御部
500 カメラ
600 判定装置
610 画面表示部
620 通信I/F部
630 記憶部
631 画像情報
632 追跡情報
633 判定結果情報
634 プログラム
640 演算処理部
641 画像取得部
642 分割部
643 検出部
644 追跡部
645 判定部
646 出力部
700 容器
800 判定装置
801 CPU
802 ROM
803 RAM
804 プログラム群
805 記憶装置
806 ドライブ装置
807 通信インタフェース
808 入出力インタフェース
809 バス
810 記録媒体
811 通信ネットワーク
821 分割部
822 判定部
200 把持装置
310 第1照明部
320 第2照明部
330 第3照明部
400 照明制御装置
410 制御部
500 カメラ
600 判定装置
610 画面表示部
620 通信I/F部
630 記憶部
631 画像情報
632 追跡情報
633 判定結果情報
634 プログラム
640 演算処理部
641 画像取得部
642 分割部
643 検出部
644 追跡部
645 判定部
646 出力部
700 容器
800 判定装置
801 CPU
802 ROM
803 RAM
804 プログラム群
805 記憶装置
806 ドライブ装置
807 通信インタフェース
808 入出力インタフェース
809 バス
810 記録媒体
811 通信ネットワーク
821 分割部
822 判定部
Claims (18)
- 複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
を有する
判定装置。 - 請求項1に記載の判定装置であって、
前記照明条件には、画像データを取得する撮像装置に対して容器を透過した透過光が入射する第1状態と、画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第2状態と、が含まれている
判定装置。 - 請求項2に記載の判定装置であって、
画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第2状態の際には、前記第1状態において光を照射する照明部が有するシャッター幕が閉じた状態である
判定装置。 - 請求項2または請求項3に記載の判定装置であって、
前記第1状態と前記第2状態とを切り替える間隔が時間の経過とともに変化している
判定装置。 - 請求項1から請求項4までのいずれか1項に記載の判定装置であって、
前記分割部は、画像データを取得する撮像装置の撮影間隔に応じて前記照明条件を切り替えながら撮影することで取得した時系列の画像データを分割する
判定装置。 - 請求項5に記載の判定装置であって、
前記分割部は、画像データを取得した時刻を示す情報に基づいて、時系列の画像データを分割する
判定装置。 - 請求項1から請求項6までのいずれか1項に記載の判定装置であって、
前記分割部が分割した時系列の画像データそれぞれに含まれる各画像データから物体を検出する検出部と、
前記検出部が検出した前記物体を、前記分割部が分割した時系列の画像データごとに追跡する追跡部と、
を有し、
前記判定部は、前記追跡部による追跡の結果に基づいて、前記検出部が検出した前記物体が前記異物であるか否か判定する
判定装置。 - 請求項7に記載の判定装置であって、
前記判定部は、前記物体が気泡であるか、または、前記異物であるか、を判定する
判定装置。 - 請求項7または請求項8に記載の判定装置であって、
前記判定部は、前記物体が前記異物であると判定するとともに、当該異物が光を透過するか否か判定する
判定装置。 - 判定装置が、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割し、
分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する
判定方法。 - 判定装置に、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。 - 画像データを取得する撮像装置に対して容器を透過した透過光が入射するよう光を照射する第1照明部と、
画像データを取得する撮像装置に対して容器を透過した透過光が入射しないよう光を照射する第2照明部と、
前記第1照明部が光を照射する第1状態と、前記第2照明部が光を照射する第2状態とを含む複数の照明条件が切り替わる環境下で、容器に充填された液体を撮影する撮像装置と、
前記撮像装置が取得した時系列の画像データを前記照明条件に応じた時系列の画像データに分割する分割部と、前記分割部が分割した時系列の画像データそれぞれに基づいて前記容器の内部に混入している異物を判定する判定部と、を有する判定装置と、
を有する
判定システム。 - 請求項12に記載の判定システムであって、
前記第1照明部は、光を照射していないときに閉じるシャッター幕を有している
判定システム。 - 請求項12または請求項13に記載の判定システムであって、
前記第1照明部が光を照射する前記第1状態と、前記第2照明部が光を照射する前記第2状態とを切り替える照明制御装置を有する
判定システム。 - 請求項14に記載の判定システムであって、
前記照明制御装置は、前記第1状態と前記第2状態とを等間隔で切り替える
判定システム。 - 請求項14または請求項15に記載の判定システムであって、
前記照明制御装置は、前記第1状態と前記第2状態とを切り替える間隔を、時間の経過とともに変化させる
判定システム。 - 請求項14から請求項16までのいずれか1項に記載の判定システムであって、
前記照明制御装置は、時間の経過とともに、前記第1状態よりも前記第2状態の方が長い状態から前記第2状態よりも前記第1状態の方が長い状態へと、前記第1状態と前記第2状態とを切り替える間隔を変化させる
判定システム。 - 請求項14から請求項17までのいずれか1項に記載の判定システムであって、
前記照明制御装置は、画像データを取得する撮像装置の撮影間隔に応じて、前記第1状態と前記第2状態とを切り替える
判定システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022516808A JP7567905B2 (ja) | 2020-04-24 | 2020-04-24 | 判定システム |
US17/919,584 US20230154012A1 (en) | 2020-04-24 | 2020-04-24 | Determination apparatus |
EP20932428.4A EP4141422A4 (en) | 2020-04-24 | 2020-04-24 | DETERMINING DEVICE |
PCT/JP2020/017750 WO2021214995A1 (ja) | 2020-04-24 | 2020-04-24 | 判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/017750 WO2021214995A1 (ja) | 2020-04-24 | 2020-04-24 | 判定装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021214995A1 true WO2021214995A1 (ja) | 2021-10-28 |
Family
ID=78270624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/017750 WO2021214995A1 (ja) | 2020-04-24 | 2020-04-24 | 判定装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230154012A1 (ja) |
EP (1) | EP4141422A4 (ja) |
JP (1) | JP7567905B2 (ja) |
WO (1) | WO2021214995A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5011094A (ja) * | 1973-05-29 | 1975-02-04 | ||
JPH0792109A (ja) * | 1993-09-22 | 1995-04-07 | Shibuya Kogyo Co Ltd | 異物検査装置 |
JP2003107010A (ja) | 2001-09-28 | 2003-04-09 | Hitachi Eng Co Ltd | 透明容器等の充填液中の異物検出装置 |
JP2010048712A (ja) * | 2008-08-22 | 2010-03-04 | Olympus Corp | 欠陥検査装置 |
JP2010181231A (ja) * | 2009-02-04 | 2010-08-19 | Hitachi Information & Control Solutions Ltd | 不透明溶液中の異物検査装置および異物検査方法 |
JP2011085575A (ja) * | 2009-09-16 | 2011-04-28 | Hitachi Computer Peripherals Co Ltd | 流動物内の異物検出方法、異物検出装置及び異物検出プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60223956T3 (de) * | 2001-03-14 | 2011-05-19 | Hitachi Information & Control Solutions, Ltd., Hitachi | Untersuchungsgerät und System zur Untersuchung von Fremdkörpern in mit Flüssigkeit gefüllten Behältern |
-
2020
- 2020-04-24 US US17/919,584 patent/US20230154012A1/en active Pending
- 2020-04-24 WO PCT/JP2020/017750 patent/WO2021214995A1/ja unknown
- 2020-04-24 JP JP2022516808A patent/JP7567905B2/ja active Active
- 2020-04-24 EP EP20932428.4A patent/EP4141422A4/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5011094A (ja) * | 1973-05-29 | 1975-02-04 | ||
JPH0792109A (ja) * | 1993-09-22 | 1995-04-07 | Shibuya Kogyo Co Ltd | 異物検査装置 |
JP2003107010A (ja) | 2001-09-28 | 2003-04-09 | Hitachi Eng Co Ltd | 透明容器等の充填液中の異物検出装置 |
JP2010048712A (ja) * | 2008-08-22 | 2010-03-04 | Olympus Corp | 欠陥検査装置 |
JP2010181231A (ja) * | 2009-02-04 | 2010-08-19 | Hitachi Information & Control Solutions Ltd | 不透明溶液中の異物検査装置および異物検査方法 |
JP2011085575A (ja) * | 2009-09-16 | 2011-04-28 | Hitachi Computer Peripherals Co Ltd | 流動物内の異物検出方法、異物検出装置及び異物検出プログラム |
Non-Patent Citations (2)
Title |
---|
"Hitachi High Resolution Inspection System HR", TECHNOLOGIES, June 2015 (2015-06-01) * |
See also references of EP4141422A4 |
Also Published As
Publication number | Publication date |
---|---|
EP4141422A1 (en) | 2023-03-01 |
EP4141422A4 (en) | 2023-06-21 |
JP7567905B2 (ja) | 2024-10-16 |
US20230154012A1 (en) | 2023-05-18 |
JPWO2021214995A1 (ja) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101205039B1 (ko) | 눈 검출 시스템 및 그 동작 방법 | |
US8179434B2 (en) | System and method for imaging of curved surfaces | |
JP4985651B2 (ja) | 光源制御装置、光源制御方法および光源制御プログラム | |
CN105359502B (zh) | 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质 | |
CN105765558A (zh) | 低功率眼睛跟踪系统和方法 | |
JP2007028555A (ja) | カメラシステム,情報処理装置,情報処理方法,およびコンピュータプログラム | |
KR102100496B1 (ko) | 드론 및 레이저스캐너를 이용한 콘크리트 구조물 균열 검사 시스템 및 방법 | |
JP7234502B2 (ja) | 方法、装置、及びプログラム | |
CN103299238A (zh) | 成像装置及其发光量控制方法 | |
EP3511773A1 (en) | Image inspection device and illumination device | |
WO2021214995A1 (ja) | 判定装置 | |
CN105938410A (zh) | 显示装置以及显示装置的控制方法 | |
CN112752003A (zh) | 一种补光方法、装置、补光设备和监控设备 | |
US20230056791A1 (en) | Robot cleaner | |
US11443851B2 (en) | Cancer test system and method for assessing cancer test | |
US20230342909A1 (en) | System and method for imaging reflecting objects | |
JP2017191544A (ja) | 火災検知装置及び火災検知方法 | |
KR101002072B1 (ko) | 펄스 구동 방식의 투영 영상 터치 장치 | |
JPH0579999A (ja) | びん内沈降異物の検査装置 | |
CN108668089A (zh) | 信息处理装置、信息处理方法以及记录介质 | |
KR20150031997A (ko) | 홍수 예보 영상 관리 시스템 | |
JP2013101028A (ja) | 油漏れ検出装置 | |
US8573786B2 (en) | Projector apparatus and method for dynamically masking objects | |
WO2021214820A1 (ja) | 把持装置 | |
JP7544133B2 (ja) | 検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20932428 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022516808 Country of ref document: JP Kind code of ref document: A |
|
ENP | Entry into the national phase |
Ref document number: 2020932428 Country of ref document: EP Effective date: 20221124 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |