WO2021214995A1 - 判定装置 - Google Patents

判定装置 Download PDF

Info

Publication number
WO2021214995A1
WO2021214995A1 PCT/JP2020/017750 JP2020017750W WO2021214995A1 WO 2021214995 A1 WO2021214995 A1 WO 2021214995A1 JP 2020017750 W JP2020017750 W JP 2020017750W WO 2021214995 A1 WO2021214995 A1 WO 2021214995A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image data
state
determination
time
Prior art date
Application number
PCT/JP2020/017750
Other languages
English (en)
French (fr)
Inventor
尚司 谷内田
恵子 井上
あずさ 澤田
利憲 細井
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022516808A priority Critical patent/JP7567905B2/ja
Priority to US17/919,584 priority patent/US20230154012A1/en
Priority to EP20932428.4A priority patent/EP4141422A4/en
Priority to PCT/JP2020/017750 priority patent/WO2021214995A1/ja
Publication of WO2021214995A1 publication Critical patent/WO2021214995A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9018—Dirt detection in containers
    • G01N21/9027—Dirt detection in containers in containers after filling
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Definitions

  • the present invention relates to a determination device, a determination method, a recording medium, and a determination system.
  • the technology for detecting foreign substances in the liquid contained in the container is known.
  • Patent Document 1 is one of the techniques used when detecting a foreign substance.
  • Patent Document 1 describes a first irradiation source for irradiating the container with the first irradiation light, a second irradiation source for irradiating the container with the second irradiation light from a direction different from the first irradiation light, and imaging.
  • a foreign matter detection device having means and inspection means is described.
  • the imaging means captures the transmitted light on the transmitted light path of the first irradiation light from the container and the diffusely reflected light of the second irradiation light. Then, the inspection means detects the foreign matter in the filling liquid based on the image acquired by the imaging means.
  • Patent Document 1 discloses that the first irradiation light and the second irradiation light are irradiated in different time zones.
  • an object of the present invention is to provide a determination device, a determination method, a recording medium, and a determination system that solve the problem that foreign matter may not be detected accurately and efficiently.
  • the determination device which is one form of the present disclosure, in order to achieve such an object
  • a division unit that divides the time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions into time-series image data according to the lighting conditions.
  • a determination unit that determines foreign matter mixed in the inside of the container based on each of the time-series image data divided by the division unit, and a determination unit. It has a structure of having.
  • Judgment device The time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions is divided into time-series image data according to the lighting conditions. Based on each of the divided time-series image data, the foreign matter mixed in the inside of the container is determined.
  • the recording medium which is another form of the present disclosure is For the judgment device, A division unit that divides the time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions into time-series image data according to the lighting conditions. A determination unit that determines foreign matter mixed in the inside of the container based on each of the time-series image data divided by the division unit, and a determination unit. It is a computer-readable recording medium on which a program for realizing the above is recorded.
  • a first illumination unit that irradiates the image pickup device that acquires image data with light so that the transmitted light transmitted through the container is incident.
  • a second illumination unit that irradiates the image pickup device that acquires image data with light so that the transmitted light transmitted through the container does not enter.
  • the liquid filled in the container is photographed in an environment in which a plurality of lighting conditions including the first state in which the first lighting unit irradiates light and the second state in which the second lighting unit irradiates light are switched.
  • a determination device having a determination unit for determining a foreign substance mixed in, and a determination device. It has a structure of having.
  • FIG. 1st Embodiment of this disclosure It is a figure which shows the structural example of the determination system in 1st Embodiment of this disclosure. It is a figure which shows an example of the positional relationship between a container and lighting. It is a figure for demonstrating the lighting example of lighting. It is a figure for demonstrating the lighting example of lighting. It is a block diagram which shows the structural example of the lighting control device. It is a figure which shows the lighting control example by a lighting control device. It is a figure which shows the lighting control example by a lighting control device. It is a block diagram which shows the structural example of the determination apparatus. It is a figure which shows an example of image information. It is a figure which shows the processing example of the division part.
  • FIG. 1 is a diagram showing a configuration example of the determination system 100.
  • FIG. 2 is a diagram showing an example of the positional relationship between the container 700 and the lighting.
  • 3 and 4 are diagrams for explaining a lighting example of lighting.
  • FIG. 5 is a block diagram showing a configuration example of the lighting control device 400.
  • 6 and 7 are diagrams showing an example of lighting control by the lighting control device 400.
  • FIG. 8 is a block diagram showing a configuration example of the determination device 600.
  • FIG. 9 is a diagram showing an example of image information 631.
  • FIG. 10 is a diagram showing a processing example of the division unit 642.
  • FIG. 11 is a flowchart showing an operation example of the determination device 600.
  • FIG. 12 is a flowchart showing a processing example of the determination unit 645.
  • FIG. 13 is a diagram showing an example of another positional relationship between the container 700 and the lighting.
  • a determination system 100 that detects an object mixed in a container 700 filled with a liquid such as water or a chemical and determines a foreign substance among the detected objects will be described.
  • the determination system 100 acquires time-series image data by taking a picture with the camera 500 while switching a plurality of lighting conditions. For example, the determination system 100 switches between a state in which the container 700 is irradiated with light from the first illumination unit 310 and a state in which the container 700 is irradiated with light from the second illumination unit 320 at predetermined intervals. , Acquire time-series image data. Then, the determination system 100 divides the acquired time-series image data into time-series image data corresponding to each state, and then determines a foreign substance based on each of the divided time-series image data.
  • the foreign matter to be determined includes a foreign matter that transmits light such as a glass piece and a foreign matter that does not transmit light such as a rubber piece and hair.
  • a piece of glass which is a foreign substance that transmits light, has a heavier specific gravity than a foreign substance that does not transmit light, such as a rubber piece or hair. Sink.
  • the side filled with the liquid in the container 700 is defined as the upper side, and the opposite side is defined as the lower side.
  • the liquid filled inside the container 700 is collected under the container 700.
  • FIG. 1 is a side view showing an overall configuration example of the determination system 100.
  • the determination system 100 includes, for example, a gripping device 200, a first illumination unit 310, a second illumination unit 320, an illumination control device 400, a camera 500, and a determination device 600.
  • the first lighting unit 310 and the lighting control device 400 are connected so as to be able to communicate with each other.
  • the second lighting unit 320 and the lighting control device 400 are connected so as to be able to communicate with each other.
  • the camera 500 and the determination device 600 are connected so as to be able to communicate with each other.
  • the lighting control device 400 and the camera 500 can be connected so as to be able to communicate with each other.
  • the gripping device 200 is a device that grips the container 700.
  • the gripping device 200 includes an upper grip portion that projects downward and abuts on the upper side of the container 700, and a lower grip portion that projects upward and abuts on the lower side of the container 700.
  • the upper gripping portion of the gripping device 200 abuts on the container 700 from the upper side of the container 700
  • the lower gripping portion abuts on the container 700 from the lower side of the container 700, whereby the gripping device 200 ,
  • the container 700 is sandwiched from above and below to grip the container 700.
  • the gripping device 200 may grip the container 700 by a method other than the above-exemplified method.
  • the gripping device 200 can tilt or rotate the container 700 while sandwiching and gripping the container 700. By tilting or rotating the container 700 while the gripping device 200 sandwiches the container 700, foreign matter settled inside the container 700 can be lifted up.
  • the configuration for the gripping device 200 to incline or rotate the container 700 is not particularly limited.
  • the gripping device 200 may be configured to tilt or rotate the container 700 using known methods.
  • the first lighting unit 310 irradiates the liquid filled in the container 700 with light according to the control from the lighting control device 400.
  • FIG. 1 shows an example of the positional relationship between the first illumination unit 310, the second illumination unit 320, and the container 700 when viewed from the side surface direction
  • FIG. 2 shows the first illumination unit 310 when viewed from the shooting direction of the camera 500.
  • An example of the positional relationship between the second lighting unit 320 and the container 700 is shown.
  • the first lighting unit 310 is installed on the side opposite to the side on which the camera 500 is installed when viewed from the container 700 and the gripping device 200. According to such a configuration, the first illumination unit 310 irradiates the camera 500 with light through the container 700.
  • the transmitted light transmitted through the container 700 is incident on the camera 500.
  • the transmitted light at the location where the foreign substance is present is blocked by the foreign substance that does not transmit light.
  • black circles represent foreign substances that do not transmit light.
  • the first lighting unit 310 has a shutter curtain using a liquid crystal display or the like.
  • the shutter curtain included in the first illumination unit 310 closes when the first illumination unit 310 is not irradiating light. Therefore, it can be said that the first illumination unit 310 can take two states, a lighting state of irradiating light and an extinguishing state of closing the shutter curtain.
  • the second lighting unit 320 irradiates the liquid filled in the container 700 with light according to the control from the lighting control device 400.
  • the second lighting unit 320 is installed on, for example, a side surface of the container 700. According to such a configuration, the second illumination unit 320 irradiates light from the side surface direction of the container 700.
  • the transmitted light transmitted through the container 700 is not directly incident on the camera 500.
  • the foreign substance that transmits light is present inside the container 700, the foreign substance that transmits light existing in the container 700 diffusely reflects the light. Therefore, as shown in FIG.
  • the second illumination unit 320 irradiates the light, so that the diffusely reflected light diffusely reflected by the foreign substance is incident on the camera 500.
  • white circles represent foreign substances that transmit light.
  • the second lighting unit 320 can have a shutter curtain using a liquid crystal display or the like.
  • the shutter curtain of the second lighting unit 320 closes when the second lighting unit 320 is not irradiating light, as in the case of the first lighting unit 310. That is, it can be said that the second lighting unit 320 can take two states, a lighting state of irradiating light and an extinguishing state of closing the shutter curtain.
  • the second lighting unit 320 does not have to have a shutter curtain.
  • the installation position of the second lighting unit 320 is not limited to the cases illustrated in FIGS. 1 and 2.
  • the second illuminating unit 320 is located at a position other than those illustrated in FIGS. 1 and 2 such as diagonally rearward if the transmitted light radiated by the second illuminating unit 320 and transmitted through the container 700 does not directly enter the camera 500. It may be installed.
  • the lighting control device 400 is a control device that switches lighting conditions by controlling the lighting state and the extinguishing state of the first lighting unit 310 and the second lighting unit 320.
  • FIG. 5 shows a configuration example of the lighting control device 400. Referring to FIG. 5, the lighting control device 400 has, for example, a control unit 410.
  • the lighting control device 400 has, for example, an arithmetic unit such as a CPU and a storage device.
  • the lighting control device 400 realizes the processing unit by executing a program stored in the storage device by the arithmetic unit.
  • the lighting control device 400 may realize the above-mentioned processing unit by hardware.
  • the control unit 410 controls the state of the first lighting unit 310 and the second lighting unit 320 by transmitting a lighting instruction to the first lighting unit 310 and the second lighting unit 320.
  • the first lighting unit 310 is in the lighting state and the second lighting unit 320 is in the extinguishing state at the same time, or the first lighting unit 310 is in the extinguishing state at the same time.
  • the state of the first lighting unit 310 and the second lighting unit 320 is controlled so that the lighting unit 320 becomes one of the second states in which the lighting unit 320 is in the lighting state.
  • the illumination condition is in the first state
  • the transmitted light transmitted through the container 700 is incident on the camera 500.
  • the illumination condition is in the second state, the transmitted light transmitted through the container 700 does not enter the camera 500.
  • control unit 410 controls the state of the first lighting unit 310 and the second lighting unit 320 so that the lighting intervals of the first lighting unit 310 and the second lighting unit 320 are synchronized with the shooting interval of the camera 500. Can be done. In other words, the control unit 410 can control the first illumination unit 310 and the second illumination unit 320 so as to switch between the first state and the second state at intervals according to the shooting interval of the camera 500. For example, as will be described later, the camera 500 acquires image data at a high frame rate of about 150 to 200 fps.
  • control unit 410 sets the first illumination unit 310 and the second illumination unit 320 so as to switch between the first state and the second state at intervals of 0.005 seconds to 0.0067 seconds or a multiple thereof. It can be controlled.
  • the control unit 410 may be configured to send and receive necessary information for synchronizing the intervals with the camera 500.
  • FIG. 6 shows an example of control by the control unit 410.
  • the control unit 410 controls the states of the first lighting unit 310 and the second lighting unit 320 so that the first state and the second state are switched each time the camera 500 takes a picture. Can be done.
  • the control unit 410 controls the states of the first lighting unit 310 and the second lighting unit 320 so that the first state and the second state are switched at equal intervals such as every 0.005 seconds to 0.0067 seconds. Can be done.
  • control unit 410 can be configured to change the interval for switching between the first state and the second state with the passage of time.
  • FIG. 7 shows another control example by the control unit 410.
  • the control unit 410 continues the second state until the camera 500 shoots twice, and then switches to the first state.
  • the control unit 410 keeps the second state for 0.01 seconds to 0.013 seconds, and then sets the first state for 0.005 seconds to 0.0067 seconds.
  • the control unit 410 continues such switching for a predetermined time. Subsequently, the control unit 410 continues the process of switching between the first state and the second state at equal intervals for a predetermined time.
  • the control unit 410 continues the first state for 0.01 seconds to 0.013 seconds, and then switches to the second state for 0.005 seconds to 0.0067 seconds for a predetermined time. In this way, the control unit 410 can change the switching interval so that the second state is made longer than the first state immediately after the start of shooting, while the first state is made longer than the second state with the passage of time. You can. In addition, after continuing the second state for 0.015 seconds to 0.02 seconds, the control unit 410 sets the first state and the second state, such as setting the first state for 0.005 seconds to 0.0067 seconds. The switching interval may be changed arbitrarily.
  • the time for switching in the second state to be longer than that in the first state, the time for switching at equal intervals, the time for switching in the first state to be longer than that in the second state, and the respective times are also arbitrary. You can set it.
  • a glass piece or the like which is a foreign substance that transmits light, has a heavier specific gravity than a foreign substance that does not transmit light, such as a rubber piece or hair, and is in a state of flying up in the liquid filled inside the container 700. Sinks to the bottom sooner.
  • the proportion of the second stage suitable for detecting foreign matter that transmits light at an early stage after the start of imaging is increased, and the ratio of the first stage suitable for detecting foreign matter that does not transmit light with the passage of time is increased. By increasing the ratio, it becomes possible to perform detection according to the characteristics of the foreign matter.
  • control unit 410 can control the states of the first lighting unit 310 and the second lighting unit 320 so that the first state and the second state are switched at predetermined intervals. ..
  • the camera 500 is an imaging device that acquires image data by photographing the container 700. For example, the camera 500 starts taking image data after tilting the container 700 or the like. As shown in FIG. 1, the camera 500 is preliminarily installed at a predetermined position on the side opposite to the side where the first illumination unit 310 is located when viewed from the gripping device 200. The camera 500 may be configured to send and receive necessary information for synchronizing the intervals to and from the lighting control device 400.
  • the camera 500 continuously acquires image data at a high frame rate of about 150 to 200 fps. Then, the camera 500 transmits the acquired image data to the determination device 600 together with information indicating the shooting time and the like.
  • the camera 500 may acquire image data at a frame rate other than those illustrated above.
  • the states of the first lighting unit 310 and the second lighting unit 320 are controlled by the lighting control device 400. Therefore, the time-series image data acquired by the camera 500 includes the image data captured in the first state and the second image data captured in the first state, such as the image data captured in the first state and the image data captured in the second state alternately existing. The image data taken in the state is mixed.
  • the determination device 600 is an information processing device that detects an object mixed in the container 700 filled with the liquid and determines a foreign substance based on the image data captured and acquired by the camera 500.
  • FIG. 8 shows a configuration example of the determination device 600. Referring to FIG. 8, the determination device 600 has, for example, a screen display unit 610, a communication I / F unit 620, a storage unit 630, and an arithmetic processing unit 640 as main components.
  • the screen display unit 610 is composed of a screen display device such as an LCD (Liquid Crystal Display).
  • the screen display unit 610 can display various information stored in the storage unit 630 such as image information 631, tracking information 632, and determination result information 633 on the screen in response to an instruction from the arithmetic processing unit 640.
  • the communication I / F unit 620 is composed of a data communication circuit.
  • the communication I / F unit 620 performs data communication with a camera 500, an external device, or the like connected via a communication line.
  • the storage unit 630 is a storage device such as a hard disk or a memory.
  • the storage unit 630 stores processing information and a program 634 required for various processes in the arithmetic processing unit 640.
  • the program 634 realizes various processing units by being read and executed by the arithmetic processing unit 640.
  • the program 634 is read in advance from an external device or a recording medium via a data input / output function such as the communication I / F unit 620, and is stored in the storage unit 630.
  • the main information stored in the storage unit 630 includes, for example, image information 631, tracking information 632, determination result information 633, and the like.
  • the image information 631 includes time-series image data acquired by the camera 500.
  • the image data and the information indicating the date and time when the camera 500 acquired the image data are associated with each other.
  • FIG. 9 shows an example of time-series image data included in the image information 631.
  • the image information 631 contains a mixture of image data captured in the first state and image data captured in the second state.
  • the lighting control device 400 switches between the first state and the second state. Therefore, the image data stored as the image information 631 includes the image data captured in the first state and the image data captured in the second state, such that the image data captured in the first state and the image data captured in the second state alternately exist.
  • the image data taken in is mixed with the image data taken in.
  • the tracking information 632 includes information according to the result of tracking by the tracking unit 644, which will be described later.
  • the identification information given for each object and the time-series information indicating the position of the object are associated with each other.
  • the time-series information indicating the position of the object includes, for example, time information and position information such as coordinates indicating the position of the object at each time.
  • the tracking unit 644 uses the time-series image data included in the image information 631 by the dividing unit 642 as the time-series image data captured in the first state and the time-series captured in the second state. After dividing into image data, tracking is performed based on each time-series data after division. Therefore, the tracking information 632 includes information according to the result of tracking using the time-series data corresponding to the first state and the result of tracking using the time-series data corresponding to the second state. Information and is included.
  • the tracking information 632 may include information other than the position of the object as illustrated above.
  • the tracking information 632 may include information indicating the area of the detection area.
  • the determination result information 633 includes information indicating the result of the determination by the determination unit 645.
  • the identification information given for each object is associated with the information indicating the result of determination by the determination unit 645 based on the tracking information 632. That is, the determination result information 633 includes information indicating which of the foreign substances, air bubbles, scratches and stains on the container corresponds to the detected object.
  • the arithmetic processing unit 640 has a microprocessor such as an MPU and its peripheral circuits.
  • the arithmetic processing unit 640 reads the program 634 from the storage unit 630 and executes it, thereby realizing various processing units in cooperation with the hardware and the program 634.
  • the main processing units realized by the arithmetic processing unit 640 include, for example, an image acquisition unit 641, a division unit 642, a detection unit 643, a tracking unit 644, a determination unit 645, and an output unit 646.
  • the image acquisition unit 641 acquires the image data acquired by the camera 500 from the camera 500 via the communication I / F unit 620. Then, the image acquisition unit 641 stores the acquired image data in the storage unit 630 as image information 631 in association with, for example, the acquisition date and time (information indicating the shooting time) of the image data.
  • the dividing unit 642 divides the time-series image data included in the image information 631 into time-series image data taken in the first state and time-series image data taken in the second state.
  • the determination device 600 has information indicating under what conditions (at what intervals) the lighting control device 400 switches between the first state and the second state. Therefore, the division unit 642 uses the above information to obtain the time-series image data included in the image information 631 with the time-series image data captured in the first state based on the time corresponding to the image data. It is divided into time-series image data taken in two states.
  • FIG. 10 is a diagram for explaining an example of the division process by the division unit 642.
  • the division unit 642 captures the image information 631 in a state in which the image data captured in the first state and the image data captured in the second state are mixed, and is a time-series image captured in the first state. It is divided into data and time-series image data taken in the second state.
  • the division unit 642 may divide the time-series image data based on information other than the time. For example, when the dividing unit 642 captures time-series image data in the second state and the time-series image data captured in the first state based on the ratio of light and darkness when the image data is binarized. It may be divided into a series of image data. The division unit 642 may perform the division processing by combining the methods exemplified above.
  • the detection unit 643 detects an object existing in the container 700 or the region corresponding to the liquid filled in the container 700 based on the image data. For example, the detection unit 643 performs binarization processing on the image data and detects an object based on the result of the binarization processing. The detection unit 643 may detect the object by using other known techniques.
  • the detection unit 643 detects an object from each of the time-series image data captured in the first state divided by the division unit 642, and also from each of the time-series image data captured in the second state. Detect an object. As shown in FIG. 3, in the first state, while the transmitted light is incident on the camera 500, the transmitted light at the portion where the foreign matter is present is blocked by the foreign matter that does not transmit the light. Therefore, the detection unit 643 can mainly detect an object containing a foreign substance that does not transmit light, based on the image data taken in the first state. On the other hand, as shown in FIG.
  • the detection unit 643 can detect an object containing a foreign substance that mainly transmits light, based on the image data taken in the second state.
  • the tracking unit 644 tracks the object detected by the detection unit 643. As described above, the camera 500 acquires image data at a high frame rate such as 200 fps. Therefore, it is assumed that the positions of the same objects are extremely close to each other between two image data in which the shooting times are continuous (the shooting times are closer than a predetermined value). Therefore, the tracking unit 644 compares the position of the object detected by the detection unit 643 with the position of the object detected by the detection unit 643 in the image data one before (or within a predetermined value) the shooting time.
  • the tracking unit 644 when there is an object in which the distance between the objects is equal to or less than a predetermined threshold value, the tracking unit 644 has image data in which the distance is equal to or less than the threshold value and the object detected by the detection unit 643 and the shooting time are one before. It is determined that the object detected by the detection unit 643 is the same object. In this case, the tracking unit 644 adds identification information such as an ID given to the object determined to be the same object to the object detected by the detection unit 643. On the other hand, in the image data one before the shooting time (or within a predetermined value), when there is no object whose distance from the object detected by the detection unit 643 is equal to or less than a predetermined threshold value, the tracking unit 644 Determines that a new object has been detected. In this case, the tracking unit 644 adds identification information such as a new ID to the detected object.
  • the tracking unit 644 provides identification information to the object detected by the detection unit 643 by performing tracking based on the distance between the objects in different image data. Further, the tracking unit 644 acquires the coordinates indicating the position of the object detected by the detection unit 643. Then, the tracking unit 644 associates the identification information with the time information indicating the shooting time of the image data and the coordinates, and stores the tracking information 632 in the storage unit 630.
  • the tracking unit 644 tracks the tracking based on the time-series image data captured in the first state and the tracking based on the time-series image data captured in the second state, which is divided by the dividing unit 642. And do. That is, the tracking unit 644 compares the positions based on the time-series image data captured in the first state, and also compares the positions based on the time-series image data captured in the second state.
  • the detection unit 643 mainly detects an object containing a foreign substance that does not transmit light, based on the image data taken in the first state.
  • the tracking unit 644 can track an object containing a foreign substance that does not mainly transmit light, based on the time-series image data taken in the first state.
  • the detection unit 643 detects an object containing a foreign substance that mainly transmits light, based on the image data taken in the second state. Therefore, the tracking unit 644 can track an object containing a foreign substance that mainly transmits light, based on the time-series image data taken in the second state.
  • the determination unit 645 determines whether the object detected by the detection unit 643 corresponds to a bubble or a foreign substance based on the tracking information 632. Then, the determination unit 645 stores the determination result of each object detected by the detection unit 643 in the storage unit 630 as the determination result information 633.
  • the determination unit 645 determines that the object is moving upward based on the tracking information 632, the determination unit 645 determines that the object is a bubble.
  • the determination unit 645 determines that the object is moving downward based on the tracking information 632, the determination unit 645 determines that the object is a foreign substance.
  • the determination unit 645 can determine whether the object is a bubble or a foreign substance by determining the moving direction of the object based on the tracking information 632.
  • the determination unit 645 may determine the air bubbles and the foreign matter by a method other than the above-exemplified method, such as performing the above determination using a model learned in advance.
  • the tracking information 632 includes information according to the result of tracking using the time-series data corresponding to the first state and tracking using the time-series data corresponding to the second state. Information according to the result of the work is included. Therefore, the determination unit 645 is either a bubble or a foreign substance that does not transmit light, based on the information according to the result of tracking using the time-series data corresponding to the first state of the tracking information 632. You may judge whether or not. Similarly, the determination unit 645 is based on the information according to the result of tracking using the time-series data corresponding to the second state of the tracking information 632, and the object is either a bubble or a foreign substance that transmits light. It may be determined whether or not there is. In this way, the determination unit 645 can determine whether the object is a bubble or a foreign substance, and can determine whether or not the foreign substance transmits light.
  • the determination unit 645 may use information other than the tracking information 632 when determining the object.
  • the determination unit 645 can determine an object by using information indicating an image feature, size, average luminance value, and the like of the object together. By also judging information other than movement such as the size of the object and the average brightness value, the characteristics of bubbles and foreign substances can be comprehensively judged, so that higher judgment accuracy can be obtained.
  • the output unit 646 outputs image information 631, tracking information 632, determination result information 633, and the like.
  • the output unit 646 displays the image information 631, the tracking information 632, the determination result information 633, and the like on the screen display unit 610, or transmits the image information 631, the tracking information 632, the determination result information 633, and the like to the external device via the communication I / F unit 620. Can be done.
  • the above is a configuration example of the determination device 600.
  • the determination device 600 may have a configuration other than the above.
  • the determination device 600 can be configured to instruct the gripping device 200 to tilt / rotate or stop tilting / rotating.
  • the container 700 is a translucent container such as a glass bottle or a PET bottle.
  • the inside of the container 700 is filled with a liquid such as water or a chemical.
  • Foreign matter may be mixed inside the container 700.
  • foreign matter for example, foreign matter that does not transmit light such as rubber pieces, hair, fiber pieces, and soot, and foreign matter that transmits light such as glass and plastic pieces are assumed.
  • the above is a configuration example of the gripping device 200, the first lighting unit 310, the second lighting unit 320, the lighting control device 400, the camera 500, and the judgment device 600 included in the determination system 100. Subsequently, an operation example of the determination device 600 will be described with reference to FIGS. 11 and 12.
  • the image acquisition unit 641 acquires the image data acquired by the camera 500 from the camera 500 via the communication I / F unit 620 (step S101).
  • the image acquisition unit 641 acquires time-series image data in a state in which the image data captured in the first state and the image data captured in the second state are mixed.
  • the dividing unit 642 divides the time-series image data into the time-series image data taken in the first state and the time-series image data taken in the second state (step S102).
  • the determination device 600 has information indicating under what conditions (at what intervals) the lighting control device 400 switches between the first state and the second state.
  • the dividing unit 642 divides the time-series image data included in the image information 631 into time-series image data taken in the first state and time-series image data taken in the second state. do.
  • the dividing unit 642 may perform the dividing process by using a method other than the above-exemplified method.
  • the detection unit 643 detects an object existing in the container 700 or the region corresponding to the liquid filled in the container 700 based on the time-series image data taken in the first state. (Step S111). In the process of step S111, the detection unit 643 mainly detects an object containing a foreign substance that does not transmit light. The detection unit 643 may detect an object using a known technique.
  • the tracking unit 644 tracks the object detected by the detection unit 643 (step S112). That is, the tracking unit 644 mainly tracks an object including a foreign substance that does not transmit light. For example, the tracking unit 644 tracks an object based on the distance between the objects in the image data whose shooting times are close (or continuous).
  • step S113, No If all the objects detected by the detection unit 643 cannot be tracked in the image data (step S113, No), the tracking unit 644 tracks the objects that are not being tracked. On the other hand, when all the objects detected by the detection unit 643 can be tracked in the image data (step S113, Yes), the tracking unit 644 completes the tracking based on the image data.
  • step S114, Yes When tracking is completed for all the time-series image data captured in the first state divided by the dividing unit 642 (step S114, Yes), the determination device 600 processes based on the time-series image data captured in the first state. To finish. On the other hand, when there is undetected or untracked image data (step S114, No), the determination device 600 continues the detection by the detection unit 643 and the tracking by the tracking unit 644.
  • the detection unit 643 detects an object existing in the container 700 or the region corresponding to the liquid filled in the container 700 based on the time-series image data taken in the second state. (Step S121). In the process of step S121, the detection unit 643 mainly detects an object containing a foreign substance that transmits light. The detection unit 643 may detect an object using a known technique.
  • the tracking unit 644 tracks the object detected by the detection unit 643 (step S122). That is, the tracking unit 644 mainly tracks an object including a foreign substance that transmits light. For example, the tracking unit 644 tracks an object based on the distance between the objects in the image data whose shooting times are close (or continuous).
  • step S123, No If all the objects detected by the detection unit 643 cannot be tracked in the image data (step S123, No), the tracking unit 644 tracks the objects that are not being tracked. On the other hand, when all the objects detected by the detection unit 643 can be tracked in the image data (step S123, Yes), the tracking unit 644 completes the tracking based on the image data.
  • step S124, Yes When tracking is completed for all the time-series image data captured in the second state divided by the dividing unit 642 (step S124, Yes), the determination device 600 processes based on the time-series image data captured in the second state. To finish. On the other hand, when there is undetected or untracked image data (step S124, No), the determination device 600 continues the detection by the detection unit 643 and the tracking by the tracking unit 644.
  • step S111 to step S114 and the processing from step S121 to step S124 may be performed in parallel. Subsequently, a processing example of the determination unit 645 will be described with reference to FIG.
  • the determination unit 645 acquires the tracking information 632 (step S201).
  • the determination unit 645 determines whether the object detected by the detection unit 643 is a bubble or a foreign substance based on the tracking information 632 (step S202). For example, the determination unit 645 can determine whether the object is a bubble or a foreign substance based on the moving direction of the object. The determination unit 645 may make a determination by a method other than the above-exemplified method. The determination unit 645 may determine whether the object is a bubble or a foreign substance, and may determine whether the foreign substance is a foreign substance that transmits light or a foreign substance that does not transmit light.
  • the above is a processing example of the determination unit 645.
  • the determination device 600 has a division unit 642, a detection unit 643, a tracking unit 644, and a determination unit 645.
  • the tracking unit 644 tracks the object detected by the detection unit 643 based on the time-series image data captured in the first state divided by the division unit 642, and when the object is photographed in the second state. It is possible to track the object detected by the detection unit 643 based on the image data of the series.
  • the determination unit 645 can make a determination based on the result of tracking by the tracking unit 644.
  • detection, tracking, and determination are performed by a method suitable for a foreign substance that transmits light
  • detection, tracking, and determination are performed by a method suitable for a foreign substance that does not transmit light. Can be done. As a result, foreign matter can be detected accurately and efficiently.
  • the determination system 100 can have a third illumination unit 330.
  • the third lighting unit 330 irradiates the liquid filled in the container 700 with light at the same intervals as the second lighting unit 320.
  • the third lighting unit 330 can be installed, for example, in the side surface direction of the container 700 and on the side opposite to the installation position of the second lighting unit 320 when viewed from the container 700.
  • the determination system 100 may have a plurality of lights.
  • the function as the determination device 600 is realized by one information processing device has been described.
  • the function as the determination device 600 may be realized by a plurality of information processing devices connected via a network.
  • the determination system 100 includes a lighting control device 400 and a determination device 600.
  • the determination device 600 may have a function as the lighting control device 400. That is, the lighting control device 400 and the determination device 600 can be integrally configured.
  • the determination device 600 has a function as the lighting control device 400, the determination system 100 does not have to have an individual lighting control device 400.
  • the first lighting unit 310 is in the lighting state of the first lighting unit 310 and the second lighting unit 320 is in the extinguishing state at the same time, and the first lighting unit 310 is in the extinguishing state at the same time. Is in the extinguished state and the second illuminating unit 320 is in the lit state.
  • the lighting conditions are not necessarily limited to the cases illustrated in this embodiment.
  • the lighting conditions include a state in which the first lighting unit 310 is in the lighting state and the second lighting unit 320 is in the lighting state at the same time, and the first lighting unit 310 and the second lighting unit 320 are in the extinguishing state.
  • a state other than the above-exemplified state may be included, such as the third lighting unit 330 being in the lighting state. Further, for example, the state in which the first lighting unit 310 is in the lighting state and the second lighting unit 320 is in the lighting state and the state in which the first lighting unit 310 is in the extinguishing state and the second lighting unit 320 is in the lighting state are switched. , Switching other than those illustrated in this embodiment may be performed.
  • FIG. 14 shows a hardware configuration example of the determination device 800.
  • the determination device 800 has the following hardware configuration as an example.
  • -CPU Central Processing Unit
  • 801 Arimetic unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • 803 storage device
  • -Program group 804 loaded in RAM 803
  • a storage device 805 that stores the program group 804.
  • -Drive device 806 that reads and writes the recording medium 810 external to the information processing device.
  • -Communication interface 807 that connects to the communication network 811 outside the information processing device -I / O interface 808 that inputs and outputs data -Bus 809 connecting each component
  • the determination device 800 can realize the functions as the division unit 821 and the determination unit 822 shown in FIG. 15 by the CPU 801 acquiring the program group 804 and executing the program group 801.
  • the program group 804 is stored in the storage device 805 or the ROM 802 in advance, for example, and the CPU 801 loads the program group 804 into the RAM 803 or the like and executes the program group 804 as needed.
  • the program group 804 may be supplied to the CPU 801 via the communication network 811 or may be stored in the recording medium 810 in advance, and the drive device 806 may read the program and supply the program to the CPU 801.
  • FIG. 14 shows an example of the hardware configuration of the determination device 800.
  • the hardware configuration of the determination device 800 is not limited to the above case.
  • the determination device 800 may be configured from a part of the above-described configuration, such as not having the drive device 806.
  • the dividing unit 821 divides the time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions into the time-series image data according to the lighting conditions.
  • the lighting conditions include the first state in which the transmitted light transmitted through the container is incident on the image pickup device for acquiring image data, and the transmitted light transmitted through the container is not incident on the image pickup device for acquiring image data.
  • the division unit 821 uses the acquired time-series image data as the time-series image data taken in the first state and the time-series image data taken in the second state. It can be divided into image data.
  • the determination unit 822 determines the foreign matter mixed in the inside of the container based on each of the time-series image data divided by the division unit 821.
  • the determination device 800 has a division unit 821 and a determination unit 822. According to such a configuration, the determination unit 822 can determine the foreign matter mixed in the inside of the container based on each of the time-series image data divided by the division unit 821. This makes it possible to determine after dividing the continuously photographed time-series data based on the photographing conditions. As a result, foreign matter can be detected accurately and efficiently.
  • the above-mentioned determination device 800 can be realized by incorporating a predetermined program into the determination device 800. Specifically, in the program according to another embodiment of the present invention, the time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions to the determination device 800 is used as the lighting conditions. To realize a dividing unit that divides into corresponding time-series image data and a determination unit that determines foreign matter mixed in the inside of the container based on each of the time-series image data divided by the dividing unit. It is a program.
  • the time-series image data acquired by the determination device 800 by photographing the liquid filled in the container while switching a plurality of illumination conditions is used as the illumination condition. It is a method of dividing into corresponding time-series image data and determining foreign matter mixed in the inside of the container based on each of the divided time-series image data.
  • (Appendix 1) A division unit that divides the time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions into time-series image data according to the lighting conditions.
  • a determination unit that determines foreign matter mixed in the inside of the container based on each of the time-series image data divided by the division unit, and a determination unit.
  • Judgment device having.
  • the lighting conditions include a first state in which the transmitted light transmitted through the container is incident on the image pickup device for acquiring image data, and a first state in which the transmitted light transmitted through the container is not incident on the image pickup device for acquiring image data.
  • Judgment device that includes 2 states.
  • the dividing unit is a determination device that divides time-series image data based on information indicating the time when the image data was acquired.
  • the determination device according to any one of Supplementary note 1 to Supplementary note 6.
  • a detection unit that detects an object from each image data included in each of the time-series image data divided by the division unit, and a detection unit.
  • a tracking unit that tracks the object detected by the detection unit for each time-series image data divided by the division unit.
  • the determination unit is a determination device that determines whether or not the object detected by the detection unit is a foreign substance based on the result of tracking by the tracking unit.
  • Appendix 8 The determination device according to Appendix 7.
  • the determination unit is a determination device that determines whether the object is a bubble or a foreign substance.
  • the determination unit is a determination device that determines whether the object is the foreign matter and whether or not the foreign matter transmits light.
  • (Appendix 10) Judgment device The time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions is divided into time-series image data according to the lighting conditions. A determination method for determining foreign matter mixed in the inside of the container based on each of the divided time-series image data.
  • a division unit that divides the time-series image data acquired by photographing the liquid filled in the container while switching a plurality of lighting conditions into time-series image data according to the lighting conditions.
  • a determination unit that determines foreign matter mixed in the inside of the container based on each of the time-series image data divided by the division unit, and a determination unit.
  • a computer-readable recording medium that records programs to achieve this.
  • a first illumination unit that irradiates the image pickup device that acquires image data with light so that the transmitted light transmitted through the container is incident.
  • a second illumination unit that irradiates the image pickup device that acquires image data with light so that the transmitted light transmitted through the container does not enter.
  • the liquid filled in the container is photographed in an environment in which a plurality of lighting conditions including the first state in which the first lighting unit irradiates light and the second state in which the second lighting unit irradiates light are switched.
  • Imaging device and Inside the container based on the divided portion that divides the time-series image data acquired by the imaging device into the time-series image data according to the lighting conditions and the time-series image data divided by the divided portion.
  • a determination device having a determination unit for determining a foreign substance mixed in, and a determination device.
  • Judgment system with. (Appendix 13)
  • the first lighting unit is a determination system having a shutter curtain that closes when not irradiating light.
  • (Appendix 14) The determination system according to Appendix 12 or Appendix 13.
  • a determination system including a lighting control device that switches between the first state in which the first lighting unit irradiates light and the second state in which the second lighting unit irradiates light.
  • the lighting control device is a determination system that switches between the first state and the second state at equal intervals.
  • the lighting control device is a determination system that changes the interval for switching between the first state and the second state with the passage of time.
  • (Appendix 17) The determination system according to any one of Supplementary note 14 to Supplementary note 16.
  • the lighting control device changes from a state in which the second state is longer than the first state to a state in which the first state is longer than the second state.
  • a determination system that changes the interval for switching from the second state.
  • the determination system according to any one of Supplementary note 14 to Supplementary note 17.
  • the lighting control device is a determination system that switches between the first state and the second state according to the shooting interval of the image pickup device that acquires image data.
  • the programs described in each of the above embodiments and appendices may be stored in a storage device or recorded in a computer-readable recording medium.
  • the recording medium is a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, and a semiconductor memory.
  • Judgment system 100 Judgment system 200 Gripping device 310 1st lighting unit 320 2nd lighting unit 330 3rd lighting unit 400 Lighting control device 410 Control unit 500 Camera 600 Judgment device 610 Screen display unit 620 Communication I / F unit 630 Storage unit 631 Image information 632 Tracking information 633 Judgment result information 634 Program 640 Calculation processing unit 641 Image acquisition unit 642 Division unit 643 Detection unit 644 Tracking unit 645 Judgment unit 646 Output unit 700 Container 800 Judgment device 801 CPU 802 ROM 803 RAM 804 Program group 805 Storage device 806 Drive device 807 Communication interface 808 Input / output interface 809 Bus 810 Recording medium 811 Communication network 821 Division unit 822 Judgment unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

判定装置８００は、複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部８２１と、前記分割部８２１が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、を有する。

Description

判定装置
　本発明は、判定装置、判定方法、記録媒体、判定システムに関する。
　容器に入った液体中の異物を検出するための技術が知られている。
　異物を検出する際に用いられる技術の一つとして、例えば、特許文献１がある。特許文献１には、第１の照射光を容器に照射する第１の照射源と、第１の照射光と異なる方向から第２の照射光を容器に照射する第２の照射源と、撮像手段と、検査手段と、を有する異物検出装置が記載されている。特許文献１によると、撮像手段は、容器からの第１の照射光の透過光路上の透過光の撮影と、第２の照射光の乱反射光の撮影を行う。そして、検査手段は、撮像手段が取得した画像に基づいて、充填液体中の異物を検出する。また、特許文献１には、第１の照射光と第２の照射光とを別時間帯で照射するようにしたことが開示されている。
特開２００３－１０７０１０号公報
　特許文献１に記載のように、第１の照射光と第２の照射光とを単に別時間帯で照射する場合、検査に時間がかかったり、異物の重さなど異物の性質に応じた適切なタイミングで撮影を行うことが出来なかったりすることがあった。その結果、精度よく効率的に異物を検出できないおそれが生じていた。
　そこで、本発明の目的は、精度よく効率的に異物を検出できないおそれがある、という課題を解決する、判定装置、判定方法、記録媒体、判定システムを提供することにある。
　かかる目的を達成するため本開示の一形態である判定装置は、
　複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
　前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
　を有する
　という構成をとる。
　また、本開示の他の形態である判定方法は、
　判定装置が、
　複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割し、
　分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する
　という構成をとる。
　また、本開示の他の形態である記録媒体は、
　判定装置に、
　複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
　前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
　を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
　また、本開示の他の形態である判定システムは、
　画像データを取得する撮像装置に対して容器を透過した透過光が入射するよう光を照射する第１照明部と、
　画像データを取得する撮像装置に対して容器を透過した透過光が入射しないよう光を照射する第２照明部と、
　前記第１照明部が光を照射する第１状態と、前記第２照明部が光を照射する第２状態とを含む複数の照明条件が切り替わる環境下で、容器に充填された液体を撮影する撮像装置と、
　前記撮像装置が取得した時系列の画像データを前記照明条件に応じた時系列の画像データに分割する分割部と、前記分割部が分割した時系列の画像データそれぞれに基づいて前記容器の内部に混入している異物を判定する判定部と、を有する判定装置と、
　を有する
　という構成をとる。
　上述したような各構成によると、精度よく効率的に異物を検出することを可能とする判定装置、判定方法、記録媒体、判定システムを提供することが可能となる。
本開示の第１の実施形態における判定システムの構成例を示す図である。 容器と照明の位置関係の一例を示す図である。 照明の点灯例を説明するための図である。 照明の点灯例を説明するための図である。 照明制御装置の構成例を示すブロック図である。 照明制御装置による点灯制御例を示す図である。 照明制御装置による点灯制御例を示す図である。 判定装置の構成例を示すブロック図である。 画像情報の一例を示す図である。 分割部の処理例を示す図である。 本開示の第１の実施形態における判定装置の動作例を示すフローチャートである。 判定部の処理例を示すフローチャートである。 容器と照明の他の位置関係の一例を示す図である。 本開示の第２の実施形態における判定装置のハードウェア構成図の一例を示す図である。 本開示の第２の実施形態における判定装置の構成例を示すブロック図である。
［第１の実施形態］
　本開示の第１の実施形態について、図１から図１３までを参照して説明する。図１は、判定システム１００の構成例を示す図である。図２は、容器７００と照明の位置関係の一例を示す図である。図３、図４は、照明の点灯例を説明するための図である。図５は、照明制御装置４００の構成例を示すブロック図である。図６、図７は、照明制御装置４００による点灯制御例を示す図である。図８は、判定装置６００の構成例を示すブロック図である。図９は、画像情報６３１の一例を示す図である。図１０は、分割部６４２の処理例を示す図である。図１１は、判定装置６００の動作例を示すフローチャートである。図１２は、判定部６４５の処理例を示すフローチャートである。図１３は、容器７００と照明の他の位置関係の一例を示す図である。
　本開示の第１の実施形態においては、水や薬剤などの液体を充填した容器７００内部に混入している物体を検出して、検出した物体のうち異物を判定する判定システム１００について説明する。後述するように、判定システム１００は、複数の照明条件を切り替えながらカメラ５００による撮影を行うことで、時系列の画像データを取得する。例えば、判定システム１００は、容器７００に対して第１照明部３１０から光を照射する状態と、容器７００に対して第２照明部３２０から光を照射する状態と、を所定の間隔で切り替えながら、時系列の画像データを取得する。そして、判定システム１００は、取得した時系列の画像データをそれぞれの状態に対応する時系列の画像データに分割した後、分割した時系列の画像データそれぞれに基づいて、異物を判定する。
　なお、本実施形態において、判定対象である異物には、ガラス片などの光を透過する異物と、ゴム片や髪の毛などの光を透過しない異物とがある。一般に、光を透過する異物であるガラス片などは、ゴム片や髪の毛などの光を透過しない異物よりも比重が重く、容器７００内部に充填された液体内において、舞い上がった状態からより早く底に沈む。
　また、本実施形態においては、図１で示す状態のうち容器７００において液体を充填する側を上側、反対側を下側と定義して説明する。図１の場合、容器７００の内部に充填された液体は、容器７００の下側に溜まっている。
　図１は、判定システム１００の全体の構成例を示す側面図である。図１を参照すると、判定システム１００は、例えば、把持装置２００と、第１照明部３１０と、第２照明部３２０と、照明制御装置４００と、カメラ５００と、判定装置６００と、を含んでいる。図１で示すように、第１照明部３１０と照明制御装置４００とは、互いに通信可能なよう接続されている。また、第２照明部３２０と照明制御装置４００とは、互いに通信可能なよう接続されている。また、カメラ５００と判定装置６００とは、互いに通信可能なよう接続されている。また、照明制御装置４００とカメラ５００とは、互いに通信可能なよう接続することが出来る。
　把持装置２００は、容器７００を把持する装置である。例えば、把持装置２００は、下方に向かって突出し容器７００の上側に当接する上側把持部と、上方に向かって突出し容器７００の下側に当接する下側把持部とを含んでいる。図１で示すように、把持装置２００のうち上側把持部が容器７００の上側から容器７００に当接し、下側把持部が容器７００の下側から容器７００に当接することで、把持装置２００は、容器７００を上下方向から挟み込んで容器７００を把持する。なお、把持装置２００は、上記例示した以外の方法で容器７００を把持しても構わない。
　また、把持装置２００は、容器７００を挟み込んで把持した状態で、容器７００を傾斜させたり回転させたりすることが出来る。把持装置２００が容器７００を挟み込んだ状態で容器７００を傾斜させたり回転させたりすることで、容器７００の内部で沈殿している異物を舞い上がらせることが出来る。なお、本実施形態においては、把持装置２００が容器７００を傾斜させたり回転させたりするための構成については特に限定しない。把持装置２００は、既知の方法を用いて、容器７００を傾斜させたり回転させたりするよう構成して構わない。
　第１照明部３１０は、照明制御装置４００からの制御に応じて、容器７００内に充填された液体に対して光を照射する。図１は、側面方向からみた、第１照明部３１０と第２照明部３２０と容器７００の位置関係の一例を示しており、図２は、カメラ５００の撮影方向からみた、第１照明部３１０と第２照明部３２０と容器７００の位置関係の一例を示している。図１、図２で示すように、第１照明部３１０は、容器７００や把持装置２００からみてカメラ５００が設置される側とは反対側に設置されている。このような構成によると、第１照明部３１０は、容器７００越しにカメラ５００に対して光を照射する。その結果、図３で示すように、第１照明部３１０が光を照射している間、カメラ５００には、容器７００を透過した透過光が入射する。この際、容器７００の内部に光を透過しない異物が存在する場合には、光を透過しない異物により当該異物が存在する箇所の透過光が遮られる。例えば、図３では、黒色の丸により、光を透過しない異物が表されている。
　また、第１照明部３１０は、液晶などを用いたシャッター幕を有している。第１照明部３１０が有するシャッター幕は、第１照明部３１０が光を照射していないときに閉じる。そのため、第１照明部３１０は、光を照射する点灯状態と、シャッター幕が閉じている消灯状態と、の２つの状態をとることが出来る、ということも出来る。
　第２照明部３２０は、第１照明部３１０と同様に、照明制御装置４００からの制御に応じて、容器７００内に充填された液体に対して光を照射する。図１、図２で示すように、第２照明部３２０は、容器７００の例えば側面に設置されている。このような構成によると、第２照明部３２０は、容器７００の側面方向から光を照射する。その結果、図４で示すように、第２照明部３２０が光を照射している間、カメラ５００には、容器７００を透過した透過光が直接入射しない。なお、容器７００の内部に光を透過する異物が存在する場合には、容器７００内に存在する光を透過する異物が、光を乱反射させる。そのため、図４で示すように、容器７００の内部に光を透過する異物が存在する場合、第２照明部３２０が光を照射することで、異物により乱反射した乱反射光がカメラ５００に入射する。例えば、図４では、白色の丸により、光を透過する異物が表されている。
　また、第２照明部３２０は、液晶などを用いたシャッター幕を有することが出来る。第２照明部３２０が有するシャッター幕は、第１照明部３１０の場合と同様に、第２照明部３２０が光を照射していないときに閉じる。つまり、第２照明部３２０は、光を照射する点灯状態と、シャッター幕が閉じている消灯状態と、の２つの状態をとることが出来る、ということも出来る。なお、第２照明部３２０は、シャッター幕を有していなくても構わない。
　なお、第２照明部３２０の設置位置は、図１、図２で例示する場合に限定されない。第２照明部３２０は、第２照明部３２０が照射して容器７００を透過した透過光が直接、カメラ５００に入射しない位置ならば、斜め後方など図１、図２で例示する以外の位置に設置されていても構わない。
　照明制御装置４００は、第１照明部３１０と第２照明部３２０の点灯状態、消灯状態を制御することで、照明条件を切り替える制御装置である。図５は、照明制御装置４００の構成例を示している。図５を参照すると、照明制御装置４００は、例えば、制御部４１０を有している。
　照明制御装置４００は、例えば、ＣＰＵなどの演算装置と記憶装置とを有している。例えば、照明制御装置４００は、記憶装置が記憶するプログラムを演算装置が実行することで、上記処理部を実現する。照明制御装置４００は、ハードウェアにより上記処理部を実現しても構わない。
　制御部４１０は、第１照明部３１０や第２照明部３２０に点灯指示を送信することなどにより、第１照明部３１０や第２照明部３２０の状態を制御する。例えば、制御部４１０は、同一時刻において第１照明部３１０が点灯状態にあり第２照明部３２０が消灯状態にある第１状態、または、同一時刻において第１照明部３１０が消灯状態にあり第２照明部３２０が点灯状態にある第２状態、のいずれかになるように、第１照明部３１０や第２照明部３２０の状態を制御する。なお、上述したように、照明条件が第１状態にある場合、カメラ５００に対して容器７００を透過した透過光が入射する。一方、照明条件が第２状態にある場合、カメラ５００に対して容器７００を透過した透過光が入射しない。
　また、制御部４１０は、第１照明部３１０や第２照明部３２０の点灯間隔がカメラ５００の撮影間隔と同期するように、第１照明部３１０や第２照明部３２０の状態を制御することが出来る。換言すると、制御部４１０は、カメラ５００の撮影間隔に応じた間隔で第１状態と第２状態とを切り替えるよう、第１照明部３１０や第２照明部３２０を制御することが出来る。例えば、後述するように、カメラ５００は、１５０～２００ｆｐｓ程度の高フレームレートで画像データを取得する。そのため、制御部４１０は、０．００５秒～０．００６７秒、または、その倍数、の間隔で、第１状態と第２状態とを切り替えるよう、第１照明部３１０や第２照明部３２０を制御することが出来る。なお、制御部４１０は、カメラ５００との間で、間隔を同期するための必要な情報を送受信するよう構成しても構わない。
　図６は、制御部４１０による制御例を示している。例えば、制御部４１０は、図６で示すように、カメラ５００が撮影するごとに第１状態と第２状態とが切り替わるよう、第１照明部３１０や第２照明部３２０の状態を制御することが出来る。換言すると、制御部４１０は、第１状態と第２状態とが０．００５秒～０．００６７秒ごとなど等間隔で切り替わるように、第１照明部３１０や第２照明部３２０の状態を制御することが出来る。
　また、制御部４１０は、時間の経過とともに第１状態と第２状態とを切り替える間隔を変えるよう構成することが出来る。図７は、制御部４１０による他の制御例を示している。例えば、図７を参照すると、制御部４１０は、カメラ５００が２回撮影するまで第２状態を続けた後、第１状態に切り替える。例えば、制御部４１０は、第２状態を０．０１秒～０．０１３秒間続けた後、０．００５秒～０．００６７秒の間第１状態とする。制御部４１０は、このような切り替えを所定時間続ける。続いて、制御部４１０は、等間隔で第１状態と第２状態とを切り替える処理を所定時間続ける。その後、制御部４１０は、第１状態を０．０１秒～０．０１３秒間続けた後、０．００５秒～０．００６７秒の間第２状態とする切り替えを所定時間行う。このように、制御部４１０は、撮影開始直後に第１状態よりも第２状態を長くする一方で、時間の経過とともに第２状態よりも第１状態を長くするよう、切り替える間隔を変えることが出来る。なお、第２状態を０．０１５秒～０．０２秒間続けた後、０．００５秒～０．００６７秒の間第１状態とするなど、制御部４１０が第１状態と第２状態とを切り替える間隔は、任意に変更して構わない。また、第２状態の方が第１状態よりも長い切り替えを行う時間、等間隔の切り替えを行う時間、第１状態方が第２状態よりも長い切り替えを行う時間、それぞれの時間についても任意に設定して構わない。上述したように、一般に、光を透過する異物であるガラス片などは、ゴム片や髪の毛などの光を透過しない異物よりも比重が重く、容器７００内部に充填された液体内において、舞い上がった状態からより早く底に沈む。そのため、撮影開始後早期の段階で光を透過する異物を検出するのに好適な第２段階の割合を大きくし、時間の経過とともに光を透過しない異物を検出するのに好適な第１段階の割合を大きくすることで、異物の特性に沿った検出を行うことが可能となる。
　例えば、以上のように、制御部４１０は、第１状態と第２状態とが予め定められた間隔で切り替わるように、第１照明部３１０や第２照明部３２０の状態を制御することが出来る。
　カメラ５００は、容器７００を撮影することで画像データを取得する撮像装置である。例えば、カメラ５００は、容器７００を傾斜などさせた後、画像データの撮影を開始する。図１で示すように、カメラ５００は、把持装置２００からみて第１照明部３１０が位置する側とは反対側の所定位置に予め設置されている。カメラ５００は、間隔を同期するための必要な情報を照明制御装置４００との間で送受信するよう構成しても構わない。
　例えば、カメラ５００は、１５０～２００ｆｐｓ程度の高フレームレートで連続的に画像データを取得する。そして、カメラ５００は、取得した画像データを、撮影時刻を示す情報などとともに、判定装置６００へ対して送信する。カメラ５００は、上記例示した以外のフレームレートで画像データを取得しても構わない。
　なお、上述したように、第１照明部３１０や第２照明部３２０の状態は、照明制御装置４００により制御される。そのため、カメラ５００が取得する時系列の画像データは、第１状態において撮影した画像データと第２状態において撮影した画像データとが交互に存在するなど、第１状態において撮影した画像データと第２状態において撮影した画像データとが混ざったものとなる。
　判定装置６００は、カメラ５００が撮影・取得した画像データに基づいて、液体を充填した容器７００内部に混入している物体を検出して異物を判定する情報処理装置である。図８は、判定装置６００の構成例を示している。図８を参照すると、判定装置６００は、主な構成要素として、例えば、画面表示部６１０と、通信Ｉ／Ｆ部６２０と、記憶部６３０と、演算処理部６４０と、を有している。
　画面表示部６１０は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部６１０は、演算処理部６４０からの指示に応じて、画像情報６３１、追跡情報６３２、判定結果情報６３３などの記憶部６３０に格納された各種情報を画面表示することが出来る。
　通信Ｉ／Ｆ部６２０は、データ通信回路からなる。通信Ｉ／Ｆ部６２０は、通信回線を介して接続されたカメラ５００や外部装置などとの間でデータ通信を行う。
　記憶部６３０は、ハードディスクやメモリなどの記憶装置である。記憶部６３０は、演算処理部６４０における各種処理に必要な処理情報やプログラム６３４を記憶する。プログラム６３４は、演算処理部６４０に読み込まれて実行されることにより各種処理部を実現する。プログラム６３４は、通信Ｉ／Ｆ部６２０などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部６３０に保存されている。記憶部６３０で記憶される主な情報としては、例えば、画像情報６３１、追跡情報６３２、判定結果情報６３３などがある。
　画像情報６３１は、カメラ５００が取得した時系列の画像データを含んでいる。画像情報６３１においては、例えば、画像データと、画像データをカメラ５００が取得した日時を示す情報（撮影時刻を示す情報）と、が対応づけられている。
　図９は、画像情報６３１に含まれる時系列の画像データの一例を示している。図９を参照すると、画像情報６３１には、第１状態において撮影した画像データと第２状態において撮影した画像データとが混ざっている。上述したように、カメラ５００が画像データを取得する際には、照明制御装置４００により第１状態と第２状態とが切り替えられている。そのため、画像情報６３１として格納される画像データは、第１状態において撮影した画像データと第２状態において撮影した画像データとが交互に存在するなど、第１状態において撮影した画像データと第２状態において撮影した画像データとが混ざった状態になる。
　追跡情報６３２は、後述する追跡部６４４が追跡を行った結果に応じた情報を含んでいる。例えば、追跡情報６３２においては、物体ごとに与えられる識別情報と、物体の位置を示す時系列情報と、が対応づけられている。また、物体の位置を示す時系列情報には、例えば、時刻情報と、各時刻における物体の位置を示す座標などの位置情報と、が含まれている。
　なお、後述するように、追跡部６４４は、分割部６４２が画像情報６３１に含まれる時系列の画像データを、第１状態において撮影した時系列の画像データと第２状態において撮影した時系列の画像データとに分割した後に、分割後のそれぞれの時系列データに基づく追跡を行う。そのため、追跡情報６３２には、第１状態に対応する時系列データを用いた追跡を行った結果に応じた情報と、第２状態に対応する時系列データを用いた追跡を行った結果に応じた情報と、が含まれる。
　なお、追跡情報６３２には、上記例示したような物体の位置以外の情報が含まれても構わない。例えば、追跡情報６３２には、検出領域の面積を示す情報などが含まれていても構わない。
　判定結果情報６３３は、判定部６４５が判定した結果を示す情報を含んでいる。例えば、判定結果情報６３３においては、物体ごとに与えられる識別情報と、判定部６４５が追跡情報６３２に基づいて判定した結果を示す情報と、が対応づけられている。つまり、判定結果情報６３３には、検出した物体が異物、気泡、容器の傷や汚れなど、のうちのいずれに該当するかを示す情報が含まれている。
　演算処理部６４０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有する。演算処理部６４０は、記憶部６３０からプログラム６３４を読み込んで実行することにより、上記ハードウェアとプログラム６３４とを協働させて各種処理部を実現する。演算処理部６４０で実現される主な処理部としては、例えば、画像取得部６４１、分割部６４２、検出部６４３、追跡部６４４、判定部６４５、出力部６４６などがある。
　画像取得部６４１は、通信Ｉ／Ｆ部６２０を介して、カメラ５００から当該カメラ５００が取得した画像データを取得する。そして、画像取得部６４１は、取得した画像データを、例えば画像データの取得日時（撮影時刻を示す情報）と対応付けて、画像情報６３１として記憶部６３０に格納する。
　分割部６４２は、画像情報６３１に含まれる時系列の画像データを、第１状態において撮影した時系列の画像データと第２状態において撮影した時系列の画像データとに分割する。例えば、判定装置６００は、照明制御装置４００がどのような条件（どのような間隔で）で第１状態と第２状態とを切り替えるかを示す情報を有している。そこで、分割部６４２は、上記情報を用いて、画像データに対応する時刻などに基づいて、画像情報６３１に含まれる時系列の画像データを、第１状態において撮影した時系列の画像データと第２状態において撮影した時系列の画像データとに分割する。
　図１０は、分割部６４２による分割処理の一例を説明するための図である。図１０で示すように、分割部６４２は、第１状態において撮影した画像データと第２状態において撮影した画像データとが混ざった状態の画像情報６３１を、第１状態において撮影した時系列の画像データと、第２状態において撮影した時系列の画像データと、に分割する。
　なお、分割部６４２は、時刻以外の情報に基づいて時系列の画像データを分割しても構わない。例えば、分割部６４２は、画像データを２値化した際の明暗の割合などに基づいて、時系列の画像データを、第１状態において撮影した時系列の画像データと第２状態において撮影した時系列の画像データとに分割しても構わない。分割部６４２は、上記例示した方法を組み合わせて分割処理を行っても構わない。
　検出部６４３は、画像データに基づいて、容器７００や容器７００内に充填された液体に対応する領域内に存在する物体を検出する。例えば、検出部６４３は、画像データに対する２値化処理を行って、２値化処理の結果に基づいて物体を検出する。なお、検出部６４３は、そのほか既知の技術を用いて物体を検出しても構わない。
　本実施形態の場合、検出部６４３は、分割部６４２が分割した、第１状態において撮影した時系列の画像データそれぞれから物体を検出するとともに、第２状態において撮影した時系列の画像データそれぞれから物体を検出する。図３で示すように、第１状態においては、カメラ５００に透過光が入射する一方で、光を透過しない異物により当該異物が存在する箇所の透過光が遮られる。そのため、検出部６４３は、第１状態において撮影した画像データに基づいて、主に光を透過しない異物を含む物体を検出することが出来る。一方、図４で示すように、第２状態においては、カメラ５００に透過光が入射しない一方で、光を透過する異物による乱反射光がカメラ５００に入射する。そのため、検出部６４３は、第２状態において撮影した画像データに基づいて、主に光を透過する異物を含む物体を検出することが出来る。
　追跡部６４４は、検出部６４３が検出した物体の追跡を行う。上述したように、カメラ５００は、２００ｆｐｓなどの高フレームレートで画像データを取得している。そのため、撮影時刻が連続する（撮影時刻が所定値より近い）２つの画像データ間において、同一の物体の位置は極めて近いものと想定される。そこで、追跡部６４４は、検出部６４３が検出した物体の位置と、撮影時刻が一つ前（または、所定値内）の画像データにおいて検出部６４３が検出した物体の位置と、を比較する。そして、追跡部６４４は、物体間の距離が予め定められた閾値以下である物体が存在する場合、距離が閾値以下である、検出部６４３が検出した物体と撮影時刻が一つ前の画像データにおいて検出部６４３が検出した物体とが同一の物体であると判定する。この場合、追跡部６４４は、検出部６４３が検出した物体に、同一の物体と判断した物体に対して付与されているＩＤなどの識別情報を付与する。一方、撮影時刻が一つ前（または、所定値内）の画像データにおいて、検出部６４３が検出した物体との間の距離が予め定められた閾値以下となる物体が存在しない場合、追跡部６４４は新規な物体を検出したと判定する。この場合、追跡部６４４は、検出した物体に対して新たなＩＤなどの識別情報を付与する。
　例えば、以上のように、追跡部６４４は、異なる画像データにおける物体間の距離に基づく追跡を行うことで、検出部６４３が検出した物体に対して識別情報を与える。また、追跡部６４４は、検出部６４３が検出した物体の位置を示す座標を取得する。そして、追跡部６４４は、識別情報と画像データの撮影時刻を示す時刻情報と座標とを対応付けて、追跡情報６３２として記憶部６３０に格納する。
　なお、本実施形態の場合、追跡部６４４は、分割部６４２が分割した、第１状態において撮影した時系列の画像データに基づく追跡と、第２状態において撮影した時系列の画像データに基づく追跡と、を行う。つまり、追跡部６４４は、第１状態において撮影した時系列の画像データに基づく位置の比較を行うとともに、第２状態において撮影した時系列の画像データに基づく位置の比較を行う。上述したように、検出部６４３は、第１状態において撮影した画像データに基づいて、主に光を透過しない異物を含む物体を検出する。そのため、追跡部６４４は、第１状態において撮影した時系列の画像データに基づいて、主に光を透過しない異物を含む物体の追跡を行うことが出来る。一方、検出部６４３は、第２状態において撮影した画像データに基づいて、主に光を透過する異物を含む物体を検出する。そのため、追跡部６４４は、第２状態において撮影した時系列の画像データに基づいて、主に光を透過する異物を含む物体の追跡を行うことが出来る。
　判定部６４５は、追跡情報６３２に基づいて、検出部６４３が検出した物体が気泡と異物のいずれに該当するか判定する。そして、判定部６４５は、検出部６４３が検出した各物体の判定結果について、判定結果情報６３３として記憶部６３０に格納する。
　例えば、判定部６４５は、追跡情報６３２に基づいて物体が上方へと移動していると判断される場合、当該物体は気泡であると判定する。一方、判定部６４５は、追跡情報６３２に基づいて、物体が下方へと移動していると判断される場合、当該物体は異物であると判定する。例えば、以上のように、判定部６４５は、追跡情報６３２に基づいて物体の移動方向を判断することで、物体が気泡または異物のいずれであるかを判定することが出来る。なお、判定部６４５は、予め学習されたモデルなどを用いて上記判定を行うなど、上記例示した以外の方法により気泡と異物とを判定しても構わない。
　なお、上述したように、追跡情報６３２には、第１状態に対応する時系列データを用いた追跡を行った結果に応じた情報と、第２状態に対応する時系列データを用いた追跡を行った結果に応じた情報と、が含まれる。そのため、判定部６４５は、追跡情報６３２のうち第１状態に対応する時系列データを用いた追跡を行った結果に応じた情報に基づいて、物体が気泡または光を透過しない異物のいずれであるかを判定しても構わない。同様に、判定部６４５は、追跡情報６３２のうち第２状態に対応する時系列データを用いた追跡を行った結果に応じた情報に基づいて、物体が気泡または光を透過する異物のいずれであるかを判定しても構わない。このように、判定部６４５は、物体が気泡または異物のいずれであるかを判定するとともに、異物が光を透過するか否か判定することが出来る。
　なお、判定部６４５は、物体の判定を行う際、追跡情報６３２以外の情報を用いても構わない。例えば、判定部６４５は、物体の画像特徴、サイズや平均輝度値などを示す情報を併用して、物体の判定を行うことが出来る。物体のサイズや平均輝度値など動き以外の情報も併せて判断することによって、気泡や異物の特徴を総合的に判断できるため、より高い判定精度を得ることが可能になる。
　出力部６４６は、画像情報６３１、追跡情報６３２、判定結果情報６３３などを出力する。例えば、出力部６４６は、画像情報６３１、追跡情報６３２、判定結果情報６３３などを、画面表示部６１０上に画面表示したり、通信Ｉ／Ｆ部６２０を介して外部装置に対して送信したりすることが出来る。
　以上が、判定装置６００の構成例である。
　なお、判定装置６００は上述した以外の構成を有しても構わない。例えば、判定装置６００は、把持装置２００に対して傾斜・回転の指示をしたり傾斜・回転の停止を指示したりするよう構成することが出来る。
　容器７００は、ガラス瓶やペットボトルなどの透光性を有する容器である。容器７００の内部には、水や薬剤などの液体が充填されている。容器７００の内部には、異物が混入している可能性がある。異物としては、例えば、ゴム片、髪の毛、繊維片、煤などの光を透過しない異物や、ガラスやプラスチック片などの光を透過する異物が想定される。
　以上が、判定システム１００が有する把持装置２００、第１照明部３１０、第２照明部３２０、照明制御装置４００、カメラ５００、判定装置６００の構成例である。続いて、図１１、図１２を参照して、判定装置６００の動作例について説明する。
　図１１を参照すると、画像取得部６４１は、通信Ｉ／Ｆ部６２０を介して、カメラ５００から当該カメラ５００が取得した画像データを取得する（ステップＳ１０１）。画像取得部６４１は、第１状態において撮影した画像データと第２状態において撮影した画像データとが混ざった状態の時系列の画像データを取得する。
　分割部６４２は、時系列の画像データを、第１状態において撮影した時系列の画像データと第２状態において撮影した時系列の画像データとに分割する（ステップＳ１０２）。例えば、判定装置６００は、照明制御装置４００がどのような条件（どのような間隔で）で第１状態と第２状態とを切り替えるかを示す情報を有している。分割部６４２は、上記情報を用いて、画像情報６３１に含まれる時系列の画像データを、第１状態において撮影した時系列の画像データと第２状態において撮影した時系列の画像データとに分割する。分割部６４２は、上記例示した以外の方法を用いて分割処理を行っても構わない。
　検出部６４３は、第１状態において撮影した時系列の画像データに基づいて、容器７００や容器７００内に充填された液体に対応する領域内に存在する物体を検出する。（ステップＳ１１１）。ステップＳ１１１の処理において、検出部６４３は、主に光を透過しない異物を含む物体を検出する。なお、検出部６４３は、既知の技術を用いて物体を検出して構わない。
　追跡部６４４は、検出部６４３が検出した物体の追跡を行う（ステップＳ１１２）。つまり、追跡部６４４は、主に光を透過しない異物を含む物体の追跡を行う。例えば、追跡部６４４は、撮影時刻が近い（または連続する）画像データにおける物体間の距離に基づいて、物体を追跡する。
　画像データ内において検出部６４３が検出したすべての物体を追跡できていない場合（ステップＳ１１３、Ｎｏ）、追跡部６４４は、追跡していない物体の追跡を行う。一方、画像データ内において検出部６４３が検出したすべての物体を追跡できた場合（ステップＳ１１３、Ｙｅｓ）、追跡部６４４は、当該画像データに基づく追跡を完了する。
　分割部６４２が分割した、第１状態において撮影した時系列の画像データすべてについて追跡が完了した場合（ステップＳ１１４、Ｙｅｓ）、判定装置６００は第１状態において撮影した時系列の画像データに基づく処理を終了する。一方、未検出や未追跡の画像データがある場合（ステップＳ１１４、Ｎｏ）、判定装置６００は、検出部６４３による検出や追跡部６４４による追跡を続行する。
　また、検出部６４３は、第２状態において撮影した時系列の画像データに基づいて、容器７００や容器７００内に充填された液体に対応する領域内に存在する物体を検出する。（ステップＳ１２１）。ステップＳ１２１の処理において、検出部６４３は、主に光を透過する異物を含む物体を検出する。なお、検出部６４３は、既知の技術を用いて物体を検出して構わない。
　追跡部６４４は、検出部６４３が検出した物体の追跡を行う（ステップＳ１２２）。つまり、追跡部６４４は、主に光を透過する異物を含む物体の追跡を行う。例えば、追跡部６４４は、撮影時刻が近い（または連続する）画像データにおける物体間の距離に基づいて、物体を追跡する。
　画像データ内において検出部６４３が検出したすべての物体を追跡できていない場合（ステップＳ１２３、Ｎｏ）、追跡部６４４は、追跡していない物体の追跡を行う。一方、画像データ内において検出部６４３が検出したすべての物体を追跡できた場合（ステップＳ１２３、Ｙｅｓ）、追跡部６４４は、当該画像データに基づく追跡を完了する。
　分割部６４２が分割した、第２状態において撮影した時系列の画像データすべてについて追跡が完了した場合（ステップＳ１２４、Ｙｅｓ）、判定装置６００は第２状態において撮影した時系列の画像データに基づく処理を終了する。一方、未検出や未追跡の画像データがある場合（ステップＳ１２４、Ｎｏ）、判定装置６００は、検出部６４３による検出や追跡部６４４による追跡を続行する。
　以上が、判定装置６００の動作例である。なお、ステップＳ１１１からステップＳ１１４までの処理と、ステップＳ１２１からステップＳ１２４までの処理は並列で行って構わない。続いて、図１２を参照して、判定部６４５の処理例について説明する。
　図１２を参照すると、判定部６４５は、追跡情報６３２を取得する（ステップＳ２０１）。
　判定部６４５は、追跡情報６３２に基づいて、検出部６４３が検出した物体が気泡または異物のいずれであるかを判定する（ステップＳ２０２）。例えば、判定部６４５は、物体の移動方向に基づいて、物体が気泡または異物のいずれであるかを判定することが出来る。判定部６４５は、上記例示した以外の方法により判定を行っても構わない。なお、判定部６４５は、物体が気泡または異物のいずれであるかを判定するとともに、異物が光を透過する異物と光を透過しない異物のいずれであるかを判定しても構わない。
　以上が、判定部６４５の処理例である。
　このように、判定装置６００は、分割部６４２と検出部６４３と追跡部６４４と判定部６４５とを有している。このような構成により、追跡部６４４は、分割部６４２が分割した、第１状態において撮影した時系列の画像データに基づいて検出部６４３が検出した物体の追跡と、第２状態において撮影した時系列の画像データに基づいて検出部６４３が検出した物体の追跡と、を行うことが出来る。また、判定部６４５は、追跡部６４４による追跡の結果に基づく判定を行うことが出来る。これにより、連続的に撮影した時系列のデータに基づいて、光を透過する異物に好適な方法で検出、追跡、判定を行うとともに、光を透過しない異物に好適な方法で検出、追跡、判定を行うことが可能となる。その結果、精度よく効率的に異物を検出することが可能となる。
　なお、判定システム１００の構成は、本実施形態において例示した場合に限定されない。例えば、図１３で示すように、判定システム１００は、第３照明部３３０を有することが出来る。第３照明部３３０は、第２照明部３２０と同様の間隔で、容器７００内に充填された液体に対して光を照射する。図１３で示すように、第３照明部３３０は、例えば、容器７００の側面方向であって、当該容器７００からみて第２照明部３２０の設置位置とは反対側に設置することが出来る。このように、判定システム１００は、複数の照明を有していても構わない。
　また、本実施形態においては、１台の情報処理装置により判定装置６００としての機能を実現する場合について説明した。しかしながら、判定装置６００としての機能は、ネットワークを介して接続された複数台の情報処理装置により実現されても構わない。
　また、本実施形態において、判定システム１００は、照明制御装置４００と判定装置６００とを有するとした。しかしながら、判定装置６００が照明制御装置４００としての機能を有しても構わない。つまり、照明制御装置４００と判定装置６００とは一体的に構成することが出来る。判定装置６００が照明制御装置４００としての機能を有する場合、判定システム１００は、個別の照明制御装置４００を有さなくても構わない。
　また、本実施形態においては、照明条件の一例として、同一時刻において第１照明部３１０が点灯状態にあり第２照明部３２０が消灯状態にある第１状態と、同一時刻において第１照明部３１０が消灯状態にあり第２照明部３２０が点灯状態にある第２状態と、をあげた。しかしながら、照明条件は、必ずしも本実施形態で例示した場合に限定されない。例えば、照明条件には、同一時刻において第１照明部３１０が点灯状態にあり第２照明部３２０が点灯状態にある状態や、第１照明部３１０と第２照明部３２０とが消灯状態にあり第３照明部３３０が点灯状態にあるなど、上記例示した以外の状態が含まれても構わない。また、例えば、第１照明部３１０が点灯状態にあり第２照明部３２０が点灯状態にある状態と第１照明部３１０が消灯状態にあり第２照明部３２０が点灯状態にある状態を切り替えるなど、本実施形態で例示した以外の切り替えが行われても構わない。
［第２の実施形態］
　次に、図１４、図１５を参照して、本発明の第２の実施形態について説明する。第２の実施形態では、判定装置８００の構成の概要について説明する。
　図１４は、判定装置８００のハードウェア構成例を示している。図１４を参照すると、判定装置８００は、一例として、以下のようなハードウェア構成を有している。
　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）８０１（演算装置）
　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）８０２（記憶装置）
　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）８０３（記憶装置）
　・ＲＡＭ８０３にロードされるプログラム群８０４
　・プログラム群８０４を格納する記憶装置８０５
　・情報処理装置外部の記録媒体８１０の読み書きを行うドライブ装置８０６
　・情報処理装置外部の通信ネットワーク８１１と接続する通信インタフェース８０７
　・データの入出力を行う入出力インタフェース８０８
　・各構成要素を接続するバス８０９
　また、判定装置８００は、プログラム群８０４をＣＰＵ８０１が取得して当該ＣＰＵ８０１が実行することで、図１５に示す分割部８２１、判定部８２２としての機能を実現することが出来る。なお、プログラム群８０４は、例えば、予め記憶装置８０５やＲＯＭ８０２に格納されており、必要に応じてＣＰＵ８０１がＲＡＭ８０３などにロードして実行する。また、プログラム群８０４は、通信ネットワーク８１１を介してＣＰＵ８０１に供給されてもよいし、予め記録媒体８１０に格納されており、ドライブ装置８０６が該プログラムを読み出してＣＰＵ８０１に供給してもよい。
　なお、図１４は、判定装置８００のハードウェア構成例を示している。判定装置８００のハードウェア構成は上述した場合に限定されない。例えば、判定装置８００は、ドライブ装置８０６を有さないなど、上述した構成の一部から構成されてもよい。
　分割部８２１は、複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、照明条件に応じた時系列の画像データに分割する。例えば、照明条件には、画像データを取得する撮像装置に対して容器を透過した透過光が入射する第１状態と、画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第２状態と、を含むことが出来る。照明条件に第１状態と第２状態とを含む場合、分割部８２１は、取得した時系列の画像データを、第１状態で撮影した時系列の画像データと第２状態で撮影した時系列の画像データとに分割することが出来る。
　判定部８２２は、分割部８２１が分割した時系列の画像データそれぞれに基づいて、容器の内部に混入している異物を判定する。
　このように、判定装置８００は、分割部８２１と判定部８２２とを有している。このような構成によると、判定部８２２は、分割部８２１が分割した時系列の画像データそれぞれに基づいて、容器の内部に混入している異物を判定することが出来る。これにより、連続的に撮影した時系列のデータを撮影条件に基づいて分割した後判定することが可能となる。その結果、精度よく効率的に異物を検出することが可能となる。
　なお、上述した判定装置８００は、当該判定装置８００に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、判定装置８００に、複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、照明条件に応じた時系列の画像データに分割する分割部と、分割部が分割した時系列の画像データそれぞれに基づいて、容器の内部に混入している異物を判定する判定部と、を実現するためのプログラムである。
　また、上述した判定装置８００により実行される判定方法は、判定装置８００が、複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、照明条件に応じた時系列の画像データに分割し、分割した時系列の画像データそれぞれに基づいて、容器の内部に混入している異物を判定する、という方法である。
　上述した構成を有する、プログラム、又は、判定方法、の発明であっても、上記判定装置８００と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における判定装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
　複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
　前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
　を有する
　判定装置。
（付記２）
　付記１に記載の判定装置であって、
　前記照明条件には、画像データを取得する撮像装置に対して容器を透過した透過光が入射する第１状態と、画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第２状態と、が含まれている
　判定装置。
（付記３）
　付記２に記載の判定装置であって、
　画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第２状態の際には、前記第１状態において光を照射する照明部が有するシャッター幕が閉じた状態である
　判定装置。
（付記４）
　付記２または付記３に記載の判定装置であって、
　前記第１状態と前記第２状態とを切り替える間隔が時間の経過とともに変化している
　判定装置。
（付記５）
　付記１から付記４までのいずれか１項に記載の判定装置であって、
　前記分割部は、画像データを取得する撮像装置の撮影間隔に応じて前記照明条件を切り替えながら撮影することで取得した時系列の画像データを分割する
　判定装置。
（付記６）
　付記５に記載の判定装置であって、
　前記分割部は、画像データを取得した時刻を示す情報に基づいて、時系列の画像データを分割する
　判定装置。
（付記７）
　付記１から付記６までのいずれか１項に記載の判定装置であって、
　前記分割部が分割した時系列の画像データそれぞれに含まれる各画像データから物体を検出する検出部と、
　前記検出部が検出した前記物体を、前記分割部が分割した時系列の画像データごとに追跡する追跡部と、
　を有し、
　前記判定部は、前記追跡部による追跡の結果に基づいて、前記検出部が検出した前記物体が前記異物であるか否か判定する
　判定装置。
（付記８）
　付記７に記載の判定装置であって、
　前記判定部は、前記物体が気泡であるか、または、前記異物であるか、を判定する
　判定装置。
（付記９）
　付記７または付記８に記載の判定装置であって、
　前記判定部は、前記物体が前記異物であると判定するとともに、当該異物が光を透過するか否か判定する
　判定装置。
（付記１０）
　判定装置が、
　複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割し、
　分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する
　判定方法。
（付記１１）
　判定装置に、
　複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
　前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
　を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
（付記１２）
　画像データを取得する撮像装置に対して容器を透過した透過光が入射するよう光を照射する第１照明部と、
　画像データを取得する撮像装置に対して容器を透過した透過光が入射しないよう光を照射する第２照明部と、
　前記第１照明部が光を照射する第１状態と、前記第２照明部が光を照射する第２状態とを含む複数の照明条件が切り替わる環境下で、容器に充填された液体を撮影する撮像装置と、
　前記撮像装置が取得した時系列の画像データを前記照明条件に応じた時系列の画像データに分割する分割部と、前記分割部が分割した時系列の画像データそれぞれに基づいて前記容器の内部に混入している異物を判定する判定部と、を有する判定装置と、
　を有する
　判定システム。
（付記１３）
　付記１２に記載の判定システムであって、
　前記第１照明部は、光を照射していないときに閉じるシャッター幕を有している
　判定システム。
（付記１４）
　付記１２または付記１３に記載の判定システムであって、
　前記第１照明部が光を照射する前記第１状態と、前記第２照明部が光を照射する前記第２状態とを切り替える照明制御装置を有する
　判定システム。
（付記１５）
　付記１４に記載の判定システムであって、
　前記照明制御装置は、前記第１状態と前記第２状態とを等間隔で切り替える
　判定システム。
（付記１６）
　付記１４または付記１５に記載の判定システムであって、
　前記照明制御装置は、前記第１状態と前記第２状態とを切り替える間隔を、時間の経過とともに変化させる
　判定システム。
（付記１７）
　付記１４から付記１６までのいずれか１項に記載の判定システムであって、
　前記照明制御装置は、時間の経過とともに、前記第１状態よりも前記第２状態の方が長い状態から前記第２状態よりも前記第１状態の方が長い状態へと、前記第１状態と前記第２状態とを切り替える間隔を変化させる
　判定システム。
（付記１８）
　付記１４から付記１７までのいずれか１項に記載の判定システムであって、
　前記照明制御装置は、画像データを取得する撮像装置の撮影間隔に応じて、前記第１状態と前記第２状態とを切り替える
　判定システム。
　なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
　以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
１００　判定システム
２００　把持装置
３１０　第１照明部
３２０　第２照明部
３３０　第３照明部
４００　照明制御装置
４１０　制御部
５００　カメラ
６００　判定装置
６１０　画面表示部
６２０　通信Ｉ／Ｆ部
６３０　記憶部
６３１　画像情報
６３２　追跡情報
６３３　判定結果情報
６３４　プログラム
６４０　演算処理部
６４１　画像取得部
６４２　分割部
６４３　検出部
６４４　追跡部
６４５　判定部
６４６　出力部
７００　容器
８００　判定装置
８０１　ＣＰＵ
８０２　ＲＯＭ
８０３　ＲＡＭ
８０４　プログラム群
８０５　記憶装置
８０６　ドライブ装置
８０７　通信インタフェース
８０８　入出力インタフェース
８０９　バス
８１０　記録媒体
８１１　通信ネットワーク
８２１　分割部
８２２　判定部

 

Claims (18)

  1. 　複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
    　前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
    　を有する
    　判定装置。
  2. 　請求項１に記載の判定装置であって、
    　前記照明条件には、画像データを取得する撮像装置に対して容器を透過した透過光が入射する第１状態と、画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第２状態と、が含まれている
    　判定装置。
  3. 　請求項２に記載の判定装置であって、
    　画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第２状態の際には、前記第１状態において光を照射する照明部が有するシャッター幕が閉じた状態である
    　判定装置。
  4. 　請求項２または請求項３に記載の判定装置であって、
    　前記第１状態と前記第２状態とを切り替える間隔が時間の経過とともに変化している
    　判定装置。
  5. 　請求項１から請求項４までのいずれか１項に記載の判定装置であって、
    　前記分割部は、画像データを取得する撮像装置の撮影間隔に応じて前記照明条件を切り替えながら撮影することで取得した時系列の画像データを分割する
    　判定装置。
  6. 　請求項５に記載の判定装置であって、
    　前記分割部は、画像データを取得した時刻を示す情報に基づいて、時系列の画像データを分割する
    　判定装置。
  7. 　請求項１から請求項６までのいずれか１項に記載の判定装置であって、
    　前記分割部が分割した時系列の画像データそれぞれに含まれる各画像データから物体を検出する検出部と、
    　前記検出部が検出した前記物体を、前記分割部が分割した時系列の画像データごとに追跡する追跡部と、
    　を有し、
    　前記判定部は、前記追跡部による追跡の結果に基づいて、前記検出部が検出した前記物体が前記異物であるか否か判定する
    　判定装置。
  8. 　請求項７に記載の判定装置であって、
    　前記判定部は、前記物体が気泡であるか、または、前記異物であるか、を判定する
    　判定装置。
  9. 　請求項７または請求項８に記載の判定装置であって、
    　前記判定部は、前記物体が前記異物であると判定するとともに、当該異物が光を透過するか否か判定する
    　判定装置。
  10. 　判定装置が、
    　複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割し、
    　分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する
    　判定方法。
  11. 　判定装置に、
    　複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
    　前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
    　を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
  12. 　画像データを取得する撮像装置に対して容器を透過した透過光が入射するよう光を照射する第１照明部と、
    　画像データを取得する撮像装置に対して容器を透過した透過光が入射しないよう光を照射する第２照明部と、
    　前記第１照明部が光を照射する第１状態と、前記第２照明部が光を照射する第２状態とを含む複数の照明条件が切り替わる環境下で、容器に充填された液体を撮影する撮像装置と、
    　前記撮像装置が取得した時系列の画像データを前記照明条件に応じた時系列の画像データに分割する分割部と、前記分割部が分割した時系列の画像データそれぞれに基づいて前記容器の内部に混入している異物を判定する判定部と、を有する判定装置と、
    　を有する
    　判定システム。
  13. 　請求項１２に記載の判定システムであって、
    　前記第１照明部は、光を照射していないときに閉じるシャッター幕を有している
    　判定システム。
  14. 　請求項１２または請求項１３に記載の判定システムであって、
    　前記第１照明部が光を照射する前記第１状態と、前記第２照明部が光を照射する前記第２状態とを切り替える照明制御装置を有する
    　判定システム。
  15. 　請求項１４に記載の判定システムであって、
    　前記照明制御装置は、前記第１状態と前記第２状態とを等間隔で切り替える
    　判定システム。
  16. 　請求項１４または請求項１５に記載の判定システムであって、
    　前記照明制御装置は、前記第１状態と前記第２状態とを切り替える間隔を、時間の経過とともに変化させる
    　判定システム。
  17. 　請求項１４から請求項１６までのいずれか１項に記載の判定システムであって、
    　前記照明制御装置は、時間の経過とともに、前記第１状態よりも前記第２状態の方が長い状態から前記第２状態よりも前記第１状態の方が長い状態へと、前記第１状態と前記第２状態とを切り替える間隔を変化させる
    　判定システム。
  18. 　請求項１４から請求項１７までのいずれか１項に記載の判定システムであって、
    　前記照明制御装置は、画像データを取得する撮像装置の撮影間隔に応じて、前記第１状態と前記第２状態とを切り替える
    　判定システム。

     
PCT/JP2020/017750 2020-04-24 2020-04-24 判定装置 WO2021214995A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022516808A JP7567905B2 (ja) 2020-04-24 2020-04-24 判定システム
US17/919,584 US20230154012A1 (en) 2020-04-24 2020-04-24 Determination apparatus
EP20932428.4A EP4141422A4 (en) 2020-04-24 2020-04-24 DETERMINING DEVICE
PCT/JP2020/017750 WO2021214995A1 (ja) 2020-04-24 2020-04-24 判定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/017750 WO2021214995A1 (ja) 2020-04-24 2020-04-24 判定装置

Publications (1)

Publication Number Publication Date
WO2021214995A1 true WO2021214995A1 (ja) 2021-10-28

Family

ID=78270624

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/017750 WO2021214995A1 (ja) 2020-04-24 2020-04-24 判定装置

Country Status (4)

Country Link
US (1) US20230154012A1 (ja)
EP (1) EP4141422A4 (ja)
JP (1) JP7567905B2 (ja)
WO (1) WO2021214995A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5011094A (ja) * 1973-05-29 1975-02-04
JPH0792109A (ja) * 1993-09-22 1995-04-07 Shibuya Kogyo Co Ltd 異物検査装置
JP2003107010A (ja) 2001-09-28 2003-04-09 Hitachi Eng Co Ltd 透明容器等の充填液中の異物検出装置
JP2010048712A (ja) * 2008-08-22 2010-03-04 Olympus Corp 欠陥検査装置
JP2010181231A (ja) * 2009-02-04 2010-08-19 Hitachi Information & Control Solutions Ltd 不透明溶液中の異物検査装置および異物検査方法
JP2011085575A (ja) * 2009-09-16 2011-04-28 Hitachi Computer Peripherals Co Ltd 流動物内の異物検出方法、異物検出装置及び異物検出プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60223956T3 (de) * 2001-03-14 2011-05-19 Hitachi Information & Control Solutions, Ltd., Hitachi Untersuchungsgerät und System zur Untersuchung von Fremdkörpern in mit Flüssigkeit gefüllten Behältern

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5011094A (ja) * 1973-05-29 1975-02-04
JPH0792109A (ja) * 1993-09-22 1995-04-07 Shibuya Kogyo Co Ltd 異物検査装置
JP2003107010A (ja) 2001-09-28 2003-04-09 Hitachi Eng Co Ltd 透明容器等の充填液中の異物検出装置
JP2010048712A (ja) * 2008-08-22 2010-03-04 Olympus Corp 欠陥検査装置
JP2010181231A (ja) * 2009-02-04 2010-08-19 Hitachi Information & Control Solutions Ltd 不透明溶液中の異物検査装置および異物検査方法
JP2011085575A (ja) * 2009-09-16 2011-04-28 Hitachi Computer Peripherals Co Ltd 流動物内の異物検出方法、異物検出装置及び異物検出プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Hitachi High Resolution Inspection System HR", TECHNOLOGIES, June 2015 (2015-06-01) *
See also references of EP4141422A4

Also Published As

Publication number Publication date
EP4141422A1 (en) 2023-03-01
EP4141422A4 (en) 2023-06-21
JP7567905B2 (ja) 2024-10-16
US20230154012A1 (en) 2023-05-18
JPWO2021214995A1 (ja) 2021-10-28

Similar Documents

Publication Publication Date Title
KR101205039B1 (ko) 눈 검출 시스템 및 그 동작 방법
US8179434B2 (en) System and method for imaging of curved surfaces
JP4985651B2 (ja) 光源制御装置、光源制御方法および光源制御プログラム
CN105359502B (zh) 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质
CN105765558A (zh) 低功率眼睛跟踪系统和方法
JP2007028555A (ja) カメラシステム，情報処理装置，情報処理方法，およびコンピュータプログラム
KR102100496B1 (ko) 드론 및 레이저스캐너를 이용한 콘크리트 구조물 균열 검사 시스템 및 방법
JP7234502B2 (ja) 方法、装置、及びプログラム
CN103299238A (zh) 成像装置及其发光量控制方法
EP3511773A1 (en) Image inspection device and illumination device
WO2021214995A1 (ja) 判定装置
CN105938410A (zh) 显示装置以及显示装置的控制方法
CN112752003A (zh) 一种补光方法、装置、补光设备和监控设备
US20230056791A1 (en) Robot cleaner
US11443851B2 (en) Cancer test system and method for assessing cancer test
US20230342909A1 (en) System and method for imaging reflecting objects
JP2017191544A (ja) 火災検知装置及び火災検知方法
KR101002072B1 (ko) 펄스 구동 방식의 투영 영상 터치 장치
JPH0579999A (ja) びん内沈降異物の検査装置
CN108668089A (zh) 信息处理装置、信息处理方法以及记录介质
KR20150031997A (ko) 홍수 예보 영상 관리 시스템
JP2013101028A (ja) 油漏れ検出装置
US8573786B2 (en) Projector apparatus and method for dynamically masking objects
WO2021214820A1 (ja) 把持装置
JP7544133B2 (ja) 検査装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20932428

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022516808

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020932428

Country of ref document: EP

Effective date: 20221124

NENP Non-entry into the national phase

Ref country code: DE