WO2018198591A1 - 不要物検出システム、不要物除去システム、処理システム及びプログラム - Google Patents

不要物検出システム、不要物除去システム、処理システム及びプログラム Download PDF

Info

Publication number
WO2018198591A1
WO2018198591A1 PCT/JP2018/010500 JP2018010500W WO2018198591A1 WO 2018198591 A1 WO2018198591 A1 WO 2018198591A1 JP 2018010500 W JP2018010500 W JP 2018010500W WO 2018198591 A1 WO2018198591 A1 WO 2018198591A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
light
irradiated
wavelength
imaging
Prior art date
Application number
PCT/JP2018/010500
Other languages
English (en)
French (fr)
Inventor
昭博 安田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2018198591A1 publication Critical patent/WO2018198591A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23N—MACHINES OR APPARATUS FOR TREATING HARVESTED FRUIT, VEGETABLES OR FLOWER BULBS IN BULK, NOT OTHERWISE PROVIDED FOR; PEELING VEGETABLES OR FRUIT IN BULK; APPARATUS FOR PREPARING ANIMAL FEEDING- STUFFS
    • A23N15/00—Machines or apparatus for other treatment of fruits or vegetables for human purposes; Machines or apparatus for topping or skinning flower bulbs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/85—Investigating moving fluids or granular solids

Definitions

  • This disclosure relates to an unnecessary object detection system, an unnecessary object removal system, a processing system, and a program.
  • Patent Document 1 describes a foreign matter removing device that removes sprouts of foreign matter.
  • the foreign matter removing apparatus described in Patent Literature 1 includes a fluorescent lamp, a CCD camera, and a foreign matter recognition controller.
  • the foreign matter removing apparatus described in Patent Document 1 the bean sprouts conveyed by the conveyor are imaged by the CCD camera, and the foreign matter recognition controller mixes a predetermined density portion into the bean sprouts by image processing by multi-stage grayscale processing. It is detected as a foreign object.
  • the unwanted object detection system includes a first illumination system, a second illumination system, an imaging system, and a processing system.
  • the first illumination system irradiates food with first light including a first wavelength.
  • the second illumination system irradiates the food with second light including a second wavelength different from the first wavelength.
  • the imaging system images the food that is irradiated with the first light and the food that is irradiated with the second light.
  • the processing system includes pixel values between corresponding pixels in the first captured image of the food that is irradiated with the first light and the second captured image of the food that is irradiated with the second light. If there is a region where the absolute value of the difference is greater than or equal to the threshold value, it is determined that there is an unnecessary object in the food.
  • An unnecessary object removal system includes the unnecessary object detection system and a removal system.
  • the removal system removes, from the food, the unnecessary material that is determined to be present in the food by the unnecessary material detection system.
  • a processing system includes a first lighting system that irradiates food with first light including a first wavelength, and second light that includes a second wavelength different from the first wavelength.
  • the processing system includes a first irradiation control unit that controls the first lighting system to irradiate the food with the first light.
  • the processing system includes a second irradiation control unit that controls the second lighting system to irradiate the food with the second light.
  • the processing system includes an imaging control unit that controls the imaging system so as to image the food in a state of being irradiated with the first light and the food in a state of being irradiated with the second light. .
  • the processing system includes pixel values between corresponding pixels in the first captured image of the food that is irradiated with the first light and the second captured image of the food that is irradiated with the second light.
  • a determination unit that determines that there is an unnecessary object in the food when there is a region where the absolute value of the difference is greater than or equal to a threshold value.
  • a program according to an aspect of the present disclosure is a program for causing a computer to execute a first irradiation control step, a second irradiation control step, an imaging control step, and a determination step.
  • the first irradiation control step the first lighting system is controlled so as to irradiate the food with the first light including the first wavelength.
  • the second illumination system is controlled so as to irradiate the food with second light including a second wavelength different from the first wavelength.
  • the imaging control step the imaging system is controlled so as to image the food that is irradiated with the first light and the food that is irradiated with the second light.
  • a pixel value between corresponding pixels in the first captured image of the food irradiated with the first light and the second captured image of the food irradiated with the second light If there is a region where the absolute value of the difference is greater than or equal to the threshold value, it is determined that there is an unnecessary object in the food.
  • the unnecessary object detection system, the unnecessary object removal system, the processing system, and the program according to the above aspect of the present disclosure can easily detect the unnecessary object in the food.
  • FIG. 1 is a block diagram of an unnecessary object removal system according to Embodiment 1 of the present disclosure.
  • FIG. 2 is a perspective view of the above-described unnecessary object removal system.
  • FIG. 3 is a diagram showing food.
  • FIG. 4A is a diagram illustrating a captured image of food when irradiated with light having a wavelength of 400 nm.
  • FIG. 4B is a diagram illustrating a captured image of food when irradiated with light having a wavelength of 410 nm.
  • FIG. 4C is a diagram illustrating a captured image of food when irradiated with light having a wavelength of 420 nm.
  • FIG. 4A is a diagram illustrating a captured image of food when irradiated with light having a wavelength of 400 nm.
  • FIG. 4B is a diagram illustrating a captured image of food when irradiated with light having a wavelength of 410 nm.
  • FIG. 4C is a diagram illustrating
  • FIG. 5A is a diagram illustrating a captured image of food when light having a wavelength of 490 nm is irradiated.
  • FIG. 5B is a diagram illustrating a captured image of food when irradiated with light having a wavelength of 500 nm.
  • FIG. 5C is a diagram illustrating a captured image of food when irradiated with light having a wavelength of 510 nm.
  • FIG. 6A is a diagram illustrating a captured image of food when light having a wavelength of 580 nm is irradiated.
  • FIG. 6B is a diagram illustrating a captured image of food when light having a wavelength of 590 nm is irradiated.
  • FIG. 5A is a diagram illustrating a captured image of food when light having a wavelength of 490 nm is irradiated.
  • FIG. 5B is a diagram illustrating a captured image of food when irradiated with light having a wavelength of 500 nm
  • FIG. 6C is a diagram illustrating a captured image of food when irradiated with light having a wavelength of 800 nm.
  • FIG. 7A is a diagram illustrating a captured image of food when light having a wavelength of 940 nm is irradiated.
  • FIG. 7B is a diagram illustrating a captured image of food when light having a wavelength of 950 nm is irradiated.
  • FIG. 7C is a diagram illustrating a captured image of food when light having a wavelength of 960 nm is irradiated.
  • FIG. 7D is a diagram illustrating a captured image of food when irradiated with light having a wavelength of 1000 nm.
  • FIG. 8A is a diagram illustrating food.
  • FIG. 8A is a diagram illustrating food.
  • FIG. 8B is a diagram illustrating a first captured image of food when irradiated with light having a wavelength of 400 nm.
  • FIG. 8C is a diagram illustrating a second captured image of food when light having a wavelength of 500 nm is irradiated.
  • FIG. 8D is a diagram illustrating a difference image based on a difference between the first captured image and the second captured image.
  • FIG. 9 is a perspective view of an unnecessary object removal system according to a modification of the first embodiment of the present disclosure.
  • the present disclosure has been made in view of the above points, and an object of the present disclosure is to provide an unnecessary object detection system, an unnecessary object removal system, a processing system, and a program capable of easily detecting an unnecessary object in food. There is to do.
  • An unnecessary object detection system detects an unnecessary object existing in food using a difference between pixel values of a captured image of food when light having different wavelengths is irradiated.
  • the unnecessary object detection system 1 includes a first illumination system 2, a second illumination system 3, an imaging system 4, and a processing system 5. Is provided.
  • the unnecessary object detection system 1 is configured to detect unnecessary substances present in food.
  • the food is, for example, potato, radish or carrot.
  • the shape of the food may be a mash-like potato when the food is potato, or may be a thinly sliced product.
  • Unnecessary items are objects that are ultimately unnecessary in the food processing process.For example, items that exist in the food before the processing process, residues that remain without being removed in the processing process, and are removed in the processing process. It is a deposit that has adhered, or a foreign object that does not originate from food. Unnecessary items are, for example, food peels and food buds. In the following embodiment, a case where the food is potato and the unnecessary material is potato skin will be described.
  • FIGS. 5A to 5C, FIGS. 6A to 6C, and FIGS. explain.
  • the potato (food 8) and the potato skin (unnecessary material 81) are shown in FIG.
  • a captured image 9a having a large pixel value (luminance) is obtained in both the potato region and the skin region.
  • a captured image 9c having a large pixel value in the potato skin region but a small pixel value in the potato skin region 90 is obtained.
  • a captured image 9b as shown in FIG. 4B is obtained.
  • a captured image 9d as shown in FIG. 5A When light with a wavelength of 490 nm is irradiated, a captured image 9d as shown in FIG. 5A is obtained. When light with a wavelength of 500 nm is irradiated, a captured image 9e as shown in FIG. 5B is obtained, and light with a wavelength of 510 nm is obtained. Is emitted, a captured image 9f as shown in FIG. 5C is obtained. In these captured images 9d to 9f, the brightness of the potato skin region 90 is lower than that of the captured image 9c. That is, in the captured images 9d to 9f, the contrast between the potato region and the potato skin region is higher than that of the captured image 9c.
  • a captured image 9g as shown in FIG. 6A When light having a wavelength of 580 nm is irradiated, a captured image 9g as shown in FIG. 6A is obtained. In the captured image 9g, the brightness of the potato skin region 90 is lower than that of the potato region, but the contrast is lower than that of the captured images 9d to 9f.
  • a captured image 9h as shown in FIG. 6B is obtained. In the captured image 9h, the luminance difference between the potato region and the potato skin region is small.
  • a captured image 9i as shown in FIG. 6C When light with a wavelength of 800 nm is irradiated, a captured image 9i as shown in FIG. 6C is obtained. In the captured image 9i, the brightness of both the potato region and the potato skin region is high, and the contrast is low.
  • a captured image 9j as shown in FIG. 7A When light with a wavelength of 940 nm is irradiated, a captured image 9j as shown in FIG. 7A is obtained, and when light with a wavelength of 950 nm is irradiated, a captured image 9k as shown in FIG. 7B is obtained. Further, when light with a wavelength of 960 nm is irradiated, a captured image 9l as shown in FIG. 7C is obtained, and when light with a wavelength of 1000 nm is irradiated, a captured image 9m as shown in FIG. 7D is obtained. In these captured images 9j to 9m, the contrast between the potato region and the potato skin region is lower than that of the captured images 9c to 9g.
  • the 1st illumination system 2 of Embodiment 1 is provided with multiple (it is two in FIG. 1) illuminating devices 21 and 22 as shown in FIG.
  • Each of the lighting devices 21 and 22 is a device in which a plurality of light sources are provided side by side in one direction.
  • the plurality of lighting devices 21 and 22 are provided at different positions.
  • the lighting device 21 irradiates the imaging region of the imaging system 4 with the first light from the front side of the imaging system 4 in the conveyance direction D1 of the conveyance mechanism 61 that conveys the food 8.
  • the illumination device 22 irradiates the imaging region with the first light from the traveling side with respect to the imaging system 4 in the transport direction D1.
  • each illuminating device 21 and 22 is provided so that the direction where the several light source is located in a line is orthogonal to the conveyance direction D1.
  • the first lighting system 2 is configured to irradiate the food 8 with the first light including the first wavelength.
  • the first wavelength is preferably included in a wavelength band of 360 nm or more and 400 nm or less, and more preferably 400 nm.
  • the second lighting system 3 of the first embodiment includes a plurality (two in FIG. 1) of lighting devices 31 and 32 as in the first lighting system 2.
  • the plurality of lighting devices 31 and 32 are provided at different positions. Specifically, the plurality of lighting devices 31 and 32 correspond to the plurality of lighting devices 21 and 22 of the first lighting system 2 on a one-to-one basis, and are provided adjacent to the corresponding lighting devices 21 and 22. ing.
  • the illumination device 31 irradiates the imaging region of the imaging system 4 with the second light from the front side of the imaging system 4 in the conveyance direction D1 of the conveyance mechanism 61.
  • the illumination device 32 irradiates the imaging region with the second light from the traveling side with respect to the imaging system 4 in the transport direction D1.
  • the second lighting system 3 is configured to irradiate the food 8 with the second light including the second wavelength.
  • the second wavelength is a wavelength different from the first wavelength, and is preferably included in a wavelength band of 420 nm or more and 580 nm or less, and more preferably 500 nm.
  • the imaging system 4 is configured to image the food 8 that is irradiated with the first light and the food 8 that is irradiated with the second light.
  • the imaging system 4 includes one imaging device 41.
  • the imaging device 41 is, for example, a line sensor camera in which a plurality of imaging elements are arranged in one direction, and is configured to capture the food 8 with reflected light reflected by the food 8.
  • the imaging device 41 images the food 8 in a state of being irradiated with the first light and the food 8 in a state of being irradiated with the second light in a time division manner.
  • the processing system 5 includes a control device 51 and an image processing device 52 as shown in FIG.
  • the control device 51 and the image processing device 52 may be provided integrally or may be provided separately.
  • the control device 51 has a first irradiation control unit that controls the first lighting system 2 so as to irradiate the food 8 (see FIG. 2) with the first light.
  • the control device 51 includes a second irradiation control unit that controls the second illumination system 3 so as to irradiate the food 8 with the second light.
  • the control device 51 includes an imaging control unit that controls the imaging system 4 so as to image the food 8 in a state where the first light is irradiated and the food 8 in a state where the second light is irradiated.
  • the control device 51 includes a conveyance control unit that controls a conveyance system 6 described later, and a removal control unit that controls the removal system 7.
  • the control device 51 is a computer equipped with a processor and a memory.
  • the control device 51 stores a program for having the above functions.
  • the image processing device 52 is configured to perform image processing on a captured image obtained by imaging of the imaging system 4.
  • the image processing device 52 includes a first captured image 91 (see FIG. 8B) of the food 8 irradiated with the first light and a second captured image 92 of the food 8 irradiated with the second light (see FIG. 8C). ), It is determined that there is an unnecessary object 81 in the food 8 when there is a region where the absolute value of the pixel value difference between the corresponding pixels is equal to or greater than the threshold value.
  • the image processing device 52 specifies the position of the area where the unnecessary object 81 exists by specifying the position of the area where the difference absolute value is greater than or equal to the threshold value in the first captured image 91.
  • the image processing device 52 is a computer equipped with a processor and a memory.
  • the image processing device 52 stores a program for having the above functions.
  • the unwanted object removal system 10 includes an unnecessary object detection system 1, a transport system 6, and a removal system 7.
  • the transport system 6 includes a transport mechanism 61 such as a belt conveyor, and a drive device 62 that drives the transport mechanism 61.
  • the transport system 6 transports the food 8 from the imaging area of the imaging system 4 to the removal area of the removal system 7.
  • the removal system 7 includes a removal mechanism 71 such as a parallel link robot and a drive device 72 that drives the removal mechanism 71.
  • the removal system 7 removes from the food 8 the unnecessary material 81 determined to be present in the food 8 by the unnecessary material detection system 1. More specifically, the drive device 72 receives from the control device 51 a control signal for removing the unnecessary object 81 and the position coordinates of the unnecessary object 81. Based on the control of the drive device 72, the removal mechanism 71 sucks the unnecessary material 81 and removes the unnecessary material 81 from the food 8.
  • the removal mechanism 71 may be configured to grip the unnecessary object 81 instead of sucking the unnecessary object 81.
  • the first lighting system 2 irradiates the food 8 transported by the transport system 6 with the first light including the first wavelength (wavelength 400 nm).
  • the imaging device 41 of the imaging system 4 images the food 8 that is being irradiated with the first light.
  • the image processing device 52 acquires the first captured image 91 (see FIG. 8B) of the food 8 irradiated with the first light from the imaging system 4.
  • the first lighting system 2 is stopped, and the second lighting system 3 irradiates the food 8 with the second light including the second wavelength (wavelength 500 nm).
  • the imaging device 41 of the imaging system 4 images the food 8 that is being irradiated with the second light.
  • the image processing device 52 acquires the second captured image 92 (see FIG. 8C) of the food 8 irradiated with the second light from the imaging system 4.
  • the image processing device 52 calculates a difference absolute value of pixel values between corresponding pixels in the first captured image 91 and the second captured image 92, and uses the difference absolute value as a pixel value (see FIG. 8D). ) Is generated.
  • the image processing device 52 performs binarization processing on the difference image 94 using a threshold value.
  • the image processing device 52 performs a blob process (Blob process) on the binarized image generated by the binarization process. Then, the image processing device 52 sets the area 95 (see FIG. 8D) in which the difference absolute value is equal to or greater than the threshold and the number of connected pixels is equal to or greater than the predetermined number as the area where the unnecessary object 81 exists. To detect.
  • the brightness of both the potato area that is the food 8 and the potato skin area that is the unnecessary object 81 is high.
  • the luminance of the potato skin region 93 is lower than that in the first captured image 91.
  • the difference image 94 the brightness
  • the control device 51 When the unwanted object 81 is detected in the unwanted object detection system 1, the control device 51 outputs a control signal for removing the unwanted object 81 and the position coordinates of the unwanted object 81 to the drive device 72 of the removal system 7. To do.
  • the drive device 72 In the removal system 7, when the drive device 72 receives the control signal and the position coordinate from the control device 51, the drive device 72 drives the removal mechanism 71 so as to remove the unnecessary object 81 at the received position coordinate.
  • the first wavelength of the first light from the first illumination system 2 may be included in a wavelength band of 800 nm to 1000 nm. In this case, the first wavelength is more preferably 950 nm.
  • the second wavelength of the second light from the second illumination system 3 is included in a wavelength band of 420 nm or more and 580 nm or less.
  • the unnecessary object detection system 1 may include three or more illumination systems that irradiate light having different wavelengths. In this case, switching can be performed according to the light absorption characteristics of the unwanted material.
  • the imaging system 4 may include an imaging device that is a color camera instead of the imaging device 41.
  • the imaging device images the food 8 in a state where both the first light and the second light are irradiated.
  • the processing system 5 generates a first captured image 91 and a second captured image 92 from the captured image of the food 8 irradiated with both the first light and the second light.
  • the processing system 5 generates a first captured image of the food 8 irradiated with the first light by extracting a first wavelength component from the captured image of the food 8.
  • the processing system 5 generates a second captured image of the food 8 irradiated with the second light by extracting a second wavelength component from the captured image of the food 8.
  • the imaging system 4 may include a first imaging device 42 and a second imaging device 43 as shown in FIG. 9 instead of the imaging device 41.
  • the first imaging device 42 images the food 8 that is being irradiated with the first light.
  • the second imaging device 43 is separate from the first imaging device 42 and images the food 8 in a state where the second light is irradiated.
  • the imaging system 4 may include an area sensor camera instead of the line sensor camera.
  • the unnecessary object detection system (1) includes a first illumination system (2), a second illumination system (3), an imaging system (4), and a processing system (5).
  • the first lighting system (2) irradiates the food (8) with the first light including the first wavelength.
  • the second lighting system (3) irradiates the food (8) with a second light including a second wavelength different from the first wavelength.
  • the imaging system (4) images the food (8) that is irradiated with the first light and the food (8) that is irradiated with the second light.
  • the processing system (5) includes a first captured image (91) of the food (8) irradiated with the first light and a second captured image (92) of the food (8) irradiated with the second light. When there is a region where the absolute value of the pixel value difference between the corresponding pixels is equal to or greater than the threshold value, it is determined that the food (8) has an unnecessary object (81).
  • the unnecessary object detection system (1) irradiates the first captured image (91) when the first light including the first wavelength is irradiated and the second light including the second wavelength.
  • the second captured image (92) when there is a region where the absolute value of the difference between the corresponding pixel values (luminance in the case of a gray image) is greater than or equal to the threshold value, it is not necessary for the food (8) It is determined that the object (81) exists. Thereby, even if the food (8) and the unwanted object (81) have relatively close colors, the difference in wavelength absorption characteristics between the food (8) and the unwanted object (81) Can be used to easily detect the unwanted substance (81) in the food (8).
  • the first wavelength is included in a wavelength band of 360 nm to 400 nm.
  • the second wavelength is included in a wavelength band of 420 nm or more and 580 nm or less.
  • the first wavelength is included in the wavelength band of 360 nm or more and 400 nm or less
  • the second wavelength is included in the wavelength band of 420 nm or more and 580 nm or less.
  • the first wavelength is included in a wavelength band of 800 nm to 1000 nm.
  • the second wavelength is included in a wavelength band of 420 nm or more and 580 nm or less.
  • the first wavelength is included in the wavelength band of 800 nm to 1000 nm
  • the second wavelength is included in the wavelength band of 420 nm to 580 nm.
  • the processing system (5) has a difference absolute value threshold in the first captured image (91). By specifying the position of the area that is equal to or greater than the value, the position of the area where the unnecessary object (81) exists is specified.
  • the unwanted object (81) is present by specifying the position of the region where the absolute difference value is equal to or greater than the threshold value in the first captured image (91).
  • the position of the area to be specified is specified.
  • the imaging system (4) is configured such that the food (8) in a state in which the first light is irradiated. And an imaging device (41) that images food (8) in a state of being irradiated with the second light in a time-sharing manner.
  • the imaging device (41) of the imaging system (4) is irradiated with the food (8) and the second light irradiated with the first light.
  • the food (8) in a state of being taken is imaged in a time division manner.
  • an imaging device is divided by the case where the foodstuff (8) in the state irradiated with the 1st light is imaged, and the case where the foodstuff (8) in the state where the 2nd light is irradiated is imaged.
  • the first captured image (91) and the second captured image (92) can be acquired without increasing the number of imaging devices.
  • the imaging system (4) is a color camera, and includes a first light and a second light.
  • the imaging device which images the foodstuff (8) in the state where both are irradiated is included.
  • the processing system (5) generates a first captured image (91) and a second captured image (92) from the captured image of the food (8) irradiated with both the first light and the second light. Generate.
  • the imaging device of the imaging system (4) is a color camera, and the food in a state where both the first light and the second light are irradiated. (8) is imaged.
  • a processing system (5) is a 1st picked-up image (91) and a 2nd picked-up image (92) from the picked-up image of the foodstuff (8) to which both 1st light and 2nd light were irradiated. And generate Thereby, compared with the case where the food (8) in the state irradiated with the first light and the food (8) in the state irradiated with the second light are separately imaged, the first captured image ( 91) and the second captured image (92) can be acquired in a short time.
  • the imaging system (4) includes the food (8) in a state where the first light is irradiated.
  • the first imaging device (42) that captures the image and the first imaging device (42) are separate from each other, and the second imaging device (80) that captures the food (8) that is irradiated with the second light ( 43).
  • the imaging device that images the food (8) that is irradiated with the first light, and the food that is irradiated with the second light ( 8) is separate from the image pickup apparatus that picks up images.
  • the imaging device which images the food (8) in the state irradiated with the first light is the same as the imaging device which images the food (8) in the state irradiated with the second light.
  • the first captured image (91) and the second captured image (92) can be acquired in a short time.
  • the imaging system (4) includes a line sensor camera.
  • the imaging system (4) includes a line sensor camera. Thereby, compared with the case of an area sensor camera, the resolution of the 1st picked-up image (91) and the 2nd picked-up image (92) can be raised at low cost.
  • the imaging system (4) includes an area sensor camera.
  • the imaging system (4) includes an area sensor camera. Thereby, a wide area can be imaged in a short time.
  • the unnecessary object removal system (10) includes the unnecessary object detection system (1) according to any one of the first to ninth aspects, and a removal system (7).
  • the removal system (7) removes from the food (8) the unnecessary material (81) determined to be present in the food (8) by the unnecessary material detection system (1).
  • the unnecessary object removal system (10) according to the tenth aspect removes the unnecessary object (81) determined to be present in the food (8) by the unnecessary object detection system (1) from the food (8). Thereby, an unnecessary thing (81) can be reliably removed from food (8).
  • the unnecessary object removal system (10) according to the eleventh aspect further includes a transfer system (6) in the tenth aspect.
  • the transport system (6) transports the food (8) from the imaging area of the imaging system (4) to the removal area of the removal system (7).
  • the transport system (6) transports the food (8) from the imaging region of the imaging system (4) to the removal region of the removal system (7).
  • a foodstuff (8) can be easily conveyed to the removal area
  • the processing system (5) includes a first illumination system (2) that irradiates the food (8) with the first light including the first wavelength, and a second wavelength that is different from the first wavelength. It is used together with the second illumination system (3) that irradiates the food (8) with the second light and the imaging system (4) that images the food (8).
  • the processing system (5) includes a first irradiation control unit, a second irradiation control unit, an imaging control unit, and a determination unit.
  • the first irradiation control unit controls the first lighting system (2) so as to irradiate the food (8) with the first light.
  • the second irradiation control unit controls the second lighting system (3) so as to irradiate the food (8) with the second light.
  • the imaging control unit controls the imaging system (4) so as to image the food (8) in a state of being irradiated with the first light and the food (8) in a state of being irradiated with the second light.
  • the determination unit includes the first captured image (91) of the food (8) irradiated with the first light and the second captured image (92) of the food (8) irradiated with the second light. When there is a region where the absolute value of the pixel value difference between the corresponding pixels is equal to or greater than the threshold value, it is determined that an unnecessary object (81) is present in the food (8).
  • the program according to the thirteenth aspect is a program for causing a computer to execute a first irradiation control step, a second irradiation control step, an imaging control step, and a determination step.
  • the first irradiation control step the first illumination system (2) is controlled so that the food (8) is irradiated with the first light including the first wavelength.
  • the second illumination system (3) is controlled so as to irradiate the food (8) with the second light including the second wavelength different from the first wavelength.
  • the imaging control step the imaging system (4) is controlled so as to image the food (8) irradiated with the first light and the food (8) irradiated with the second light.
  • the determination step in the first captured image (91) of the food (8) irradiated with the first light and the second captured image (92) of the food (8) irradiated with the second light, When there is a region where the absolute value of the pixel value difference between the corresponding pixels is equal to or greater than the threshold value, it is determined that an unnecessary object (81) is present in the food (8).

Abstract

不要物検出システムは、第１照明システムと、第２照明システムと、撮像システムと、処理システムとを備える。第１照明システムは、第１波長を含む第１の光を食品に照射する。第２照明システムは、第１波長とは異なる第２波長を含む第２の光を食品に照射する。撮像システムは、第１の光が照射されている状態の食品及び第２の光が照射されている状態の食品を撮像する。処理システムは、第１の光が照射されている食品の第１撮像画像と第２の光が照射されている食品の第２撮像画像とにおいて、対応する画素間の画素値の差分絶対値がしきい値以上である領域が存在する場合に、食品に不要物が存在すると判定する。

Description

不要物検出システム、不要物除去システム、処理システム及びプログラム
　本開示は、不要物検出システム、不要物除去システム、処理システム及びプログラムに関する。
　特許文献１には、もやしの異物を除去する異物除去装置が記載されている。特許文献１に記載された異物除去装置は、蛍光灯と、ＣＣＤカメラと、異物認識コントローラとを備える。特許文献１に記載された異物除去装置では、コンベアで搬送されたもやしをＣＣＤカメラが撮像し、異物認識コントローラが多段階濃淡処理による画像処理で、所定の濃度の部分を、もやしに混入している異物として検出する。
特開平１０－１５０９６７号公報
　本開示の一態様に係る不要物検出システムは、第１照明システムと、第２照明システムと、撮像システムと、処理システムとを備える。前記第１照明システムは、第１波長を含む第１の光を食品に照射する。前記第２照明システムは、前記第１波長とは異なる第２波長を含む第２の光を前記食品に照射する。前記撮像システムは、前記第１の光が照射されている状態の前記食品及び前記第２の光が照射されている状態の前記食品を撮像する。前記処理システムは、前記第１の光が照射されている前記食品の第１撮像画像と前記第２の光が照射されている前記食品の第２撮像画像とにおいて、対応する画素間の画素値の差分絶対値がしきい値以上である領域が存在する場合に、前記食品に不要物が存在すると判定する。
　本開示の一態様に係る不要物除去システムは、前記不要物検出システムと、除去システムとを備える。前記除去システムは、前記不要物検出システムで前記食品に存在すると判定された前記不要物を前記食品から除去する。
　本開示の一態様に係る処理システムは、第１波長を含む第１の光を食品に照射する第１照明システムと、前記第１波長とは異なる第２波長を含む第２の光を前記食品に照射する第２照明システムと、前記食品を撮像する撮像システムと共に用いられる処理システムである。前記処理システムは、前記第１の光を前記食品に照射するように前記第１照明システムを制御する第１照射制御部を有する。前記処理システムは、前記第２の光を前記食品に照射するように前記第２照明システムを制御する第２照射制御部を有する。前記処理システムは、前記第１の光が照射されている状態の前記食品及び前記第２の光が照射されている状態の前記食品を撮像するように前記撮像システムを制御する撮像制御部を有する。前記処理システムは、前記第１の光が照射されている前記食品の第１撮像画像と前記第２の光が照射されている前記食品の第２撮像画像とにおいて、対応する画素間の画素値の差分絶対値がしきい値以上である領域が存在する場合に、前記食品に不要物が存在すると判定する判定部とを有する。
　本開示の一態様に係るプログラムは、コンピュータに、第１照射制御ステップ、第２照射制御ステップ、撮像制御ステップ、及び、判定ステップを実行させるためのプログラムである。前記第１照射制御ステップでは、第１波長を含む第１の光を食品に照射するように第１照明システムを制御する。前記第２照射制御ステップでは、前記第１波長とは異なる第２波長を含む第２の光を前記食品に照射するように第２照明システムを制御する。前記撮像制御ステップでは、前記第１の光が照射されている状態の前記食品及び前記第２の光が照射されている状態の前記食品を撮像するように撮像システムを制御する。前記判定ステップでは、前記第１の光が照射されている前記食品の第１撮像画像と前記第２の光が照射されている前記食品の第２撮像画像とにおいて、対応する画素間の画素値の差分絶対値がしきい値以上である領域が存在する場合に、前記食品に不要物が存在すると判定する。
　本開示の上記態様に係る不要物検出システム、不要物除去システム、処理システム及びプログラムによれば、食品内の不要物を容易に検出することができる。
図１は、本開示の実施形態１に係る不要物除去システムのブロック図である。 図２は、同上の不要物除去システムの斜視図である。 図３は、食品を示す図である。 図４Ａは、波長４００ｎｍの光が照射されたときの食品の撮像画像を示す図である。 図４Ｂは、波長４１０ｎｍの光が照射されたときの食品の撮像画像を示す図である。 図４Ｃは、波長４２０ｎｍの光が照射されたときの食品の撮像画像を示す図である。 図５Ａは、波長４９０ｎｍの光が照射されたときの食品の撮像画像を示す図である。 図５Ｂは、波長５００ｎｍの光が照射されたときの食品の撮像画像を示す図である。 図５Ｃは、波長５１０ｎｍの光が照射されたときの食品の撮像画像を示す図である。 図６Ａは、波長５８０ｎｍの光が照射されたときの食品の撮像画像を示す図である。 図６Ｂは、波長５９０ｎｍの光が照射されたときの食品の撮像画像を示す図である。 図６Ｃは、波長８００ｎｍの光が照射されたときの食品の撮像画像を示す図である。 図７Ａは、波長９４０ｎｍの光が照射されたときの食品の撮像画像を示す図である。 図７Ｂは、波長９５０ｎｍの光が照射されたときの食品の撮像画像を示す図である。 図７Ｃは、波長９６０ｎｍの光が照射されたときの食品の撮像画像を示す図である。 図７Ｄは、波長１０００ｎｍの光が照射されたときの食品の撮像画像を示す図である。 図８Ａは、食品を示す図である。 図８Ｂは、波長４００ｎｍの光が照射されたときの食品の第１撮像画像を示す図である。 図８Ｃは、波長５００ｎｍの光が照射されたときの食品の第２撮像画像を示す図である。 図８Ｄは、第１撮像画像と第２撮像画像との差分による差分画像を示す図である。 図９は、本開示の実施形態１の変形例に係る不要物除去システムの斜視図である。
　実施の形態の説明に先立ち、従来における問題点を簡単に説明する。
　特許文献１に記載された異物除去装置では、所定の濃度に着目した濃淡処理のため、対象物と異物とが同様の色の場合に異物を検出することが難しい。このため、異物が存在するにもかかわらず、異物の検出漏れによる食品内の異物残留が発生したり、異物が存在しないにもかかわらず、異物の誤認識によって食品のロスが発生したりするという問題があった。
　本開示は上記の点に鑑みてなされた開示であり、本開示の目的は、食品内の不要物を容易に検出することができる不要物検出システム、不要物除去システム、処理システム及びプログラムを提供することにある。
　以下の実施形態に係る不要物検出システムは、異なる波長の光が照射されたときの食品の撮像画像の画素値の差分を用いて、食品に存在する不要物を検出する。
　（１）不要物検出システムの全体構成
　不要物検出システム１は、図１及び図２に示すように、第１照明システム２と、第２照明システム３と、撮像システム４と、処理システム５とを備える。
　不要物検出システム１は、食品に存在する不要物を検出するように構成されている。ここで、食品は、例えば、じゃがいも、大根、にんじんである。また、食品の形状としては、食品がじゃがいもである場合、マッシュ状のポテトであってもよいし、薄くスライスされた物であってもよい。不要物とは、食品の加工工程において最終的に不要となる物体であり、例えば、加工工程前に食品に存在する物、加工工程において取り除かれずに残ってしまった残留物、加工工程において取り除かれたが付着してしまった付着物、食品には由来しない異物などである。不要物は、例えば食品の皮、食品の芽である。以下の実施形態では、食品がじゃがいもであり、不要物がじゃがいもの皮である場合について説明する。
　ここで、食品８であるじゃがいも及び不要物８１であるじゃがいもの皮の光吸収特性について、図４Ａ～図４Ｃ、図５Ａ～図５Ｃ、図６Ａ～図６Ｃ、図７Ａ～図７Ｄを参照して説明する。じゃがいも（食品８）及びじゃがいもの皮（不要物８１）は、図３に示す。
　波長４００ｎｍの光が照射された場合、図４Ａに示すように、じゃがいもの領域及び皮の領域の両方とも画素値（輝度）の大きい撮像画像９ａが得られる。一方、波長４２０ｎｍの光が照射された場合、図４Ｃに示すように、じゃがいもの領域の画素値は大きいが、じゃがいもの皮の領域９０の画素値が小さい撮像画像９ｃが得られる。波長４１０ｎｍの光が照射された場合、図４Ｂに示すような撮像画像９ｂが得られる。
　波長４９０ｎｍの光が照射された場合、図５Ａに示すような撮像画像９ｄが得られ、波長５００ｎｍの光が照射された場合、図５Ｂに示すような撮像画像９ｅが得られ、波長５１０ｎｍの光が照射された場合、図５Ｃに示すような撮像画像９ｆが得られる。これらの撮像画像９ｄ～９ｆでは、撮像画像９ｃに比べて、じゃがいもの皮の領域９０の輝度が低くなっている。つまり、撮像画像９ｄ～９ｆでは、撮像画像９ｃに比べて、じゃがいもの領域とじゃがいもの皮の領域とのコントラストが高くなっている。
　波長５８０ｎｍの光が照射された場合、図６Ａに示すような撮像画像９ｇが得られる。撮像画像９ｇでは、じゃがいもの領域に比べて、じゃがいもの皮の領域９０の輝度が低いものの、撮像画像９ｄ～９ｆに比べて、コントラストが低くなっている。一方、波長５９０ｎｍの光が照射された場合、図６Ｂに示すような撮像画像９ｈが得られる。撮像画像９ｈでは、じゃがいもの領域とじゃがいもの皮の領域との輝度差が小さくなっている。波長８００ｎｍの光が照射された場合、図６Ｃに示すような撮像画像９ｉが得られる。撮像画像９ｉでは、じゃがいもの領域及びじゃがいもの皮の領域の両方とも輝度が高くなっており、コントラストは低い。
　波長９４０ｎｍの光が照射された場合、図７Ａに示すような撮像画像９ｊが得られ、波長９５０ｎｍの光が照射された場合、図７Ｂに示すような撮像画像９ｋが得られる。また、波長９６０ｎｍの光が照射された場合、図７Ｃに示すような撮像画像９ｌが得られ、波長１０００ｎｍの光が照射された場合、図７Ｄに示すような撮像画像９ｍが得られる。これらの撮像画像９ｊ～９ｍでは、撮像画像９ｃ～９ｇに比べて、じゃがいもの領域とじゃがいもの皮の領域とのコントラストは低い。
　（２）不要物検出システムの各構成要素
　実施形態１の第１照明システム２は、図２に示すように、複数（図１では２つ）の照明装置２１，２２を備える。各照明装置２１，２２は、複数の光源が一の方向に並んで設けられている装置である。複数の照明装置２１，２２は、互いに異なる位置に設けられている。具体的には、照明装置２１は、食品８を搬送する搬送機構６１の搬送方向Ｄ１において撮像システム４よりも手前側から撮像システム４の撮像領域に第１の光を照射する。照明装置２２は、搬送方向Ｄ１において撮像システム４よりも進行側から上記撮像領域に第１の光を照射する。さらに、各照明装置２１，２２は、複数の光源が並んでいる方向が搬送方向Ｄ１に直交するように設けられている。
　第１照明システム２は、第１波長を含む第１の光を食品８に照射するように構成されている。第１波長は、３６０ｎｍ以上４００ｎｍ以下の波長帯に含まれていることが好ましく、４００ｎｍであることがより好ましい。
　実施形態１の第２照明システム３は、第１照明システム２と同様、複数（図１では２つ）の照明装置３１，３２を備える。複数の照明装置３１，３２は、互いに異なる位置に設けられている。具体的には、複数の照明装置３１，３２は、第１照明システム２の複数の照明装置２１，２２に一対一に対応しており、対応する照明装置２１，２２に隣接するように設けられている。照明装置３１は、搬送機構６１の搬送方向Ｄ１において撮像システム４よりも手前側から撮像システム４の撮像領域に第２の光を照射する。照明装置３２は、搬送方向Ｄ１において撮像システム４よりも進行側から上記撮像領域に第２の光を照射する。
　第２照明システム３は、第２波長を含む第２の光を食品８に照射するように構成されている。第２波長は、第１波長とは異なる波長であり、４２０ｎｍ以上５８０ｎｍ以下の波長帯に含まれていることが好ましく、５００ｎｍであることがより好ましい。
　撮像システム４は、第１の光が照射されている状態の食品８及び第２の光が照射されている状態の食品８を撮像するように構成されている。
　実施形態１の撮像システム４は、１台の撮像装置４１を備える。撮像装置４１は、例えば、複数の撮像素子が一の方向に並んでいるラインセンサカメラであり、食品８で反射した反射光によって食品８を撮像するように構成されている。
　本実施形態では、撮像装置４１は、第１の光が照射されている状態の食品８と第２の光が照射されている状態の食品８とを時分割で撮像する。
　処理システム５は、図１に示すように、制御装置５１と、画像処理装置５２とを備える。制御装置５１と画像処理装置５２とは、一体に設けられていてもよいし、別体に設けられていてもよい。
　制御装置５１は、第１の光を食品８（図２参照）に照射するように第１照明システム２を制御する第１照射制御部を有する。制御装置５１は、第２の光を食品８に照射するように第２照明システム３を制御する第２照射制御部を有する。制御装置５１は、第１の光が照射されている状態の食品８及び第２の光が照射されている状態の食品８を撮像するように撮像システム４を制御する撮像制御部を有する。さらに、制御装置５１は、後述の搬送システム６を制御する搬送制御部と、除去システム７を制御する除去制御部とを有する。
　制御装置５１は、プロセッサ及びメモリが搭載されたコンピュータである。制御装置５１は、上記の機能を有するためのプログラムを格納している。
　画像処理装置５２は、撮像システム４の撮像により得られる撮像画像に対する画像処理を行うように構成されている。
　画像処理装置５２は、第１の光が照射されている食品８の第１撮像画像９１（図８Ｂ参照）と第２の光が照射されている食品８の第２撮像画像９２（図８Ｃ参照）とにおいて、対応する画素間の画素値の差分絶対値がしきい値以上である領域が存在する場合に、食品８に不要物８１が存在すると判定する。
　また、画像処理装置５２は、第１撮像画像９１における、差分絶対値がしきい値以上である領域の位置を特定することによって、不要物８１が存在する領域の位置を特定する。
　画像処理装置５２は、プロセッサ及びメモリが搭載されたコンピュータである。画像処理装置５２は、上記の機能を有するためのプログラムを格納している。
　（３）不要物除去システムの構成
　不要物除去システム１０は、図１に示すように、不要物検出システム１と、搬送システム６と、除去システム７とを備える。
　搬送システム６は、ベルトコンベアのような搬送機構６１と、搬送機構６１を駆動する駆動装置６２とを備える。搬送システム６は、撮像システム４の撮像領域から除去システム７の除去領域まで食品８を搬送する。
　除去システム７は、パラレルリンクロボットのような除去機構７１と、除去機構７１を駆動する駆動装置７２とを備える。除去システム７は、不要物検出システム１で食品８に存在すると判定された不要物８１を食品８から除去する。より詳細には、駆動装置７２は、不要物８１を除去するための制御信号と、不要物８１の位置座標とを制御装置５１から受け取る。除去機構７１は、駆動装置７２の制御に基づいて、不要物８１を吸引し、食品８から不要物８１を除去する。なお、除去機構７１は、不要物８１を吸引するのではなく、不要物８１を掴むように構成されていてもよい。
　（４）不要物除去システムの動作
　次に、本実施形態に係る不要物除去システム１０の動作（不要物除去方法）について図１及び図２を用いて説明する。
　まず、不要物検出システム１の動作（不要物検出方法）について説明する。
　第１照明システム２が、第１波長（波長４００ｎｍ）を含む第１の光を、搬送システム６によって搬送される食品８に照射する。撮像システム４の撮像装置４１は、第１の光が照射されている状態の食品８を撮像する。画像処理装置５２は、第１の光が照射されている食品８の第１撮像画像９１（図８Ｂ参照）を撮像システム４から取得する。
　続いて、第１照明システム２が停止し、第２照明システム３が、第２波長（波長５００ｎｍ）を含む第２の光を食品８に照射する。撮像システム４の撮像装置４１は、第２の光が照射されている状態の食品８を撮像する。画像処理装置５２は、第２の光が照射されている食品８の第２撮像画像９２（図８Ｃ参照）を撮像システム４から取得する。
　画像処理装置５２は、第１撮像画像９１と第２撮像画像９２とにおいて、対応する画素間の画素値の差分絶対値を算出し、差分絶対値を画素値とする差分画像９４（図８Ｄ参照）を生成する。画像処理装置５２は、差分画像９４に対してしきい値を用いて２値化処理を行う。画像処理装置５２は、２値化処理によって生成された２値化画像において、ブロブ処理（Ｂｌｏｂ処理）を行う。そして、画像処理装置５２は、差分絶対値がしきい値以上であって互いに連結している画素の数が所定数以上である領域９５（図８Ｄ参照）を、不要物８１が存在する領域として検出する。
　第１撮像画像９１では、食品８であるじゃがいもの領域と、不要物８１であるじゃがいもの皮の領域との両方とも輝度が高くなっている。一方、第２撮像画像９２では、第１撮像画像９１に比べて、じゃがいもの皮の領域９３の輝度が低くなっている。これにより、差分画像９４では、じゃがいもの皮の領域９５の輝度が高くなる。
　次に、不要物８１の除去工程について説明する。
　不要物検出システム１において不要物８１が検出された場合、制御装置５１は、不要物８１を除去するための制御信号と、不要物８１の位置座標とを、除去システム７の駆動装置７２に出力する。除去システム７において、駆動装置７２は、制御装置５１から制御信号及び位置座標を受け取ると、受け取った位置座標にある不要物８１を除去するように除去機構７１を駆動する。
　（４）変形例
　本実施形態の変形例として、第１照明システム２からの第１の光の第１波長は、８００ｎｍ以上１０００ｎｍ以下の波長帯に含まれていてもよい。この場合、第１波長は、９５０ｎｍであることがより好ましい。第２照明システム３からの第２の光の第２波長は、４２０ｎｍ以上５８０ｎｍ以下の波長帯に含まれている。
　また、不要物検出システム１は、互いに異なる波長の光を照射する３つ以上の照明システムを備えてもよい。この場合、不要物の光吸収特性に応じて切り替えることができる。
　撮像システム４は、撮像装置４１に代えて、カラーカメラである撮像装置を備えてもよい。上記撮像装置は、第１の光と第２の光との両方が照射されている状態の食品８を撮像する。この場合、処理システム５は、第１の光と第２の光との両方が照射されている食品８の撮像画像から、第１撮像画像９１と第２撮像画像９２とを生成する。例えば、処理システム５は、食品８の撮像画像から、第１波長の成分を抽出することによって、第１の光が照射されている食品８の第１撮像画像を生成する。さらに、処理システム５は、食品８の撮像画像から、第２波長の成分を抽出することによって、第２の光が照射されている食品８の第２撮像画像を生成する。
　撮像システム４は、撮像装置４１に代えて、図９に示すように、第１撮像装置４２と、第２撮像装置４３とを備えてもよい。第１撮像装置４２は、第１の光が照射されている状態の食品８を撮像する。第２撮像装置４３は、第１撮像装置４２とは別体であって、第２の光が照射されている状態の食品８を撮像する。
　撮像システム４は、ラインセンサカメラではなく、エリアセンサカメラを備えてもよい。
　（５）まとめ
　第１の態様に係る不要物検出システム（１）は、第１照明システム（２）と、第２照明システム（３）と、撮像システム（４）と、処理システム（５）とを備える。第１照明システム（２）は、第１波長を含む第１の光を食品（８）に照射する。第２照明システム（３）は、第１波長とは異なる第２波長を含む第２の光を食品（８）に照射する。撮像システム（４）は、第１の光が照射されている状態の食品（８）及び第２の光が照射されている状態の食品（８）を撮像する。処理システム（５）は、第１の光が照射されている食品（８）の第１撮像画像（９１）と第２の光が照射されている食品（８）の第２撮像画像（９２）とにおいて、対応する画素間の画素値の差分絶対値がしきい値以上である領域が存在する場合に、食品（８）に不要物（８１）が存在すると判定する。
　第１の態様に係る不要物検出システム（１）は、第１波長を含む第１の光を照射したときの第１撮像画像（９１）と第２波長を含む第２の光を照射したときの第２撮像画像（９２）とにおいて、対応する画素間の画素値（グレー画像の場合は輝度）の差分絶対値がしきい値以上である領域が存在する場合に、食品（８）に不要物（８１）が存在すると判定する。これにより、食品（８）と不要物（８１）とが比較的近い色を有している場合であっても、食品（８）と不要物（８１）との間の波長の吸収特性の違いを利用して、食品（８）内の不要物（８１）を容易に検出することができる。
　第２の態様に係る不要物検出システム（１）では、第１の態様において、第１波長は、３６０ｎｍ以上４００ｎｍ以下の波長帯に含まれている。第２波長は、４２０ｎｍ以上５８０ｎｍ以下の波長帯に含まれている。
　第２の態様に係る不要物検出システム（１）では、第１波長が３６０ｎｍ以上４００ｎｍ以下の波長帯に含まれており、第２波長が４２０ｎｍ以上５８０ｎｍ以下の波長帯に含まれている。これにより、第１波長の光が照射されたときに食品（８）と不要物（８１）との間の画素値の差分絶対値が小さく、第２波長の光が照射されたときに食品（８）と不要物（８１）との間の画素値の差分絶対値が大きくなる。その結果、コントラストを更に高めることができるので、不要物（８１）が存在する領域をより精度よく検出することができ、不要物（８１）をより確実に検出することができる。
　第３の態様に係る不要物検出システム（１）では、第１の態様において、第１波長は、８００ｎｍ以上１０００ｎｍ以下の波長帯に含まれている。第２波長は、４２０ｎｍ以上５８０ｎｍ以下の波長帯に含まれている。
　第３の態様に係る不要物検出システム（１）では、第１波長が８００ｎｍ以上１０００ｎｍ以下の波長帯に含まれており、第２波長が４２０ｎｍ以上５８０ｎｍ以下の波長帯に含まれている。これにより、第１波長の光が照射されたときに食品（８）と不要物（８１）との間の画素値の差分絶対値が小さく、第２波長の光が照射されたときに食品（８）と不要物（８１）との間の画素値の差分絶対値が大きくなる。これにより、コントラストを更に高めることができるので、不要物（８１）が存在する領域をより精度よく検出することができ、不要物（８１）をより確実に検出することができる。
　第４の態様に係る不要物検出システム（１）では、第１～３の態様のいずれか１つにおいて、処理システム（５）は、第１撮像画像（９１）における、差分絶対値がしきい値以上である領域の位置を特定することによって、不要物（８１）が存在する領域の位置を特定する。
　第４の態様に係る不要物検出システム（１）では、第１撮像画像（９１）における、差分絶対値がしきい値以上である領域の位置を特定することによって、不要物（８１）が存在する領域の位置を特定する。これにより、不要物（８１）を除去する等、不要物（８１）に対する処置を容易に行うことができる。
　第５の態様に係る不要物検出システム（１）では、第１～４の態様のいずれか１つにおいて、撮像システム（４）は、第１の光が照射されている状態の食品（８）と第２の光が照射されている状態の食品（８）とを時分割で撮像する撮像装置（４１）を含む。
　第５の態様に係る不要物検出システム（１）では、撮像システム（４）の撮像装置（４１）は、第１の光が照射されている状態の食品（８）と第２の光が照射されている状態の食品（８）とを時分割で撮像する。これにより、第１の光が照射されている状態の食品（８）を撮像する場合と、第２の光が照射されている状態の食品（８）を撮像する場合とで、撮像装置を分ける必要がない。その結果、撮像装置の台数を増やすことなく、第１撮像画像（９１）と第２撮像画像（９２）とを取得することができる。
　第６の態様に係る不要物検出システム（１）では、第１～４の態様のいずれか１つにおいて、撮像システム（４）は、カラーカメラであって第１の光と第２の光との両方が照射されている状態の食品（８）を撮像する撮像装置を含む。処理システム（５）は、第１の光と第２の光との両方が照射されている食品（８）の撮像画像から、第１撮像画像（９１）と第２撮像画像（９２）とを生成する。
　第６の態様に係る不要物検出システム（１）では、撮像システム（４）の撮像装置は、カラーカメラであり、第１の光と第２の光との両方が照射されている状態の食品（８）を撮像する。そして、処理システム（５）は、第１の光と第２の光との両方が照射されている食品（８）の撮像画像から、第１撮像画像（９１）と第２撮像画像（９２）とを生成する。これにより、第１の光が照射されている状態の食品（８）と第２の光が照射されている状態の食品（８）とを別々に撮像する場合に比べて、第１撮像画像（９１）と第２撮像画像（９２）とを短時間で取得することができる。
　第７の態様に係る不要物検出システム（１）では、第１～４の態様のいずれか１つにおいて、撮像システム（４）は、第１の光が照射されている状態の食品（８）を撮像する第１撮像装置（４２）と、第１撮像装置（４２）とは別体であって、第２の光が照射されている状態の食品（８）を撮像する第２撮像装置（４３）とを含む。
　第７の態様に係る不要物検出システム（１）では、第１の光が照射されている状態の食品（８）を撮像する撮像装置と、第２の光が照射されている状態の食品（８）を撮像する撮像装置とが別体である。これにより、第１の光が照射されている状態の食品（８）を撮像する撮像装置と、第２の光が照射されている状態の食品（８）を撮像する撮像装置とが同じである場合に比べて、第１撮像画像（９１）と第２撮像画像（９２）とを短時間で取得することができる。
　第８の態様に係る不要物検出システム（１）では、第１～７の態様のいずれか１つにおいて、撮像システム（４）は、ラインセンサカメラを含む。
　第８の態様に係る不要物検出システム（１）では、撮像システム（４）がラインセンサカメラを含む。これにより、エリアセンサカメラの場合に比べて、第１撮像画像（９１）及び第２撮像画像（９２）の解像度を低コストで高めることができる。
　第９の態様に係る不要物検出システム（１）では、第１～７のいずれか１つにおいて、撮像システム（４）は、エリアセンサカメラを含む。
　第９の態様に係る不要物検出システム（１）では、撮像システム（４）がエリアセンサカメラを含む。これにより、広い領域を短時間で撮像することができる。
　第１０の態様に係る不要物除去システム（１０）は、第１～９の態様のいずれか１つの不要物検出システム（１）と、除去システム（７）とを備える。除去システム（７）は、不要物検出システム（１）で食品（８）に存在すると判定された不要物（８１）を食品（８）から除去する。
　第１０の態様に係る不要物除去システム（１０）は、不要物検出システム（１）で食品（８）に存在すると判定された不要物（８１）を食品（８）から除去する。これにより、食品（８）から不要物（８１）を確実に除去することができる。
　第１１の態様に係る不要物除去システム（１０）は、第１０の態様において、搬送システム（６）を更に備える。搬送システム（６）は、撮像システム（４）の撮像領域から除去システム（７）の除去領域まで食品（８）を搬送する。
　第１１の態様に係る不要物除去システム（１０）では、搬送システム（６）が撮像システム（４）の撮像領域から除去システム（７）の除去領域まで食品（８）を搬送する。これにより、不要物（８１）が存在すると判定された場合に、除去システム（７）の除去領域まで食品（８）を容易に搬送することができる。
　第１２の態様に係る処理システム（５）は、第１波長を含む第１の光を食品（８）に照射する第１照明システム（２）と、第１波長とは異なる第２波長を含む第２の光を食品（８）に照射する第２照明システム（３）と、食品（８）を撮像する撮像システム（４）と共に用いられる。処理システム（５）は、第１照射制御部と、第２照射制御部と、撮像制御部と、判定部とを有する。第１照射制御部は、第１の光を食品（８）に照射するように第１照明システム（２）を制御する。第２照射制御部は、第２の光を食品（８）に照射するように第２照明システム（３）を制御する。撮像制御部は、第１の光が照射されている状態の食品（８）及び第２の光が照射されている状態の食品（８）を撮像するように撮像システム（４）を制御する。判定部は、第１の光が照射されている食品（８）の第１撮像画像（９１）と第２の光が照射されている食品（８）の第２撮像画像（９２）とにおいて、対応する画素間の画素値の差分絶対値がしきい値以上である領域が存在する場合に、食品（８）に不要物（８１）が存在すると判定する。
　第１３の態様に係るプログラムは、コンピュータに、第１照射制御ステップ、第２照射制御ステップ、撮像制御ステップ、及び、判定ステップを実行させるためのプログラムである。第１照射制御ステップでは、第１波長を含む第１の光を食品（８）に照射するように第１照明システム（２）を制御する。第２照射制御ステップでは、第１波長とは異なる第２波長を含む第２の光を食品（８）に照射するように第２照明システム（３）を制御する。撮像制御ステップでは、第１の光が照射されている状態の食品（８）及び第２の光が照射されている状態の食品（８）を撮像するように撮像システム（４）を制御する。判定ステップでは、第１の光が照射されている食品（８）の第１撮像画像（９１）と第２の光が照射されている食品（８）の第２撮像画像（９２）とにおいて、対応する画素間の画素値の差分絶対値がしきい値以上である領域が存在する場合に、食品（８）に不要物（８１）が存在すると判定する。
　１　不要物検出システム
　１０　不要物除去システム
　２　第１照明システム
　３　第２照明システム
　４　撮像システム
　４１　撮像装置
　４２　第１撮像装置
　４３　第２撮像装置
　５　処理システム
　６　搬送システム
　７　除去システム
　８　食品
　８１　不要物
　９１　第１撮像画像
　９２　第２撮像画像

Claims (13)

  1. 　第１波長を含む第１の光を食品に照射する第１照明システムと、
    　前記第１波長とは異なる第２波長を含む第２の光を前記食品に照射する第２照明システムと、
    　前記第１の光が照射されている状態の前記食品及び前記第２の光が照射されている状態の前記食品を撮像する撮像システムと、
    　前記第１の光が照射されている前記食品の第１撮像画像と前記第２の光が照射されている前記食品の第２撮像画像とにおいて、対応する画素間の画素値の差分絶対値がしきい値以上である領域が存在する場合に、前記食品に不要物が存在すると判定する処理システムとを備える
    　ことを特徴とする不要物検出システム。
  2. 　前記第１波長は、３６０ｎｍ以上４００ｎｍ以下の波長帯に含まれており、
    　前記第２波長は、４２０ｎｍ以上５８０ｎｍ以下の波長帯に含まれている
    　ことを特徴とする請求項１に記載の不要物検出システム。
  3. 　前記第１波長は、８００ｎｍ以上１０００ｎｍ以下の波長帯に含まれており、
    　前記第２波長は、４２０ｎｍ以上５８０ｎｍ以下の波長帯に含まれている
    　ことを特徴とする請求項１に記載の不要物検出システム。
  4. 　前記処理システムは、前記第１撮像画像における、前記差分絶対値が前記しきい値以上である前記領域の位置を特定することによって、前記不要物が存在する領域の位置を特定する
    　ことを特徴とする請求項１～３のいずれか１項に記載の不要物検出システム。
  5. 　前記撮像システムは、前記第１の光が照射されている状態の前記食品と前記第２の光が照射されている状態の前記食品とを時分割で撮像する撮像装置を含む
    　ことを特徴とする請求項１～４のいずれか１項に記載の不要物検出システム。
  6. 　前記撮像システムは、カラーカメラであって前記第１の光と前記第２の光との両方が照射されている状態の前記食品を撮像する撮像装置を含み、
    　前記処理システムは、前記第１の光と前記第２の光との両方が照射されている前記食品の撮像画像から、前記第１撮像画像と前記第２撮像画像とを生成する
    　ことを特徴とする請求項１～４のいずれか１項に記載の不要物検出システム。
  7. 　前記撮像システムは、
    　前記第１の光が照射されている状態の前記食品を撮像する第１撮像装置と、
    　前記第１撮像装置とは別体であって、前記第２の光が照射されている状態の前記食品を撮像する第２撮像装置とを含む
    　ことを特徴とする請求項１～４のいずれか１項に記載の不要物検出システム。
  8. 　前記撮像システムは、ラインセンサカメラを含む
    　ことを特徴とする請求項１～７のいずれか１項に記載の不要物検出システム。
  9. 　前記撮像システムは、エリアセンサカメラを含む
    　ことを特徴とする請求項１～７のいずれか１項に記載の不要物検出システム。
  10. 　請求項１～９のいずれか１項に記載の不要物検出システムと、
    　前記不要物検出システムで前記食品に存在すると判定された前記不要物を前記食品から除去する除去システムとを備える
    　ことを特徴とする不要物除去システム。
  11. 　前記撮像システムの撮像領域から前記除去システムの除去領域まで前記食品を搬送する搬送システムを更に備える
    　ことを特徴とする請求項１０に記載の不要物除去システム。
  12. 　第１波長を含む第１の光を食品に照射する第１照明システムと、前記第１波長とは異なる第２波長を含む第２の光を前記食品に照射する第２照明システムと、前記食品を撮像する撮像システムと共に用いられる処理システムであって、
    　前記第１の光を前記食品に照射するように前記第１照明システムを制御する第１照射制御部と、
    　前記第２の光を前記食品に照射するように前記第２照明システムを制御する第２照射制御部と、
    　前記第１の光が照射されている状態の前記食品及び前記第２の光が照射されている状態の前記食品を撮像するように前記撮像システムを制御する撮像制御部と、
    　前記第１の光が照射されている前記食品の第１撮像画像と前記第２の光が照射されている前記食品の第２撮像画像とにおいて、対応する画素間の画素値の差分絶対値がしきい値以上である領域が存在する場合に、前記食品に不要物が存在すると判定する判定部とを有する
    　ことを特徴とする処理システム。
  13. 　コンピュータに、
    　第１波長を含む第１の光を食品に照射するように第１照明システムを制御する第１照射制御ステップ、
    　前記第１波長とは異なる第２波長を含む第２の光を前記食品に照射するように第２照明システムを制御する第２照射制御ステップ、
    　前記第１の光が照射されている状態の前記食品及び前記第２の光が照射されている状態の前記食品を撮像するように撮像システムを制御する撮像制御ステップ、及び、
    　前記第１の光が照射されている前記食品の第１撮像画像と前記第２の光が照射されている前記食品の第２撮像画像とにおいて、対応する画素間の画素値の差分絶対値がしきい値以上である領域が存在する場合に、前記食品に不要物が存在すると判定する判定ステップ
    　を実行させるためのプログラム。
PCT/JP2018/010500 2017-04-28 2018-03-16 不要物検出システム、不要物除去システム、処理システム及びプログラム WO2018198591A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017090645A JP6493842B2 (ja) 2017-04-28 2017-04-28 不要物検出システム、不要物除去システム、処理システム、プログラム及び不要物検出方法
JP2017-090645 2017-04-28

Publications (1)

Publication Number Publication Date
WO2018198591A1 true WO2018198591A1 (ja) 2018-11-01

Family

ID=63918326

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010500 WO2018198591A1 (ja) 2017-04-28 2018-03-16 不要物検出システム、不要物除去システム、処理システム及びプログラム

Country Status (2)

Country Link
JP (1) JP6493842B2 (ja)
WO (1) WO2018198591A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5884775A (en) * 1996-06-14 1999-03-23 Src Vision, Inc. System and method of inspecting peel-bearing potato pieces for defects
JP2001013261A (ja) * 1999-06-30 2001-01-19 Mitsubishi Heavy Ind Ltd 異物検出方法及びその装置
JP2006177890A (ja) * 2004-12-24 2006-07-06 Jt Engineering Inc 異物検査装置
JP2007178407A (ja) * 2005-12-28 2007-07-12 Yamatake Corp 検査対象物の異物混入検査方法及びこれに用いる異物混入検査装置
JP2008209211A (ja) * 2007-02-26 2008-09-11 Hitachi High-Tech Control Systems Corp 異物検査装置および異物検査方法
WO2011122584A1 (ja) * 2010-03-29 2011-10-06 株式会社システムブレイン 食品の品質検査装置及び食品の品質検査方法
JP2014044070A (ja) * 2012-08-24 2014-03-13 Genial Light Co Ltd 食品検査装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009115613A (ja) * 2007-11-06 2009-05-28 Hitachi High-Tech Control Systems Corp 異物検査装置
JP6454923B2 (ja) * 2014-11-21 2019-01-23 和歌山県 食品検査装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5884775A (en) * 1996-06-14 1999-03-23 Src Vision, Inc. System and method of inspecting peel-bearing potato pieces for defects
JP2001013261A (ja) * 1999-06-30 2001-01-19 Mitsubishi Heavy Ind Ltd 異物検出方法及びその装置
JP2006177890A (ja) * 2004-12-24 2006-07-06 Jt Engineering Inc 異物検査装置
JP2007178407A (ja) * 2005-12-28 2007-07-12 Yamatake Corp 検査対象物の異物混入検査方法及びこれに用いる異物混入検査装置
JP2008209211A (ja) * 2007-02-26 2008-09-11 Hitachi High-Tech Control Systems Corp 異物検査装置および異物検査方法
WO2011122584A1 (ja) * 2010-03-29 2011-10-06 株式会社システムブレイン 食品の品質検査装置及び食品の品質検査方法
JP2014044070A (ja) * 2012-08-24 2014-03-13 Genial Light Co Ltd 食品検査装置

Also Published As

Publication number Publication date
JP6493842B2 (ja) 2019-04-03
JP2018186735A (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
WO2019151394A1 (ja) 食品検査補助システム、食品検査補助装置、およびコンピュータプログラム
KR101656635B1 (ko) 어종 판별 장치 및 어종 판별 방법
US20160267647A1 (en) Information processing apparatus, information processing method, and storage medium
EP3889590A2 (en) Apparatus for inspecting a substrate for a foreign substance
KR20160047360A (ko) 결함 검출 시스템 및 방법
JP2008209211A (ja) 異物検査装置および異物検査方法
JP6121253B2 (ja) ワーク表面欠陥検査装置
US10190989B2 (en) Method and apparatus for inspecting appearance of object using images picked up under different light quantities
JP2008309678A (ja) 汚卵検査装置
JP2005214734A (ja) 紙皺検査装置、制御装置
JP2010190786A (ja) 固形製剤の印字検査方法及び装置
JP6493842B2 (ja) 不要物検出システム、不要物除去システム、処理システム、プログラム及び不要物検出方法
JP6526514B2 (ja) 検査装置、方法及びプログラム
JP2009116419A (ja) 輪郭検出方法及び輪郭検出装置
JP2011033612A (ja) 農産物検査装置
JP2005214720A (ja) 表面検査装置及び方法
JP2020024124A (ja) 食品の異物検査装置及び異物検査方法
US20200174620A1 (en) Manipulation detection device, manipulation detection method, and video display system
JP2018063238A (ja) エッジ検出装置、エッジ検出方法、及び物品保持装置
JP6049475B2 (ja) 検査装置
JP2017156659A (ja) カラーフィルタの欠陥検査装置および欠陥検査方法
JP2006244869A (ja) プラズマディスプレイパネルの検査装置、プラズマディスプレイパネルの製造方法、デバイスの検査方法
JP3055205B2 (ja) 青果物の傷検出装置
EP3608657A3 (en) Method and system for enhancing the detection dynamics of a particulate detector and particulate detector
JP4613090B2 (ja) 検査装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18792038

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18792038

Country of ref document: EP

Kind code of ref document: A1