WO2022137748A1 - 対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム - Google Patents

対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム Download PDF

Info

Publication number
WO2022137748A1
WO2022137748A1 PCT/JP2021/037947 JP2021037947W WO2022137748A1 WO 2022137748 A1 WO2022137748 A1 WO 2022137748A1 JP 2021037947 W JP2021037947 W JP 2021037947W WO 2022137748 A1 WO2022137748 A1 WO 2022137748A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
learning
light
wavelength
Prior art date
Application number
PCT/JP2021/037947
Other languages
English (en)
French (fr)
Inventor
光 今村
大 徳本
広章 村並
Original Assignee
株式会社前川製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社前川製作所 filed Critical 株式会社前川製作所
Priority to US18/254,007 priority Critical patent/US20240005624A1/en
Priority to EP21909906.6A priority patent/EP4270303A1/en
Publication of WO2022137748A1 publication Critical patent/WO2022137748A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22C—PROCESSING MEAT, POULTRY, OR FISH
    • A22C17/00—Other devices for processing meat or bones
    • A22C17/0073—Other devices for processing meat or bones using visual recognition, X-rays, ultrasounds, or other contactless means to determine quality or size of portioned meat
    • A22C17/008—Other devices for processing meat or bones using visual recognition, X-rays, ultrasounds, or other contactless means to determine quality or size of portioned meat for measuring quality, e.g. to determine further processing
    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22C—PROCESSING MEAT, POULTRY, OR FISH
    • A22C21/00—Processing poultry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/845—Objects on a conveyor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G01N2021/945—Liquid or solid deposits of macroscopic size on surfaces, e.g. drops, films, or clustered contaminants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to a target detection device, a machine learning execution device, a target detection program, and a machine learning execution program.
  • Patent Document 1 When handling food in factories, etc., it may be necessary to have a technique to detect specific parts contained in the food, foreign substances mixed in the food, etc.
  • the apparatus disclosed in Patent Document 1 can be mentioned.
  • This device is a device for inspecting an object or article and is a means for irradiating a line across the object or article and a specific device that observes all or an extension of the line and is excited by radiation. It has an observation means to detect narrow band radiation emitted by the area of the object or article, the observation system is a narrow band path that filters out virtually everything but the narrow frequency band within a particular angle of incidence.
  • Patent Document 1 discloses that this device can be applied to an inspection (using ultraviolet rays) for the freshness of chopped fish or the presence of bones.
  • the above-mentioned device irradiates an article or the like with only one type of light having a specific spectrum such as ultraviolet rays, it is appropriate to use a specific part contained in the article or the like or a foreign substance mixed in the article or the article. It may not be possible to detect it.
  • an article or the like when an article or the like is irradiated with X-rays to take an X-ray image and an attempt is made to detect an object contained in the article or the like, if the difference between the density of the object and the density around the object is small, In the X-ray image, the contrast of brightness between the area where the object is drawn and the area around the area becomes small, and the object may not be detected properly.
  • an article or the like is irradiated with excitation light to take a fluorescent image and an attempt is made to detect an object contained in the article or the like, if an object that emits fluorescence is included in addition to the object, the object concerned is concerned. The subject may not be detected accurately.
  • the present invention has been made in view of the above circumstances, and provides a target detection device, a machine learning execution device, a target detection program, and a machine learning execution program capable of accurately detecting an object contained in a subject. It is something to try.
  • One aspect of the present invention is different from the first image acquisition unit, which is generated by irradiating a subject with light belonging to the first wavelength group and acquires a first image depicting the subject, and the first wavelength group.
  • One aspect of the present invention is the target detection device, wherein the target detection unit detects a first element depicted in the first image with a brightness exceeding a predetermined first brightness, and the second image.
  • the target is detected by detecting a second element different from the first element, which is visualized with a brightness exceeding a predetermined second brightness.
  • One aspect of the present invention is the target detection device, wherein the first image acquisition unit has a wavelength at which the reflectance when the first element is irradiated exceeds a predetermined first reflectance. The first image generated by irradiating the subject with light is acquired.
  • One aspect of the present invention is the target detection device, wherein the second image acquisition unit has a wavelength at which the reflectance when the second element is irradiated exceeds a predetermined second reflectance. The second image generated by irradiating the subject with light is acquired.
  • the target detection unit is a first point based on a predetermined first rule for each region in which the first element is depicted in the first image. Is selected, a second point is selected based on a predetermined second rule for each region in which the second element is drawn in the second image, and a line segment connecting the first point and the second point is selected.
  • the combination of the first element and the second element that gives the first point and the second point whose length is less than a predetermined length is detected as the target.
  • the target detection device wherein the first image acquisition unit has a first main wavelength belonging to the first wavelength group, is irradiated to the subject, and is reflected by the subject.
  • the subject is irradiated with the brightness of each pixel included in the first main image depicting the subject and the first sub-wavelength belonging to the first wavelength group.
  • the first sub-image obtained by detecting the light reflected by the subject and representing the value calculated based on the brightness of each pixel included in the first sub-image depicting the subject is represented by each pixel. Get an image.
  • the target detection device wherein the second image acquisition unit has a second main wavelength belonging to the second wavelength group, is irradiated to the subject, and is reflected by the subject.
  • the subject is irradiated with the brightness of each pixel included in the second main image depicting the subject and the second sub-wavelength belonging to the second wavelength group.
  • the second which is taken by detecting the light reflected by the subject and is calculated based on the brightness of each pixel included in the second sub-image depicting the subject, is represented by each pixel. Get an image.
  • One aspect of the present invention is the target detection device, wherein the first image acquisition unit emits light from the subject by irradiating the subject with light belonging to the first wavelength group, and the first main wavelength is emitted from the subject.
  • the subject is emitted by irradiating the subject with the brightness of each pixel included in the first main image depicting the subject and the light belonging to the first wavelength group.
  • the light having the first sub-wavelength is detected and photographed, and each pixel represents a value calculated based on the brightness of each pixel included in the first sub-image depicting the subject. Get the first image.
  • One aspect of the present invention is the target detection device, wherein the second image acquisition unit emits light from the subject by irradiating the subject with light belonging to the second wavelength group, and the second main wavelength is emitted from the subject.
  • the subject is emitted by irradiating the subject with the brightness of each pixel included in the second main image depicting the subject and the light belonging to the second wavelength group.
  • the light having the second sub-wavelength is detected and photographed, and each pixel represents a value calculated based on the brightness of each pixel included in the second sub-image depicting the subject. Get the second image.
  • One aspect of the present invention is a first learning image generated by irradiating a learning subject with light belonging to the first wavelength group and depicting the learning subject, and a second image different from the first wavelength group.
  • the learning subject is generated by irradiating the learning subject with light having a wavelength different from the light radiated to the learning subject in order to generate the first learning image, which belongs to the wavelength group.
  • the problem is a learning multi-channel image generated by using the second learning image to be drawn, and the learning target included in the learning subject drawn in the learning multi-channel image is Machine learning including a teacher data acquisition unit that acquires teacher data as an answer to the position of the area drawn, and a machine learning execution unit that inputs the teacher data into the machine learning model and trains the machine learning model. It is an execution device.
  • One aspect of the present invention is a first inference image acquisition unit that acquires a first inference image that is generated by irradiating a inference subject with light belonging to the first wavelength group and depicting the inference subject.
  • the inference subject is irradiated with light having a wavelength different from the light that belongs to the second wavelength group different from the first inference group and is radiated to the inference subject in order to generate the first inference image.
  • the second inference image acquisition unit that acquires the second inference image that is generated and depicts the inference subject, the first inference image, and the second inference image are used.
  • An image generation unit for inference that generates a multi-channel image for inference, a first learning image that is generated by irradiating a learning subject with light belonging to the first wavelength group, and depicting the subject for learning.
  • the learning subject is irradiated with light having a wavelength different from the light that belongs to the second wavelength group different from the first wavelength group and is irradiated to the learning subject in order to generate the first learning image.
  • the learning multi-channel image generated by using the second learning image that is generated and depicting the learning subject is used as a problem, and the learning subject that is drawn on the learning multi-channel image is used as a problem.
  • the multi-channel image for inference is input to the machine learning model learned using the teacher data whose answer is the position of the area where the learning object included in is drawn, and is included in the inference subject. It is an object detection device including an inference object detection unit that causes the machine learning model to detect an inference object.
  • One aspect of the present invention is a first image acquisition function of irradiating a subject with light belonging to the first wavelength group to acquire a first image depicting the subject, and a first wavelength. It belongs to a second wavelength group different from the group, and is generated by irradiating the subject with light having a wavelength different from the light irradiated to the subject in order to generate the first image, and the subject is visualized.
  • a target detection program that realizes a second image acquisition function that acquires a second image and a target detection function that detects an object contained in the subject using the first image and the second image. be.
  • One aspect of the present invention includes a first learning image generated by irradiating a learning subject with light belonging to the first wavelength group to a computer and depicting the learning subject, and the first wavelength group.
  • the learning subject is generated by irradiating the learning subject with light having a wavelength different from that of the light shining on the learning subject in order to generate the first learning image, which belongs to a different second wavelength group.
  • the learning multi-channel image generated by using the second learning image depicting the subject is used as a problem, and the learning included in the learning subject drawn in the learning multi-channel image is used as a problem.
  • a teacher data acquisition function that acquires teacher data that answers the position of the area where the target is drawn, and a machine learning execution function that inputs the teacher data into the machine learning model and trains the machine learning model. It is a machine learning execution program to be realized.
  • One aspect of the present invention is a first inference image for acquiring a first inference image generated by irradiating a computer with light belonging to the first wavelength group to depict the inference subject.
  • the acquisition function and the light that belongs to the second wavelength group different from the first wavelength group and has a wavelength different from the light radiated to the reasoning subject in order to generate the first reasoning image is used for the reasoning.
  • the second inference image acquisition function for acquiring the second inference image generated by irradiating the subject and depicting the inference subject, the first inference image, and the second inference image.
  • An image generation function for inference that uses it to generate a multi-channel image for inference, and a first learning function that is generated by irradiating a learning subject with light belonging to the first wavelength group to depict the learning subject.
  • the image and the light that belongs to the second wavelength group different from the first wavelength group and has a wavelength different from the light radiated to the learning subject in order to generate the first learning image is the learning subject.
  • the learning multi-channel image generated by irradiating the learning subject with the second learning image and the learning multi-channel image is used as a problem, and the learning multi-channel image is drawn on the learning multi-channel image.
  • the multi-channel image for inference is input to the machine learning model learned using the teacher data whose answer is the position of the area where the learning object included in the learning subject is drawn, and the inference subject is used. It is an object detection program that realizes an inference object detection function that causes the machine learning model to detect the included inference object.
  • the target detection device and the target detection program according to the first embodiment will be described with reference to FIGS. 1 to 17.
  • the knee cartilage part is a part composed of a combination of cartilage and fat, and is cut out from chicken thigh using a knife attached to the tip of an articulated robot, for example.
  • FIG. 1 is a diagram showing an example of the hardware configuration of the target detection device according to the first embodiment.
  • the target detection device 10 includes a processor 11, a main storage device 12, a communication interface 13, an auxiliary storage device 14, an input / output device 15, and a bus 16.
  • the processor 11 is, for example, a CPU (Central Processing Unit), reads and executes a target detection program, and realizes each function of the target detection device 10. Further, the processor 11 may read and execute a program other than the target detection program to realize the functions necessary for realizing each function of the target detection device 10.
  • a CPU Central Processing Unit
  • the main storage device 12 is, for example, a RAM (Random Access Memory), and stores in advance a target detection program and other programs that are read and executed by the processor 11.
  • RAM Random Access Memory
  • the communication interface 13 is an interface circuit for executing communication with the first photographing device 155, the second photographing device 157, the control device 200, and other devices via the network.
  • the network referred to here is, for example, WAN (Wide Area Network), LAN (Local Area Network), the Internet, and an intranet.
  • the auxiliary storage device 14 is, for example, a hard disk drive (HDD: Hard Disk Drive), a solid state drive (SSD: Solid State Drive), a flash memory (Flash Memory), and a ROM (Read Only Memory).
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • flash memory Flash Memory
  • ROM Read Only Memory
  • the input / output device 15 is, for example, an input / output port (Input / Output Port).
  • the input / output device 15 is connected to the mouse 151, the keyboard 152, and the display 153 shown in FIG.
  • FIG. 2 is a diagram showing an example of an object detection device, a first light emitting device, a first photographing device, a second light emitting device, a second photographing device, and a food processing line according to the first embodiment. ..
  • the input / output device 15 is connected to, for example, the first photographing device 155, the second photographing device 157, and the control device 200 shown in FIGS. 1 and 2. Further, the control device 200 is connected to the first light emitting device 154 and the second light emitting device 156, and controls the first light emitting device 154 and the second light emitting device 156.
  • the mouse 151 and the keyboard 152 are used, for example, for inputting data necessary for operating the target detection device 10.
  • the display 153 is, for example, a liquid crystal display.
  • the display 153 displays, for example, a graphical user interface (GUI: Graphical User Interface) of the target detection device 10.
  • GUI Graphical User Interface
  • the display 153 is, for example, an image shown in FIG. 4, an image shown in FIG. 5, an image shown in FIG. 7, an image shown in FIG. 8, an image shown in FIG. 10, and an image shown in FIG. At least one of the image shown in FIG. 12, the image shown in FIG. 13, the image shown in FIG. 14, the image shown in FIG. 15, and the image shown in FIG. 16 is displayed.
  • the first light emitting device 154 is a device that irradiates a subject with light belonging to the first wavelength group, and includes, for example, an LED (light emission radio), a halogen lamp, a tungsten lamp, or a laser.
  • the subject is, for example, the chicken thigh M shown in FIG.
  • the chicken thigh M is conveyed by the belt conveyor 201 constituting the food processing line 20, and is sequentially detected by the photoelectric sensor 202 and the photoelectric sensor 203.
  • the belt conveyor 201, the photoelectric sensor 202 and the photoelectric sensor 203 are controlled by the control device 200.
  • the first light emitting device 154 is installed at a position where the chicken thigh M conveyed by the belt conveyor 201 can be irradiated with light from above.
  • the above-mentioned first wavelength group includes at least one wavelength belonging to a predetermined wavelength region.
  • the first wavelength group includes a wavelength of 365 nm or a wavelength of 340 nm.
  • the wavelength of 460 nm is an example of the first main wavelength described later.
  • the wavelength of 520 nm is an example of the first sub-wavelength described later.
  • FIG. 3 is a diagram showing an example of a reflection spectrum in a visible light region of chicken thigh, a reflection spectrum in a visible light region of fat, and a reflection spectrum in a visible light region of lean meat according to the first embodiment.
  • the solid line shown in FIG. 3 shows the reflection spectrum of the cartilage of chicken thigh M in the visible light region.
  • the dashed line shown in FIG. 3 shows the reflection spectrum of the fat in the chicken thigh M in the visible light region.
  • the alternate long and short dash line shown in FIG. 3 shows the reflection spectrum of the lean meat of chicken thigh M.
  • the wavelength of 460 nm is a wavelength that gives a peak of the reflection spectrum of cartilage.
  • the light having a wavelength of 460 nm constitutes the knee cartilage portion, and the light having a wavelength in which the reflectance when irradiated to the cartilage, which is an example of the first element, exceeds a predetermined first reflectance. This is just one example.
  • the first light emitting device 154 has a center wavelength of 365 nm, a shortest wavelength of 355 nm, and a longest wavelength of 375 nm in the chicken thigh M after the chicken thigh M is detected by the photoelectric sensor 202 and before the chicken thigh M is detected by the photoelectric sensor 203. Irradiate with light.
  • the first light emitting device 154 has a center wavelength of 340 nm, a shortest wavelength of 330 nm, and a maximum wavelength of 350 nm in the chicken thigh M after the chicken thigh M is detected by the photoelectric sensor 202 and before the chicken thigh M is detected by the photoelectric sensor 203. Irradiate with light having. These lights are lights that excite fluorescence having a wavelength of 460 nm and a wavelength of 520 nm on the surface of chicken thigh M, and are light belonging to the first wavelength group.
  • the first photographing device 155 is a camera provided with a light receiving element capable of detecting the light emitted from the chicken thigh M.
  • the light emitted from the chicken thigh M referred to here is a fluorescence emitted from the chicken thigh M itself and having a wavelength of 460 nm and a fluorescence having a wavelength of 520 nm.
  • the wavelength of 460 nm is an example of the first main wavelength.
  • the wavelength of 520 nm is an example of the first sub-wavelength.
  • the light emitted from the chicken thigh M may be the light reflected on the surface of the chicken thigh M.
  • the first photographing apparatus 155 uses silicon (Si), gallium phosphide (GaP), or gallium arsenide phosphorus (GaAsP) as a semiconductor. It is equipped with a light receiving element used as a light receiving element. Further, as shown in FIG. 2, for example, the first photographing apparatus 155 is installed so that the chicken thigh meat M located between the photoelectric sensor 202 and the photoelectric sensor 203 can be photographed from above.
  • the first photographing device 155 photographs a subject illuminated by the first light emitting device 154 to generate a first main image.
  • FIG. 4 is a diagram showing an example of a first main image taken by detecting light having a first main wavelength emitted from chicken thigh meat according to the first embodiment.
  • the chicken thigh M is irradiated with light by the first light emitting device 154 and the fluorescence having a wavelength of 460 nm and the fluorescence having a wavelength of 520 nm are emitted from the chicken thigh M
  • Fluorescence having a wavelength of 460 nm is detected from the above to generate the first main image shown in FIG.
  • the first main image shown in FIG. 4 depicts the chicken thigh meat M, and the knee cartilage portion contained in the chicken thigh meat M is depicted in the region indicated by the circle C4.
  • FIG. 5 is a diagram showing an example of a first sub-image taken by detecting light having a first sub-wavelength emitted from chicken thigh according to the first embodiment.
  • the first photographing device 155 when the chicken thigh M is irradiated with light by the first light emitting device 154 and the fluorescence having a wavelength of 460 nm and the fluorescence having a wavelength of 520 nm are emitted from the chicken thigh M, the chicken thigh M is emitted. Fluorescence with a wavelength of 520 nm is detected from the above to generate the first sub-image shown in FIG.
  • the first sub-image shown in FIG. 5 depicts the chicken thigh meat M.
  • the second light emitting device 156 belongs to a second wavelength group different from the first wavelength group, and is a device that irradiates the subject with light having a wavelength different from the light radiated to the subject in order to capture the first image. Includes, for example, LEDs, halogen lamps, tungsten lamps or lasers. As shown in FIG. 2, for example, the second light emitting device 156 is installed at a position where the chicken thigh M conveyed by the belt conveyor 201 can be irradiated with light from above.
  • the above-mentioned second wavelength group includes at least one wavelength belonging to a predetermined wavelength region.
  • the second wavelength group includes a wavelength of 1211 nm and a wavelength of 1287 nm belonging to the near-infrared region from a wavelength of 700 nm to a wavelength of 2500 nm.
  • the wavelength of 1211 nm is an example of a second sub-wavelength described later.
  • the wavelength of 1287 nm is an example of the second main wavelength described later.
  • a part of the wavelengths included in the second wavelength group may be included in the first wavelength group.
  • FIG. 6 is a diagram showing an example of a reflection spectrum in the near-infrared region of chicken thigh cartilage, a reflection spectrum in the near-infrared region of fat, and a reflection spectrum in the near-infrared region of lean meat according to the first embodiment.
  • the solid line shown in FIG. 6 shows the reflection spectrum of the cartilage of chicken thigh M in the near infrared region.
  • the dashed line shown in FIG. 6 shows the reflection spectrum of the fat of chicken thigh M in the near infrared region.
  • the alternate long and short dash line shown in FIG. 6 shows the reflection spectrum of the lean meat of chicken thigh M. As shown by an arrow in FIG.
  • the above-mentioned wavelength 1287 nm is a wavelength that gives a peak of the reflection spectrum of cartilage. Further, the light having a wavelength of 1287 nm is an example of the second element, and the light having a wavelength whose reflectance exceeds a predetermined second reflectance when irradiated with the fat constituting the knee cartilage portion. This is just one example.
  • the second light emitting device 156 irradiates the chicken thigh M with light having a wavelength of 1287 nm and a wavelength of 1211 nm at the timing after the chicken thigh M is detected by the photoelectric sensor 203.
  • the second photographing device 157 is a camera provided with a light receiving element capable of detecting the light emitted from the chicken thigh M.
  • the light emitted from the chicken thigh M referred to here is light reflected on the surface of the chicken thigh M and having a wavelength of 1211 nm and light reflected on the surface of the chicken thigh M and having a wavelength of 1287 nm. Further, the wavelength of 1211 nm is an example of the second sub-wavelength. On the other hand, the wavelength of 1287 nm is an example of the second main wavelength.
  • the light emitted from the chicken thigh M may be the light emitted from the chicken thigh M itself.
  • the second photographing apparatus 157 may use indium gallium arsenide (InGaAs), lead sulfide (PbS) or lead selenium (PbSe). Is provided with a light receiving element using the above as a semiconductor. Further, as shown in FIG. 2, for example, the second photographing apparatus 157 is installed on the belt conveyor 201 in such a manner that the chicken thigh meat M located downstream of the photoelectric sensor 203 can be photographed from above.
  • InGaAs indium gallium arsenide
  • PbS lead sulfide
  • PbSe lead selenium
  • the second photographing device 157 photographs a subject illuminated by the first light emitting device 154 to generate a second main image.
  • FIG. 7 is a diagram showing an example of a second sub-image taken by irradiating the chicken thigh according to the first embodiment with light having a second sub-wavelength.
  • the second photographing apparatus 157 photographs the chicken thigh M when the chicken thigh M is irradiated with light having a wavelength of 1211 nm and light having a wavelength of 1287 nm and these lights are reflected on the surface of the chicken thigh M.
  • the second sub-image shown in FIG. 7 is generated.
  • the second secondary image shown in FIG. 7 depicts the chicken thigh meat M, and the knee cartilage portion contained in the chicken thigh meat M is depicted in the region indicated by the circle C7.
  • FIG. 8 is a diagram showing an example of a second main image taken by irradiating the chicken thigh according to the first embodiment with light having a second main wavelength.
  • the second photographing apparatus 157 photographs the chicken thigh M when the chicken thigh M is irradiated with light having a wavelength of 1287 nm and light having a wavelength of 1287 nm and these lights are reflected on the surface of the chicken thigh M.
  • the second main image shown in FIG. 8 is generated.
  • the second main image shown in FIG. 8 depicts the chicken thigh meat M.
  • the bus 16 connects the processor 11, the main storage device 12, the communication interface 13, the auxiliary storage device 14, and the input / output device 15 so that data can be transmitted and received to each other.
  • FIG. 9 is a diagram showing an example of a functional configuration of the target detection device according to the first embodiment.
  • the target detection device 10 includes a first image generation unit 101, a first image acquisition unit 102, a second image generation unit 103, a second image acquisition unit 104, and a target detection unit 105. To prepare for.
  • the first image generation unit 101 generates a first image using the first primary image and the first sub image. Specifically, the first image generation unit 101 represents a value calculated based on the brightness of each pixel included in the first main image and the brightness of each pixel included in the first sub image by each pixel. The image is generated as the first image.
  • FIG. 10 is a diagram showing an example of a first image generated by using the first main image shown in FIG. 4 and the first sub image shown in FIG.
  • the first image generation unit 101 has the luminance represented by each of the two pixels located at the same coordinates in the first primary image shown in FIG. 4 and the first sub image shown in FIG.
  • the process of calculating the ratio of is executed for all the coordinates, and the first image shown in FIG. 10 is generated.
  • each pixel represents the value obtained by dividing the brightness of each pixel of the first primary image by the brightness of each pixel of the first sub image, it is due to the unevenness of the surface of the chicken thigh M.
  • the image is less affected by variations in the degree of light hitting.
  • the first image acquisition unit 102 acquires the first image that is generated by irradiating the subject with light belonging to the first wavelength group and depicting the subject.
  • the first image acquisition unit 102 acquires, for example, the first image shown in FIG.
  • the second image generation unit 103 generates a second image using the second main image and the second sub image. Specifically, the second image generation unit 103 represents a value calculated based on the brightness of each pixel included in the second main image and the brightness of each pixel included in the second sub image by each pixel. The image is generated as a second image.
  • FIG. 11 is a diagram showing an example of a second image generated by using the second sub image shown in FIG. 7 and the second main image shown in FIG.
  • the second image generation unit 103 has the luminance represented by each of the two pixels located at the same coordinates in the second sub-image shown in FIG. 7 and the second main image shown in FIG.
  • the process of calculating the difference between the above is executed for all the coordinates, and the second image shown in FIG. 11 is generated. Since the second image shown in FIG. 11 represents a value obtained by subtracting the brightness of the second sub-image from the brightness of each pixel of the second main image, the image is an image in which the influence of noise is reduced. There is.
  • the second image acquisition unit 104 belongs to a second wavelength group different from the first wavelength group, and is generated by irradiating the subject with light having a wavelength different from the light emitted to the subject in order to generate the first image.
  • the second image that depicts the subject is acquired.
  • the second image acquisition unit 104 acquires, for example, the second image shown in FIG.
  • the object detection unit 105 detects an object included in the subject by using the first image and the second image. Specifically, the target detection unit 105 detects the knee cartilage portion contained in the chicken thigh M shown in FIG. 2 using the first image shown in FIG. 10 and the second image shown in FIG. do. Further, the target detection unit 105 detects the first element drawn with a brightness exceeding a predetermined first brightness in the first image, and is drawn with a brightness exceeding a predetermined second brightness in the second image, and the first element is drawn. The target is detected by detecting the second element different from the above.
  • FIG. 12 is a diagram showing an example of a region depicted with a luminance exceeding a predetermined first luminance in the first image according to the first embodiment.
  • the target detection unit 105 extracts the region R1, the region R21, the region R22, the region R23, the region R24, the region R31, the region R32, and the region R33 shown in FIG. 12 based on the predetermined first brightness.
  • These regions constitute the knee cartilage portion contained in chicken thigh meat M, and are regions that may depict cartilage, which is an example of the above-mentioned first element. Further, these regions are objects other than the cartilage, and may depict an object that emits fluorescence having a wavelength similar to that of the cartilage. Alternatively, these regions may depict an object having a reflectance comparable to that of the cartilage.
  • the target detection unit 105 excludes a region having a relatively high possibility that the first element is not drawn from the above-mentioned regions.
  • the target detection unit 105 has a region in which the area is less than the predetermined first lower threshold and the area exceeds the predetermined first upper threshold among the regions depicted in the first image with the luminance exceeding the predetermined first luminance. Exclude at least one of the areas you are in. For example, the target detection unit 105 excludes the region R23 and the region R24 whose area is less than the predetermined first lower limit threshold value from the regions shown in FIG. Since the area R23 and the area R24 are small, the area R23 and the area R24 are not areas in which the first element is drawn, but are areas in which noise is likely to be drawn.
  • the target detection unit 105 has a region in which the area of the circumscribed figure is less than a predetermined first lower threshold value and an area of the circumscribed figure among the regions depicted in the first image with a brightness exceeding a predetermined first luminance. Exclude at least one of the areas that exceed a predetermined first upper threshold.
  • the target detection unit 105 excludes a region R31, a region R32, and a region R33 in which the area of the circumscribed circle exceeds a predetermined first upper limit threshold value from the regions shown in FIG.
  • Region R31, region R32, and region R33 are all regions that are elongated and have a long radius of the circumscribed circle, and are regions that are likely to depict muscles or fascia contained in chicken thigh meat M. be.
  • FIG. 13 is a diagram showing an example of a region in which the first element according to the first embodiment may be depicted.
  • the target detection unit 105 uses the above-mentioned narrowing conditions to depict the cartilage constituting the knee cartilage portion as a region R1, a region R21, and a region. Extract R22.
  • FIG. 14 is a diagram showing an example of a region depicted with a brightness exceeding a predetermined second brightness in the second image according to the first embodiment.
  • the target detection unit 105 extracts the region R3, the region R40, the region R51, the region R52, the region R60, the region R71, and the region R72 shown in FIG. 14 based on the predetermined second brightness.
  • These regions constitute the knee cartilage portion contained in chicken thigh meat M, and are regions that may depict fat, which is an example of the above-mentioned second element.
  • these regions are objects other than the fat, and there is a possibility that an object having a reflectance similar to that of the fat is depicted.
  • these regions may also depict a fluorescent object having a wavelength comparable to that of the fat.
  • the target detection unit 105 excludes a region having a relatively high possibility that the second element is not drawn from the above-mentioned regions.
  • the target detection unit 105 has a region in which the area is less than the predetermined second lower threshold and the area exceeds the predetermined second upper threshold among the regions depicted in the second image with the luminance exceeding the predetermined second luminance. Exclude at least one of the areas you are in. For example, the target detection unit 105 excludes the region R51 and the region R52 whose area is less than the predetermined second lower limit threshold value from the regions shown in FIG. Since the area R51 and the area R52 are relatively small, the area R51 and the area R52 are not areas in which the second element is drawn, but are areas in which noise is likely to be drawn.
  • the target detection unit 105 excludes a region 72 whose area exceeds a predetermined second upper limit threshold value from the regions shown in FIG. Since the area R72 is relatively large, it is not a region where the second element is drawn, but a region where there is a high possibility that the chicken skin contained in the chicken thigh M is drawn.
  • the target detection unit 105 includes a region and a contour in which the value obtained by dividing the length of the contour by the area is less than the predetermined second lower limit threshold value among the regions depicted in the second image with a brightness exceeding a predetermined second luminance. Exclude at least one of the regions where the value of the length divided by the area exceeds a predetermined second upper threshold.
  • the target detection unit 105 excludes the region R60 in which the value obtained by dividing the length of 71 by the area exceeds a predetermined first upper limit threshold value from the regions shown in FIG.
  • the region R60 is not a region in which the second element is visualized, but a region in which there is a high possibility that fat that does not constitute the knee cartilage portion is visualized.
  • the target detection unit 105 excludes a region in which the distance from the contour of the subject is less than a predetermined threshold value from the region depicted in the second image with a brightness exceeding a predetermined second luminance.
  • the target detection unit 105 excludes the region R71 and the region R72 in which the distance from the contour of the subject is less than a predetermined threshold value among the regions shown in FIG. Since the region R71 and the region R72 are located relatively close to the contour of the chicken thigh M, the chicken skin contained in the chicken thigh M is drawn instead of the region where the second element is drawn. It is an area that is likely to be an area.
  • FIG. 15 is a diagram showing an example of a region in which the second element according to the first embodiment may be depicted.
  • the target detection unit 105 extracts the region R3 and the region R40 as regions in which the cartilage constituting the knee cartilage portion may be visualized by using the above-mentioned narrowing conditions. do.
  • FIG. 16 is a diagram showing an example of a multi-channel image according to the first embodiment.
  • the target detection unit 105 executes a synthesis process for synthesizing the first image shown in FIG. 13 and the second image shown in FIG. 15 to generate the multi-channel image shown in FIG.
  • the multi-channel image shown in FIG. 16 depicts a region R1, a region R21 and a region R22 also shown in FIG. 13, and a region R3 and a region R40 also shown in FIG.
  • the synthesis process includes at least one of an enlargement process, a reduction process, a resolution matching process, a distortion removing process, and an alignment process.
  • the enlargement process enlarges at least one of the first image and the second image in at least one direction for the purpose of matching the dimensions of the subject depicted in the first image with the dimensions of the subject depicted in the second image. It is a process to make it.
  • the reduction process reduces at least one of the first image and the second image in at least one direction for the purpose of matching the dimensions of the subject depicted in the first image with the dimensions of the subject depicted in the second image. It is a process to make it.
  • the resolution matching process is a process of adjusting at least one of the resolution of the first image and the resolution of the second image to match the resolution of the first image with the resolution of the second image.
  • the distortion removal process is a process for removing the distortion of the first image caused by the distortion of the optical component such as the lens used for taking the first image, and the distortion of the optical component such as the lens used for taking the second image. It includes at least one of the processes for removing the distortion of the second image caused by the above.
  • the alignment process the reference point set in a specific part of the subject depicted in the first image and the reference point set in a specific part of the subject depicted in the second image are aligned with each other.
  • it is a process of adjusting at least one of the first image and the second image.
  • the target detection unit 105 selects the first point based on a predetermined first rule for each region in which the first element is drawn in the first image. For example, the target detection unit 105 calculates the positions of the centers of gravity of each of the regions R1, the regions R21, and the regions R22 shown in FIG. 16, and selects these centers of gravity as the first point. Further, the target detection unit 105 selects a second point based on a predetermined second rule for each region in which the second element is drawn in the second image. For example, the target detection unit 105 calculates the position of the center of gravity of each of the regions R3 and R40 shown in FIG. 16, and selects these centers of gravity as the second point.
  • the target detection unit 105 includes the first element and the second element that give the first point and the second point that the length of the line segment connecting the first point and the second point is less than a predetermined length. Detect combinations as targets.
  • the first element is drawn in the region R1
  • the second element is drawn in the region R3
  • the first element and the second element are drawn. Is detected as the knee cartilage portion contained in chicken thigh meat M.
  • FIG. 17 is a flowchart showing an example of processing executed by the target detection device according to the first embodiment.
  • step S11 the first image generation unit 101 generates a first image using the first main image and the first sub image.
  • step S12 the first image acquisition unit 102 acquires the first image.
  • step S13 the second image generation unit 103 generates a second image using the second main image and the second sub image.
  • step S14 the second image acquisition unit 104 acquires the second image.
  • step S15 the target detection unit 105 detects the target included in the subject by using the first image and the second image.
  • the target detection device 10 includes a first image acquisition unit 102, a second image acquisition unit 104, and a target detection unit 105.
  • the first image acquisition unit 102 acquires a first image that is generated by irradiating a subject with light belonging to the first wavelength group and depicting the subject.
  • the second image acquisition unit 104 belongs to a second wavelength group different from the first wavelength group, and is generated by irradiating the subject with light having a wavelength different from the light emitted to the subject in order to generate the first image.
  • the second image that depicts the subject is acquired.
  • the object detection unit 105 detects an object included in the subject by using the first image and the second image.
  • the object detection device 10 detects an object included in the subject by using a plurality of lights having different wavelengths from each other. Therefore, the target detection device 10 accurately detects the target included in the subject even when the target included in the subject is composed of a plurality of elements and the reflection spectra of the elements are different. be able to.
  • the target detection device 10 detects a first element drawn with a brightness exceeding a predetermined first brightness in the first image, and is drawn with a brightness exceeding a predetermined second brightness in the second image, and the first element is drawn.
  • the target is detected by detecting the second element different from the above.
  • the target detection device 10 can detect the target with higher accuracy when the first element and the second element are included in the target.
  • the first element referred to here may be an element that has a wavelength belonging to the first wavelength group and emits light having a certain intensity or higher, or may be an element having a wavelength belonging to the first wavelength group. It may be an element having a relatively large reflectance.
  • the second element referred to here may be an element that has a wavelength belonging to the second wavelength group and emits light having a certain intensity or higher, or may be an element having a wavelength belonging to the second wavelength group. It may be an element having a relatively large reflectance.
  • the target detection device 10 acquires a first image generated by irradiating the subject with light having a wavelength whose reflectance exceeds a predetermined first reflectance when the first element is irradiated.
  • the object detection device 10 can detect the object including the first element and the second element by using the first image in which the first element contained in the object is more clearly depicted. can.
  • the target detection device 10 acquires a second image generated by irradiating the subject with light having a wavelength whose reflectance exceeds a predetermined second reflectance when the second element is irradiated.
  • the object detection device 10 can detect the first element and the object including the second element by using the second image in which the second element contained in the object is more clearly depicted. can.
  • the target detection device 10 selects the first point based on a predetermined first rule for each region in which the first element is drawn in the first image. Similarly, the target detection device 10 selects the second point based on a predetermined second rule for each region in which the second element is depicted in the second image. Then, the target detection device 10 has the first element and the second element that give the first point and the second point that the length of the line segment connecting the first point and the second point is less than a predetermined length. Detect combinations as targets.
  • the target detection device 10 has a plurality of regions in which the first element may be depicted and at least one of the regions in which the second element may be visualized, but the target is the first. If it is known that one element and the second element are included, the object can be detected more reliably.
  • the target detection device 10 represents a value calculated based on the brightness of each pixel included in the first primary image and the brightness of each pixel included in the first sub-image by each pixel. To get. As a result, the object detection device 10 can detect the object included in the subject by using the first image that more clearly depicts the first element included in the object.
  • the target detection device 10 uses each pixel to represent a value calculated based on the brightness of each pixel included in the second main image and the brightness of each pixel included in the second sub image. To get. As a result, the object detection device 10 can detect the object included in the subject by using the second image that more clearly depicts the second element included in the object.
  • the area of the circumscribed figure is less than the predetermined first lower threshold. And the case where at least one of the areas where the area of the circumscribed figure exceeds the predetermined first upper limit threshold value is excluded as an example, but the present invention is not limited thereto.
  • the target detection unit 105 has a region in which the area of the circumscribed figure is less than a predetermined second lower threshold value and an area of the circumscribed figure among the regions depicted in the second image with a brightness exceeding a predetermined second luminance. At least one of the regions exceeding a predetermined second upper limit threshold value may be excluded.
  • the value obtained by dividing the length of the contour by the area in the region where the target detection unit 105 is drawn with the brightness exceeding the predetermined second luminance in the second image is the predetermined second lower limit.
  • the case where at least one of the region which is less than the threshold value and the region where the value obtained by dividing the length of the contour by the area exceeds the predetermined second upper limit threshold value is excluded is given as an example, but the present invention is not limited thereto.
  • the target detection unit 105 includes a region and a contour in which the value obtained by dividing the length of the contour by the area is less than the predetermined first lower threshold value among the regions depicted in the first image with a brightness exceeding a predetermined first luminance. You may exclude at least one of the regions where the value of the length divided by the area exceeds a predetermined first upper threshold.
  • a region in which the distance from the contour of the subject is less than a predetermined threshold value is excluded.
  • the target detection unit 105 may exclude a region in which the distance from the contour of the subject is less than a predetermined threshold value from the region depicted in the first image with a brightness exceeding a predetermined first luminance.
  • the machine learning execution device, the target detection device, the machine learning execution program, and the target detection program according to the second embodiment will be described with reference to FIGS. 18 to 21.
  • the case where the knee cartilage portion contained in chicken thigh is detected will be described as an example.
  • the machine learning execution device, the target detection device, the machine learning execution program, and the target detection program according to the second embodiment are different from the target detection device and the target detection program according to the first embodiment by using machine learning. , Detects the object contained in the subject. Therefore, in the description of the second embodiment, the parts different from the first embodiment will be mainly described, and the description of the contents overlapping with the first embodiment will be omitted as appropriate.
  • FIG. 18 is a diagram showing an example of the hardware configuration of the machine learning execution device according to the second embodiment.
  • the machine learning execution device 30 includes a processor 31, a main storage device 32, a communication interface 33, an auxiliary storage device 34, an input / output device 35, and a bus 36.
  • the processor 31 is, for example, a CPU, reads and executes a machine learning execution program, and realizes each function of the machine learning execution device 30. Further, the processor 31 may read and execute a program other than the machine learning execution program to realize the functions necessary for realizing each function of the machine learning execution device 30.
  • the main storage device 32 is, for example, a RAM, and stores in advance a machine learning execution program and other programs that are read and executed by the processor 31.
  • the communication interface 33 is an interface circuit for executing communication with the machine learning device 400 and other devices via the network NW.
  • the network NW is, for example, WAN (Wide Area Network), LAN (Local Area Network), the Internet, and an intranet.
  • the auxiliary storage device 34 is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the input / output device 35 is, for example, an input / output port.
  • the input / output device 35 is connected to, for example, the mouse 351 shown in FIG. 18, the keyboard 352, and the display 353.
  • the mouse 351 and the keyboard 352 are used, for example, for inputting data necessary for operating the machine learning execution device 30.
  • the display 353 is, for example, a liquid crystal display.
  • the display 353 displays, for example, the graphical user interface of the machine learning execution device 30.
  • FIG. 19 is a diagram showing an example of a functional configuration of the machine learning execution device according to the second embodiment.
  • the machine learning execution device 30 includes a teacher data acquisition unit 301 and a machine learning execution unit 302.
  • the teacher data acquisition unit 301 has a problem of a learning multi-channel image generated by using the first learning image and the second learning image, and sets the learning subject drawn in the learning multi-channel image as a problem. Acquire teacher data that answers the position of the area where the included learning object is drawn.
  • the teacher data acquisition unit 301 acquires teacher data via, for example, the communication interface 33.
  • the first learning image is an image generated by irradiating the learning subject with light belonging to the first wavelength group and depicting the learning subject.
  • the second learning image is an image generated by irradiating the learning subject with light belonging to the second wavelength group and depicting the learning subject.
  • the learning subject referred to here is, for example, chicken thigh.
  • FIG. 20 is a diagram showing an example of a learning multi-channel image according to the second embodiment.
  • the learning multi-channel image is an image generated by subjecting the first learning image and the second learning image to a compositing process.
  • the region shown by dot hatching in FIG. 20 is a region in which the first element is relatively likely to be depicted.
  • the region shown by vertical line hatching in FIG. 20 is a region in which the second element is relatively likely to be drawn.
  • the rectangle L shown in FIG. 20 indicates the size and position of the region in which the learning object included in the learning subject depicted in the learning multi-channel image is drawn.
  • the size and position of the rectangle L may be determined, for example, by applying object recognition to the learning multi-channel image shown in FIG.
  • the size and position of the rectangle L may be determined by the data input by the user or the like referring to the learning multi-channel image shown in FIG. 20 using the mouse 351 or the keyboard 352.
  • the machine learning execution unit 302 inputs the teacher data into the machine learning model 400M mounted on the machine learning device 400, and trains the machine learning model 400M.
  • the machine learning model 400M is, for example, a convolutional neural network (CNN).
  • FIG. 21 is a flowchart showing an example of processing executed by the machine learning execution device according to the second embodiment.
  • step S31 the teacher data acquisition unit 301 considers the learning multi-channel image as a problem, and determines the position of the region where the learning target included in the learning subject depicted in the learning multi-channel image is drawn. Get the teacher data to answer.
  • step S32 the machine learning execution unit 302 inputs the teacher data into the machine learning model 400M and trains the machine learning model 400M.
  • FIG. 22 is a diagram showing an example of the hardware configuration of the target detection device according to the second embodiment.
  • the target detection device 50 includes a processor 51, a main storage device 52, a communication interface 53, an auxiliary storage device 54, an input / output device 55, and a bus 56.
  • the processor 51 is, for example, a CPU, reads and executes a target detection program, and realizes each function of the target detection device 50. Further, the processor 51 may read and execute a program other than the target detection program to realize the functions necessary for realizing each function of the target detection device 50.
  • the main storage device 52 is, for example, a RAM, and stores in advance a target detection program and other programs that are read and executed by the processor 51.
  • the communication interface 53 is an interface circuit for executing communication with the machine learning device 400 and other devices via the network NW.
  • the network NW is, for example, WAN, LAN, the Internet, or an intranet.
  • the auxiliary storage device 54 is, for example, a hard disk drive, a solid state drive, a flash memory, or a ROM.
  • the input / output device 55 is, for example, an input / output port.
  • the input / output device 55 is connected to, for example, the mouse 551, the display 552, and the keyboard 553 shown in FIG.
  • the mouse 551 and the keyboard 553 are used, for example, for inputting data necessary for operating the target detection device 50.
  • the display 552 is, for example, a liquid crystal display.
  • the display 552 displays, for example, the graphical user interface of the target detection device 50.
  • FIG. 23 is a diagram showing an example of a functional configuration of the target detection device according to the second embodiment.
  • the target detection device 50 includes a first inference image acquisition unit 501, a second inference image acquisition unit 502, an inference image generation unit 503, and an inference target detection unit 504. ..
  • the first inference image acquisition unit 501 acquires the first inference image that is generated by irradiating the inference subject with light belonging to the first wavelength group and depicting the inference subject.
  • the second inference image acquisition unit 502 acquires a second inference image that is generated by irradiating the inference subject with light belonging to the second wavelength group and depicting the inference subject.
  • the inference subject referred to here is, for example, chicken thigh.
  • the inference image generation unit 503 generates an inference multi-channel image using the first inference image and the second inference image. For example, the inference image generation unit 503 generates an inference multi-channel image by performing the above-mentioned composition processing on the first inference image and the second inference image.
  • the inference target detection unit 504 inputs an inference multi-channel image into the machine learning model 400M learned by the machine learning execution device 30, and causes the machine learning model to detect the inference target included in the inference subject.
  • the inference target referred to here is the knee cartilage portion contained in chicken thigh.
  • FIG. 24 is a flowchart showing an example of the processing executed by the target detection device according to the second embodiment.
  • step S51 the first inference image acquisition unit 501 acquires the first inference image.
  • step S52 the second inference image acquisition unit 502 acquires the second inference image.
  • step S53 the inference image generation unit 503 generates an inference multi-channel image using the first inference image and the second inference image.
  • step S54 the inference target detection unit 504 inputs an inference multi-channel image to the machine learning model, and causes the machine learning model to detect the inference target included in the inference subject.
  • the machine learning execution device, the target detection device, the machine learning execution program, and the target detection program according to the second embodiment have been described above.
  • the machine learning execution device 30 includes a teacher data acquisition unit 301 and a machine learning execution unit 302.
  • the teacher data acquisition unit 301 has a problem of a learning multi-channel image generated by using the first learning image and the second learning image, and sets the learning subject drawn in the learning multi-channel image as a problem.
  • Acquire teacher data that answers the position of the area where the included learning object is drawn.
  • the machine learning execution unit 302 inputs the teacher data into the machine learning model 400M and trains the machine learning model 400M.
  • the machine learning execution device 30 can generate the machine learning model 400M that executes the same processing as the target detection device 10 according to the first embodiment.
  • the target detection device 50 includes a first inference image acquisition unit 501, a second inference image acquisition unit 502, an inference image generation unit 503, and an inference target detection unit 504.
  • the first inference image acquisition unit 501 acquires a first inference image that is generated by irradiating the inference subject with light belonging to the first wavelength group and depicting the inference subject.
  • the second inference image acquisition unit 502 is generated by irradiating the inference subject with light belonging to the second inference group, and the inference image generation unit 503 acquires the second inference image depicting the inference subject.
  • the inference target detection unit 504 inputs an inference multi-channel image to the machine learning model 400M learned by the machine learning execution device 30, and causes the machine learning model to detect the inference target included in the inference subject.
  • the target detection device 50 is included in the inference subject drawn in the inference multi-channel image using the machine learning model 400M that executes the same processing as the target detection device 10 according to the first embodiment. It is possible to detect the inference target.
  • the target detection device 10 shown in FIG. 1 is realized by the processor 11 that reads and executes the target detection program has been described as an example, but the present invention is not limited to this.
  • At least a part of the target detection device 10 shown in FIG. 1 is a circuit unit such as an LSI (Large Scale Integration), an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), and a GPU (Graphics Processing Unit). It may be realized by hardware including circuits). Alternatively, at least a part of the target detection device 10 shown in FIG. 1 may be realized by the cooperation of software and hardware. Further, these hardware may be integrated into one or may be divided into a plurality of pieces.
  • the machine learning execution device 30 shown in FIG. 18 is realized by the processor 31 that reads and executes the machine learning execution program has been described as an example, but the present invention is limited to this. Not done. At least a part of the machine learning execution device 30 shown in FIG. 18 may be realized by hardware including circuit units such as LSI, ASIC, FPGA, and GPU. Alternatively, at least a part of the machine learning execution device 30 shown in FIG. 18 may be realized by the cooperation of software and hardware. Further, these hardware may be integrated into one or may be divided into a plurality of pieces.
  • the target detection device 50 shown in FIG. 22 is realized by the processor 51 that reads and executes the target detection program has been described as an example, but the present invention is not limited to this.
  • At least a part of the target detection device 50 shown in FIG. 22 may be realized by hardware including a circuit unit such as an LSI, an ASIC, an FPGA, and a GPU.
  • Alternatively, at least a part of the target detection device 50 shown in FIG. 22 may be realized by the cooperation of software and hardware. Further, these hardware may be integrated into one or may be divided into a plurality of pieces.
  • the case where the first light emitting device 154 includes an LED or the like is given as an example, but the present invention is not limited to this.
  • the first light emitting device 154 may include a light source and an optical filter that attenuates a part of wavelength components contained in the light emitted from the light source.
  • the case where the second light emitting device 156 includes an LED or the like is given as an example, but the present invention is not limited to this.
  • the second light emitting device 156 may include a light source and an optical filter that attenuates a part of the wavelength component contained in the light emitted from the light source. Examples of the light source include a xenon lamp and a deuterium lamp.
  • the first image acquisition unit 102 may acquire an image other than the first image generated by using the first primary image and the first sub image as the first image. That is, the first image acquisition unit 102 does not necessarily represent the value calculated based on the brightness of each pixel included in the first primary image and the brightness of each pixel included in the first sub image by each pixel. It is not necessary to acquire the first image that is present.
  • the first image acquisition unit 102 may acquire an image taken by irradiating light having a wavelength belonging to the first wavelength group as the first image.
  • the first image acquisition unit 102 includes the brightness of each pixel included in the first primary image other than the above-mentioned first primary image and the brightness of each pixel included in the first sub-image other than the above-mentioned first sub-image.
  • the first image in which the value calculated based on the above is represented by each pixel may be acquired.
  • the first main image other than the above-mentioned first main image has, for example, a first main wavelength belonging to the first wavelength group, is irradiated to the subject, and is photographed by detecting the light reflected by the subject. , The first main image depicting the subject.
  • the first sub-image other than the above-mentioned first sub-image has, for example, a first sub-wavelength belonging to the first wavelength group, and detects light that is applied to the subject and reflected by the subject. This is the first sub-image that was taken and depicts the subject.
  • the second image acquisition unit 104 may acquire an image other than the second image generated by using the second primary image and the second sub image as the second image. That is, the second image acquisition unit 104 does not necessarily represent the value calculated based on the brightness of each pixel included in the second main image and the brightness of each pixel included in the second sub image by each pixel. There is no need to acquire the second image.
  • the second image acquisition unit 104 may acquire an image taken by irradiating light having a wavelength belonging to the second wavelength group as a second image.
  • the second image acquisition unit 104 has the brightness of each pixel included in the second main image other than the above-mentioned second main image and the brightness of each pixel included in the second sub-image other than the above-mentioned second sub-image.
  • a second image may be acquired in which the value calculated based on the above is represented by each pixel.
  • the second main image other than the above-mentioned second main image is emitted from the subject by irradiating the subject with light belonging to the second wavelength group, and the light having the second main wavelength is detected and photographed. This is the second main image that depicts the subject.
  • the second main image other than the above-mentioned second main image is emitted from the subject by irradiating the subject with light belonging to the second wavelength group, and detects light having a second sub-wavelength.
  • the first image acquisition unit 102 does not necessarily have to acquire the first image generated by detecting the light reflected by the subject with the light receiving element.
  • the first image acquisition unit 102 may acquire the first image generated by detecting the light transmitted through the subject with a light receiving element.
  • the second image acquisition unit 104 does not necessarily have to acquire the first image generated by detecting the light reflected by the subject with the light receiving element.
  • the second image acquisition unit 104 may acquire the second image generated by detecting the light transmitted through the subject by the light receiving element.
  • the present invention is not limited to this.
  • the subject may be a package of food or the like
  • the detected object may be a character, a pattern, or the like printed on the package.
  • both the first wavelength group and the second wavelength group include wavelengths belonging to the visible light region.
  • the subject may be food and the detected target may be hair mixed in the food.
  • the hair when the hair receives light belonging to the ultraviolet region, it fluoresces and has a characteristic absorption peak in the infrared region. Therefore, the wavelength in which the first wavelength group or the second wavelength group belongs to the ultraviolet region or the infrared region is selected. It is preferable to include it.
  • the subject may be food and the detected object may be a part having a frozen state different from other parts.
  • the wavelength that gives the absorption peak in the infrared region changes depending on the frozen state, it is preferable that both the first wavelength group and the second wavelength group include wavelengths belonging to the infrared region.
  • the subject may be a hamburger steak
  • the detected object may be the front surface or the back surface of the hamburger steak.
  • the first wavelength group or the second wavelength group includes a wavelength of 1200 nm, one of which belongs to the near infrared region.
  • the other preferably contains a wavelength of 600 nm belonging to the visible light region.
  • the subject may be dumplings and the detected target may be dumplings.
  • the wavelength belonging to the wavelength belonging to the near-infrared region is included in the first wavelength group or the second wavelength group.
  • the absorption peak due to the bean paste of dumplings exists in the visible light region, it is preferable that the wavelength belonging to the wavelength belonging to the visible light region is included in the first wavelength group or the second wavelength group.
  • the effect of the present invention described in the above-described embodiment is the effect shown as an example. Therefore, the present invention may exhibit other effects that can be recognized by those skilled in the art from the description of the above-mentioned embodiments, in addition to the above-mentioned effects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Wood Science & Technology (AREA)
  • Food Science & Technology (AREA)
  • Zoology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

対象検出装置は、第一波長群に属する光を被写体に照射して生成され、前記被写体を描出している第一画像を取得する第一画像取得部と、前記第一波長群と異なる第二波長群に属しており、前記第一画像を生成するために前記被写体に照射された光と異なる波長を有する光を前記被写体に照射して生成され、前記被写体を描出している第二画像を取得する第二画像取得部と、前記被写体に含まれている対象を前記第一画像及び前記第二画像を使用して検出する対象検出部と、を備える。

Description

対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム
　本発明は、対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラムに関する。
　本願は、２０２０年１２月２３日に、日本に出願された特願２０２０－２１３３４２号に基づき優先権を主張し、その内容をここに援用する。
　工場等において食品を取り扱う際に、食品に含まれている特定の部位、食品に混入している異物等を検出する技術が必要となることがある。このような技術の一例として、例えば、特許文献１に開示されている装置が挙げられる。この装置は、対象もしくは物品を検査するための装置であって、該対象もしくは物品を横切ってある線を照射する手段および該線の全部もしくは延長部分を観察しかつ放射線により励起状態にある特定の対象もしくは物品の地域により放射される狭いバンドの放射線を検知する観察手段を有し、該観察系は、特定の入射角内で該狭い周波バンド以外はすべてを実質的に濾去する狭いバンドパスフィルター手段と、該フィルター手段を透過した放射線を検知する検知手段と、該フィルター手段を透過しかつ該検知手段に到達する該入射角外の光を阻止するための手段とを有する。また、特許文献１には、この装置が茫く切った魚の鮮度もしくは骨の存在の検査（紫外線を用いる）に適用することができることが開示されている。
特開平０２－８５７５０号公報
　しかしながら、上述した装置は、紫外線等、特定のスペクトルを有する一種類の光しか物品等に照射しないため、物品等に含まれている特定の部位、対象又は物品に混入している異物等を適切に検出することが出来ないことがある。
　例えば、物品等にＸ線を照射してＸ線画像を撮影し、物品等に含まれている対象を検出しようとした場合に、対象の密度と対象の周囲の密度との差が小さいと、Ｘ線画像において対象を描出している領域と当該領域の周囲の領域との輝度のコントラストが小さくなり、対象が適切に検出され得ないことがある。或いは、物品等に励起光を照射して蛍光画像を撮影し、物品等に含まれている対象を検出しようとした場合に、当該対象以外にも蛍光発光する物体が含まれていると、当該対象が正確に検出され得ないことがある。或いは、物品等に白色光を照射してカラー画像を撮影し、物品等に含まれている対象を検出しようとした場合に、対象と当該対象の周囲とで色や形状が類似していると、カラー画像を使用しても対象が適切に検出され得ないことがある。
　本発明は、上述した事情に鑑みてなされたものであり、被写体に含まれている対象を精度良く検出することができる対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラムを提供しようとするものである。
　本発明の一態様は、第一波長群に属する光を被写体に照射して生成され、前記被写体を描出している第一画像を取得する第一画像取得部と、前記第一波長群と異なる第二波長群に属しており、前記第一画像を生成するために前記被写体に照射された光と異なる波長を有する光を前記被写体に照射して生成され、前記被写体を描出している第二画像を取得する第二画像取得部と、前記被写体に含まれている対象を前記第一画像及び前記第二画像を使用して検出する対象検出部と、を備える対象検出装置である。
　本発明の一態様は、上記の対象検出装置であって、前記対象検出部は、前記第一画像において所定の第一輝度を超える輝度で描出される第一要素を検出し、前記第二画像において所定の第二輝度を超える輝度で描出され、前記第一要素と異なる第二要素を検出して前記対象を検出する。
　本発明の一態様は、上記の対象検出装置であって、前記第一画像取得部は、前記第一要素に照射された場合における反射率が所定の第一反射率を超えている波長を有する光を前記被写体に照射して生成された前記第一画像を取得する。
　本発明の一態様は、上記の対象検出装置であって、前記第二画像取得部は、前記第二要素に照射された場合における反射率が所定の第二反射率を超えている波長を有する光を前記被写体に照射して生成された前記第二画像を取得する。
　本発明の一態様は、上記の対象検出装置であって、前記対象検出部は、前記第一画像において前記第一要素が描出されている領域各々に関して所定の第一規則に基づいて第一点を選択し、前記第二画像において前記第二要素が描出されている領域各々に関して所定の第二規則に基づいて第二点を選択し、前記第一点と前記第二点とを結ぶ線分の長さが所定の長さ未満となる前記第一点と前記第二点とを与える前記第一要素と前記第二要素との組み合わせを前記対象として検出する。
　本発明の一態様は、上記の対象検出装置であって、前記第一画像取得部は、前記第一波長群に属する第一主波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第一主画像に含まれる画素各々の輝度と、前記第一波長群に属する第一副波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第一画像を取得する。
　本発明の一態様は、上記の対象検出装置であって、前記第二画像取得部は、前記第二波長群に属する第二主波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第二主画像に含まれる画素各々の輝度と、前記第二波長群に属する第二副波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第二画像を取得する。
　本発明の一態様は、上記の対象検出装置であって、前記第一画像取得部は、前記第一波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第一主波長を有する光を検出して撮影され、前記被写体を描出している第一主画像に含まれる画素各々の輝度と、前記第一波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第一副波長を有する光を検出して撮影され、前記被写体を描出している第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第一画像を取得する。
　本発明の一態様は、上記の対象検出装置であって、前記第二画像取得部は、前記第二波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第二主波長を有する光を検出して撮影され、前記被写体を描出している第二主画像に含まれる画素各々の輝度と、前記第二波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第二副波長を有する光を検出して撮影され、前記被写体を描出している第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第二画像を取得する。
　本発明の一態様は、第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する教師データ取得部と、前記教師データを機械学習モデルに入力し、前記機械学習モデルを学習させる機械学習実行部と、を備える機械学習実行装置である。
　本発明の一態様は、第一波長群に属する光を推論用被写体に照射して生成され、前記推論用被写体を描出している第一推論用画像を取得する第一推論用画像取得部と、前記第一波長群と異なる第二波長群に属しており、前記第一推論用画像を生成するために前記推論用被写体に照射された光と異なる波長を有する光を前記推論用被写体に照射して生成され、前記推論用被写体を描出している第二推論用画像を取得する第二推論用画像取得部と、前記第一推論用画像と、前記第二推論用画像とを使用して推論用マルチチャンネル画像を生成する推論用画像生成部と、前記第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを使用して学習した機械学習モデルに前記推論用マルチチャンネル画像を入力し、前記推論用被写体に含まれている推論用対象を前記機械学習モデルに検出させる推論用対象検出部と、を備える対象検出装置である。
　本発明の一態様は、コンピュータに、第一波長群に属する光を被写体に照射して生成され、前記被写体を描出している第一画像を取得する第一画像取得機能と、前記第一波長群と異なる第二波長群に属しており、前記第一画像を生成するために前記被写体に照射された光と異なる波長を有する光を前記被写体に照射して生成され、前記被写体を描出している第二画像を取得する第二画像取得機能と、前記被写体に含まれている対象を前記第一画像及び前記第二画像を使用して検出する対象検出機能と、を実現させる対象検出プログラムである。
　本発明の一態様は、コンピュータに、第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する教師データ取得機能と、前記教師データを機械学習モデルに入力し、前記機械学習モデルを学習させる機械学習実行機能と、を実現させる機械学習実行プログラムである。
　本発明の一態様は、コンピュータに、第一波長群に属する光を推論用被写体に照射して生成され、前記推論用被写体を描出している第一推論用画像を取得する第一推論用画像取得機能と、前記第一波長群と異なる第二波長群に属しており、前記第一推論用画像を生成するために前記推論用被写体に照射された光と異なる波長を有する光を前記推論用被写体に照射して生成され、前記推論用被写体を描出している第二推論用画像を取得する第二推論用画像取得機能と、前記第一推論用画像と、前記第二推論用画像とを使用して推論用マルチチャンネル画像を生成する推論用画像生成機能と、前記第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを使用して学習した機械学習モデルに前記推論用マルチチャンネル画像を入力し、前記推論用被写体に含まれている推論用対象を前記機械学習モデルに検出させる推論用対象検出機能と、を実現させる対象検出プログラムである。
　本発明によれば、被写体に含まれている対象を精度良く検出することができる。
第一実施形態に係る対象検出装置のハードウェア構成の一例を示す図である。 第一実施形態に係る対象検出装置と、第一発光装置と、第一撮影装置と、第二発光装置と、第二撮影装置と、食品加工ラインとの一例を示す図である。 第一実施形態に係る鶏もも肉の軟骨の可視光領域の反射スペクトル、脂肪の可視光領域の反射スペクトル及び赤身の可視光領域の反射スペクトルの一例を示す図である。 第一実施形態に係る鶏もも肉から出射され、第一主波長を有する光を検出して撮影された第一主画像の一例を示す図である。 第一実施形態に係る鶏もも肉から出射され、第一副波長を有する光を検出して撮影された第一副画像の一例を示す図である。 第一実施形態に係る鶏もも肉の軟骨の近赤外領域の反射スペクトル、脂肪の近赤外領域の反射スペクトル及び赤身の近赤外領域の反射スペクトルの一例を示す図である。 第一実施形態に係る鶏もも肉に第二副波長を有する光を照射して撮影された第二副画像の一例を示す図である。 第一実施形態に係る鶏もも肉に第二主波長を有する光を照射して撮影された第二主画像の一例を示す図である。 第一実施形態に係る対象検出装置の機能的な構成の一例を示す図である。 図４に示した第一主画像と、図５に示した第一副画像とを使用して生成された第一画像の一例を示す図である。 図７に示した第二副画像と、図８に示した第二主画像とを使用して生成された第二画像の一例を示す図である。 第一実施形態に係る第一画像において所定の第一輝度を超える輝度で描出されている領域の一例を示す図である。 第一実施形態に係る第一要素を描出している可能性がある領域の一例を示す図である。 第一実施形態に係る第二画像において所定の第二輝度を超える輝度で描出されている領域の一例を示す図である。 第一実施形態に係る第二要素を描出している可能性がある領域の一例を示す図である。 第一実施形態に係るマルチチャンネル画像の一例を示す図である。 第一実施形態に係る対象検出装置が実行する処理の一例を示すフローチャートである。 第二実施形態に係る機械学習実行装置のハードウェア構成の一例を示す図である。 第二実施形態に係る機械学習実行装置の機能的な構成の一例を示す図である。 第二実施形態に係る学習用マルチチャンネル画像の一例を示す図である。 第二実施形態に係る機械学習実行装置が実行する処理の一例を示すフローチャートである。 第二実施形態に係る対象検出装置のハードウェア構成の一例を示す図である。 第二実施形態に係る対象検出装置の機能的な構成の一例を示す図である。 第二実施形態に係る対象検出装置が実行する処理の一例を示すフローチャートである。
　［第一実施形態］
　図１から図１７を参照しながら第一実施形態に係る対象検出装置及び対象検出プログラムについて説明する。第一実施形態の説明では、対象検出装置が鶏もも肉に含まれている膝軟骨部を検出する場合を例に挙げて説明する。膝軟骨部は、軟骨と脂肪との組み合わせにより構成されている部位であり、例えば、多関節ロボットの先端に取り付けられたナイフを使用して鶏もも肉から切り出される。
　まず、図１から図８を参照しながら第一実施形態に係る対象検出装置を構成しているハードウェア及び対象検出装置に付帯しているハードウェアについて説明する。
　図１は、第一実施形態に係る対象検出装置のハードウェア構成の一例を示す図である。図１に示すように、対象検出装置１０は、プロセッサ１１と、主記憶装置１２と、通信インターフェース１３と、補助記憶装置１４と、入出力装置１５と、バス１６とを備える。
　プロセッサ１１は、例えば、ＣＰＵ（Central　Processing　Unit）であり、対象検出プログラムを読み出して実行し、対象検出装置１０が有する各機能を実現させる。また、プロセッサ１１は、対象検出プログラム以外のプログラムを読み出して実行し、対象検出装置１０が有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置１２は、例えば、ＲＡＭ（Random　Access　Memory）であり、プロセッサ１１により読み出されて実行される対象検出プログラムその他プログラムを予め記憶している。
　通信インターフェース１３は、ネットワークを介して第一撮影装置１５５、第二撮影装置１５７、制御装置２００その他の機器と通信を実行するためのインターフェース回路である。また、ここで言うネットワークは、例えば、ＷＡＮ（Wide　Area　Network）、ＬＡＮ（Local　Area　Network）、インターネット、イントラネットである。
　補助記憶装置１４は、例えば、ハードディスクドライブ（ＨＤＤ：Hard　Disk　Drive）、ソリッドステートドライブ（ＳＳＤ：Solid　State　Drive）、フラッシュメモリ（Flash　Memory）、ＲＯＭ（Read　Only　Memory）である。
　入出力装置１５は、例えば、入出力ポート（Input/Output　Port）である。入出力装置１５は、例えば、図１に示したマウス１５１、キーボード１５２及びディスプレイ１５３が接続される。図２は、第一実施形態に係る対象検出装置と、第一発光装置と、第一撮影装置と、第二発光装置と、第二撮影装置と、食品加工ラインとの一例を示す図である。入出力装置１５は、例えば、図１及び図２に示した第一撮影装置１５５、第二撮影装置１５７及び制御装置２００が接続される。また、制御装置２００は、第一発光装置１５４及び第二発光装置１５６が接続され、第一発光装置１５４及び第二発光装置１５６を制御する。
　マウス１５１及びキーボード１５２は、例えば、対象検出装置１０を操作するために必要なデータを入力する作業に使用される。
　ディスプレイ１５３は、例えば、液晶ディスプレイである。ディスプレイ１５３は、例えば、対象検出装置１０のグラフィカルユーザインターフェース（ＧＵＩ：Graphical　User　Interface）を表示する。また、ディスプレイ１５３は、例えば、図４に示した画像、図５に示した画像、図７に示した画像、図８に示した画像、図１０に示した画像、図１１に示した画像、図１２に示した画像、図１３に示した画像、図１４に示した画像、図１５に示した画像及び図１６に示した画像の少なくとも一つを表示する。
　第一発光装置１５４は、第一波長群に属する光を被写体に照射する装置であり、例えば、ＬＥＤ（light　emitting　diode）、ハロゲンランプ、タングステンランプ又はレーザーを含む。被写体は、例えば、図２に示した鶏もも肉Ｍである。鶏もも肉Ｍは、食品加工ライン２０を構成しているベルトコンベア２０１により搬送され、光電センサ２０２及び光電センサ２０３により順次検知される。ベルトコンベア２０１、光電センサ２０２及び光電センサ２０３は、制御装置２００により制御されている。第一発光装置１５４は、例えば、図２に示すように、ベルトコンベア２０１により搬送される鶏もも肉Ｍに上方から光を照射可能な位置に設置されている。
　上述した第一波長群は、所定の波長領域に属する少なくとも一つの波長を含んでいる。例えば、第一波長群は、波長３６５ｎｍ又は波長３４０ｎｍを含んでいる。波長４６０ｎｍは、後述する第一主波長の一例である。一方、波長５２０ｎｍは、後述する第一副波長の一例である。
　図３は、第一実施形態に係る鶏もも肉の軟骨の可視光領域の反射スペクトル、脂肪の可視光領域の反射スペクトル及び赤身の可視光領域の反射スペクトルの一例を示す図である。図３に示した実線は、鶏もも肉Ｍの軟骨の可視光領域の反射スペクトルを示している。図３に示した破線は、鶏もも肉Ｍの脂肪の可視光領域の反射スペクトルを示している。図３に示した一点鎖線は、鶏もも肉Ｍの赤身の反射スペクトルを示している。図３に矢印で示すように、波長４６０ｎｍは、軟骨の反射スペクトルのピークを与える波長である。また、波長４６０ｎｍを有する光は、膝軟骨部を構成しており、第一要素の一例である軟骨に照射された場合における反射率が所定の第一反射率を超えている波長を有する光の一例である。
　第一発光装置１５４は、鶏もも肉Ｍが光電センサ２０２により検知された後であり、光電センサ２０３により検知される前のタイミングで鶏もも肉Ｍに中心波長３６５ｎｍ、最短波長３５５ｎｍ及び最長波長３７５ｎｍを有する光を照射する。或いは、第一発光装置１５４は、鶏もも肉Ｍが光電センサ２０２により検知された後であり、光電センサ２０３により検知される前のタイミングで鶏もも肉Ｍに中心波長３４０ｎｍ、最短波長３３０ｎｍ及び最長波長３５０ｎｍを有する光を照射する。これらの光は、鶏もも肉Ｍの表面で波長４６０ｎｍ及び波長５２０ｎｍを含む蛍光を励起させる光であり、第一波長群に属する光である。
　第一撮影装置１５５は、鶏もも肉Ｍから出射された光を検出可能な受光素子を備えるカメラである。ここで言う鶏もも肉Ｍから出射された光は、鶏もも肉Ｍ自身から出射され、波長４６０ｎｍを有する蛍光及び波長５２０ｎｍを有する蛍光である。また、波長４６０ｎｍは、第一主波長の一例である。一方、波長５２０ｎｍは、第一副波長の一例である。なお、鶏もも肉Ｍから出射された光は、鶏もも肉Ｍの表面で反射された光であってもよい。また、例えば、鶏もも肉Ｍから出射された光が可視光領域に属する光である場合、第一撮影装置１５５は、シリコン（Ｓｉ）、リン化ガリウム（ＧａＰ）又はガリウム砒素リン（ＧａＡｓＰ）を半導体として利用した受光素子を備える。また、第一撮影装置１５５は、例えば、図２に示すように、光電センサ２０２と光電センサ２０３との間に位置する鶏もも肉Ｍを上方から撮影可能な態様で設置されている。
　第一撮影装置１５５は、第一発光装置１５４により光が照射されている被写体を撮影して第一主画像を生成する。図４は、第一実施形態に係る鶏もも肉から出射され、第一主波長を有する光を検出して撮影された第一主画像の一例を示す図である。例えば、第一撮影装置１５５は、第一発光装置１５４により鶏もも肉Ｍに光が照射され、鶏もも肉Ｍから波長４６０ｎｍを有する蛍光及び波長５２０ｎｍを有する蛍光が出射されている際に、鶏もも肉Ｍから波長４６０ｎｍを有する蛍光を検出して図４に示した第一主画像を生成する。図４に示した第一主画像は、鶏もも肉Ｍを描出しており、円Ｃ４で示した領域に鶏もも肉Ｍに含まれている膝軟骨部を描出している。
　また、第一撮影装置１５５は、第一発光装置１５４により光が照射されている被写体を撮影して第一副画像を生成する。図５は、第一実施形態に係る鶏もも肉から出射され、第一副波長を有する光を検出して撮影された第一副画像の一例を示す図である。例えば、第一撮影装置１５５は、第一発光装置１５４により鶏もも肉Ｍに光が照射され、鶏もも肉Ｍから波長４６０ｎｍを有する蛍光及び波長５２０ｎｍを有する蛍光が出射されている際に、鶏もも肉Ｍから波長５２０ｎｍを有する蛍光を検出して図５に示した第一副画像を生成する。図５に示した第一副画像は、鶏もも肉Ｍを描出している。
　第二発光装置１５６は、第一波長群と異なる第二波長群に属しており、第一画像を撮影するために被写体に照射された光と異なる波長を有する光を被写体に照射する装置であり、例えば、ＬＥＤ、ハロゲンランプ、タングステンランプ又はレーザーを含む。第二発光装置１５６は、例えば、図２に示すように、ベルトコンベア２０１により搬送される鶏もも肉Ｍに上方から光を照射可能な位置に設置されている。
　上述した第二波長群は、所定の波長領域に属する少なくとも一つの波長を含んでいる。例えば、第二波長群は、波長７００ｎｍから波長２５００ｎｍまでの近赤外領域に属する波長１２１１ｎｍ及び波長１２８７ｎｍを含んでいる。波長１２１１ｎｍは、後述する第二副波長の一例である。一方、波長１２８７ｎｍは、後述する第二主波長の一例である。なお、第二波長群に含まれる波長の一部は、第一波長群に含まれていてもよい。
　図６は、第一実施形態に係る鶏もも肉の軟骨の近赤外領域の反射スペクトル、脂肪の近赤外領域の反射スペクトル及び赤身の近赤外領域の反射スペクトルの一例を示す図である。図６に示した実線は、鶏もも肉Ｍの軟骨の近赤外領域の反射スペクトルを示している。図６に示した破線は、鶏もも肉Ｍの脂肪の近赤外領域の反射スペクトルを示している。図６に示した一点鎖線は、鶏もも肉Ｍの赤身の反射スペクトルを示している。図６に矢印で示すように、上述した波長１２８７ｎｍは、軟骨の反射スペクトルのピークを与える波長である。また、波長１２８７ｎｍを有する光は、第二要素の一例であり、膝軟骨部を構成している脂肪に照射された場合における反射率が所定の第二反射率を超えている波長を有する光の一例である。
　第二発光装置１５６は、鶏もも肉Ｍが光電センサ２０３により検知された後のタイミングで鶏もも肉Ｍに波長１２８７ｎｍ及び波長１２１１ｎｍを含む光を照射する。
　第二撮影装置１５７は、鶏もも肉Ｍから出射された光を検出可能な受光素子を備えるカメラである。ここで言う鶏もも肉Ｍから出射された光は、鶏もも肉Ｍの表面で反射され、波長１２１１ｎｍを有する光及び鶏もも肉Ｍの表面で反射され、波長１２８７ｎｍを有する光である。また、波長１２１１ｎｍは、第二副波長の一例である。一方、波長１２８７ｎｍは、第二主波長の一例である。なお、鶏もも肉Ｍから出射された光は、鶏もも肉Ｍ自身から出射された光であってもよい。また、例えば、鶏もも肉Ｍから出射された光が近赤外領域に属する光である場合、第二撮影装置１５７は、砒化インジウムガリウム（ＩｎＧａＡｓ）、硫化鉛（ＰｂＳ）又はセレン化鉛（ＰｂＳｅ）を半導体として利用した受光素子を備える。また、第二撮影装置１５７は、例えば、図２に示すように、ベルトコンベア２０１上において光電センサ２０３の下流に位置する鶏もも肉Ｍを上方から撮影可能な態様で設置されている。
　第二撮影装置１５７は、第一発光装置１５４により光が照射されている被写体を撮影して第二主画像を生成する。図７は、第一実施形態に係る鶏もも肉に第二副波長を有する光を照射して撮影された第二副画像の一例を示す図である。例えば、第二撮影装置１５７は、鶏もも肉Ｍに波長１２１１ｎｍを有する光及び波長１２８７ｎｍを有する光が照射され、これらの光が鶏もも肉Ｍの表面で反射されている際に鶏もも肉Ｍを撮影して図７に示した第二副画像を生成する。図７に示した第二副画像は、鶏もも肉Ｍを描出しており、円Ｃ７で示した領域に鶏もも肉Ｍに含まれている膝軟骨部を描出している。
　また、第二撮影装置１５７は、第一発光装置１５４により光が照射されている被写体を撮影して第二主画像を生成する。図８は、第一実施形態に係る鶏もも肉に第二主波長を有する光を照射して撮影された第二主画像の一例を示す図である。例えば、第二撮影装置１５７は、鶏もも肉Ｍに波長１２８７ｎｍを有する光及び波長１２８７ｎｍを有する光が照射され、これらの光が鶏もも肉Ｍの表面で反射されている際に鶏もも肉Ｍを撮影して図８に示した第二主画像を生成する。図８に示した第二主画像は、鶏もも肉Ｍを描出している。
　バス１６は、プロセッサ１１、主記憶装置１２、通信インターフェース１３、補助記憶装置１４及び入出力装置１５を互いにデータの送受信が可能なように接続している。
　次に、図９から図１６を参照しながら第一実施形態に係る対象検出装置が実行する処理について説明する。図９は、第一実施形態に係る対象検出装置の機能的な構成の一例を示す図である。図９に示すように、対象検出装置１０は、第一画像生成部１０１と、第一画像取得部１０２と、第二画像生成部１０３と、第二画像取得部１０４と、対象検出部１０５とを備える。
　第一画像生成部１０１は、第一主画像と、第一副画像とを使用して第一画像を生成する。具体的には、第一画像生成部１０１は、第一主画像に含まれる画素各々の輝度と、第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している画像を第一画像として生成する。
　図１０は、図４に示した第一主画像と、図５に示した第一副画像とを使用して生成された第一画像の一例を示す図である。例えば、第一画像生成部１０１は、図４に示した第一主画像と図５に示した第一副画像とで同一の座標に位置する二つの画素について二つの画素各々が表している輝度の比率を算出する処理を全ての座標について実行し、図１０に示した第一画像を生成する。図１０に示した第一画像は、各画素が第一主画像の各画素の輝度を第一副画像の各画素の輝度で割った値を表しているため、鶏もも肉Ｍの表面の凹凸による光の当たり具合のばらつきの影響が軽減された画像となっている。
　第一画像取得部１０２は、第一波長群に属する光を被写体に照射して生成され、被写体を描出している第一画像を取得する。第一画像取得部１０２は、例えば、図１０に示した第一画像を取得する。
　第二画像生成部１０３は、第二主画像と、第二副画像とを使用して第二画像を生成する。具体的には、第二画像生成部１０３は、第二主画像に含まれる画素各々の輝度と、第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している画像を第二画像として生成する。
　図１１は、図７に示した第二副画像と、図８に示した第二主画像とを使用して生成された第二画像の一例を示す図である。例えば、第二画像生成部１０３は、図７に示した第二副画像と図８に示した第二主画像とで同一の座標に位置する二つの画素について二つの画素各々が表している輝度の差分を算出する処理を全ての座標について実行し、図１１に示した第二画像を生成する。図１１に示した第二画像は、各画素が第二主画像の各画素の輝度から第二副画像の輝度を引いた値を表しているため、ノイズの影響が軽減された画像となっている。
　第二画像取得部１０４は、第一波長群と異なる第二波長群に属しており、第一画像を生成するために被写体に照射された光と異なる波長を有する光を被写体に照射して生成され、被写体を描出している第二画像を取得する。第二画像取得部１０４は、例えば、図１１に示した第二画像を取得する。
　対象検出部１０５は、被写体に含まれている対象を第一画像及び第二画像を使用して検出する。具体的には、対象検出部１０５は、図２に示した鶏もも肉Ｍに含まれている膝軟骨部を図１０に示した第一画像及び図１１に示した第二画像を使用して検出する。また、対象検出部１０５は、第一画像において所定の第一輝度を超える輝度で描出される第一要素を検出し、第二画像において所定の第二輝度を超える輝度で描出され、第一要素と異なる第二要素を検出して対象を検出する。
　図１２は、第一実施形態に係る第一画像において所定の第一輝度を超える輝度で描出されている領域の一例を示す図である。対象検出部１０５は、所定の第一輝度に基づいて図１２に示した領域Ｒ１、領域Ｒ２１、領域Ｒ２２、領域Ｒ２３、領域Ｒ２４、領域Ｒ３１、領域Ｒ３２及び領域Ｒ３３を抽出する。これらの領域は、鶏もも肉Ｍに含まれている膝軟骨部を構成しており、上述した第一要素の一例である軟骨を描出している可能性がある領域である。また、これらの領域は、当該軟骨以外の物体であり、当該軟骨と同程度の波長を有する蛍光を出射する物体を描出している可能性も有している。或いは、これらの領域は、当該軟骨と同程度の反射率を有する物体を描出している可能性も有している。
　そして、対象検出部１０５は、少なくとも一つの絞り込み条件を使用することにより、上述した領域の中から第一要素を描出していない可能性が比較的高い領域を除外する。
　対象検出部１０５は、第一画像において所定の第一輝度を超える輝度で描出されている領域のうち、面積が所定の第一下限閾値未満である領域及び面積が所定の第一上限閾値を超えている領域の少なくとも一方を除外する。例えば、対象検出部１０５は、図１２に示した領域の中から面積が所定の第一下限閾値未満である領域Ｒ２３及び領域Ｒ２４を除外する。領域Ｒ２３及び領域Ｒ２４は、面積が小さいため、第一要素を描出している領域ではなく、ノイズを描出している領域である可能性が高い領域である。
　対象検出部１０５は、第一画像において所定の第一輝度を超える輝度で描出されている領域のうち、外接する図形の面積が所定の第一下限閾値未満である領域及び外接する図形の面積が所定の第一上限閾値を超えている領域の少なくとも一方を除外する。例えば、対象検出部１０５は、図１２に示した領域の中から外接円の面積が所定の第一上限閾値を超えている領域Ｒ３１、領域Ｒ３２及び領域Ｒ３３を除外する。領域Ｒ３１、領域Ｒ３２及び領域Ｒ３３は、いずれも細長く、外接円の半径が長い領域であり、鶏もも肉Ｍに含まれている筋又は筋膜を描出している領域である可能性が高い領域である。
　図１３は、第一実施形態に係る第一要素を描出している可能性がある領域の一例を示す図である。対象検出部１０５は、上述した絞り込み条件を使用することにより、図１３に示すように、膝軟骨部を構成している軟骨を描出している可能性がある領域として領域Ｒ１、領域Ｒ２１及び領域Ｒ２２を抽出する。
　図１４は、第一実施形態に係る第二画像において所定の第二輝度を超える輝度で描出されている領域の一例を示す図である。対象検出部１０５は、所定の第二輝度に基づいて図１４に示した領域Ｒ３、領域Ｒ４０、領域Ｒ５１、領域Ｒ５２、領域Ｒ６０、領域Ｒ７１及び領域Ｒ７２を抽出する。これらの領域は、鶏もも肉Ｍに含まれている膝軟骨部を構成しており、上述した第二要素の一例である脂肪を描出している可能性がある領域である。また、これらの領域は、当該脂肪以外の物体であり、当該脂肪と同程度の反射率を有する物体を描出している可能性も有している。或いは、これらの領域は、当該脂肪と同程度の波長を有する蛍光を出射する物体を描出している可能性も有している。
　そして、対象検出部１０５は、少なくとも一つの絞り込み条件を使用することにより、上述した領域の中から第二要素を描出していない可能性が比較的高い領域を除外する。
　対象検出部１０５は、第二画像において所定の第二輝度を超える輝度で描出されている領域のうち、面積が所定の第二下限閾値未満である領域及び面積が所定の第二上限閾値を超えている領域の少なくとも一方を除外する。例えば、対象検出部１０５は、図１４に示した領域の中から面積が所定の第二下限閾値未満である領域Ｒ５１及び領域Ｒ５２を除外する。領域Ｒ５１及び領域Ｒ５２は、面積が比較的小さいため、第二要素を描出している領域ではなく、ノイズを描出している領域である可能性が高い領域である。また、例えば、対象検出部１０５は、図１４に示した領域の中から面積が所定の第二上限閾値を超えている領域７２を除外する。領域Ｒ７２は、面積が比較的大きいため、第二要素を描出している領域ではなく、鶏もも肉Ｍに含まれている鶏皮を描出している領域である可能性が高い領域である。
　対象検出部１０５は、第二画像において所定の第二輝度を超える輝度で描出されている領域のうち、輪郭の長さを面積で割った値が所定の第二下限閾値未満である領域及び輪郭の長さを面積で割った値が所定の第二上限閾値を超えている領域の少なくとも一方を除外する。例えば、対象検出部１０５は、図１４に示した領域の中から71の長さを面積で割った値が所定の第一上限閾値を超えている領域Ｒ６０を除外する。領域Ｒ６０は、第二要素を描出している領域ではなく、膝軟骨部を構成していない脂肪を描出している可能性が高い領域である。
　対象検出部１０５は、第二画像において所定の第二輝度を超える輝度で描出されている領域のうち、被写体の輪郭からの距離が所定の閾値未満である領域を除外する。例えば、対象検出部１０５は、図１４に示した領域のうち被写体の輪郭からの距離が所定の閾値未満である領域Ｒ７１及び領域Ｒ７２を除外する。領域Ｒ７１及び領域Ｒ７２は、鶏もも肉Ｍの輪郭に比較的近い位置に存在しているため、第二要素を描出している領域ではなく、鶏もも肉Ｍに含まれている鶏皮を描出している領域である可能性が高い領域である。
　図１５は、第一実施形態に係る第二要素を描出している可能性がある領域の一例を示す図である。対象検出部１０５は、上述した絞り込み条件を使用することにより、図１５に示すように、膝軟骨部を構成している軟骨を描出している可能性がある領域として領域Ｒ３及び領域Ｒ４０を抽出する。
　次に、対象検出部１０５は、第一画像と第二画像とを使用してマルチチャンネル画像を生成する。図１６は、第一実施形態に係るマルチチャンネル画像の一例を示す図である。例えば、対象検出部１０５は、図１３に示した第一画像と図１５に示した第二画像とを合成する合成処理を実行し、図１６に示したマルチチャンネル画像を生成する。図１６に示したマルチチャンネル画像は、図１３にも示されている領域Ｒ１、領域Ｒ２１及び領域Ｒ２２と、図１５にも示されている領域Ｒ３及び領域Ｒ４０とを描出している。また、合成処理は、拡大処理、縮小処理、分解能整合処理、歪み除去処理及び位置合わせ処理の少なくとも一つを含んでいる。
　拡大処理は、第一画像に描出されている被写体の寸法と第二画像に描出されている被写体の寸法とを整合させる目的で第一画像及び第二画像の少なくとも一方を少なくとも一つの方向に拡大させる処理である。縮小処理は、第一画像に描出されている被写体の寸法と第二画像に描出されている被写体の寸法とを整合させる目的で第一画像及び第二画像の少なくとも一方を少なくとも一つの方向に縮小させる処理である。
　分解能整合処理は、第一画像の分解能及び第二画像の分解能の少なくとも一方を調整し、第一画像の分解能と第二画像の分解能とを整合させる処理である。歪み除去処理は、第一画像の撮影に使用されたレンズ等の光学部品の歪みに起因する第一画像の歪みを除去する処理及び第二画像の撮影に使用されたレンズ等の光学部品の歪みに起因する第二画像の歪みを除去する処理の少なくとも一方を含んでいる。位置合わせ処理は、第一画像に描出されている被写体の特定の部位に設定された基準点と、第二画像に描出されている被写体の特定の部位に設定された基準点とが整合するように、第一画像及び第二画像の少なくとも一方を調整する処理である。
　次に、対象検出部１０５は、第一画像において第一要素が描出されている領域各々に関し、所定の第一規則に基づいて第一点を選択する。例えば、対象検出部１０５は、図１６に示されている領域Ｒ１、領域Ｒ２１及び領域Ｒ２２各々の重心の位置を算出し、これらの重心を第一点として選択する。また、対象検出部１０５は、第二画像において第二要素が描出されている領域各々に関し、所定の第二規則に基づいて第二点を選択する。例えば、対象検出部１０５は、図１６に示されている領域Ｒ３及び領域Ｒ４０各々の重心の位置を算出し、これらの重心を第二点として選択する。
　そして、対象検出部１０５は、第一点と第二点とを結ぶ線分の長さが所定の長さ未満となる第一点と第二点とを与える第一要素と第二要素との組み合わせを対象として検出する。
　例えば、図１６に示した例では、対象検出部１０５は、領域Ｒ１の重心と領域Ｒ３の重心とを結ぶ線分の長さのみが上述した所定の長さ未満となる。したがって、図１６に示した例では、対象検出部１０５は、領域Ｒ１に第一要素が描出されており、領域Ｒ３に第二要素が描出されており、当該第一要素と当該第二要素との組み合わせを鶏もも肉Ｍに含まれている膝軟骨部として検出する。
　次に、図１７を参照しながら第一実施形態に係る対象検出装置が実行する処理の一例について説明する。図１７は、第一実施形態に係る対象検出装置が実行する処理の一例を示すフローチャートである。
　ステップＳ１１において、第一画像生成部１０１は、第一主画像と、第一副画像とを使用して第一画像を生成する。
　ステップＳ１２において、第一画像取得部１０２は、第一画像を取得する。
　ステップＳ１３において、第二画像生成部１０３は、第二主画像と、第二副画像とを使用して第二画像を生成する。
　ステップＳ１４において、第二画像取得部１０４は、第二画像を取得する。
　ステップＳ１５において、対象検出部１０５は、被写体に含まれている対象を第一画像及び第二画像を使用して検出する。
　以上、第一実施形態に係る対象検出装置及び対象検出プログラムについて説明した。対象検出装置１０は、第一画像取得部１０２と、第二画像取得部１０４と、対象検出部１０５とを備える。第一画像取得部１０２は、第一波長群に属する光を被写体に照射して生成され、被写体を描出している第一画像を取得する。第二画像取得部１０４は、第一波長群と異なる第二波長群に属しており、第一画像を生成するために被写体に照射された光と異なる波長を有する光を被写体に照射して生成され、被写体を描出している第二画像を取得する。対象検出部１０５は、被写体に含まれている対象を第一画像及び第二画像を使用して検出する。
　つまり、対象検出装置１０は、互いに異なる波長を有する複数の光を使用して被写体に含まれる対象を検出する。したがって、対象検出装置１０は、被写体に含まれている対象が複数の要素で構成されており、各要素の反射スペクトルが異なる場合であっても、被写体に含まれている対象を精度良く検出することができる。
　また、対象検出装置１０は、第一画像において所定の第一輝度を超える輝度で描出される第一要素を検出し、第二画像において所定の第二輝度を超える輝度で描出され、第一要素と異なる第二要素を検出して対象を検出する。
　これにより、対象検出装置１０は、第一要素と、第二要素とが対象に含まれている場合、当該対象を更に精度良く検出することができる。なお、ここで言う第一要素は、第一波長群に属する波長を有し、一定以上の強度を有する光を出射する要素であってもよいし、第一波長群に属する波長を有する光の反射率が比較的大きな要素であってもよい。また、ここで言う第二要素は、第二波長群に属する波長を有し、一定以上の強度を有する光を出射する要素であってもよいし、第二波長群に属する波長を有する光の反射率が比較的大きな要素であってもよい。
　また、対象検出装置１０は、第一要素に照射された場合における反射率が所定の第一反射率を超えている波長を有する光を被写体に照射して生成された第一画像を取得する。これにより、対象検出装置１０は、対象に含まれている第一要素が更に鮮明に描出されている第一画像を使用して第一要素及び第二要素を含んでいる対象を検出することができる。
　また、対象検出装置１０は、第二要素に照射された場合における反射率が所定の第二反射率を超えている波長を有する光を被写体に照射して生成された第二画像を取得する。これにより、対象検出装置１０は、対象に含まれている第二要素が更に鮮明に描出されている第二画像を使用して第一要素及び第二要素を含んでいる対象を検出することができる。
　また、対象検出装置１０は、第一画像において第一要素が描出されている領域各々に関して所定の第一規則に基づいて第一点を選択する。同様に、対象検出装置１０は、第二画像において第二要素が描出されている領域各々に関して所定の第二規則に基づいて第二点を選択する。そして、対象検出装置１０は、第一点と第二点とを結ぶ線分の長さが所定の長さ未満となる第一点と第二点とを与える第一要素と第二要素との組み合わせを対象として検出する。
　これにより、対象検出装置１０は、第一要素が描出されている可能性がある領域及び第二要素が描出されている可能性がある領域の少なくとも一方が複数存在していても、対象に第一要素及び第二要素が含まれていることが分かっている場合、対象を更に確実に検出することができる。
　また、対象検出装置１０は、第一主画像に含まれる画素各々の輝度と、第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している第一画像を取得する。これにより、対象検出装置１０は、対象に含まれている第一要素を更に鮮明に描出している第一画像を使用して被写体に含まれている対象を検出することができる。
　また、対象検出装置１０は、第二主画像に含まれる画素各々の輝度と、第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している第二画像を取得する。これにより、対象検出装置１０は、対象に含まれている第二要素を更に鮮明に描出している第二画像を使用して被写体に含まれている対象を検出することができる。
　なお、第一実施形態では、対象検出部１０５が第一画像において所定の第一輝度を超える輝度で描出されている領域のうち、外接する図形の面積が所定の第一下限閾値未満である領域及び外接する図形の面積が所定の第一上限閾値を超えている領域の少なくとも一方を除外する場合を例に挙げたが、これに限定されない。対象検出部１０５は、第二画像において所定の第二輝度を超える輝度で描出されている領域のうち、外接する図形の面積が所定の第二下限閾値未満である領域及び外接する図形の面積が所定の第二上限閾値を超えている領域の少なくとも一方を除外してもよい。
　また、第一実施形態では、対象検出部１０５が第二画像において所定の第二輝度を超える輝度で描出されている領域のうち、輪郭の長さを面積で割った値が所定の第二下限閾値未満である領域及び輪郭の長さを面積で割った値が所定の第二上限閾値を超えている領域の少なくとも一方を除外する場合を例に挙げたが、これに限定されない。対象検出部１０５は、第一画像において所定の第一輝度を超える輝度で描出されている領域のうち、輪郭の長さを面積で割った値が所定の第一下限閾値未満である領域及び輪郭の長さを面積で割った値が所定の第一上限閾値を超えている領域の少なくとも一方を除外してもよい。
　また、第一実施形態では、対象検出部１０５が第二画像において所定の第二輝度を超える輝度で描出されている領域のうち、被写体の輪郭からの距離が所定の閾値未満である領域を除外する場合を例に挙げたが、これに限定されない。対象検出部１０５は、第一画像において所定の第一輝度を超える輝度で描出されている領域のうち、被写体の輪郭からの距離が所定の閾値未満である領域を除外してもよい。
　［第二実施形態］
　図１８から図２１を参照しながら第二実施形態に係る機械学習実行装置、対象検出装置、機械学習実行プログラム及び対象検出プログラムについて説明する。第二実施形態の説明では、鶏もも肉に含まれている膝軟骨部が検出される場合を例に挙げて説明する。また、第二実施形態に係る機械学習実行装置、対象検出装置、機械学習実行プログラム及び対象検出プログラムは、第一実施形態に係る対象検出装置及び対象検出プログラムと異なり、機械学習を使用することにより、被写体に含まれている対象を検出する。そこで、第二実施形態の説明では、第一実施形態と異なる部分を中心に説明し、第一実施形態と重複する内容の説明を適宜省略する。
　まず、図１８を参照しながら第二実施形態に係る機械学習実行装置を構成しているハードウェア及び機械学習実行装置に付帯しているハードウェアについて説明する。
　図１８は、第二実施形態に係る機械学習実行装置のハードウェア構成の一例を示す図である。図１８に示すように、機械学習実行装置３０は、プロセッサ３１と、主記憶装置３２と、通信インターフェース３３と、補助記憶装置３４と、入出力装置３５と、バス３６とを備える。
　プロセッサ３１は、例えば、ＣＰＵであり、機械学習実行プログラムを読み出して実行し、機械学習実行装置３０が有する各機能を実現させる。また、プロセッサ３１は、機械学習実行プログラム以外のプログラムを読み出して実行し、機械学習実行装置３０が有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置３２は、例えば、ＲＡＭであり、プロセッサ３１により読み出されて実行される機械学習実行プログラムその他のプログラムを予め記憶している。
　通信インターフェース３３は、ネットワークＮＷを介して機械学習装置４００その他の機器と通信を実行するためのインターフェース回路である。ネットワークＮＷは、例えば、ＷＡＮ（Wide　Area　Network）、ＬＡＮ（Local　Area　Network）、インターネット、イントラネットである。
　補助記憶装置３４は、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　入出力装置３５は、例えば、入出力ポートである。入出力装置３５は、例えば、図１８に示したマウス３５１、キーボード３５２及びディスプレイ３５３が接続される。マウス３５１及びキーボード３５２は、例えば、機械学習実行装置３０を操作するために必要なデータを入力する作業に使用される。ディスプレイ３５３は、例えば、液晶ディスプレイである。ディスプレイ３５３は、例えば、機械学習実行装置３０のグラフィカルユーザインターフェースを表示する。
　次に、図１９及び図２０を参照しながら第二実施形態に係る機械学習実行装置が実行する処理について説明する。図１９は、第二実施形態に係る機械学習実行装置の機能的な構成の一例を示す図である。図１９に示すように、機械学習実行装置３０は、教師データ取得部３０１と、機械学習実行部３０２とを備える。
　教師データ取得部３０１は、第一学習用画像と、第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、学習用マルチチャンネル画像に描出されている学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する。教師データ取得部３０１は、例えば、通信インターフェース３３を介して教師データを取得する。
　第一学習用画像は、第一波長群に属する光を学習用被写体に照射して生成され、学習用被写体を描出している画像である。第二学習用画像は、第二波長群に属する光を学習用被写体に照射して生成され、学習用被写体を描出している画像である。また、ここで言う学習用被写体は、例えば、鶏もも肉である。
　図２０は、第二実施形態に係る学習用マルチチャンネル画像の一例を示す図である。学習用マルチチャンネル画像は、第一学習用画像及び第二学習用画像に合成処理を施すことにより生成された画像である。図２０においてドットハッチングで示されている領域は、第一要素が描出されている可能性が比較的高い領域である。一方、図２０において縦線ハッチングで示されている領域は、第二要素が描出されている可能性が比較的高い領域である。
　また、図２０に示した矩形Ｌは、学習用マルチチャンネル画像に描出されている学習用被写体に含まれている学習用対象が描出されている領域の大きさ及び位置を示している。矩形Ｌの大きさ及び位置は、例えば、図２０に示した学習用マルチチャンネル画像にオブジェクト認識を適用することにより決定されてもよい。或いは、矩形Ｌの大きさ及び位置は、図２０に示した学習用マルチチャンネル画像を参照しているユーザ等がマウス３５１、キーボード３５２等を使用して入力したデータにより決定されてもよい。
　機械学習実行部３０２は、教師データを機械学習装置４００に実装されている機械学習モデル４００Ｍに入力し、機械学習モデル４００Ｍを学習させる。機械学習モデル４００Ｍは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional　Neural　Network）である。
　次に、図２１を参照しながら第二実施形態に係る機械学習実行装置が実行する処理の一例について説明する。図２１は、第二実施形態に係る機械学習実行装置が実行する処理の一例を示すフローチャートである。
　ステップＳ３１において、教師データ取得部３０１は、学習用マルチチャンネル画像を問題とし、学習用マルチチャンネル画像に描出されている学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する。
　ステップＳ３２において、機械学習実行部３０２は、教師データを機械学習モデル４００Ｍに入力し、機械学習モデル４００Ｍを学習させる。
　次に、図２２を参照しながら第二実施形態に係る対象検出装置を構成しているハードウェア及び対象検出装置に付帯しているハードウェアについて説明する。
　図２２は、第二実施形態に係る対象検出装置のハードウェア構成の一例を示す図である。図２２に示すように、対象検出装置５０は、プロセッサ５１と、主記憶装置５２と、通信インターフェース５３と、補助記憶装置５４と、入出力装置５５と、バス５６とを備える。
　プロセッサ５１は、例えば、ＣＰＵであり、対象検出プログラムを読み出して実行し、対象検出装置５０が有する各機能を実現させる。また、プロセッサ５１は、対象検出プログラム以外のプログラムを読み出して実行し、対象検出装置５０が有する各機能を実現させる上で必要な機能を実現させてもよい。
　主記憶装置５２は、例えば、ＲＡＭであり、プロセッサ５１により読み出されて実行される対象検出プログラムその他のプログラムを予め記憶している。
　通信インターフェース５３は、ネットワークＮＷを介して機械学習装置４００その他の機器と通信を実行するためのインターフェース回路である。ネットワークＮＷは、例えば、ＷＡＮ、ＬＡＮ、インターネット、イントラネットである。
　補助記憶装置５４は、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
　入出力装置５５は、例えば、入出力ポートである。入出力装置５５は、例えば、図２２に示したマウス５５１、ディスプレイ５５２及びキーボード５５３が接続される。マウス５５１及びキーボード５５３は、例えば、対象検出装置５０を操作するために必要なデータを入力する作業に使用される。ディスプレイ５５２は、例えば、液晶ディスプレイである。ディスプレイ５５２は、例えば、対象検出装置５０のグラフィカルユーザインターフェースを表示する。
　次に、図２３を参照しながら第二実施形態に係る対象検出装置が実行する処理について説明する。図２３は、第二実施形態に係る対象検出装置の機能的な構成の一例を示す図である。図２３に示すように、対象検出装置５０は、第一推論用画像取得部５０１と、第二推論用画像取得部５０２と、推論用画像生成部５０３と、推論用対象検出部５０４とを備える。
　第一推論用画像取得部５０１は、第一波長群に属する光を推論用被写体に照射して生成され、推論用被写体を描出している第一推論用画像を取得する。第二推論用画像取得部５０２は、第二波長群に属する光を推論用被写体に照射して生成され、推論用被写体を描出している第二推論用画像を取得する。また、ここで言う推論用被写体は、例えば、鶏もも肉である。
　推論用画像生成部５０３は、第一推論用画像と、第二推論用画像とを使用して推論用マルチチャンネル画像を生成する。例えば、推論用画像生成部５０３は、第一推論用画像と、第二推論用画像とに上述した合成処理を施して推論用マルチチャンネル画像を生成する。
　推論用対象検出部５０４は、機械学習実行装置３０により学習した機械学習モデル４００Ｍに推論用マルチチャンネル画像を入力し、推論用被写体に含まれている推論用対象を機械学習モデルに検出させる。ここで言う推論用対象は、推論用被写体が鶏もも肉である場合、鶏もも肉に含まれている膝軟骨部である。
　次に、図２４を参照しながら第二実施形態に係る対象検出装置が実行する処理の一例について説明する。図２４は、第二実施形態に係る対象検出装置が実行する処理の一例を示すフローチャートである。
　ステップＳ５１において、第一推論用画像取得部５０１は、第一推論用画像を取得する。
　ステップＳ５２において、第二推論用画像取得部５０２は、第二推論用画像を取得する。
　ステップＳ５３において、推論用画像生成部５０３は、第一推論用画像と、第二推論用画像とを使用して推論用マルチチャンネル画像を生成する。
　ステップＳ５４において、推論用対象検出部５０４は、機械学習モデルに推論用マルチチャンネル画像を入力し、推論用被写体に含まれている推論用対象を機械学習モデルに検出させる。
　以上、第二実施形態に係る機械学習実行装置、対象検出装置、機械学習実行プログラム及び対象検出プログラムについて説明した。
　機械学習実行装置３０は、教師データ取得部３０１と、機械学習実行部３０２とを備える。教師データ取得部３０１は、第一学習用画像と、第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、学習用マルチチャンネル画像に描出されている学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する。機械学習実行部３０２は、教師データを機械学習モデル４００Ｍに入力し、機械学習モデル４００Ｍを学習させる。
　これにより、機械学習実行装置３０は、第一実施形態に係る対象検出装置１０と同じ処理を実行する機械学習モデル４００Ｍを生成することができる。
　対象検出装置５０は、第一推論用画像取得部５０１と、第二推論用画像取得部５０２と、推論用画像生成部５０３と、推論用対象検出部５０４とを備える。第一推論用画像取得部５０１は、第一波長群に属する光を推論用被写体に照射して生成され、推論用被写体を描出している第一推論用画像を取得する。第二推論用画像取得部５０２は、第二波長群に属する光を推論用被写体に照射して生成され、推論用被写体を描出している第二推論用画像を取得する推論用画像生成部５０３は、第一推論用画像と、第二推論用画像とを使用して推論用マルチチャンネル画像を生成する。推論用対象検出部５０４は、機械学習実行装置３０により学習した機械学習モデル４００Ｍに推論用マルチチャンネル画像を入力し、推論用被写体に含まれている推論用対象を機械学習モデルに検出させる。
　これにより、対象検出装置５０は、第一実施形態に係る対象検出装置１０と同じ処理を実行する機械学習モデル４００Ｍを使用して推論用マルチチャンネル画像に描出されている推論用被写体に含まれている推論用対象を検出することができる。
　なお、上述した第一実施形態では、図１に示した対象検出装置１０が対象検出プログラムを読み出して実行するプロセッサ１１により実現される場合を例に挙げて説明したが、これに限定されない。図１に示した対象検出装置１０の少なくとも一部は、ＬＳＩ（Large　Scale　Integration）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＦＰＧＡ（Field-Programmable　Gate　Array）、ＧＰＵ（Graphics　Processing　Unit）等の回路部（circuitry）を含むハードウェアにより実現されてもよい。或いは、図１に示した対象検出装置１０の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
　同様に、上述した第二実施形態では、図１８に示した機械学習実行装置３０が機械学習実行プログラムを読み出して実行するプロセッサ３１により実現される場合を例に挙げて説明したが、これに限定されない。図１８に示した機械学習実行装置３０の少なくとも一部は、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等の回路部を含むハードウェアにより実現されてもよい。或いは、図１８に示した機械学習実行装置３０の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
　また、上述した第二実施形態では、図２２に示した対象検出装置５０が対象検出プログラムを読み出して実行するプロセッサ５１により実現される場合を例に挙げて説明したが、これに限定されない。図２２に示した対象検出装置５０の少なくとも一部は、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等の回路部を含むハードウェアにより実現されてもよい。或いは、図２２に示した対象検出装置５０の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
　上述した第一実施形態では、第一発光装置１５４がＬＥＤ等を含んでいる場合を例に挙げたが、これに限定されない。第一発光装置１５４は、光源と、当該光源から出射される光に含まれる波長成分の一部を減衰させる光学フィルタとを備えていてもよい。また、上述した実施形態では、第二発光装置１５６がＬＥＤ等を含んでいる場合を例に挙げたが、これに限定されない。第二発光装置１５６は、光源と、当該光源から出射される光に含まれる波長成分の一部を減衰させる光学フィルタとを備えていてもよい。なお、光源としては、例えば、キセノンランプ、重水素ランプが挙げられる。
　また、第一画像取得部１０２は、第一主画像と第一副画像とを使用して生成された第一画像以外の画像を第一画像として取得してもよい。すなわち、第一画像取得部１０２は、必ずしも、第一主画像に含まれる画素各々の輝度と、第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している第一画像を取得する必要は無い。例えば、第一画像取得部１０２は、第一波長群に属する波長を有する光を照射して撮影された画像を第一画像として取得してもよい。
　また、第一画像取得部１０２は、上述した第一主画像以外の第一主画像に含まれる画素各々の輝度と、上述した第一副画像以外の第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している第一画像を取得してもよい。ここで、上述した第一主画像以外の第一主画像は、例えば、第一波長群に属する第一主波長を有し、被写体に照射され、被写体により反射された光を検出して撮影され、被写体を描出している第一主画像である。また、ここで、上述した第一副画像以外の第一副画像は、例えば、第一波長群に属する第一副波長を有し、被写体に照射され、被写体により反射された光を検出して撮影され、被写体を描出している第一副画像である。
　また、第二画像取得部１０４は、第二主画像と第二副画像とを使用して生成された第二画像以外の画像を第二画像として取得してもよい。すなわち、第二画像取得部１０４は、必ずしも、第二主画像に含まれる画素各々の輝度と、第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している第二画像を取得する必要は無い。例えば、第二画像取得部１０４は、第二波長群に属する波長を有する光を照射して撮影された画像を第二画像として取得してもよい。
　また、第二画像取得部１０４は、上述した第二主画像以外の第二主画像に含まれる画素各々の輝度と、上述した第二副画像以外の第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している第二画像を取得してもよい。ここで、上述した第二主画像以外の第二主画像は、例えば、第二波長群に属する光を被写体に照射することにより被写体から出射され、第二主波長を有する光を検出して撮影され、被写体を描出している第二主画像である。また、ここで、上述した第二主画像以外の第二主画像は、例えば、第二波長群に属する光を被写体に照射することにより被写体から出射され、第二副波長を有する光を検出して撮影され、被写体を描出している第二副画像である。
　また、第一画像取得部１０２は、必ずしも、被写体により反射された光を受光素子で検出することにより生成された第一画像を取得する必要は無い。例えば、第一画像取得部１０２は、被写体を透過した光を受光素子して検出することにより生成された第一画像を取得してもよい。
　また、第二画像取得部１０４は、必ずしも、被写体により反射された光を受光素子で検出することにより生成された第一画像を取得する必要は無い。例えば、第二画像取得部１０４は、被写体を透過した光を受光素子して検出することにより生成された第二画像を取得してもよい。
　また、上述した第一実施形態及び第二実施形態では、被写体が鶏もも肉であり、検出される対象が膝軟骨部である場合を例に挙げたが、これに限定されない。
　例えば、被写体が食品等の包装であり、検出される対象が包装に印刷されている文字、絵柄等であってもよい。この場合、第一波長群及び第二波長群は、いずれも可視光領域に属する波長を含んでいることが好ましい。
　或いは、被写体が食品であり、検出される対象が食品に混入した毛髪であってもよい。この場合、毛髪が紫外領域に属する光を受けると蛍光発光し、赤外領域に特徴的な吸収ピークを有するため、第一波長群又は第二波長群が紫外領域又は赤外領域に属する波長を含んでいることが好ましい。
　或いは、被写体が食品であり、検出される対象が他の部分と異なる凍結状態を有する部分であってもよい。この場合、凍結状態の違いにより赤外領域における吸収ピークを与える波長が変化するため、第一波長群及び第二波長群は、いずれも赤外領域に属する波長を含んでいることが好ましい。
　或いは、被写体がハンバーグであり、検出される対象がハンバーグの表面又は裏面であってもよい。この場合、焦げ目が付いている部分と焦げ目が付いていない部分とで吸光度に差が生じるため、第一波長群又は第二波長群は、一方が近赤外領域に属する波長１２００ｎｍを含んでおり、他方が可視光領域に属する波長６００ｎｍを含んでいることが好ましい。
　或いは、被写体が餃子であり、検出される対象が餃子の餡であってもよい。この場合、餃子の餡による吸収ピークが近赤外領域に存在するため、近赤外領域に属する波長に属する波長が第一波長群又は第二波長群に含まれていることが好ましい。また、この場合、餃子の餡による吸収ピークが可視光領域に存在するため、可視光領域に属する波長に属する波長が第一波長群又は第二波長群に含まれていることが好ましい。
　以上、本発明の実施形態について図面を参照しながら詳述した。ただし、本発明の実施形態の具体的な構成は、上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内において種々の組み合わせ、変形、置換及び設計変更の少なくとも一つを上述した実施形態に加えたものであってもよい。
　また、上述した実施形態で説明した本発明の効果は、例として示した効果である。したがって、本発明は、上述した効果以外にも上述した実施形態の記載から当業者が認識し得る他の効果も奏し得る。
　１０…対象検出装置、１１…プロセッサ、１２…主記憶装置、１３…通信インターフェース、１４…補助記憶装置、１５…入出力装置、１６…バス、１０１…第一画像生成部、１０２…第一画像取得部、１０３…第二画像生成部、１０４…第二画像取得部、１０５…対象検出部、１５１…マウス、１５２…キーボード、１５３…ディスプレイ、１５４…第一発光装置、１５５…第一撮影装置、１５６…第二発光装置、１５７…第二撮影装置、２０…食品加工ライン、２００…制御装置、２０１…ベルトコンベア、２０２，２０３…光電センサ、Ｍ…鶏もも肉、３０…機械学習実行装置、３１…プロセッサ、３２…主記憶装置、３３…通信インターフェース、３４…補助記憶装置、３５…入出力装置、３６…バス、３０１…教師データ取得部、３０２…機械学習実行部、３５１…マウス、３５２…キーボード、３５３…ディスプレイ、４００…機械学習装置、４００Ｍ…機械学習モデル、５０…対象検出装置、５１…プロセッサ、５２…主記憶装置、５３…通信インターフェース、５４…補助記憶装置、５５…入出力装置、５６…バス、５０１…第一推論用画像取得部、５０２…第二推論用画像取得部、５０３…推論用画像生成部、５０４…推論用対象検出部、５５１…マウス、５５２…ディスプレイ、５５３…キーボード

Claims (14)

  1. 　第一波長群に属する光を被写体に照射して生成され、前記被写体を描出している第一画像を取得する第一画像取得部と、
    　前記第一波長群と異なる第二波長群に属しており、前記第一画像を生成するために前記被写体に照射された光と異なる波長を有する光を前記被写体に照射して生成され、前記被写体を描出している第二画像を取得する第二画像取得部と、
    　前記被写体に含まれている対象を前記第一画像及び前記第二画像を使用して検出する対象検出部と、
    　を備える対象検出装置。
  2. 　前記対象検出部は、前記第一画像において所定の第一輝度を超える輝度で描出される第一要素を検出し、前記第二画像において所定の第二輝度を超える輝度で描出され、前記第一要素と異なる第二要素を検出して前記対象を検出する、
    　請求項１に記載の対象検出装置。
  3. 　前記第一画像取得部は、前記第一要素に照射された場合における反射率が所定の第一反射率を超えている波長を有する光を前記被写体に照射して生成された前記第一画像を取得する、
    　請求項２に記載の対象検出装置。
  4. 　前記第二画像取得部は、前記第二要素に照射された場合における反射率が所定の第二反射率を超えている波長を有する光を前記被写体に照射して生成された前記第二画像を取得する、
    　請求項２に記載の対象検出装置。
  5. 　前記対象検出部は、前記第一画像において前記第一要素が描出されている領域各々に関して所定の第一規則に基づいて第一点を選択し、前記第二画像において前記第二要素が描出されている領域各々に関して所定の第二規則に基づいて第二点を選択し、前記第一点と前記第二点とを結ぶ線分の長さが所定の長さ未満となる前記第一点と前記第二点とを与える前記第一要素と前記第二要素との組み合わせを前記対象として検出する、
    　請求項２に記載の対象検出装置。
  6. 　前記第一画像取得部は、前記第一波長群に属する第一主波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第一主画像に含まれる画素各々の輝度と、前記第一波長群に属する第一副波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第一画像を取得する、
    　請求項１に記載の対象検出装置。
  7. 　前記第二画像取得部は、前記第二波長群に属する第二主波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第二主画像に含まれる画素各々の輝度と、前記第二波長群に属する第二副波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第二画像を取得する、
    　請求項１に記載の対象検出装置。
  8. 　前記第一画像取得部は、前記第一波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第一主波長を有する光を検出して撮影され、前記被写体を描出している第一主画像に含まれる画素各々の輝度と、前記第一波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第一副波長を有する光を検出して撮影され、前記被写体を描出している第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第一画像を取得する、
    　請求項１に記載の対象検出装置。
  9. 　前記第二画像取得部は、前記第二波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第二主波長を有する光を検出して撮影され、前記被写体を描出している第二主画像に含まれる画素各々の輝度と、前記第二波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第二副波長を有する光を検出して撮影され、前記被写体を描出している第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第二画像を取得する、
    　請求項１に記載の対象検出装置。
  10. 　第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する教師データ取得部と、
    　前記教師データを機械学習モデルに入力し、前記機械学習モデルを学習させる機械学習実行部と、
    　を備える機械学習実行装置。
  11. 　第一波長群に属する光を推論用被写体に照射して生成され、前記推論用被写体を描出している第一推論用画像を取得する第一推論用画像取得部と、
    　前記第一波長群と異なる第二波長群に属しており、前記第一推論用画像を生成するために前記推論用被写体に照射された光と異なる波長を有する光を前記推論用被写体に照射して生成され、前記推論用被写体を描出している第二推論用画像を取得する第二推論用画像取得部と、
    　前記第一推論用画像と、前記第二推論用画像とを使用して推論用マルチチャンネル画像を生成する推論用画像生成部と、
    　前記第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを使用して学習した機械学習モデルに前記推論用マルチチャンネル画像を入力し、前記推論用被写体に含まれている推論用対象を前記機械学習モデルに検出させる推論用対象検出部と、
    　を備える対象検出装置。
  12. 　コンピュータに、
    　第一波長群に属する光を被写体に照射して生成され、前記被写体を描出している第一画像を取得する第一画像取得機能と、
    　前記第一波長群と異なる第二波長群に属しており、前記第一画像を生成するために前記被写体に照射された光と異なる波長を有する光を前記被写体に照射して生成され、前記被写体を描出している第二画像を取得する第二画像取得機能と、
    　前記被写体に含まれている対象を前記第一画像及び前記第二画像を使用して検出する対象検出機能と、
    　を実現させる対象検出プログラム。
  13. 　コンピュータに、
    　第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する教師データ取得機能と、
    　前記教師データを機械学習モデルに入力し、前記機械学習モデルを学習させる機械学習実行機能と、
    　を実現させる機械学習実行プログラム。
  14. 　コンピュータに、
    　第一波長群に属する光を推論用被写体に照射して生成され、前記推論用被写体を描出している第一推論用画像を取得する第一推論用画像取得機能と、
    　前記第一波長群と異なる第二波長群に属しており、前記第一推論用画像を生成するために前記推論用被写体に照射された光と異なる波長を有する光を前記推論用被写体に照射して生成され、前記推論用被写体を描出している第二推論用画像を取得する第二推論用画像取得機能と、
    　前記第一推論用画像と、前記第二推論用画像とを使用して生成された推論用マルチチャンネル画像を生成する推論用画像生成機能と、
    　前記第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを使用して学習した機械学習モデルに前記推論用マルチチャンネル画像を入力し、前記推論用被写体に含まれている推論用対象を前記機械学習モデルに検出させる推論用対象検出機能と、
    　を実現させる対象検出プログラム。
PCT/JP2021/037947 2020-12-23 2021-10-13 対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム WO2022137748A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/254,007 US20240005624A1 (en) 2020-12-23 2021-10-13 Target detection device, machine learning implementation device, target detection program, and machine learning implementation program
EP21909906.6A EP4270303A1 (en) 2020-12-23 2021-10-13 Object detection device, machine learning implementation device, object detection program, and machine learning implementation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020213342A JP2022099535A (ja) 2020-12-23 2020-12-23 対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム
JP2020-213342 2020-12-23

Publications (1)

Publication Number Publication Date
WO2022137748A1 true WO2022137748A1 (ja) 2022-06-30

Family

ID=82158954

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037947 WO2022137748A1 (ja) 2020-12-23 2021-10-13 対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム

Country Status (5)

Country Link
US (1) US20240005624A1 (ja)
EP (1) EP4270303A1 (ja)
JP (1) JP2022099535A (ja)
TW (1) TWI805061B (ja)
WO (1) WO2022137748A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0285750A (ja) 1988-05-06 1990-03-27 Gersan Etab 狭周波数バンドの放射線および宝石の検知
JP2007024510A (ja) * 2005-07-12 2007-02-01 Ckd Corp 基板の検査装置
WO2008102143A1 (en) * 2007-02-22 2008-08-28 Enfis Limited Quality control of meat products and the like
JP2012112688A (ja) * 2010-11-22 2012-06-14 Seiko Epson Corp 検査装置
JP2015190898A (ja) * 2014-03-28 2015-11-02 セーレン株式会社 欠陥検出装置及び欠陥検出方法
JP2018066649A (ja) * 2016-10-19 2018-04-26 株式会社前川製作所 食肉の骨部判別装置及び食肉の骨部判別方法
JP2019015654A (ja) * 2017-07-10 2019-01-31 ファナック株式会社 機械学習装置、検査装置及び機械学習方法
JP2019032283A (ja) * 2017-08-09 2019-02-28 シスメックス株式会社 試料処理装置、試料処理システム、および測定時間の算出方法
WO2019059011A1 (ja) * 2017-09-19 2019-03-28 富士フイルム株式会社 教師データ作成方法及び装置並びに欠陥検査方法及び装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0285750A (ja) 1988-05-06 1990-03-27 Gersan Etab 狭周波数バンドの放射線および宝石の検知
JP2007024510A (ja) * 2005-07-12 2007-02-01 Ckd Corp 基板の検査装置
WO2008102143A1 (en) * 2007-02-22 2008-08-28 Enfis Limited Quality control of meat products and the like
JP2012112688A (ja) * 2010-11-22 2012-06-14 Seiko Epson Corp 検査装置
JP2015190898A (ja) * 2014-03-28 2015-11-02 セーレン株式会社 欠陥検出装置及び欠陥検出方法
JP2018066649A (ja) * 2016-10-19 2018-04-26 株式会社前川製作所 食肉の骨部判別装置及び食肉の骨部判別方法
JP2019015654A (ja) * 2017-07-10 2019-01-31 ファナック株式会社 機械学習装置、検査装置及び機械学習方法
JP2019032283A (ja) * 2017-08-09 2019-02-28 シスメックス株式会社 試料処理装置、試料処理システム、および測定時間の算出方法
WO2019059011A1 (ja) * 2017-09-19 2019-03-28 富士フイルム株式会社 教師データ作成方法及び装置並びに欠陥検査方法及び装置

Also Published As

Publication number Publication date
US20240005624A1 (en) 2024-01-04
JP2022099535A (ja) 2022-07-05
TW202240536A (zh) 2022-10-16
TWI805061B (zh) 2023-06-11
EP4270303A1 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
CN111684268B (zh) 食品检验辅助系统、食品检验辅助装置和计算机程序
US10184789B2 (en) Image inspection apparatus
US10379035B2 (en) Appearance inspection apparatus and appearance inspection method
JPWO2019151393A1 (ja) 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法
US20200305721A1 (en) Near-Infrared Fluorescence Imaging for Blood Flow and Perfusion Visualization and Related Systems and Computer Program Products
JP2009115613A (ja) 異物検査装置
CN108449962A (zh) 用于确定物体的反射率的方法和相关设备
CN109076155B (zh) 用于对人的脸部进行照明的方法和光电子照明装置、相机和移动终端
JP2018072180A (ja) 容器の異物検査装置及び異物検査方法
WO2022137748A1 (ja) 対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム
JP2011033612A (ja) 農産物検査装置
JP2022180641A (ja) 異物判別方法、加工農作物の製造方法、食品検査装置、及び異物除去システム
JP6914990B2 (ja) 物品検査装置及び物品検査方法
JP2018205084A (ja) 光学測定装置及び光学測定方法
JP7029343B2 (ja) 異物検出装置および異物検出方法
EP4072406A1 (en) Systems and methods for discrimination of tissue targets
JP2017190957A (ja) 光学測定装置
JP7155430B2 (ja) 画像生成装置、薬剤識別装置、薬剤表示装置、画像生成方法及びプログラム
Lawrence et al. Hyperspectral imaging for poultry contaminant detection
JP2019095238A (ja) 画像処理システム、画像処理方法、及びプログラム
WO2020241844A1 (ja) 画像処理装置及び画像処理プログラム
JP2004317153A (ja) 青果物の光沢検査装置及び光沢検査方法
JP2020005053A (ja) イメージセンサの分光感度測定方法、分光感度測定装置の検査方法及び分光感度測定装置
JP2023143024A (ja) 食品についての検査システム及び検査方法
JP6878093B2 (ja) 添付書類の検出装置及び検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21909906

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18254007

Country of ref document: US

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112023012279

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112023012279

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20230620

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021909906

Country of ref document: EP

Effective date: 20230724