TWI805061B - 對象檢測裝置、機械學習執行裝置、對象檢測程式以及機械學習執行程式 - Google Patents

對象檢測裝置、機械學習執行裝置、對象檢測程式以及機械學習執行程式 Download PDF

Info

Publication number
TWI805061B
TWI805061B TW110141239A TW110141239A TWI805061B TW I805061 B TWI805061 B TW I805061B TW 110141239 A TW110141239 A TW 110141239A TW 110141239 A TW110141239 A TW 110141239A TW I805061 B TWI805061 B TW I805061B
Authority
TW
Taiwan
Prior art keywords
image
subject
learning
aforementioned
wavelength
Prior art date
Application number
TW110141239A
Other languages
English (en)
Other versions
TW202240536A (zh
Inventor
今村光
徳本大
村並広章
Original Assignee
日商前川製作所股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020213342A external-priority patent/JP7574073B2/ja
Application filed by 日商前川製作所股份有限公司 filed Critical 日商前川製作所股份有限公司
Publication of TW202240536A publication Critical patent/TW202240536A/zh
Application granted granted Critical
Publication of TWI805061B publication Critical patent/TWI805061B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22C—PROCESSING MEAT, POULTRY, OR FISH
    • A22C17/00—Other devices for processing meat or bones
    • A22C17/0073—Other devices for processing meat or bones using visual recognition, X-rays, ultrasounds, or other contactless means to determine quality or size of portioned meat
    • A22C17/008—Other devices for processing meat or bones using visual recognition, X-rays, ultrasounds, or other contactless means to determine quality or size of portioned meat for measuring quality, e.g. to determine further processing
    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22C—PROCESSING MEAT, POULTRY, OR FISH
    • A22C21/00—Processing poultry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/845—Objects on a conveyor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G01N2021/945—Liquid or solid deposits of macroscopic size on surfaces, e.g. drops, films, or clustered contaminants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Wood Science & Technology (AREA)
  • Food Science & Technology (AREA)
  • Zoology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

對象檢測裝置係具備：第一影像取得部，係取得對被拍攝體照射屬於第一波長群的光線從而所生成的第一影像，前述第一影像係繪出前述被拍攝體；第二影像取得部，係取得對前述被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一影像而照射至前述被拍攝體的光線不同的波長之光線從而所生成的第二影像，前述第二影像係繪出前述被拍攝體；以及對象檢測部，係使用前述第一影像以及前述第二影像來檢測前述被拍攝體所含有的對象。

Description

對象檢測裝置、機械學習執行裝置、對象檢測程式以及機械學習執行程式
本發明係有關於一種對象檢測裝置、機械學習執行裝置、對象檢測程式以及機械學習執行程式。
本申請案係基於2020年12月23日於日本所申請的日本特願2020-213342號主張優先權，並將日本特願2020-213342號的內容援用至本申請案。
在工廠等中處理食品時，會有需要用以檢測食品所含有的特定的部位、混入至食品的異物等之技術的情形。作為此種技術的一例，例如能例舉專利文獻1所揭示的裝置。此種裝置係用以檢查對象或者物品，並具有：用以照射橫跨該對象或者物品的某種線之單元；以及觀察單元，係觀察該線的全部或者延長部分，且藉由放射線偵測窄帶的放射線，該窄帶的放射線係藉由處於激勵狀態的特定的對象或者物品的地域而放射；觀察系統係具有：窄帶的帶通濾波器(band pass filter)單元，係在特定的射入角度內實質性地過濾窄頻帶以外的全部的頻帶；偵測單元，係偵測已透過該濾波器單元的放射線；以及用以阻止透過該濾波器單元且到達至該偵測單元之該射入角度外的光線之單元。此外，於專利文獻1揭示有該裝置能應用於(使用紫外線)檢查切碎的魚的鮮度或者骨頭的存在。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開平02-58750號公報。
然而，由於上述裝置係僅會對物品等照射紫外線等之具有特定的光譜(spectrum)之一種類的光線，因此會有無法適當地檢測混入至物品等所含有的特定的部位、對象或者物品的異物等之情形。
例如，在欲對物品等照射X射線並拍攝X射線影像且檢測物品等所含有的對象之情形中，當對象的密度與對象的周圍的密度之間的差小時，會有下述情形：在X射線影像中繪出對象之區域與該區域的周圍的區域之間的亮度的對比變小，無法適當地檢測對象。或者，在欲對物品等照射激發光線並拍攝螢光影像且檢測物品等所含有的對象之情形中，當該對象以外亦包含有發出螢光的物體時，會有無法正確地檢測該對象之情形。或者，在欲對物品等照射白色光線並拍攝彩色影像且檢測物品等所含有的對象之情形中，當在對象與該對象的周圍中顏色、形狀類似時，會有即使使用彩色影像亦無法適當地檢測對象之情形。
本發明乃有鑑於上述情事而研創，提供一種能精度佳地檢測被拍攝體所含有的對象之對象檢測裝置、機械學習執行裝置、對象檢測程式以及機械學習執行程式。
本發明的態樣之一為一種對象檢測裝置，係具備：第一影像取得部，係取得對被拍攝體照射屬於第一波長群的光線從而所生成的第一影像，前述第一影像係繪出前述被拍攝體；第二影像取得部，係取得對前述被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一影像而照射至前述被拍攝體的光線不同的波長之光線從而所生成的第二影像，前述第二影像係繪出前述被拍攝體；以及對象檢測部，係使用前述第一影像以及前述第二影像來檢測前述被拍攝體所含有的對象。
本發明的態樣之一係如上面所說明的對象檢測裝置，其中前述對象檢測部係檢測前述第一影像中以超過預定的第一亮度之亮度所繪出的第一要素，並檢測在前述第二影像中以超過預定的第二亮度之亮度所繪出且與前述第一要素不同的第二要素，從而檢測前述對象。
本發明的態樣之一係如上面所說明的對象檢測裝置，其中前述第一影像取得部係取得對前述被拍攝體照射具有照射至前述第一要素時的反射率超過預定的第一反射率的波長之光線從而所生成的前述第一影像。
本發明的態樣之一係如上面所說明的對象檢測裝置，其中前述第二影像取得部係取得對前述被拍攝體照射具有照射至前述第二要素時的反射率超過預定的第二反射率的波長之光線從而所生成的前述第二影像。
本發明的態樣之一係如上面所說明的對象檢測裝置，其中前述對象檢測部係針對前述第一影像中繪出有前述第一要素之各個區域基於預定的第一規則來選擇第一點，並針對前述第二影像中繪出有前述第二要素之各個區域基於預定的第二規則來選擇第二點，且將前述第一要素與前述第二要素的組合 作為前述對象來檢測，前述第一要素與前述第二要素係賦予用以連接前述第一點與前述第二點之線段的長度變成未滿預定的長度之前述第一點與前述第二點。
本發明的態樣之一係如上面所說明的對象檢測裝置，其中前述第一影像取得部係取得用以藉由各個像素來表示值之前述第一影像，前述值係基於繪出前述被拍攝體之第一主影像所含有的各個像素的亮度以及繪出前述被拍攝體之第一副影像所含有的各個像素的亮度而被計算出，前述第一主影像係藉由對前述被拍攝體照射具有屬於前述第一波長群之第一主波長且檢測被前述被拍攝體反射的光線並拍攝而成，前述第一副影像係藉由對前述被拍攝體照射具有屬於前述第一波長群之第一副波長且檢測被前述被拍攝體反射的光線並拍攝而成。
本發明的態樣之一係如上面所說明的對象檢測裝置，其中前述第二影像取得部係取得用以藉由各個像素來表示值之前述第二影像，前述值係基於繪出前述被拍攝體之第二主影像所含有的各個像素的亮度以及繪出前述被拍攝體之第二副影像所含有的各個像素的亮度而被計算出，前述第二主影像係藉由對前述被拍攝體照射具有屬於前述第二波長群之第二主波長且檢測被前述被拍攝體反射的光線並拍攝而成，前述第二副影像係藉由對前述被拍攝體照射具有屬於前述第二波長群之第二副波長且檢測被前述被拍攝體反射的光線並拍攝而成。
本發明的態樣之一係如上面所說明的對象檢測裝置，其中前述第一影像取得部係取得用以藉由各個像素來表示值之前述第一影像，前述值係基於繪出前述被拍攝體之第一主影像所含有的各個像素的亮度以及繪出前述被拍攝體之第一副影像所含有的各個像素的亮度而被計算出，前述第一主影像係藉 由檢測對前述被拍攝體照射屬於前述第一波長群之光線從而從前述被拍攝體射出且具有第一主波長之光線並拍攝而成，前述第一副影像係藉由檢測對前述被拍攝體照射屬於前述第一波長群之光線從而從前述被拍攝體射出且具有第一副波長之光線並拍攝而成。
本發明的態樣之一係如上面所說明的對象檢測裝置，其中前述第二影像取得部係取得用以藉由各個像素來表示值之前述第二影像，前述值係基於繪出前述被拍攝體之第二主影像所含有的各個像素的亮度以及繪出前述被拍攝體之第二副影像所含有的各個像素的亮度而被計算出，前述第二主影像係藉由檢測對前述被拍攝體照射屬於前述第二波長群之光線從而從前述被拍攝體射出且具有第二主波長之光線並拍攝而成，前述第二副影像係藉由檢測對前述被拍攝體照射屬於前述第二波長群之光線從而從前述被拍攝體射出且具有第二副波長之光線並拍攝而成。
本發明的態樣之一為一種機械學習執行裝置，係具備：教師資料取得部，係取得教師資料，前述教師資料係使用學習用多通道影像，前述學習用多通道影像係使用第一學習用影像以及第二學習用影像而生成，且前述教師資料係教示有前述學習用多通道影像中之繪出有學習用被拍攝體所含有的學習用對象之區域的位置，前述第一學習用影像係藉由對前述學習用被拍攝體照射屬於前述第一波長群的光線從而所生成且繪出前述學習用被拍攝體，前述第二學習用影像係藉由對前述學習用被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一學習用影像而被照射至前述學習用被拍攝體的光線不同的波長之光線從而所生成且繪出前述學習用被拍攝體；以 及機械學習執行部，係將前述教師資料輸入至機械學習模組，並使前述機械學習模組學習。
本發明的態樣之一為一種對象檢測裝置，係具備：第一推論用影像取得部，係取得對推論用被拍攝體照射屬於第一波長群的光線從而所生成的第一推論用影像，前述第一推論用影像係繪出前述推論用被拍攝體；第二推論用影像取得部，係取得對前述推論用被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一推論用影像而照射至前述推論用被拍攝體的光線不同的波長之光線從而所生成的第二推論用影像，前述第二推論用影像係繪出前述推論用被拍攝體；推論用影像生成部，係使用前述第一推論用影像以及前述第二推論用影像來生成推論用多通道影像；以及推論用對象檢測部，係將前述推論用多通道影像輸入至已使用教師資料學習過的機械學習模組，並使前述機械學習模組檢測前述推論用被拍攝體所含有的推論用對象，前述教師資料係使用學習用多通道影像，前述學習用多通道影像係使用第一學習用影像以及第二學習用影像而生成，且前述教師資料係教示有前述學習用多通道影像中之繪出有學習用被拍攝體所含有的學習用對象之區域的位置，前述第一學習用影像係藉由對前述學習用被拍攝體照射屬於前述第一波長群的光線從而所生成且繪出前述學習用被拍攝體，前述第二學習用影像係藉由對前述學習用被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一學習用影像而被照射至前述學習用被拍攝體的光線不同的波長之光線從而所生成且繪出前述學習用被拍攝體。
本發明的態樣之一為一種對象檢測程式，係使電腦實現：第一影像取得功能，係取得對被拍攝體照射屬於第一波長群的光線從而所生成的 第一影像，前述第一影像係繪出前述被拍攝體；第二影像取得功能，係取得對前述被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一影像而照射至前述被拍攝體的光線不同的波長之光線從而所生成的第二影像，前述第二影像係繪出前述被拍攝體；以及對象檢測功能，係使用前述第一影像以及前述第二影像來檢測前述被拍攝體所含有的對象。
本發明的態樣之一為一種機械學習執行程式，係使電腦實現：教師資料取得功能，係取得教師資料，前述教師資料係使用學習用多通道影像，前述學習用多通道影像係使用第一學習用影像以及第二學習用影像而生成，且前述教師資料係教示有前述學習用多通道影像中之繪出有學習用被拍攝體所含有的學習用對象之區域的位置，前述第一學習用影像係藉由對前述學習用被拍攝體照射屬於第一波長群的光線從而所生成且繪出前述學習用被拍攝體，前述第二學習用影像係藉由對前述學習用被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一學習用影像而被照射至前述學習用被拍攝體的光線不同的波長之光線從而所生成且繪出前述學習用被拍攝體；以及機械學習執行功能，係將前述教師資料輸入至機械學習模組，並使前述機械學習模組學習。
本發明的態樣之一為一種對象檢測程式，係使電腦實現：第一推論用影像取得功能，係取得對推論用被拍攝體照射屬於第一波長群的光線從而所生成的第一推論用影像，前述第一推論用影像係繪出前述推論用被拍攝體；第二推論用影像取得功能，係取得對前述推論用被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一推論用影像而照射至前述推論用被拍攝體的光線不同的波長之光線從而所生成的第二推論用 影像，前述第二推論用影像係繪出前述推論用被拍攝體；推論用影像生成功能，係使用前述第一推論用影像以及前述第二推論用影像來生成推論用多通道影像；以及推論用對象檢測功能，係將前述推論用多通道影像輸入至已使用教師資料學習過的機械學習模組，並使前述機械學習模組檢測前述推論用被拍攝體所含有的推論用對象，前述教師資料係使用學習用多通道影像，前述學習用多通道影像係使用第一學習用影像以及第二學習用影像而生成，且前述教師資料係教示有前述學習用多通道影像中之繪出有學習用被拍攝體所含有的學習用對象之區域的位置，前述第一學習用影像係藉由對前述學習用被拍攝體照射屬於前述第一波長群的光線從而所生成且繪出前述學習用被拍攝體，前述第二學習用影像係藉由對前述學習用被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一學習用影像而被照射至前述學習用被拍攝體的光線不同的波長之光線從而所生成且繪出前述學習用被拍攝體。
依據本發明，能精度佳地檢測被拍攝體所含有的對象。
10,50:對象檢測裝置
11,31,51:處理器
12,32,52:主記憶裝置
13,33,53:通訊介面
14,34,54:輔助記憶裝置
15,35,55:輸入輸出裝置
16,36,56:匯流排
20:食品加工線
30:機械學習執行裝置
101:第一影像生成部
102:第一影像取得部
103:第二影像生成部
104:第二影像取得部
105:對象檢測部
151,351,551:滑鼠
152,352,553:鍵盤
153,353,552:顯示器
154:第一發光裝置
155:第一攝影裝置
156:第二發光裝置
157:第二攝影裝置
200:控制裝置
201:輸送帶
202,203:光電感測器
301:教師資料取得部
302:機械學習執行部
400:機械學習裝置
400M:機械學習模組
501:第一推論用影像取得部
502:第二推論用影像取得部
503:推論用影像生成部
504:推論用影像檢測部
C4,C7:圓
L:矩形
M:雞腿肉
NW:網路
R1,R3,R21,R22,R23,R24,R31,R32,R33,R40,R51,R52,R60,R71,R72:區域
[圖1]係顯示第一實施形態的對象檢測裝置的硬體構成的一例之圖。
[圖2]係顯示第一實施形態的對象檢測裝置、第一發光裝置、第一攝影裝置、第二發光裝置、第二攝影裝置以及食品加工線的一例之圖。
[圖3]係顯示第一實施形態的雞腿肉的軟骨的可視光區域的反射光譜、脂肪的可視光區域的反射光譜以及紅肉的可視光區域的反射光譜的一例之圖。
[圖4]係顯示檢測從第一實施形態的雞腿肉射出且具有第一主波長的光線並攝影而成的第一主影像的一例之圖。
[圖5]係顯示檢測從第一實施形態的雞腿肉射出且具有第一副波長的光線並攝影而成的第一副影像的一例之圖。
[圖6]係顯示第一實施形態的雞腿肉的軟骨的近紅外線區域的反射光譜、脂肪的近紅外線區域的反射光譜以及紅肉的近紅外線區域的反射光譜的一例之圖。
[圖7]係顯示檢測從第一實施形態的雞腿肉射出且具有第二副波長的光線並攝影而成的第二副影像的一例之圖。
[圖8]係顯示檢測從第一實施形態的雞腿肉射出且具有第二主波長的光線並攝影而成的第二主影像的一例之圖。
[圖9]係顯示第一實施形態的對象檢測裝置的功能性的構成的一例之圖。
[圖10]係顯示使用圖4所示的第一主影像以及圖5所示的第一副影像所生成的第一影像的一例之圖。
[圖11]係顯示使用圖7所示的第二副影像以及圖8所示的第二主影像所生成的第二影像的一例之圖。
[圖12]係顯示在第一實施形態的第一影像中以超過預定的第一亮度之亮度繪出的區域的一例之圖。
[圖13]係顯示存在繪出第一實施形態的第一要素的可能性之區域的一例之圖。
[圖14]係顯示在第一實施形態的第二影像中以超過預定的第二亮度之亮度繪出的區域的一例之圖。
[圖15]係顯示存在繪出第一實施形態的第二要素的可能性之區域的一例之圖。
[圖16]係顯示第一實施形態的多通道影像的一例之圖。
[圖17]係顯示第一實施形態的對象檢測裝置所執行的處理的一例之流程圖。
[圖18]係顯示第二實施形態的機械學習執行裝置的硬體構成的一例之圖。
[圖19]係顯示第二實施形態的機械學習執行裝置的功能性的構成的一例之圖。
[圖20]係顯示第二實施形態的學習用多通道影像的一例之圖。
[圖21]係顯示第二實施形態的機械學習執行裝置所執行的處理的一例之流程圖。
[圖22]係顯示第二實施形態的對象檢測裝置的硬體構成的一例之圖。
[圖23]係顯示第二實施形態的對象檢測裝置的功能性的構成的一例之圖。
[圖24]係顯示第二實施形態的對象檢測裝置所執行的處理的一例之流程圖。
[第一實施形態]
參照圖1至圖17說明第一實施形態的對象檢測裝置以及對象檢測程式。在第一實施形態的說明中，例舉對象檢測裝置檢測雞腿肉所含有的膝軟骨部之情形作為例子來說明。膝軟骨部為藉由軟骨與脂肪的組合所構成之部位，例如使用安裝於多關節機器人的前端之刀子從雞腿肉被切出。
首先，參照圖1至圖8說明用以構成第一實施形態的對象檢測裝置之硬體以及隨附至對象檢測裝置之硬體。
圖1係顯示第一實施形態的對象檢測裝置的硬體構成的一例之圖。如圖1所示，對象檢測裝置10係具備處理器(processor)11、主記憶裝置12、通訊介面13、輔助記憶裝置14、輸入輸出裝置15以及匯流排16。
處理器11係例如為CPU(Central Processing Unit；中央處理單元)，讀出並執行對象檢測程式，從而實現對象檢測裝置10所具有的各個功能。此外，處理器11亦可讀出並執行對象檢測程式以外的程式，從而實現對象檢測裝置10所具有的各個功能，並實現需要的功能。
主記憶裝置12係例如為RAM(Random Access Memory；隨機存取記憶體)，預先記憶供處理器11讀出並執行的對象檢測程式以及其他的程式。
通訊介面13為介面電路，用以經由網路來與第一攝影裝置155、第二攝影裝置157、控制裝置200、以及其他的機器執行通訊。此外，在此所謂的網路係例如為WAN(Wide Area Network；廣域網路)、LAN(Local Area Network；區域網路)、網際網路(internet)、內部網路(intranet)。
輔助記憶裝置14係例如為硬碟驅動機(HDD；Hard Disk Drive)、固態硬碟(SSD；Solid State Drive)、快閃記憶體(flash memory)、ROM(Read Only Memory；唯讀記憶體)。
輸入輸出裝置15係例如為輸入輸出埠(input-output port)。輸入輸出裝置15係例如連接有圖1所示的滑鼠151、鍵盤152以及顯示器153。圖2係顯示第一實施形態的對象檢測裝置、第一發光裝置、第一攝影裝置、第二發光裝置、第二攝影裝置以及食品加工線的一例之圖。輸入輸出裝置15係例如連接有圖1以 及圖2所示的第一攝影裝置155、第二攝影裝置157以及控制裝置200。此外，控制裝置200係連接有第一發光裝置154以及第二發光裝置156並控制第一發光裝置154以及第二發光裝置156。
滑鼠151以及鍵盤152係例如被使用於用以輸入為了操作對象檢測裝置10所需的資料之作業。
顯示器153係例如為液晶顯示器。顯示器153係例如顯示對象檢測裝置10的圖形化使用者介面(GUI；Graphical User Interface)。此外，顯示器153係例如顯示圖4所示的影像、圖5所示的影像、圖7所示的影像、圖8所示的影像、圖10所示的影像、圖11所示的影像、圖12所示的影像、圖13所示的影像、圖14所示的影像、圖15所示的影像以及圖16所示的影像中的至少一個影像。
第一發光裝置154為用以對被拍攝體照射屬於第一波長群的光線之裝置，並包含例如LED(Light Emitting Diode；發光二極體)、鹵素燈(halogen lamp)、鎢絲燈(tungsten lamp)或者雷射。被拍攝體係例如為圖2所示的雞腿肉M。雞腿肉M係被用以構成食品加工線20之輸送帶201搬運，並依序被光電感測器202以及光電感測器203偵測。輸送帶201、光電感測器202以及光電感測器203係被控制裝置200控制。如圖2所示，第一發光裝置154係例如設置於能夠從上方對被輸送帶201搬運的雞腿肉M照射光線之位置。
上述第一波長群係包含屬於預定的波長區域之至少一個波長。例如，第一波長群係包含365nm波長或者340nm波長。460nm波長為後述的第一主波長的一例。另一方面，520nm波長為後述的第一副波長的一例。
圖3係顯示第一實施形態的雞腿肉的軟骨的可視光區域的反射光譜、脂肪的可視光區域的反射光譜以及紅肉的可視光區域的反射光譜的一例之 圖。圖3所示的實線係顯示雞腿肉M的軟骨的可視光區域的反射光譜。圖3所示的虛線係顯示雞腿肉M的脂肪的可視光區域的反射光譜。圖3所示的一點鏈線係顯示雞腿肉M的紅肉的反射光譜。如圖3中的箭頭所示，460nm波長為用以賦予軟骨的反射光譜的峰值之波長。此外，具有460nm波長的光線為具有下述波長的光線的一例：被照射至用以構成膝軟骨部且為屬於第一要素的一例之軟骨的情形中的反射率超過預定的第一反射率。
第一發光裝置154係在藉由光電感測器202偵測雞腿肉M之後且在藉由光電感測器203偵測雞腿肉M之前的時間點，對雞腿肉M照射具有365nm波長、355nm最短波長以及375nm最長波長的光線。或者，第一發光裝置154係在藉由光電感測器202偵測雞腿肉M之後且在藉由光電感測器203偵測雞腿肉M之前的時間點，對雞腿肉M照射具有340nm波長、330nm最短波長以及350nm最長波長的光線。這些光線為屬於第一波長群之光線，且為用以在雞腿肉M的表面使包含460nm波長以及520nm波長的螢光激發之光線。
第一攝影裝置155為具備受光元件的攝影機(camera)，該受光元件係能夠檢測從雞腿肉M射出的光線。在此所謂的從雞腿肉M射出的光線為從雞腿肉M本身射出且具有460nm波長的螢光以及從雞腿肉M本身射出且具有520nm波長的螢光。此外，460nm波長為第一主波長的一例。另一方面，520nm波長為第一副波長的一例。此外，從雞腿肉M射出的光線亦可為在雞腿肉M的表面被反射的光線。此外，例如，在從雞腿肉M射出的光線為屬於可視光區域的光線之情形中，第一攝影裝置155係具備將矽(Si)、磷化鎵(GaP)或者磷化砷鎵(GaAsP)作為半導體來利用的受光元件。此外，如圖2所示，第一攝影裝置155係例如以能夠從上方攝影位於光電感測器202與光電感測器203之間的雞腿肉M之態樣來設置。
第一攝影裝置155係攝影被第一發光裝置154照射光線的被拍攝體並生成第一主影像。圖4係顯示檢測從第一實施形態的雞腿肉M射出且具有第一主波長的光線並攝影而成的第一主影像的一例之圖。例如，第一攝影裝置155係在藉由第一發光裝置154對雞腿肉M照射光線且從雞腿肉M射出具有460nm波長的螢光以及具有520nm波長的螢光時，從雞腿肉M檢測具有460nm波長的螢光並生成圖4所示的第一主影像。圖4所示的第一主影像係繪出雞腿肉M並於以圓C4所示的區域繪出雞腿肉M所含有的膝軟骨部。
此外，第一攝影裝置155係攝影被第一發光裝置154照射光線的被拍攝體並生成第一副影像。圖5係顯示檢測從第一實施形態的雞腿肉M射出且具有第一副波長的光線並攝影而成的第一副影像的一例之圖。例如，第一攝影裝置155係在藉由第一發光裝置154對雞腿肉M照射光線且從雞腿肉M射出具有460nm波長的螢光以及具有520nm波長的螢光時，從雞腿肉M檢測具有520nm波長的螢光並生成圖5所示的第一副影像。圖5所示的第一副影像係繪出雞腿肉M。
第二發光裝置156為用以對被拍攝體照射屬於與第一波長群不同的第二波長群且具有與為了攝影第一影像而照射至被拍攝體的光線不同的波長的光線之裝置，並包含例如LED、鹵素燈、鎢絲燈或者雷射。如圖2所示，第二發光裝置156係例如設置於能夠從上方對被輸送帶201搬運的雞腿肉M照射光線之位置。
上述第二波長群係包含屬於預定的波長區域之至少一個波長。例如，第二波長群係包含屬於從700nm波長至2500nm波長的近紅外線區域之1211nm波長以及1287nm波長。1211nm波長為後述的第二副波長的一例。另一方 面，1287nm波長為後述的第二主波長的一例。此外，於第二波長群所含有的波長的一部分亦可包含於第一波長群。
圖6係顯示第一實施形態的雞腿肉M的軟骨的近紅外線區域的反射光譜、脂肪的近紅外線區域的反射光譜以及紅肉的近紅外線區域的反射光譜的一例之圖。圖6所示的實線係顯示雞腿肉M的軟骨的近紅外線區域的反射光譜。圖6所示的虛線係顯示雞腿肉M的脂肪的近紅外線區域的反射光譜。圖6所示的一點鏈線係顯示雞腿肉M的紅肉的反射光譜。如圖6中的箭頭所示，上述1287nm波長為賦予軟骨的反射光譜的峰值之波長。此外，具有1287nm波長的光線為第二要素的一例，且為具有下述波長的光線的一例：被照射至用以構成膝軟骨部之脂肪的情形中的反射率超過預定的第二反射率。
第二發光裝置156係在藉由光電感測器203偵測雞腿肉M之後的時間點，對雞腿肉M照射包含1287nm波長以及1211nm波長的光線。
第二攝影裝置157為具備受光元件的攝影機，該受光元件係能夠檢測從雞腿肉M射出的光線。在此所謂的從雞腿肉M射出的光線為從雞腿肉M的表面反射且具有1211nm波長的光線以及從雞腿肉M的表面反射且具有1287nm波長的光線。此外，1211nm波長為第二副波長的一例。另一方面，1287nm波長為第二主波長的一例。此外，從雞腿肉M射出的光線亦可為在雞腿肉M本身射出的光線。此外，例如，在從雞腿肉M射出的光線為屬於近紅外線區域的光線之情形中，第二攝影裝置157係具備將磷化砷銦鎵(InGaAs)、硫化鉛(PbS)或者硒化鉛(PbSe)作為半導體來利用的受光元件。此外，如圖2所示，第二攝影裝置157係例如以能夠從上方攝影在輸送帶201上位於光電感測器203的下游的雞腿肉M之態樣來設置。
第二攝影裝置157係攝影被第一發光裝置154照射光線的被拍攝體並生成第二主影像。圖7係顯示檢測對第一實施形態的雞腿肉M照射具有第二副波長的光線並攝影而成的第二副影像的一例之圖。例如，第二攝影裝置157係在對雞腿肉M照射具有1211nm波長的光線以及具有1287nm波長的光線且這些光線在雞腿肉M的表面被反射時，拍攝雞腿肉M並生成圖7所示的第二副影像。圖7所示的第二副影像係繪出雞腿肉M並於以圓C7所示的區域繪出雞腿肉M所含有的膝軟骨部。
此外，第二攝影裝置157係攝影被第一發光裝置154照射光線的被拍攝體並生成第二主影像。圖8係顯示對第一實施形態的雞腿肉M照射具有第二主波長的光線並攝影而成的第二主影像的一例之圖。例如，第二攝影裝置157係在對雞腿肉M照射具有1211nm波長的光線以及具有1287nm波長的光線且這些光線在雞腿肉M的表面被反射時，拍攝雞腿肉M並生成圖8所示的第二主影像。圖8所示的第二主影像係繪出雞腿肉M。
匯流排16係以彼此能夠進行資料的收發之方式連接處理器11、主記憶裝置12、通訊介面13、輔助記憶裝置14以及輸入輸出裝置15。
接著，參照圖9至圖16說明第一實施形態的對象檢測裝置10所執行的處理。圖9係顯示第一實施形態的對象檢測裝置10的功能性的構成的一例之圖。如圖9所示，對象檢測裝置10係具備第一影像生成部101、第一影像取得部102、第二影像生成部103、第二影像取得部104以及對象檢測部105。
第一影像生成部101係使用第一主影像以及第一副影像生成第一影像。具體而言，第一影像生成部101係將用以藉由各個像素來表示值之影像作 為第一影像來生成，該值係基於第一主影像所含有的各個像素的亮度以及第一副影像所含有的各個像素的亮度而被計算出。
圖10係顯示使用圖4所示的第一主影像以及圖5所示的第一副影像所生成的第一影像的一例之圖。例如，第一影像生成部101係針對全部的座標執行下述處理來生成圖10所示的第一影像：針對在圖4所示的第一主影像與圖5所示的第一副影像中位於相同的座標之兩個像素，計算出兩個像素各者所表示的亮度的比率。由於各個像素係表示以第一副像素的各個像素的亮度來除以第一主影像的各個像素的亮度之值，因此圖10所示的第一影像成為已降低雞腿肉M的表面的凹凸導致光線的碰撞狀態的偏差的影響之影像。
第一影像取得部102係取得對被拍攝體照射屬於第一波長群的光線從而所生成的第一影像，該第一影像係繪出被拍攝體。第一影像取得部102係取得例如圖10所示的第一影像。
第二影像生成部103係使用第二主影像以及第二副影像來生成第二影像。具體而言，第二影像生成部103係將用以藉由各個像素來表示值之影像作為第二影像來生成，該值係基於第二主影像所含有的各個像素的亮度以及第二副影像所含有的各個像素的亮度而被計算出。
圖11係顯示使用圖7所示的第二副影像以及圖8所示的第二主影像所生成的第二影像的一例之圖。例如，第二影像生成部103係針對全部的座標執行下述處理來生成圖11所示的第二影像：針對在圖7所示的第二副影像與圖8所示的第二主影像中位於相同的座標之兩個像素，計算出兩個像素各者所表示的亮度的差分。由於各個像素係表示以從第二主影像的各個像素的亮度減掉第二副影像的亮度之值，因此圖11所示的第二影像成為已降低雜訊的影響之影像。
第二影像取得部104係取得對被拍攝體照射屬於與第一波長群不同的第二波長群且具有與為了生成第一影像而照射至被拍攝體的光線不同的波長之光線從而所生成的第二影像，該第二影像係繪出被拍攝體。第二影像取得部104係取得例如圖11所示的第二影像。
對象檢測部105係使用第一影像以及第二影像來檢測被拍攝體所含有的對象。具體而言，對象檢測部105係使用圖10所示的第一影像以及圖11所示的第二影像來檢測圖2所示的雞腿肉M所含有的膝軟骨部。此外，對象檢測部105係檢測第一影像中以超過預定的第一亮度之亮度所繪出的第一要素，並檢測在第二影像中以超過預定的第二亮度之亮度所繪出且與第一要素不同的第二要素，從而檢測對象。
圖12係顯示在第一實施形態的第一影像中以超過預定的第一亮度之亮度繪出的區域的一例之圖。對象檢測部105係基於預定的第一亮度抽出圖12所示的區域R1、區域R21、區域R22、區域R23、區域R24、區域R31、區域R32以及區域R33。這些區域為存在繪出用以構成雞腿肉M所含有的膝軟骨部且為上述第一要素的一例的軟骨的可能性之區域。此外，這些區域亦具有下述可能性：繪出該軟骨以外的物體且用以射出具有與該軟骨相同程度的波長的螢光之物體。或者，這些區域亦具有下述可能性：繪出具有與該軟骨相同程度的反射率之物體。
而且，對象檢測部105係使用至少一個過濾條件，藉此從上述區域中排除不會繪出第一要素的可能性較高的區域。
對象檢測部105係排除第一影像中之以超過預定的第一亮度之亮度繪出的區域中之面積未滿預定的第一下限臨限值之區域以及面積超過預定的 第一上限臨限值之區域的至少一方。例如，對象檢測部105係從圖12所示的區域中排除面積未滿預定的第一下限臨限值之區域R23以及區域R24。由於區域R23以及區域R24係面積較小，因此並不是用以繪出第一要素之區域，而是為繪出雜訊之區域的可能性高之區域。
對象檢測部105係排除第一影像中之以超過預定的第一亮度之亮度繪出的區域中之外切的圖形的面積未滿預定的第一下限臨限值之區域以及外切的圖形的面積超過預定的第一上限臨限值之區域的至少一方。例如，對象檢測部105係從圖12所示的區域中排除外切圓的面積超過預定的第一上限臨限值之區域R31、區域R32以及區域R33。區域R31、區域R32以及區域R33皆為細長且外切圓的半徑長之區域，且為抽出雞腿肉M所含有的筋或者筋膜之區域可能性高的區域。
圖13係顯示存在繪出第一實施形態的第一要素的可能性之區域的一例之圖。對象檢測部105係使用上述過濾條件，藉此如圖13所示將區域R1、區域R21以及區域R22作為存在抽出用以構成膝軟骨部之軟骨的可能性之區域予以抽出。
圖14係顯示在第一實施形態的第二影像中以超過預定的第二亮度之亮度繪出的區域的一例之圖。對象檢測部105係基於預定的第二亮度抽出圖14所示的區域R3、區域R40、區域R51、區域R52、區域R60、區域R71以及區域R72。這些區域為存在繪出用以構成雞腿肉M所含有的膝軟骨部且為上述第二要素的一例的脂肪的可能性之區域。此外，這些區域亦具有下述可能性：繪出該脂肪以外的物體且具有與該脂肪相同程度的反射率之物體。或者，這些區域亦具有下述可能性：繪出用以射出具有與該脂肪相同程度的波長的螢光之物體。
而且，對象檢測部105係使用至少一個過濾條件，藉此從上述區域中排除不會繪出第二要素的可能性較高的區域。
對象檢測部105係排除第二影像中之以超過預定的第二亮度之亮度繪出的區域中之面積未滿預定的第二下限臨限值之區域以及面積超過預定的第二上限臨限值之區域的至少一方。例如，對象檢測部105係從圖14所示的區域中排除面積未滿預定的第二下限臨限值之區域R51以及區域R52。由於區域R51以及區域R52係面積較小，因此並不是用以繪出第二要素之區域，而是為繪出雜訊之區域的可能性高之區域。此外，例如，對象檢測部105係從圖14所示的區域中排除面積超過預定的第二上限臨限值之區域R72。由於區域R72係面積較大，因此並不是用以繪出第二要素之區域，而是為繪出雞腿肉M所含有的雞皮之區域的可能性高之區域。
對象檢測部105係排除第二影像中之以超過預定的第二亮度之亮度繪出的區域中之以面積除以輪廓的長度後的值未滿預定的第二下限臨限值之區域以及以面積除以輪廓的長度後的值超過預定的第二上限臨限值之區域的至少一方。例如，對象檢測部105係從圖14所示的區域中排除以面積除以輪廓的長度後的值超過預定的第一上限臨限值之區域R60。區域R60並不是用以繪出第二要素之區域，而是為繪出不是構成膝軟骨部之脂肪的可能性高之區域。
對象檢測部105係排除第二影像中之以超過預定的第二亮度之亮度繪出的區域中之與被拍攝體的輪廓相距的距離未滿預定的臨限值之區域。例如，對象檢測部105係排除圖14所示的區域中之與被拍攝體的輪廓相距的距離未滿預定的臨限值之區域R71以及區域R72。由於區域R71以及區域R72係存在於比 較接近雞腿肉M的輪廓之位置，因此不是用以繪出第二要素之區域，而是為繪出雞腿肉M所含有的雞皮的之區域的可能性高之區域。
圖15係顯示存在繪出第一實施形態的第二要素的可能性之區域的一例之圖。對象檢測部105係使用上述過濾條件，藉此如圖15所示將區域R3以及區域R40作為存在抽出用以構成膝軟骨部之軟骨的可能性之區域予以抽出。
接著，對象檢測部105係使用第一影像以及第二影像來生成多通道影像。圖16係顯示第一實施形態的多通道影像的一例之圖。例如，對象檢測部105係執行合成處理並生成圖16所示的多通道影像，合成處理係用以合成圖13所示的第一影像以及圖15所示的第二影像。圖16所示的多通道影像係繪出亦於圖13所示的區域R1、區域R21及區域R22以及亦於圖15所示的區域R3以及區域R40。此外，合成處理係包含放大處理、縮小處理、解析度整合處理、失真去除處理以及對位處理中的至少一個。
放大處理為下述處理：以使繪出至第一影像之被拍攝體的尺寸與繪出至第二影像之被拍攝體的尺寸整合為目的，使第一影像以及第二影像的至少一方於至少一個方向放大。縮小處理為下述處理：以使繪出至第一影像之被拍攝體的尺寸與繪出至第二影像之被拍攝體的尺寸整合為目的，使第一影像以及第二影像的至少一方於至少一個方向縮小。
解析度整合處理為下述處理：調整第一影像的解析度以及第二影像的解析度中的至少一方，並使第一影像的解析度以及第二影像的解析度整合。失真去除處理係包含下述處理的至少一方：用以去除因為使用於第一影像的攝影之透鏡等的光學構件的失真所導致的第一影像的失真之處理；以及用以去除因為使用於第二影像的攝影之透鏡等的光學構件的失真所導致的第二影像 的失真之處理。對位處理為下述處理：以整合設定於繪出至第一影像之被拍攝體的特定的部位之基準點以及設定於繪出至第二影像之被拍攝體的特定的部位之基準點之方式，調整第一影像以及第二影像的至少一方。
接著，對象檢測部105係針對在第一影像中描繪有第一要素之各個區域，基於預定的第一規則選擇第一點。例如，對象檢測部105係計算出圖16所示的區域R1、區域R21以及區域R23各者的重心的位置，並選擇這些重心作為第一點。此外，對象檢測部105係針對在第二影像中描繪有第二要素之各個區域，基於預定的第二規則選擇第二點。例如，對象檢測部105係計算出圖16所示的區域R3以及區域R40各者的重心的位置，並選擇這些重心作為第二點。
而且，對象檢測部105係將第一要素與第二要素的組合作為對象來檢測，第一要素與第二要素係賦予用以連接第一點與第二點之線段的長度變成未滿預定的長度之第一點與第二點。
例如，在圖16所示的例子中，對象檢測部105係僅用以連結區域R1的重心與區域R3的重心之線段的長度變成未滿上述預定的長度。因此，在圖16所示的例子中，對象檢測部105係於區域R1繪出有第一要素，於區域R3繪出有第二要素，並將該第一要素與該第二要素的組合作為雞腿肉M所含有的膝軟骨部來檢測。
接著，參照圖17說明第一實施形態的對象檢測裝置所執行的處理的一例。圖17係顯示第一實施形態的對象檢測裝置所執行的處理的一例之流程圖。
在步驟S11中，第一影像生成部101係使用第一主影像以及第一副影像來生成第一影像。
在步驟S12中，第一影像取得部102係取得第一影像。
在步驟S13中，第二影像生成部103係使用第二主影像以及第二副影像來生成第二影像。
在步驟S14中，第二影像取得部104係取得第二影像。
在步驟S15中，對象檢測部105係使用第一影像以及第二影像來檢測被拍攝體所含有的對象。
以上已說明了第一實施形態的對象檢測裝置10以及對象檢測程式。對象檢測裝置10係具備第一影像取得部102、第二影像取得部104以及對象檢測部105。第一影像取得部102係取得對被拍攝體照射屬於第一波長群的光線從而所生成的第一影像，該第一影像係繪出被拍攝體。第二影像取得部104係取得對被拍攝體照射屬於與第一波長群不同的第二波長群且具有與為了生成第一影像而照射至被拍攝體的光線不同的波長之光線從而所生成的第二影像，該第二影像係繪出被拍攝體。對象檢測部105係使用第一影像以及第二影像來檢測被拍攝體所含有的對象。
亦即，對象檢測裝置10係使用具有彼此不同的波長的複數個光線來檢測被拍攝體所含有的對象。因此，即使在被拍攝體所含有的對象以複數個要素所構成且各個要素的反射光譜不同之情形中，對象檢測裝置10亦能精度佳地檢測被拍攝體所含有的對象。
此外，對象檢測部10係檢測第一影像中以超過預定的第一亮度之亮度所繪出的第一要素，並檢測在第二影像中以超過預定的第二亮度之亮度所繪出且與第一要素不同的第二要素，從而檢測對象。
藉此，對象檢測裝置10係在對象包含有第一要素以及第二要素之情形中能更精度佳地檢測該對象。此外，在此所謂的第一要素係可為用以射出屬於第一波長群的波長且具有一定以上的強度的光線之要素，亦可為具有屬於第一波長群的波長之光線的反射率較大之要素。此外，在此所謂的第二要素係可為用以射出屬於第二波長群的波長且具有一定以上的強度的光線之要素，亦可為具有屬於第二波長群的波長之光線的反射率較大之要素。
此外，對象檢測裝置10係取得對被拍攝體照射具有被照射至第一要素時的反射率超過預定的第一反射率的波長之光線從而所生成的第一影像。藉此，對象檢測裝置10係能使用更鮮明地繪出有對象所含有的第一要素之第一影像來檢測包含第一要素以及第二要素的對象。
此外，對象檢測裝置10係取得對被拍攝體照射具有被照射至第二要素時的反射率超過預定的第二反射率的波長之光線從而所生成的第二影像。藉此，對象檢測裝置10係能使用更鮮明地繪出有對象所含有的第二要素之第二影像來檢測包含第一要素以及第二要素的對象。
此外，對象檢測部10係針對第一影像中繪出有第一要素之各個區域，基於預定的第一規則來選擇第一點。同樣地，對象檢測裝置10係針對第二影像中繪出有第二要素之各個區域，基於預定的第二規則來選擇第二點。而且，對象檢測裝置10係將第一要素與第二要素的組合中第一要素中的第一點與第二要素中的第二點連接而成之線段未滿預定長度之組合作為對象而檢測出。
藉此，即使存在複數個存在繪出有第一要素之可能性的區域以及存在繪出有第二要素之可能性的區域中的至少一方，在知道對象包含有第一要素以及第二要素之情形中，對象檢測裝置10亦能更確實地檢測對象。
此外，對象檢測裝置10係取得用以藉由各個像素來表示值之第一影像，該值係基於第一主影像所含有的各個像素的亮度以及第一副影像所含有的各個像素的亮度而被計算出。藉此，對象檢測裝置10係能使用更鮮明地繪出對象所含有的第一要素之第一影像來檢測被拍攝體所含有的對象。
此外，對象檢測裝置10係取得用以藉由各個像素來表示值之第二影像，該值係基於第二主影像所含有的各個像素的亮度以及第二副影像所含有的各個像素的亮度而被計算出。藉此，對象檢測裝置10係能使用更鮮明地繪出對象所含有的第二要素之第二影像來檢測被拍攝體所含有的對象。
此外，在第一實施形態中，雖然例舉對象檢測部105係排除第一影像中之以超過預定的第一亮度之亮度繪出的區域中之外切的圖形的面積未滿預定的第一下限臨限值之區域以及外切的圖形的面積超過預定的第一上限臨限值之區域的至少一方之情形作為例子，然而並未限定於此。亦可為對象檢測部105係排除第二影像中之以超過預定的第二亮度之亮度繪出的區域中之外切的圖形的面積未滿預定的第二下限臨限值之區域以及外切的圖形的面積超過預定的第二上限臨限值之區域的至少一方。
此外，在第一實施形態中，雖然例舉對象檢測部105係排除第二影像中之以超過預定的第二亮度之亮度繪出的區域中之以面積除以輪廓的長度後的值未滿預定的第二下限臨限值之區域以及以面積除以輪廓的長度後的值超過預定的第二上限臨限值之區域的至少一方之情形作為例子，然而並未限定於此。亦可為對象檢測部105係排除第一影像中之以超過預定的第一亮度之亮度繪出的區域中之以面積除以輪廓的長度後的值未滿預定的第一下限臨限值之區域 以及以面積除以輪廓的長度後的值超過預定的第一上限臨限值之區域的至少一方。
此外，在第一實施形態中，雖然例舉對象檢測部105係排除第二影像中之以超過預定的第二亮度之亮度繪出的區域中之與被拍攝體的輪廓相距的距離未滿預定的臨限值之區域之情形作為例子，然而並未限定於此。亦可為對象檢測部105係排除第一影像中之以超過預定的第一亮度之亮度繪出的區域中之與被拍攝體的輪廓相距的距離未滿預定的臨限值之區域。
[第二實施形態]
參照圖18至圖21說明第二實施形態的機械學習執行裝置、對象檢測裝置、機械學習執行程式以及對象檢測程式。在第二實施形態的說明中，例舉檢測雞腿肉M所含有的膝軟骨部之情形作為例子來說明。此外，第二實施形態的機械學習執行裝置、對象檢測裝置、機械學習執行程式以及對象檢測程式係與第一實施形態的對象檢測裝置以及對象檢測程式不同，藉由使用機械學習來檢測被拍攝體所含有的對象。因此，在第二實施形態的說明中，以與第一實施形態不同的部分作為中心來說明，並適當地省略與第一實施形態重複的內容的說明。
首先，參照圖18說明用以構成第二實施形態的機械學習執行裝置之硬體以及隨附至機械學習執行裝置之硬體。
圖18係顯示第二實施形態的機械學習執行裝置的硬體構成的一例之圖。如圖18所示，機械學習執行裝置30係具備處理器31、主記憶裝置32、通訊介面33、輔助記憶裝置34、輸入輸出裝置35以及匯流排36。
處理器31係例如為CPU，讀出並執行機械學習執行程式，從而實現機械學習執行裝置30所具有的各個功能。此外，處理器31亦可讀出並執行機 械學習執行程式以外的程式，從而實現機械學習執行裝置30所具有的各個功能，並實現需要的功能。
主記憶裝置32係例如為RAM，預先記憶供處理器31讀出並執行的機械學習執行程式以及其他的程式。
通訊介面33為介面電路，用以經由網路NW來與機械學習裝置400以及其他的機器執行通訊。網路NW係例如為WAN、LAN、網際網路、內部網路。
輔助記憶裝置34係例如為硬碟驅動機、固態硬碟、快閃記憶體、ROM。
輸入輸出裝置35係例如為輸入輸出埠。輸入輸出裝置35係例如連接有圖18所示的滑鼠351、鍵盤352以及顯示器353。滑鼠351以及鍵盤352係例如被使用於用以輸入為了操作機械學習執行裝置30所需的資料之作業。顯示器353係例如為液晶顯示器。顯示器353係例如顯示機械學習執行裝置30的圖形化使用者介面。
接著，參照圖19以及圖20說明第二實施形態的機械學習執行裝置所執行的處理。圖19係顯示第二實施形態的機械學習執行裝置的功能性的構成的一例之圖。如圖19所示，機械學習執行裝置30係具備教師資料取得部301以及機械學習執行部302。
教師資料取得部301係取得教師資料，該教師資料係使用學習用多通道影像，該學習用多通道影像係使用第一學習用影像以及第二學習用影像而生成，且教師資料係教示有學習用多通道影像中之繪出有學習用被拍攝體所 含有的學習用對象之區域的位置。教師資料取得部301係例如經由通訊介面33取得教師資料。
第一學習用影像為藉由對學習用被拍攝體照射屬於第一波長群的光線從而所生成且繪出學習用被拍攝體之影像。第二學習用影像為藉由對學習用被拍攝體照射屬於第二波長群的光線從而所生成且繪出學習用被拍攝體之影像。此外，在此所謂的學習用被拍攝體係例如為雞腿肉。
圖20係顯示第二實施形態的學習用多通道影像的一例之圖。學習用多通道影像為藉由對第一學習用影像以及第二學習用影像施予合成處理從而所生成之影像。在圖20中以陰影線所示的區域為繪出第一要素的可能性較高之區域。另一方面，在圖20中以縱影線所示的區域為繪出第二要素的可能性較高之區域。
此外，圖20所示的矩形L係顯示繪出至學習用多通道影像中之繪出有學習用被拍攝體所含有的學習用對象之區域的大小以及位置。矩形L的大小以及位置亦可例如藉由將物件(object)辨識應用於圖20所示的學習用多通道影像來決定。或者，矩形L的大小以及位置亦可藉由使用者等參照圖20所示的學習用多通道影像並使用滑鼠351、鍵盤352等所輸入的資料來決定。
機械學習執行部302係將教師資料輸入至裝設於機械學習裝置400的機械學習模組400M，並使機械學習模組400M學習。機械學習模組400M係例如為卷積類神經網路(CNN；Convolutional Neural Network)。
接著，參照圖21說明第二實施形態的機械學習執行裝置所執行的處理的一例。圖21係顯示第二實施形態的機械學習執行裝置所執行的處理的一例之流程圖。
在步驟S31中，教師資料取得部301係取得教師資料，教師資料係使用學習用多通道影像，且教師資料係教示有學習用多通道影像中之繪出有學習用被拍攝體所含有的學習用對象之區域的位置。
在步驟S32中，機械學習執行部302係將教師資料輸入至機械學習模組400M，並使機械學習模組400M學習。
接著，參照圖22說明用以構成第二實施形態的對象檢測裝置之硬體以及隨附至對象檢測裝置之硬體。
圖22係顯示第二實施形態的對象檢測裝置的硬體構成的一例之圖。如圖22所示，對象檢測裝置50係具備處理器51、主記憶裝置52、通訊介面53、輔助記憶裝置54、輸入輸出裝置55以及匯流排56。
處理器51係例如為CPU，讀出並執行對象檢測程式，從而實現對象檢測裝置50所具有的各個功能。此外，處理器51亦可讀出並執行對象檢測程式以外的程式，從而實現對象檢測裝置50所具有的各個功能，並實現需要的功能。
主記憶裝置52係例如為RAM，預先記憶供處理器51讀出並執行的對象檢測程式以及其他的程式。
通訊介面53為介面電路，用以經由網路NW來與機械學習裝置400以及其他的機器執行通訊。此外，在此所謂的網路NW係例如為WAN、LAN、網際網路、內部網路。
輔助記憶裝置54係例如為硬碟驅動機、固態硬碟、快閃記憶體、ROM。
輸入輸出裝置55係例如為輸入輸出埠。輸入輸出裝置55係例如連接有圖22所示的滑鼠551、顯示器552以及鍵盤553。滑鼠551以及鍵盤553係例如被使用於用以輸入為了操作對象檢測裝置50所需的資料之作業。顯示器52係例如為液晶顯示器。顯示器552係例如顯示對象檢測裝置50的圖形化使用者介面。
接著，參照圖23說明第二實施形態的對象檢測裝置50所執行的處理。圖23係顯示第二實施形態的對象檢測裝置50的功能性的構成的一例之圖。如圖23所示，對象檢測裝置50係具備第一推論用影像取得部501、第二推論用影像取得部502、推論用影像生成部503以及推論用對象檢測部504。
第一推論用影像取得部501係取得對推論用被拍攝體照射屬於第一波長群的光線從而所生成的第一推論用影像，該第一推論用影像係繪出推論用被拍攝體。第二推論用影像取得部502係取得對推論用被拍攝體照射屬於第二波長群的光線從而所生成的第二推論用影像，該第二推論用影像係繪出推論用被拍攝體。此外，在此所謂的推論用被拍攝體係例如為雞腿肉。
推論用影像生成部503係使用第一推論用影像以及第二推論用影像來生成推論用多通道影像。例如，推論用影像生成部503係對第一推論用影像以及第二推論用影像施予上述合成處理從而生成推論用多通道影像。
推論用對象檢測部504係將推論用多通道影像輸入至已藉由機械學習執行裝置30學習過的機械學習模組400M，並使機械學習模組400M檢測推論用被拍攝體所含有的推論用對象。在此，所謂的推論用對象係在推論用被拍攝體為雞腿肉之情形中為雞腿肉所含有的膝軟骨部。
接著，參照圖24說明第二實施形態的對象檢測裝置所執行的處理的一例。圖24係顯示第二實施形態的對象檢測裝置所執行的處理的一例之流程圖。
在步驟S51中，第一推論用影像取得部501係取得第一推論用影像。
在步驟S52中，第二推論用影像取得部502係取得第二推論用影像。
在步驟S53中，推論用影像生成部503係使用第一推論用影像以及第二推論用影像來生成推論用多通道影像。
在步驟S54中，推論用對象檢測部504係將推論用多通道影像輸入至機械學習模組，使機械學習模組檢測推論用被拍攝體所含有的推論用對象。
以上說明了第二實施形態的機械學習執行裝置、對象檢測裝置、機械學習執行程式以及對象檢測程式。
機械學習執行裝置30係具備教師資料取得部301以及機械學習執行部302。教師資料取得部301係取得教師資料，該教師資料係使用學習用多通道影像，該學習用多通道影像係使用第一學習用影像以及第二學習用影像而生成，且該教師資料係教示有學習用多通道影像中之繪出有學習用被拍攝體所含有的學習用對象之區域的位置。機械學習執行部302係將教師資料輸入至機械學習模組400M，並使機械學習模組400M學習。
藉此，機械學習執行裝置30係能生成機械學習模組400M，機械學習模組400M係用以執行與第一實施形態的對象檢測裝置10相同的處理。
對象檢測裝置50係具備第一推論用影像取得部501、第二推論用影像取得部502、推論用影像生成部503以及推論用對象檢測部504。第一推論用影像取得部501係取得對推論用被拍攝體照射屬於第一波長群的光線從而所生成的第一推論用影像，該第一推論用影像係繪出推論用被拍攝體。第二推論用影像取得部502係取得對推論用被拍攝體照射屬於第二波長群光線從而所生成的第二推論用影像，該第二推論用影像係繪出推論用被拍攝體。推論用影像生成部503係使用第一推論用影像以及第二推論用影像來生成推論用多通道影像。推論用對象檢測部504係將推論用多通道影像輸入至已藉由機械學習執行裝置30學習過的機械學習模組400M，並使機械學習模組400M檢測推論用被拍攝體所含有的推論用對象。
藉此，對象檢測裝置50係能使用用以執行與第一實施形態的對象檢測裝置10相同的處理之機械學習模組400M來檢測繪出至推論用多通道影像之推論用被拍攝體所含有的推論用對象。
此外，在上述第一實施形態中，雖然例舉藉由用以讀出並執行對象檢測程式之處理器11來實現圖1所示的對象檢測裝置10之情形作為例子來說明，然而並未限定於此。圖1所示的對象檢測裝置10的至少一部分亦可藉由包含LSI(Large Scale Integration；大型積體電路)、ASIC(Application Specific Integrated Circuit；特定應用積體電路)、FPGA(Field Programmable Gate Array；現場可程式閘陣列)、GPU(Graphics Processing Unit；圖形處理單元)等電路部(circuitry)之硬體來實現。或者，圖1所示的對象檢測裝置10的至少一部分亦可藉由軟體與硬體的協同作業來實現。或者，這些硬體亦可統合成一個，亦可區分成複數個。
同樣地，在上述第二實施形態中，雖然例舉藉由用以讀出並執行機械學習執行程式之處理器31來實現圖18所示的機械學習執行裝置30之情形作為例子來說明，然而並未限定於此。圖18所示的機械學習執行裝置30的至少一部分亦可藉由包含LSI、ASIC、FPGA、GPU等電路部之硬體來實現。或者，圖18所示的機械學習執行裝置30的至少一部分亦可藉由軟體與硬體的協同作業來實現。或者，這些硬體亦可統合成一個，亦可區分成複數個。
此外，在上述第二實施形態中，雖然例舉藉由用以讀出並執行對象檢測程式之處理器51來實現圖22所示的對象檢測裝置50之情形作為例子來說明，然而並未限定於此。圖22所示的對象檢測裝置50的至少一部分亦可藉由包含LSI、ASIC、FPGA、GPU等電路部之硬體來實現。或者，圖22所示的對象檢測裝置50的至少一部分亦可藉由軟體與硬體的協同作業來實現。或者，這些硬體亦可統合成一個，亦可區分成複數個。
在上述第一實施形態中，雖然例舉第一發光裝置154包含LED等之情形作為例子，然而並未限定於此。第一發光裝置154亦可具備：光源；以及光學過濾器，係使從該光源射出的光線所含有的波長成分的一部分衰減。此外，在上述實施形態中，雖然例舉第二發光裝置156包含LED等之情形作為例子，然而並未限定於此。第二發光裝置156亦可具備：光源；以及光學過濾器，係使從該光源射出的光線所含有的波長成分的一部分衰減。此外，作為光源，例如能例舉氙燈(xenon lamp)、氘燈(deuterium lamp)。
此外，第一影像取得部102亦可取得使用第一主影像以及第一副影像所生成的第一影像以外的影像作為第一影像。亦即，第一影像取得部102並不一定需要取得用以藉由各個像素來表示基於第一主影像所含有的各個像素的 亮度以及第一副影像所含有的各個像素的亮度而被計算出的值之第一影像。例如，第一影像取得部102亦可取得照射具有屬於第一波長群的波長之光線並攝影而成的影像作為第一影像。
此外，第一影像取得部102亦可取得用以藉由各個像素來表示基於上述第一主影像以外的第一主影像所含有的各個像素的亮度以及上述第一副影像以外的第一副影像所含有的各個像素的亮度而被計算出的值之第一影像。在此，上述第一主影像以外的第一主影像係例如為檢測對被拍攝體照射具有屬於第一波長群的第一主波長且藉由被拍攝體反射的光線並攝影而成的第一主影像，該第一主影像係繪出被拍攝體。此外，上述第一副影像以外的第一副影像係例如為檢測對被拍攝體照射具有屬於第一波長群的第一副波長且藉由被拍攝體反射的光線並攝影而成的第一副影像，該第一副影像係繪出被拍攝體。
此外，第二影像取得部104亦可取得使用第二主影像以及第二副影像所生成的第二影像以外的影像作為第二影像。亦即，第二影像取得部104並不一定需要取得用以藉由各個像素來表示基於第二主影像所含有的各個像素的亮度以及第二副影像所含有的各個像素的亮度而被計算出的值之第二影像。例如，第二影像取得部104亦可取得照射具有屬於第二波長群的波長之光線並攝影而成的影像作為第二影像。
此外，第二影像取得部104亦可取得用以藉由各個像素來表示基於上述第二主影像以外的第二主影像所含有的各個像素的亮度以及上述第二副影像以外的第二副影像所含有的各個像素的亮度而被計算出的值之第二影像。在此，上述第二主影像以外的第二主影像係例如為檢測藉由對被拍攝體照射具有屬於第二波長群的光線從而從被拍攝體射出並具有第二主波長的光線並攝影 而成的第二主影像，該第二主影像係繪出被拍攝體。此外，上述第二副影像以外的第二副影像係例如為檢測藉由對被拍攝體照射具有屬於第二波長群的光線從而從被拍攝體射出並具有第二副波長的光線並攝影而成的第二副影像，該第二副影像係繪出被拍攝體。
此外，第一影像取得部102並不一定需要取得藉由以受光元件檢測藉由被拍攝體反射的光線從而所生成的第一影像。例如，第一影像取得部102亦可取得藉由以受光元件檢測已透過被拍攝體的光線從而所生成的第一影像。
此外，第二影像取得部104並不一定需要取得藉由以受光元件檢測藉由被拍攝體反射的光線從而所生成的第二影像。例如，第二影像取得部104亦可取得藉由以受光元件檢測已透過被拍攝體的光線從而所生成的第二影像。
此外，雖然在上述第一實施形態以及第二實施形態中例舉被拍攝體為雞腿肉且被檢測的對象為膝軟骨部之情形作為例子，然而並未限定於此。
例如，被拍攝體亦可為食品等的包裝，被檢測的對象亦可為被印刷至包裝的文字、圖案等。在此情形中，較佳為第一波長群以及第二波長群皆包含屬於可視光區域的波長。
或者，被拍攝體亦可為食品，被檢測的對象亦可為混入至食品的毛髮。在此情形中，由於當毛髮接受屬於紫外線區域的光線時會發出螢光且於紅外線區域具有特徵性的吸收峰值，因此較佳為第一波長群或者第二波長群係包含屬於紫外線區域或者紅外線區域的波長。
或者，被拍攝體亦可為食品，被檢測的對象亦可為具有與其他部分不同的結凍狀態之部分。在此情形中，由於紅外線區域中之賦予吸收峰值之 波長會因為結凍狀態的差異而變化，因此較佳為第一波長群以及第二波長群皆包含屬於紅外線區域的波長。
或者，被拍攝體亦可為漢堡，被檢測的對象亦可為漢堡的表面或者背面。在此情形中，由於燒焦的部分以及未燒焦的部分於吸光度產生差異，因此較佳為第一波長群或者第二波長群係一方包含屬於近紅外線區域的1200nm波長且另一方包含屬於可視光區域的600nm波長。
或者，被拍攝體亦可為餃子，被檢測的對象亦可為餃子的餡。在此情形中，由於在近紅外線區域存在有餃子的餡所致使的吸收峰值，因此較佳為於第一波長群或者第二波長群係包含有下述波長：屬於近紅外線區域的波長。或者，在此情形中，由於在近可視光區域存在有餃子的餡所致使的吸收峰值，因此較佳為於第一波長群或者第二波長群係包含有下述波長：屬於可視光區域的波長。
以上已參照圖式詳細說明本發明的實施形態。然而，本發明的實施形態的具體性的構成並未限定於上述實施形態，在未逸離本發明的精神之範圍內亦可將各種組合、變化、置換以及設計變更中的至少一方施加至上述實施形態。
此外，上述實施形態所說明的本發明的功效為作為例子所顯示的功效。因此，本發明除了上述功效之外亦能達成所屬技術領域中具有通常知識者從上述實施形態的記載所能得知的其他功效。
10:對象檢測裝置
101:第一影像生成部
102:第一影像取得部
103:第二影像生成部
104:第二影像取得部
105:對象檢測部

Claims (17)

  1. 一種對象檢測裝置，係具備：第一影像取得部，係取得對被拍攝體照射屬於第一波長群的光線從而所生成的第一影像，前述第一影像係繪出前述被拍攝體；第二影像取得部，係取得對前述被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一影像而照射至前述被拍攝體的光線不同的波長之光線從而所生成的第二影像，前述第二影像係繪出前述被拍攝體；以及對象檢測部，係針對前述被拍攝體所含有的對象中的第一要素使用前述第一影像而將前述第一影像中以超過預定的第一亮度之亮度所繪出的部分作為前述第一要素檢測出，針對前述對象中的第二要素使用第二影像而將前述第二影像中超過預定的第二亮度之亮度所繪出的部分且與前述第一要素不同的部分作為前述第二要素檢測出，並藉由生成將由前述第一影像所檢測出的前述第一要素與由前述第二影像所檢測出的前述第二要素合成後的多通道影像來檢測前述對象。
  2. 如請求項1所記載之對象檢測裝置，其中當屬於前述第一波長群的光線照射至前述被拍攝體時，係激發具有比所照射的光線還要長的波長的螢光。
  3. 如請求項1所記載之對象檢測裝置，其中前述第一波長群與前述第二波長群中的其中之一係屬於紫外線區域或者紅外線區域的波長。
  4. 如請求項1所記載之對象檢測裝置，其中前述第一波長群與前述第二波長群中的其中之一係屬於紫外線區域或X射線區域之外的波長。
  5. 如請求項1所記載之對象檢測裝置，其中前述被拍攝體為食品。
  6. 如請求項1所記載之對象檢測裝置，其中前述第一影像取得部係取得對前述被拍攝體照射具有照射至前述第一要素時的反射率超過預定的第一反射率的波長之光線從而所生成的前述第一影像。
  7. 如請求項1所記載之對象檢測裝置，其中前述第二影像取得部係取得對前述被拍攝體照射具有照射至前述第二要素時的反射率超過預定的第二反射率的波長之光線從而所生成的前述第二影像。
  8. 如請求項1所記載之對象檢測裝置，其中前述對象檢測部係針對前述第一影像中繪出有前述第一要素之各個區域基於預定的第一規則來選擇第一點，並針對前述第二影像中繪出有前述第二要素之各個區域基於預定的第二規則來選擇第二點，且將前述第一要素與前述第二要素的組合中前述第一要素中的前述第一點與前述第二要素中的前述第二點連接而成之線段的長度未滿預定長度之組合作為前述對象而檢測出。
  9. 一種對象檢測裝置，係具備：第一影像取得部，係取得對被拍攝體照射屬於第一波長群的光線從而所生成的第一影像，前述第一影像係繪出前述被拍攝體；第二影像取得部，係取得對前述被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一影像而照射至前述被拍攝體的光線不同的波長之光線從而所生成的第二影像，前述第二影像係繪出前述被拍攝體；以及對象檢測部，係使用前述第一影像以及前述第二影像來檢測前述被拍攝體所含有的對象； 前述第一影像取得部係取得用以藉由各個像素來表示值之前述第一影像，前述值係基於繪出前述被拍攝體之第一主影像所含有的各個像素的亮度以及繪出前述被拍攝體之第一副影像所含有的各個像素的亮度而被計算出，前述第一主影像係藉由對前述被拍攝體照射具有屬於前述第一波長群之第一主波長且檢測被前述被拍攝體反射的光線並拍攝而成，前述第一副影像係藉由對前述被拍攝體照射具有屬於前述第一波長群之第一副波長且檢測被前述被拍攝體反射的光線並拍攝而成。
  10. 一種對象檢測裝置，係具備：第一影像取得部，係取得對被拍攝體照射屬於第一波長群的光線從而所生成的第一影像，前述第一影像係繪出前述被拍攝體；第二影像取得部，係取得對前述被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一影像而照射至前述被拍攝體的光線不同的波長之光線從而所生成的第二影像，前述第二影像係繪出前述被拍攝體；以及對象檢測部，係使用前述第一影像以及前述第二影像來檢測前述被拍攝體所含有的對象；前述第二影像取得部係取得用以藉由各個像素來表示值之前述第二影像，前述值係基於繪出前述被拍攝體之第二主影像所含有的各個像素的亮度以及繪出前述被拍攝體之第二副影像所含有的各個像素的亮度而被計算出，前述第二主影像係藉由對前述被拍攝體照射具有屬於前述第二波長群之第二主波長且檢測被前述被拍攝體反射的光線並拍攝而成，前述第二副影像係藉由對前述被拍 攝體照射具有屬於前述第二波長群之第二副波長且檢測被前述被拍攝體反射的光線並拍攝而成。
  11. 一種對象檢測裝置，係具備：第一影像取得部，係取得對被拍攝體照射屬於第一波長群的光線從而所生成的第一影像，前述第一影像係繪出前述被拍攝體；第二影像取得部，係取得對前述被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一影像而照射至前述被拍攝體的光線不同的波長之光線從而所生成的第二影像，前述第二影像係繪出前述被拍攝體；以及對象檢測部，係使用前述第一影像以及前述第二影像來檢測前述被拍攝體所含有的對象；前述第一影像取得部係取得用以藉由各個像素來表示值之前述第一影像，前述值係基於繪出前述被拍攝體之第一主影像所含有的各個像素的亮度以及繪出前述被拍攝體之第一副影像所含有的各個像素的亮度而被計算出，前述第一主影像係藉由檢測對前述被拍攝體照射屬於前述第一波長群之光線從而從前述被拍攝體射出且具有第一主波長之光線並拍攝而成，前述第一副影像係藉由檢測對前述被拍攝體照射屬於前述第一波長群之光線從而從前述被拍攝體射出且具有第一副波長之光線並拍攝而成。
  12. 一種對象檢測裝置，係具備：第一影像取得部，係取得對被拍攝體照射屬於第一波長群的光線從而所生成的第一影像，前述第一影像係繪出前述被拍攝體； 第二影像取得部，係取得對前述被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一影像而照射至前述被拍攝體的光線不同的波長之光線從而所生成的第二影像，前述第二影像係繪出前述被拍攝體；以及對象檢測部，係使用前述第一影像以及前述第二影像來檢測前述被拍攝體所含有的對象；前述第二影像取得部係取得用以藉由各個像素來表示值之前述第二影像，前述值係基於繪出前述被拍攝體之第二主影像所含有的各個像素的亮度以及繪出前述被拍攝體之第二副影像所含有的各個像素的亮度而被計算出，前述第二主影像係藉由檢測對前述被拍攝體照射屬於前述第二波長群之光線從而從前述被拍攝體射出且具有第二主波長之光線並拍攝而成，前述第二副影像係藉由檢測對前述被拍攝體照射屬於前述第二波長群之光線從而從前述被拍攝體射出且具有第二副波長之光線並拍攝而成。
  13. 一種機械學習執行裝置，係具備：教師資料取得部，係取得教師資料，前述教師資料係使用學習用多通道影像，前述學習用多通道影像係使用第一學習用影像以及第二學習用影像而生成，且前述教師資料係教示有前述學習用多通道影像中之繪出有學習用被拍攝體所含有的學習用對象之區域的位置，前述第一學習用影像係藉由對前述學習用被拍攝體照射屬於前述第一波長群的光線從而所生成且繪出前述學習用被拍攝體，前述第二學習用影像係藉由對前述學習用被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一學習用影像而被照射 至前述學習用被拍攝體的光線不同的波長之光線從而所生成且繪出前述學習用被拍攝體；以及機械學習執行部，係將前述教師資料輸入至機械學習模組，並使前述機械學習模組學習；前述學習用對象係具有第一要素以及第二要素，前述第一要素係具有當被照射屬於前述第一波長群的光線時的反射率超過第一反射率之反射光譜，前述第二要素係具有當被照射屬於前述第二波長群的光線時的反射率超過第二反射率之反射光譜。
  14. 一種對象檢測裝置，係具備：第一推論用影像取得部，係取得對推論用被拍攝體照射屬於第一波長群的光線從而所生成的第一推論用影像，前述第一推論用影像係繪出前述推論用被拍攝體；第二推論用影像取得部，係取得對前述推論用被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一推論用影像而照射至前述推論用被拍攝體的光線不同的波長之光線從而所生成的第二推論用影像，前述第二推論用影像係繪出前述推論用被拍攝體；推論用影像生成部，係使用前述第一推論用影像以及前述第二推論用影像來生成推論用多通道影像；以及推論用對象檢測部，係將前述推論用多通道影像輸入至已使用教師資料學習過的機械學習模組，並使前述機械學習模組檢測前述推論用被拍攝體所含有的推論用對象，前述教師資料係使用學習用多通道影像，前述學習用多通道影像係使用第一學習用影像以及第二學習用影像而生成，且前述教師資料係 教示有前述學習用多通道影像中之繪出有學習用被拍攝體所含有的學習用對象之區域的位置，前述第一學習用影像係藉由對前述學習用被拍攝體照射屬於前述第一波長群的光線從而所生成且繪出前述學習用被拍攝體，前述第二學習用影像係藉由對前述學習用被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一學習用影像而被照射至前述學習用被拍攝體的光線不同的波長之光線從而所生成且繪出前述學習用被拍攝體；前述學習用對象係具有第一要素以及第二要素，前述第一要素係具有當被照射屬於前述第一波長群的光線時的反射率超過第一反射率之反射光譜，前述第二要素係具有當被照射屬於前述第二波長群的光線時的反射率超過第二反射率之反射光譜。
  15. 一種對象檢測程式，係使電腦實現：第一影像取得功能，係取得對被拍攝體照射屬於第一波長群的光線從而所生成的第一影像，前述第一影像係繪出前述被拍攝體；第二影像取得功能，係取得對前述被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一影像而照射至前述被拍攝體的光線不同的波長之光線從而所生成的第二影像，前述第二影像係繪出前述被拍攝體；以及對象檢測功能，係針對前述被拍攝體所含有的對象中的第一要素使用前述第一影像而將前述第一影像中以超過預定的第一亮度之亮度所繪出的部分作為前述第一要素檢測出，針對前述對象中的第二要素使用第二影像而將前述第二影像中超過預定的第二亮度之亮度所繪出的部分且與前述第一要素不同的部分作為前述第二要素檢測出，並藉由生成將由前述第一影像所檢測出 的前述第一要素與由前述第二影像所檢測出的前述第二要素合成後的多通道影像來檢測前述對象。
  16. 一種機械學習執行程式，係使電腦實現：教師資料取得功能，係取得教師資料，前述教師資料係使用學習用多通道影像，前述學習用多通道影像係使用第一學習用影像以及第二學習用影像而生成，且前述教師資料係教示有前述學習用多通道影像中之繪出有學習用被拍攝體所含有的學習用對象之區域的位置，前述第一學習用影像係藉由對前述學習用被拍攝體照射屬於前述第一波長群的光線從而所生成且繪出前述學習用被拍攝體，前述第二學習用影像係藉由對前述學習用被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一學習用影像而被照射至前述學習用被拍攝體的光線不同的波長之光線從而所生成且繪出前述學習用被拍攝體；以及機械學習執行功能，係將前述教師資料輸入至機械學習模組，並使前述機械學習模組學習；前述學習用對象係具有第一要素以及第二要素，前述第一要素係具有當被照射屬於前述第一波長群的光線時的反射率超過第一反射率之反射光譜，前述第二要素係具有當被照射屬於前述第二波長群的光線時的反射率超過第二反射率之反射光譜。
  17. 一種對象檢測程式，係使電腦實現：第一推論用影像取得功能，係取得對推論用被拍攝體照射屬於第一波長群的光線從而所生成的第一推論用影像，前述第一推論用影像係繪出前述推論用被拍攝體； 第二推論用影像取得功能，係取得對前述推論用被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一推論用影像而照射至前述推論用被拍攝體的光線不同的波長之光線從而所生成的第二推論用影像，前述第二推論用影像係繪出前述推論用被拍攝體；推論用影像生成功能，係使用前述第一推論用影像以及前述第二推論用影像來生成推論用多通道影像；以及推論用對象檢測功能，係將前述推論用多通道影像輸入至已使用教師資料學習過的機械學習模組，並使前述機械學習模組檢測前述推論用被拍攝體所含有的推論用對象，前述教師資料係使用學習用多通道影像，前述學習用多通道影像係使用第一學習用影像以及第二學習用影像而生成，且前述教師資料係教示有前述學習用多通道影像中之繪出有學習用被拍攝體所含有的學習用對象之區域的位置，前述第一學習用影像係藉由對前述學習用被拍攝體照射屬於第一波長群的光線從而所生成且繪出前述學習用被拍攝體，前述第二學習用影像係藉由對前述學習用被拍攝體照射屬於與前述第一波長群不同的第二波長群且具有與為了生成前述第一學習用影像而被照射至前述學習用被拍攝體的光線不同的波長之光線從而所生成且繪出前述學習用被拍攝體；前述學習用對象係具有第一要素以及第二要素，前述第一要素係具有當被照射屬於前述第一波長群的光線時的反射率超過第一反射率之反射光譜，前述第二要素係具有當被照射屬於前述第二波長群的光線時的反射率超過第二反射率之反射光譜。
TW110141239A 2020-12-23 2021-11-05 對象檢測裝置、機械學習執行裝置、對象檢測程式以及機械學習執行程式 TWI805061B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020213342A JP7574073B2 (ja) 2020-12-23 対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム
JP2020-213342 2020-12-23

Publications (2)

Publication Number Publication Date
TW202240536A TW202240536A (zh) 2022-10-16
TWI805061B true TWI805061B (zh) 2023-06-11

Family

ID=82158954

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110141239A TWI805061B (zh) 2020-12-23 2021-11-05 對象檢測裝置、機械學習執行裝置、對象檢測程式以及機械學習執行程式

Country Status (4)

Country Link
US (1) US20240005624A1 (zh)
EP (1) EP4270303A1 (zh)
TW (1) TWI805061B (zh)
WO (1) WO2022137748A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106461567A (zh) * 2014-03-28 2017-02-22 世联股份有限公司 缺陷检测装置以及缺陷检测方法
CN111108368A (zh) * 2017-09-19 2020-05-05 富士胶片株式会社 教学数据制作方法及装置以及缺陷检查方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2219394B (en) 1988-05-06 1992-09-16 Gersan Ets Sensing a narrow frequency band of radiation and examining objects or zones
JP4684033B2 (ja) * 2005-07-12 2011-05-18 シーケーディ株式会社 基板の検査装置
GB2446822A (en) * 2007-02-23 2008-08-27 Enfis Ltd Quality control of meat products using optical imaging
JP5664167B2 (ja) * 2010-11-22 2015-02-04 セイコーエプソン株式会社 検査装置
JP6814595B2 (ja) * 2016-10-19 2021-01-20 株式会社前川製作所 食肉の骨部判別装置及び食肉の骨部判別方法
JP6705777B2 (ja) * 2017-07-10 2020-06-03 ファナック株式会社 機械学習装置、検査装置及び機械学習方法
JP7029903B2 (ja) * 2017-08-09 2022-03-04 シスメックス株式会社 試料処理装置、試料処理システム、および測定時間の算出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106461567A (zh) * 2014-03-28 2017-02-22 世联股份有限公司 缺陷检测装置以及缺陷检测方法
CN111108368A (zh) * 2017-09-19 2020-05-05 富士胶片株式会社 教学数据制作方法及装置以及缺陷检查方法及装置

Also Published As

Publication number Publication date
WO2022137748A1 (ja) 2022-06-30
TW202240536A (zh) 2022-10-16
EP4270303A1 (en) 2023-11-01
JP2022099535A (ja) 2022-07-05
US20240005624A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
JP7391173B2 (ja) 食品検査補助システム、食品検査補助装置、およびコンピュータプログラム
JP6939000B2 (ja) 撮像装置及び撮像方法
US10379035B2 (en) Appearance inspection apparatus and appearance inspection method
US20200305721A1 (en) Near-Infrared Fluorescence Imaging for Blood Flow and Perfusion Visualization and Related Systems and Computer Program Products
TW561243B (en) Surface inspecting method and device of object using image processing
KR20200123483A (ko) 3 차원 깊이 감지 및 2 차원 이미징을 위한 카메라 노출의 조정
JP2008209211A (ja) 異物検査装置および異物検査方法
CN109076155B (zh) 用于对人的脸部进行照明的方法和光电子照明装置、相机和移动终端
US10667675B2 (en) Imaging device and image processing method
US8570433B1 (en) Coloration artifact reduction
TWI805061B (zh) 對象檢測裝置、機械學習執行裝置、對象檢測程式以及機械學習執行程式
JP7544358B2 (ja) 撮像装置、検査装置及び撮像方法
US11598717B2 (en) Systems and methods for discrimination of tissue targets
JPWO2019155816A1 (ja) 内視鏡システム
JP7574073B2 (ja) 対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム
Boiko et al. Deep learning for dental hyperspectral image analysis
JP6754114B2 (ja) 画像解析装置
JP2013122393A (ja) 欠陥検査装置および欠陥検査方法
TWM606486U (zh) 檢測設備及其收光裝置
JP7155430B2 (ja) 画像生成装置、薬剤識別装置、薬剤表示装置、画像生成方法及びプログラム
JP2019095238A (ja) 画像処理システム、画像処理方法、及びプログラム
US20240331108A1 (en) Display condition decision method, display condition decision apparatus, and program
JP6948032B2 (ja) 画像解析装置および検査システム
WO2023100805A1 (ja) 撮像装置、検査装置および撮像方法
WO2022244645A1 (ja) 撮像装置