JP6940215B2 - 検査装置及び検査装置の識別手段の学習方法 - Google Patents
検査装置及び検査装置の識別手段の学習方法 Download PDFInfo
- Publication number
- JP6940215B2 JP6940215B2 JP2019109491A JP2019109491A JP6940215B2 JP 6940215 B2 JP6940215 B2 JP 6940215B2 JP 2019109491 A JP2019109491 A JP 2019109491A JP 2019109491 A JP2019109491 A JP 2019109491A JP 6940215 B2 JP6940215 B2 JP 6940215B2
- Authority
- JP
- Japan
- Prior art keywords
- foreign matter
- specific wavelength
- defective product
- image
- wavelength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 104
- 238000000034 method Methods 0.000 title claims description 37
- 230000002950 deficient Effects 0.000 claims description 101
- 238000003384 imaging method Methods 0.000 claims description 37
- 230000003287 optical effect Effects 0.000 claims description 25
- 239000000126 substance Substances 0.000 claims description 25
- 230000002708 enhancing effect Effects 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 11
- 230000001678 irradiating effect Effects 0.000 claims description 10
- 239000003623 enhancer Substances 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims 2
- 235000013305 food Nutrition 0.000 description 54
- 239000013585 weight reducing agent Substances 0.000 description 24
- 230000032258 transport Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000000862 absorption spectrum Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/94—Investigating contamination, e.g. dust
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/02—Food
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N2021/845—Objects on a conveyor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Food Science & Technology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Medicinal Chemistry (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
従来、食品などの検査対象物に混在する異物を検出する食品検査装置に関し、金属検知やX線検査など各種の技術が提案されている。近年は、撮影画像を画像処理して、異物を検出するものも提案されている(特許文献1及び2)。
特許文献1(請求項1参照)には、食品と、食品に含まれる異物及び夾雑物の少なくとも何れかと、に光を照射することによって得られる反射光の可視光及び近赤外光の吸収スペクトルを測定し、吸収スペクトルに対して2次微分処理を行い、食品と異物及び夾雑物の少なくとも何れかとの間で異なる2次微分スペクトルを示す波長帯を選定し、食品について、波長帯の光によって得られる分光画像を撮像手段によって取得し、波長帯の吸収スペクトルに対して2次微分処理を行って2次微分分光画像を作成することによって、食品に含まれる異物及び夾雑物の少なくとも何れかを検出することが記載されている。
特許文献2(請求項1参照)には、食物の腐敗する物質の腐敗部サンプルと健全部サンプルについてそれぞれの分光画像を取得し、各サンプルについての吸光スペクトルの違いを利用して統計的手法により腐敗部か否かを判定する検量式を作成し、検量式に未知サンプルの分光画像を当てはめて未知サンプルが腐敗部か否かを判断することが記載されている。
しかしながら、特許文献1の検出方法では、特定の波長帯の光によって得られる分光画像を得るのに時間がかかり、また分光画像から2次微分分光画像を作成するために検出装置の処理手段は処理能力を必要とする。また、特許文献2の判定方法では、検査対象物を複数の分割領域にして、複数の分光画像を平均化し、未知サンプルの分光画像とし、検量式に当てはめるため、判定装置の処理手段の検出精度が落ちる。
そのため、これらの検出又は判定方法を、検出精度を維持しながら検査対象物の搬送中にインラインで行うには、処理手段を非常に高い処理能力のものとするか、検査対象物の搬送速度をかなり遅くするしかなく、実質的に不可能な状況であった。
そこで、本発明は、このような事情に鑑みてなされたものであり、その目的は、異物の検出を高速に行うことができる検査装置及び検査装置の識別手段の学習方法を提供することにある。
このような目的を達成するため、本発明は、以下の構成によって把握される。
(2)本発明は、検査装置の識別手段の学習方法であって、異物の混在がないことを確認する検査対象物を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として、また、前記検査対象物の良品が反射する特徴的な波長を良品特定波長として、抽出するステップと、前記良品のみを撮像した、前記良品特定波長を含む疑似RGB学習映像を複数枚準備するステップと、前記疑似RGB学習映像を、光強度に応じた階調で正規化し、正規化データとするステップと、複数枚の良品のみの前記正規化データを用いて、前記正規化データから前記異物又は前記良品を識別する処理を、前記識別手段に自己符号化器を用いた再構成又は輝度を用いた色再構成の畳み込みニューラルネットワークによりカーネル画像が取り出されるディープラーニングをさせるステップと、を含む。
(3)本発明は、異物の混在がないことを確認する検査対象物を搬送する搬送手段と、前記検査対象物に光を照射する光照射手段と、前記検査対象物の映像を撮像する撮像手段と、前記検査対象物の良品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、前記検査対象物の良品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、前記波長強調手段は、前記光照射手段に取付けた第1の光学フィルター、及び/又は、補光器に取付けた第2の光学フィルター、ないし波長特異的な光源を用いて、300nm以上1100nm以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を強調するように選択された光を照射し、又は、前記撮像手段に取付けた第1の光学フィルターを用いて、300nm以上1100nm以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を通過させて撮像することで前記異物特定波長及び前記良品特定波長を強調し、前記識別処理装置は、前記撮像手段により撮像された映像を、光強度に応じた階調で正規化し、軽量化データとする軽量化手段と、前記軽量化データから前記異物又は前記良品を識別する処理を、複数枚の良品のみの前記軽量化データを用いて、あらかじめカーネル画像が取り出されるディープラーニングをさせた識別手段と、を有し、前記波長強調手段は、前記異物特定波長として第1の異物特定波長及び第2の異物特定波長の2つ、及び前記良品特定波長を少なくとも1つ、を強調し、前記識別手段は、前記撮像手段により撮像された前記映像を疑似RGB映像として処理し、また、前記搬送手段による前記検査対象物の搬送中に撮像して得られた前記軽量化データから再構成された画像と前記撮像された映像とのピクセルごとの差分を計算し、前記良品をインラインで識別する、検査装置である。
ただし、疑似RGB映像は、第1の異物特定波長、第2の異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする。
(4)本発明は、検査装置の識別手段の学習方法であって、異物の混在がないことを確認する検査対象物を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として、また、前記検査対象物の良品が反射する特徴的な波長を良品特定波長として、抽出するステップと、前記良品のみを撮像した、前記良品特定波長を含む疑似RGB学習映像を複数枚準備するステップと、前記疑似RGB学習映像を、光強度に応じた階調で正規化し、軽量化学習データに軽量化するステップと、前記軽量化学習データから、前記異物又は前記良品を識別する処理を、前記識別手段に自己符号化器を用いた再構成又は輝度を用いた色再構成の畳み込みニューラルネットワークによりカーネル画像が取り出されるディープラーニングをさせるステップと、を含む。
ただし、疑似RGB映像は、異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする。
(5)本発明は、検査装置の識別手段の学習方法であって、異物の混在がないことを確認する検査対象物を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として、また、前記検査対象物の良品が反射する特徴的な波長を良品特定波長として、抽出するステップと、前記良品のみを撮像した、前記良品特定波長を含む疑似RGB学習映像を複数枚準備するステップと、前記疑似RGB学習映像を、光強度に応じた階調で正規化し、正規化データとするステップと、複数枚の良品のみの前記正規化データを用いて、前記正規化データから前記異物又は前記良品を識別する処理を、前記識別手段に輝度を用いた色再構成の畳み込みニューラルネットワークによりカーネル画像が取り出されるディープラーニングをさせるステップと、を含む。
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施形態」と称する)について詳細に説明する。実施形態の説明の全体を通して同じ要素には同じ符号を付している。
まず、異物Fnの混在がないことを確認したい食品B(検査対象物A)から、異物Fnをインラインで識別する食品検査装置1について、図1に基づいて説明する。図1は本発明の実施形態に係る食品検査装置を示す概略図である。図2は、検査対象物の識別状態を示す概略図である。
図1に示される食品検査装置1は、搬送手段2と、光照射手段3と、撮像手段4と、波長強調手段5と、識別処理装置6と、を備える。この食品検査装置1で検査される検査対象物Aは、加工前の野菜や果実や、加工後の加工品や調理品などの食品Bである。これらの食品B中に混在し得る異物Fnとしては、例えば、果実の実のみを良品Sとすると、枝葉・萼、毛髪、虫、金属、石などが異物Fnであり、また、正常な状態の食品Bを良品Sとすると、傷部、欠け部、腐敗部、焦げ部などを有する不良品も異物Fnとなり、さらに、ある食品Bに対して、別の食品も異物Fnとなる。また、これらが複合して、良品S及び異物Fnとされることもある。
搬送手段2は、検査対象物Aを上流工程から検査部Cでの検査工程を経て下流工程を搬送するもので、ベルトコンベアなどから構成されている。搬送手段2は、2m/分から20m/分程度の搬送速度で検査対象物Aを搬送する。
検査部Cは、搬送手段2の上方に配置された、光照射手段3と、撮像手段4と、波長強調手段5と、識別処理装置6と、から構成され、異物Fnの混在ないことを確認したい搬送中の食品Bから、異物Fnをインラインで識別する。
光照射手段3は、検査対象物Aに光、例えば300nm以上1100nmの波長を含む光を照射するもので、ハロゲンランプなどが用いられる。ハロゲンランプであれば、近紫外線領域から可視光領域及び近赤外線領域までの光を照射することができる。なお、本実施形態では、光照射手段3には、後述する第2の光学フィルター52が取付けられた補光器32も含まれる。
撮像手段4は、搬送中の検査対象物Aを撮像するもので、CCDカメラや、ハイパースペクトルカメラなどで構成される。この撮像手段4には、後述する第1の光学フィルター51が取付けられている。なお、第1の光学フィルター51は、撮像手段4でなく、上述の光照射手段3に取付けてもよい。また、解像度は、食品Bの平均ピクセル長が10〜100ピクセルで撮像できる解像度が好ましく、20〜40ピクセルでの撮像が最も好ましい。食品Bの平均ピクセル長が10ピクセルよりも小さいと後に十分な特徴検出が行えず、100ピクセルを超えると食品検査としての十分な処理能力を得られない。なおここで、食品Bの平均ピクセル長とは、対象となる食品Bを撮像したときの縦・横いずれかの最大ピクセル数を計測し、10個撮像したときの平均値である。
波長強調手段5は、検査対象物A中の食品Bの良品S又は異物Fnの少なくとも一方が反射する特徴的な波長Wnを強調する。波長強調手段5は、例えば、光照射手段3又は撮像手段4に取付けた第1の光学フィルター51を用いて、異物F1に特徴的な異物特定波長(第1の異物特定波長)Wf1を少なくとも1つ、又は、食品Bの良品Sが反射する特徴的な良品特定波長Wsを少なくとも1つ、強調する。本実施形態では、異物F1以外の異物F2に特徴的な第2の異物特定波長Wf2も、第2の光学フィルター52を用いて同時に強調する。
第1の光学フィルター51及び第2の光学フィルター52には、長波長カットや短波長カットフィルタ、又は、バンドパスフィルタなどが用いられる。また、撮像手段4がCCDカメラである場合、第1の光学フィルター51及び第2の光学フィルター52として、CCDカメラのCCDセルのウェル電圧及び/又はサブストレート電圧を外部から制御するCCDセル電圧外部制御装置であってもよい。CCDセル電圧外部制御装置を用いれば、一般的に入手できる3CCDタイプのCCDカメラを用いながらも、ダイクロイックプリズムの表面加工を変化させることなく、ウェル電圧及び/又はサブストレート電圧を制御することで、撮像素子に入り込む光子(波長によりエネルギー量が異なる)が電荷パケットに入る応答特性を変化させることが可能となり、異物Fに特徴的な異物特定波長Wfを少なくとも1つ、又は、食品Bの良品Sが反射する特徴的な良品特定波長Wsを少なくとも1つ、強調することができる。
さらに、波長強調手段5は、第1の異物特定波長Wf1及び第2の異物特定波長Wf2に加えて、食品Bの良品Sが反射する特徴的な良品特定波長Wsも強調可能になっている。なお、第1の光学フィルター51及び第2の光学フィルター52は、それぞれ逆の特定波長を強調するように構成されてもよい。
これらの第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsは、前もって検査対象物Aを撮像し、得られた映像D0から抽出しておく必要がある。
識別処理装置6は、検査対象物A中の食品Bの良品S又は異物F1,F2を識別するものである。識別処理装置6は、撮像手段4により撮像された映像D1を軽量化データD3とする軽量化手段61と、軽量化データD3から第1の異物特定波長Wf1、第2の異物特定波長Wf2又は良品特定波長Wsを識別する識別手段62と、を有する。
軽量化手段61は、まず、撮像手段4により搬送中の検査対象物Aを撮像した映像D1を、疑似RGB映像D2とする。このとき、映像D1の第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを、RGB信号のいずれかに1対1で対応させることで、疑似RGB映像D2とすることができる。この疑似RGB映像D2は、必要に応じてモニタなどの表示手段に表示してもよい。
そして、この疑似RGB映像D2を、光強度に応じた256段階以下の階調で正規化し、軽量化データD3とする。なお、軽量化データD3で最も軽いものは、2値化データである。
ここで、映像のデータ容量について説明すると、撮像手段4に30万画素(640×480)のCCDカメラを用いる場合、フルカラー(1677万色)で撮像された映像D1及び疑似RGB画像D2は、1枚当たり約3.6MBのデータ容量となるが、256段階以下の階調に正規化することで、軽量化データDは、1枚当たり約0.3MB以下のデータ容量となり、またさらに16段階以下にすることで、さらにデータ量を0.15MB以下にできる。
識別手段62は、軽量化データD3に基づいて、搬送手段2によって搬送中の検査対象物Aから異物F1,F2をインラインで識別する。このとき、識別手段62は、逆に良品Sをインラインで識別してもよい。この識別手段62は、検査対象物Aから異物F1、異物F2又は良品Sを識別する処理を、あらかじめディープラーニングにより学習している。
識別処理装置6の識別手段62の学習方法について説明する。図3は、識別手段の学習フロー図である。
まず、特定波長抽出ステップS1では、異物F1,F2の混在がないことを確認したい食品Bを撮像手段4で、前もって撮像した学習映像d1から、異物F1及び異物F2が反射する特徴的な波長をそれぞれ第1の異物特定波長Wf1及び第2の異物特定波長Wf2として、また、食品Bの良品Sが反射する特徴的な波長を良品特定波長Wsとして、抽出する。なお、異物F1のみを識別する場合は、第1の異物特定波長Wf1のみを抽出すればよい。
学習映像準備ステップS2では、特定波長抽出ステップS1で抽出された第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを強調する波長強調手段5を用い、撮像手段4で検査対象物Aを撮像する。そして、撮像した学習映像d1から、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを含む疑似RGB学習映像d2を作成し、複数枚、例えば1000枚以上準備する。このとき、学習映像d1中の第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを、RGB信号のいずれかに1対1で対応させることで、疑似RGB学習映像d2が得られる。
映像軽量化ステップS3では、複数枚の疑似RGB学習映像d2を、光強度に応じた256段階以下の階調で正規化し、軽量化学習データd3に軽量化する。
学習ステップS4では、軽量化学習データd3から、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを識別する処理を、識別手段62にディープラーニングさせる。ディープラーニングとしては、いわゆる畳み込みニューラルネットワーク、再帰型ニューラルネットワークなどがあるが、学習後は、その瞬間に入力され疑似RGB映像D2を処理する必要性から、畳み込みニューラルネットワークが望ましい。
またさらに、畳み込みニューラルネットワークの中でも、自己符号化器を用いた再構成や、輝度を用いた色再構成をいると、良品Sのみを用いた学習が可能となり、学習ステップを効率的に進められるため望ましい。この場合、再構成された画像は、「もし仮に撮像された食品Bが全て良品Sであった場合を予測した画像」であり、軽量化学習データd3とのピクセルごとの差分を計算し、予め定めた閾値を超えるピクセルを「良品でない物体」として検出することが可能となる。
自己符号化器を用いた再構成の詳細を説明する。
軽量化学習データd3は、自己符号化器を用いた再構成の畳み込みニューラルネットワークの中で、カーネル画像が取り出され、次に複数のノードをもつニューラルネットワーク層で特徴抽出され、次に復号化層で再構成される。さらに、カーネルへの取り出しから復号化までを複数回入れ子状に繰り返すことで、より概念的な特徴抽出が可能となる。
この自己符号化器の学習は、最終復号化層からの出力が元に入力された軽量化学習データd3と極力一致するように、つまり差分を表す損失関数が極力低くなるように学習される。この時の損失関数は、BCE(Binary Cross−entropy)といった損失関数が利用できる。
輝度を用いた色再構成の詳細を説明する。
軽量化学習データd3は、RGB空間からLab空間に換算され、L値(輝度)を用いた色再構成の畳み込みニューラルネットワークにかけられる。また同じく、Lab空間に換算されたa値とb値は、a−b空間上を特定のカテゴリ数に区分したカテゴリに分類され、カテゴリカル表現を得る。
L値(輝度)を用いた色再構成の畳み込みニューラルネットワークにおいて、第1の畳み込み層で、カーネル画像が取り出され、次に複数のノードを持つニューラルネットワーク層で特徴抽出される。次に逆畳み込み層を用いて、元の画像サイズのピクセル数を再現する。これらを複数回入れ子状(第2、3、…、第n層)に繰り返すことで、より概念的な特徴抽出が可能となる。最後の層である第n層では、カーネルサイズは元の画像サイズのピクセル数とし、かつ、ノード数は上記特定のカテゴリ数として特徴抽出する。
畳み込み適用間隔(ストライド)は、第1の畳み込み層では2より大きく、複数のピクセルから特徴抽出して集約する。逆に、第n−1の逆畳み層では、配列サイズ(ピクセルサイズ)は第1の畳み込み層と同じにしながら、畳み込み適用間隔を第1の畳み込み層と同じにしつつ、1つの配列変数から複数のピクセルへ特徴を再構成する。
この輝度を用いた色再構成の学習では、まず軽量化学習データd3またはその画像処理データのL値を入力し、第n−1の畳み込み層から得られた色再構成された色再構成a値および色再構成b値が得られるので、この色再構成a値および色再構成b値と、元画像である小型学習用データのa値およびb値との損失関数(BCE)が極力低くなるように学習される。
また、この輝度を用いた色再構成の学習で、第nの畳み込み層は、元画像である軽量化学習データd3またはその画像処理データのa値およびb値を入力し、特定のカテゴリ数に区分したカテゴリに分類するよう学習する。また第nの畳み込み層は、ノード数を上記特定のカテゴリ数とし、そのノード数は100以上1600未満が好ましい。ノード数(およびカテゴリ数)が100以下であると、a−b空間上の重み変化を十分にとらえきれず、1600を超えるとカテゴリに分類して演算効率を高めようとした効果が薄くなる。
この輝度を用いた色再構成の検査では、小型学習用データのL値を第1の畳み込み層に入力して第n層から得られたカテゴリカル表現と、小型学習用データのa値およびb値を第n−1の畳み込み層に入力して第n層から得られたカテゴリカル表現との差分を求め、その差分に対して予め定めた閾値を超えるピクセルを「良品でない物体」として検出する。
このようにして、異物F1、異物F2及び良品Sと、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsとの関係を学習した識別手段62は、軽量化データD3に基づいて、図2に示すように、検査対象物Aから異物F1、異物F2又は良品Sを識別する。なお、図2において、異物F1は、毛髪や石などであり、異物F2は、腐敗部である。
このとき、識別手段62は、検査対象物Aから得られた実際の軽量化データD3を追加で学習し、学習結果を更新してもよい。
そして、検査部Cで、異物F1、異物F2又は良品Sと識別されたものは、食品検査装置1の下流に設けられた分岐・分離手段(図示なし)などにより、分岐又は分離され、別の経路に排出される。分岐・分離手段には、分岐コンベアやロボットなどが用いられる。あるいは、食品検査装置1が異物F1及び異物F2を識別した場合に、作業員に報知し、作業員が取除くように構成してもよい。
以上、説明した実施形態の効果について述べる。
実施形態の食品検査装置1は、異物Fnの混在がないことを確認する食品Bを検査対象物Aとして搬送する搬送手段2と、検査対象物Aに光を照射する光照射手段3と、検査対象物Aの映像を撮像する撮像手段4と、食品B又は異物Fnの少なくとも一方が反射する特徴的な波長Wを強調する波長強調手段5と、食品B又は異物Fnの少なくとも一方を識別する識別処理装置6と、を備え、波長強調手段5は、光照射手段3又は撮像手段4に取付けた第1の光学フィルター51、及び/又は、補光器32に取付けた第2の光学フィルター52、ないし波長特異的な光源を用いて、300nm以上1100nm以下の光から少なくとも、異物Fnに特徴的な異物特定波長Wf、又は、食品Bの良品Sが反射する特徴的な良品特定波長Wsを強調し、識別処理装置6は、撮像手段4により撮像された映像D1を、光強度に応じた256段階以下の階調で正規化し、軽量化データD3とする軽量化手段61と、軽量化データD3から異物特定波長Wfを識別する処理を、複数枚の軽量化学習データd3を用いて、あらかじめディープラーニングさせた識別手段62と、を有し、識別手段62は、搬送手段2による食品Bの搬送中に撮像して得られた軽量化データD3から、異物Fn又は良品Sをインラインで識別するものである。これにより、高速な処理手段を用いなくても、識別精度を落とすことなく、識別速度を高速化することができる。
実施形態の食品検査装置1では、波長強調手段5は、良品Sが反射する良品特定波長Wsを強調する。これにより、検査対象物Aから異物Fnを識別できるとともに、良品Sを識別することができる。検査対象物A(食品B)から良品S及び異物Fnを識別できるため、良品S及び異物Fnの頻出度に応じて、分岐・分離手段の処理内容を設定することができる。
実施形態の食品検査装置1では、波長強調手段5は、異物特定波長Wfとして第1の異物特定波長Wf1及び第2の異物特定波長Wf2の2つの波長を強調する。これにより、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを、RGB信号のいずれかに1対1で対応させることができ、撮像手段4で撮像した映像D1を疑似RGB映像D2として処理することができる。
実施形態の食品検査装置1の識別手段62の学習方法は、異物Fnの混在がないことを確認する食品Bを撮像した学習映像d1から、異物Fnが反射する特徴的な波長を異物特定波長Wfとして、また、食品Bの良品Sが反射する特徴的な波長を良品特定波長Wsとして、探査するステップと、異物特定波長Wfと良品特定波長Wsとを少なくとも含む疑似RGB学習映像d2を複数枚準備するステップと、疑似RGB学習映像d2を、光強度に応じた256段階以下の階調で正規化し、軽量化学習データd3に軽量化するステップと、軽量化学習データd3から、異物特定波長Wf又は良品特定波長Wsを識別する処理を、識別手段62にディープラーニングさせるステップと、を含むものである。これにより、異物Fn及び良品Sと、異物特定波長Wf及び良品特定波長Wsとの関係を、効率よく識別手段62に学習させることができる。
食品検査装置1の変形例を説明する。
上記実施形態では、波長強調手段5は、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsの合計3つの波長を強調したが、少なくとも1つの第1の異物特定波長Wf1(Wf2)と、少なくとも1つの良品特定波長Wsとを強調してもよく、第1の異物特定波長Wf1のみを強調してもよい。少なくとも、第1の異物特定波長Wf1を強調することで、食品Bの中から異物Fnを識別することができる。あるいは、良品特定波長Wsのみを強調してもよい。なお、異物特定波長Wf及び良品特定波長Wsを合計4つ以上強調するように構成してもよい。
上記実施形態では、波長強調手段5は、補光器に取付けた第2の光学フィルター52でなく、所定波長範囲の光のみを放出する波長特異的な光源、例えばLED素子や半導体レーザーであってもよい。LED素子であれば、LEDチップに含まれる材料の種類を変更することで、200nmから1000nm程度の領域内で、所望の波長範囲の光を放出するように構成することができる。
2 搬送手段
3 光照射手段
32 補光器
4 撮像手段
5 波長強調手段
51 第1の光学フィルター
52 第2の光学フィルター
6 識別処理装置
61 軽量化手段
62 識別手段
A 検査対象物
B 食品、S 良品、Fn 異物
Wn 特定波長
Claims (5)
- 異物の混在がないことを確認する検査対象物を搬送する搬送手段と、
前記検査対象物に光を照射する光照射手段と、
前記検査対象物の映像を撮像する撮像手段と、
前記検査対象物の良品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、
前記検査対象物の前記良品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、
前記波長強調手段は、
前記光照射手段に取付けた第1の光学フィルター、及び/又は、補光器に取付けた第2の光学フィルター、ないし波長特異的な光源を用いて、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を強調するように選択された光を照射し、
又は、前記撮像手段に取付けた第1の光学フィルターを用いて、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を通過させて撮像することで、前記異物特定波長及び/又は前記良品特定波長を強調し、
前記識別処理装置は、
前記撮像手段により撮像された映像を、光強度に応じた階調で正規化データとする手段と、
複数枚の前記良品のみの前記正規化データを用いて、前記正規化データから前記異物又は前記良品を識別する処理を、あらかじめ再構成の畳み込みニューラルネットワークによりディープラーニングをさせた識別手段と、を有し、
前記識別手段は、前記撮像手段により撮像された前記映像を疑似RGB映像として処理し、前記再構成の畳み込みニューラルネットワークの中でカーネル画像を取り出し、
前記搬送手段による前記検査対象物の搬送中に撮像して得られた前記正規化データから再構成された画像と前記正規化データとのピクセルごとの差分を計算し、前記異物又は前記良品をインラインで識別する、検査装置。
ただし、疑似RGB映像は、少なくとも1つの異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする。 - 検査装置の識別手段の学習方法であって、
異物の混在がないことを確認する検査対象物を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として抽出するステップと、
良品のみを撮像した、良品特定波長を含む疑似RGB学習映像を複数枚準備するステップと、
前記疑似RGB学習映像を、光強度に応じた階調で正規化し、正規化データとするステップと、
複数枚の前記良品のみの前記正規化データを用いて、前記異物又は前記良品を識別する処理を、前記識別手段に自己符号化器を用いた再構成又は輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含み、
前記畳み込みニューラルネットワークの中で、カーネル画像を取り出す、識別手段の学習方法。
ただし、疑似RGB学習映像は、少なくとも1つの異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする。 - 異物の混在がないことを確認する検査対象物を搬送する搬送手段と、
前記検査対象物に光を照射する光照射手段と、
前記検査対象物の映像を撮像する撮像手段と、
前記検査対象物の良品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、
前記検査対象物の良品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、
前記波長強調手段は、
前記光照射手段に取付けた第1の光学フィルター、及び/又は、補光器に取付けた第2の光学フィルター、ないし波長特異的な光源を用いて、300nm以上1100nm以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を強調するように選択された光を照射し、
又は、前記撮像手段に取付けた第1の光学フィルターを用いて、300nm以上1100nm以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を通過させて撮像することで前記異物特定波長及び前記良品特定波長を強調し、
前記識別処理装置は、
前記撮像手段により撮像された映像を、光強度に応じた階調で正規化し、軽量化データとする軽量化手段と、
前記軽量化データから前記異物又は前記良品を識別する処理を、複数枚の良品のみの前記軽量化データを用いて、あらかじめ再構成の畳み込みニューラルネットワークによりディープラーニングをさせた識別手段と、を有し、
前記波長強調手段は、前記異物特定波長として第1の異物特定波長及び第2の異物特定波長の2つ、及び前記良品特定波長を少なくとも1つ、を強調し、
前記識別手段は、前記撮像手段により撮像された前記映像を疑似RGB映像として処理し、前記再構成の畳み込みニューラルネットワークの中でカーネル画像を取り出し、また、前記搬送手段による前記検査対象物の搬送中に撮像して得られた前記軽量化データから再構成された画像と前記軽量化データとのピクセルごとの差分を計算し、前記良品をインラインで識別する、検査装置。
ただし、疑似RGB映像は、第1の異物特定波長、第2の異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする。 - 検査装置の識別手段の学習方法であって、
異物の混在がないことを確認する検査対象物を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として抽出するステップと、
良品のみを撮像した、良品特定波長を含む疑似RGB学習映像を複数枚準備するステップと、
前記疑似RGB学習映像を、光強度に応じた階調で正規化し、軽量化学習データに軽量化するステップと、
前記異物又は前記良品を識別する処理を、前記識別手段に自己符号化器を用いた再構成又は輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含み、
前記畳み込みニューラルネットワークの中で、カーネル画像を取り出す、識別手段の学習方法。
ただし、疑似RGB学習映像は、少なくとも1つの異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする。 - 検査装置の識別手段の学習方法であって、
異物の混在がないことを確認する検査対象物を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として抽出するステップと、
良品のみを撮像した、良品特定波長を含む疑似RGB学習映像を複数枚準備するステップと、
前記疑似RGB学習映像を、光強度に応じた階調で正規化し、正規化データとするステップと、
複数枚の前記良品のみの前記正規化データを用いて、前記異物又は前記良品を識別する処理を、前記識別手段に輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含み、
前記畳み込みニューラルネットワークの中で、カーネル画像を取り出す、識別手段の学習方法。
ただし、疑似RGB学習映像は、少なくとも1つの異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016162112 | 2016-08-22 | ||
JP2016162112 | 2016-08-22 | ||
JP2018529319A JP6542477B2 (ja) | 2016-08-22 | 2017-08-22 | 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018529319A Division JP6542477B2 (ja) | 2016-08-22 | 2017-08-22 | 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019174481A JP2019174481A (ja) | 2019-10-10 |
JP6940215B2 true JP6940215B2 (ja) | 2021-09-22 |
Family
ID=61245016
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018529319A Active JP6542477B2 (ja) | 2016-08-22 | 2017-08-22 | 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 |
JP2019109491A Active JP6940215B2 (ja) | 2016-08-22 | 2019-06-12 | 検査装置及び検査装置の識別手段の学習方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018529319A Active JP6542477B2 (ja) | 2016-08-22 | 2017-08-22 | 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11079334B2 (ja) |
JP (2) | JP6542477B2 (ja) |
CN (1) | CN109791111B (ja) |
WO (1) | WO2018038123A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109791111B (zh) * | 2016-08-22 | 2022-01-11 | 丘比株式会社 | 食品检查装置、食品检查方法以及食品检查装置的识别机构的学习方法 |
CN112218729A (zh) * | 2018-06-11 | 2021-01-12 | 克里奥瓦克公司 | 用于检测外来物品的产品流的内置检查的过程和系统 |
CN109239075B (zh) * | 2018-08-27 | 2021-11-30 | 北京百度网讯科技有限公司 | 电池检测方法及装置 |
JP7228981B2 (ja) * | 2018-09-25 | 2023-02-27 | 株式会社明治 | 食品の検査方法及び検査装置 |
JP2020051982A (ja) * | 2018-09-28 | 2020-04-02 | Jfeテクノリサーチ株式会社 | 画像検査装置及び検査モデル構築システム |
JP2020051981A (ja) * | 2018-09-28 | 2020-04-02 | Jfeテクノリサーチ株式会社 | 検査装置 |
JP7250545B2 (ja) * | 2019-02-05 | 2023-04-03 | アヲハタ株式会社 | 食品検査装置 |
WO2020178913A1 (ja) * | 2019-03-01 | 2020-09-10 | 株式会社安川電機 | 検査システム |
JP2020183876A (ja) * | 2019-04-26 | 2020-11-12 | 株式会社前川製作所 | 特徴点認識システムおよびワーク処理システム |
NL2023271B1 (en) * | 2019-06-06 | 2020-12-22 | Aweta G&P B V | Apparatus and method for determining a property of products |
KR102110192B1 (ko) * | 2019-07-11 | 2020-05-14 | 농심엔지니어링 주식회사 | 이물질 검출을 위한 복합검사장치 |
KR102116137B1 (ko) * | 2019-11-07 | 2020-05-28 | 주식회사 대양식품 | 이물질 선별기의 제어 방법 및 장치 |
WO2021119946A1 (en) * | 2019-12-16 | 2021-06-24 | Mekitec Oy | Food inspection solution |
JP2021099261A (ja) * | 2019-12-23 | 2021-07-01 | セイコーエプソン株式会社 | 付着物判定方法、付着物判定装置、及び付着物判定プログラム |
JP7450917B2 (ja) * | 2020-03-10 | 2024-03-18 | 株式会社エヌテック | マルチスペクトル画像撮像装置、検査装置及びマルチスペクトル画像撮像方法 |
US20230148640A1 (en) * | 2020-04-30 | 2023-05-18 | Takai Tofu & Soymilk Equipment Co. | Tofu production system |
US20230145715A1 (en) * | 2020-04-30 | 2023-05-11 | Takai Tofu & Soymilk Equipment Co. | Inspection device for tofu products, manufacturing system for tofu products, inspection method for tofu products, and program |
JP7248316B2 (ja) * | 2020-04-30 | 2023-03-29 | 株式会社高井製作所 | 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム |
JP7248317B2 (ja) * | 2020-04-30 | 2023-03-29 | 株式会社高井製作所 | 豆腐類製造システム |
JP7487069B2 (ja) | 2020-10-29 | 2024-05-20 | 株式会社Ryoden | 混入金属識別方法および装置 |
CN112508930A (zh) * | 2020-12-17 | 2021-03-16 | 无锡日联科技股份有限公司 | 基于深度学习的食品异物检测方法和装置 |
KR102576213B1 (ko) * | 2022-12-27 | 2023-09-08 | 농심엔지니어링 주식회사 | 학습 모듈을 이용한 품질관리 시스템 및 방법 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03242773A (ja) | 1990-02-21 | 1991-10-29 | Hitachi Ltd | 画像検査装置 |
US5086479A (en) * | 1989-06-30 | 1992-02-04 | Hitachi, Ltd. | Information processing system using neural network learning function |
JPH06281592A (ja) * | 1993-03-29 | 1994-10-07 | Sumitomo Metal Ind Ltd | 表面検査方法 |
JPH08136466A (ja) * | 1994-11-10 | 1996-05-31 | Dainippon Screen Mfg Co Ltd | 画像パターン検査装置 |
JPH10300689A (ja) | 1997-04-21 | 1998-11-13 | Techno Ishii:Kk | 容器内の異物検出方法とその装置 |
JP2001099783A (ja) | 1999-09-30 | 2001-04-13 | Japan Tobacco Inc | 光学式異物検出装置 |
JP4220285B2 (ja) | 2003-03-31 | 2009-02-04 | 日世株式会社 | 食品中の異物・夾雑物の検出方法 |
JP2005181244A (ja) * | 2003-12-24 | 2005-07-07 | Yokogawa Electric Corp | 光量分布補正方法およびバイオチップ読取装置 |
JP2005201636A (ja) | 2004-01-13 | 2005-07-28 | Shizuoka Prefecture | 腐敗部判定方法及び判定装置 |
JP2006275895A (ja) * | 2005-03-30 | 2006-10-12 | Olympus Corp | 生体関連物質の測定情報の表示方法 |
US8351672B2 (en) * | 2007-09-26 | 2013-01-08 | Industry Vision Automation Corp. | Machine imaging apparatus and method for detecting foreign materials |
JP2009115613A (ja) * | 2007-11-06 | 2009-05-28 | Hitachi High-Tech Control Systems Corp | 異物検査装置 |
US8159525B2 (en) * | 2008-06-13 | 2012-04-17 | The United States Of America, As Represented By The Secretary Of Agriculture | Portable multispectral imaging systems |
JP2012189390A (ja) | 2011-03-09 | 2012-10-04 | Sumitomo Electric Ind Ltd | 毛髪検出装置 |
WO2012153695A1 (ja) * | 2011-05-10 | 2012-11-15 | 国立大学法人豊橋技術科学大学 | 機能性光源を用いた検査装置と検査方法及び機能性光源とその設計方法 |
JP6082321B2 (ja) * | 2013-06-10 | 2017-02-15 | 住友電気工業株式会社 | 手術用顕微鏡システム |
JP2015197361A (ja) | 2014-04-01 | 2015-11-09 | セイコーエプソン株式会社 | 表面検査装置および表面検査方法 |
CN104155312B (zh) * | 2014-08-11 | 2017-06-16 | 华北水利水电大学 | 基于近红外计算机视觉的粮粒内部害虫检测方法和装置 |
JP6402541B2 (ja) | 2014-08-26 | 2018-10-10 | 株式会社豊田中央研究所 | 異常診断装置及びプログラム |
JP2016091359A (ja) * | 2014-11-06 | 2016-05-23 | 株式会社リコー | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
US10650508B2 (en) * | 2014-12-03 | 2020-05-12 | Kla-Tencor Corporation | Automatic defect classification without sampling and feature selection |
JP6476802B2 (ja) | 2014-12-03 | 2019-03-06 | 株式会社リコー | 情報処理装置及び情報処理方法 |
JP2016142601A (ja) * | 2015-01-30 | 2016-08-08 | 前田建設工業株式会社 | 施工品質評価プログラム、施工品質評価方法及び施工品質評価装置 |
CN104677920B (zh) * | 2015-02-09 | 2017-04-05 | 浙江大学 | 一种基于果面局部灰度突变的水果表面虫眼检测标记方法 |
CN109791111B (zh) * | 2016-08-22 | 2022-01-11 | 丘比株式会社 | 食品检查装置、食品检查方法以及食品检查装置的识别机构的学习方法 |
-
2017
- 2017-08-22 CN CN201780051728.9A patent/CN109791111B/zh active Active
- 2017-08-22 US US16/325,365 patent/US11079334B2/en active Active
- 2017-08-22 WO PCT/JP2017/029996 patent/WO2018038123A1/ja active Application Filing
- 2017-08-22 JP JP2018529319A patent/JP6542477B2/ja active Active
-
2019
- 2019-06-12 JP JP2019109491A patent/JP6940215B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20200386690A1 (en) | 2020-12-10 |
JPWO2018038123A1 (ja) | 2018-08-30 |
CN109791111B (zh) | 2022-01-11 |
JP2019174481A (ja) | 2019-10-10 |
WO2018038123A1 (ja) | 2018-03-01 |
US11079334B2 (en) | 2021-08-03 |
JP6542477B2 (ja) | 2019-07-10 |
CN109791111A (zh) | 2019-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6940215B2 (ja) | 検査装置及び検査装置の識別手段の学習方法 | |
US7787111B2 (en) | Simultaneous acquisition of fluorescence and reflectance imaging techniques with a single imaging device for multitask inspection | |
Huang et al. | Development of a multispectral imaging system for online detection of bruises on apples | |
Wu et al. | Advanced applications of hyperspectral imaging technology for food quality and safety analysis and assessment: A review—Part I: Fundamentals | |
Kim et al. | Hyperspectral reflectance and fluorescence line-scan imaging for online defect and fecal contamination inspection of apples | |
Mo et al. | On-line fresh-cut lettuce quality measurement system using hyperspectral imaging | |
KR101750858B1 (ko) | 결함 검출 시스템 및 결함 검출 방법 | |
Kim et al. | Visible to SWIR hyperspectral imaging for produce safety and quality evaluation | |
Mo et al. | Fluorescence hyperspectral imaging technique for foreign substance detection on fresh‐cut lettuce | |
EP2081013A1 (en) | Method of inspecting food and inspection apparatus implementing the same | |
Lee et al. | A simple multispectral imaging algorithm for detection of defects on red delicious apples | |
Mo et al. | Discrimination methods for biological contaminants in fresh-cut lettuce based on VNIR and NIR hyperspectral imaging | |
Jayas et al. | Grain quality evaluation by computer vision | |
Pineda et al. | Calyx and stem discrimination for apple quality control using hyperspectral imaging | |
JP2009168743A (ja) | 検査方法および検査装置 | |
Huang et al. | Early detection of bruises on apples using near-infrared hyperspectral image | |
JP6403872B2 (ja) | 青果物検査装置 | |
Balabanov et al. | Mechatronic system for fruit and vegetables sorting | |
Singh et al. | Near-infrared hyperspectral imaging for quality analysis of agricultural and food products | |
Kim | Online screening of fruits and vegetables using hyperspectral line-scan imaging techniques | |
JP2021092461A (ja) | 青果物の内部品質検査装置 | |
Toyofuku et al. | Advances in automated nut sorting | |
AU2008246096B2 (en) | Simultaneous acquisition of fluorescence and reflectance imaging techniques with a single imaging device | |
Peng et al. | Real-time detection of natural bruises in apple surface using machine vision | |
Huang et al. | Quality of Vegetable Products: Assessment of Physical, Chemical, and Microbiological Changes in Vegetable Products by Nondestructive Methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200117 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200117 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210827 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6940215 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |