JPWO2017168469A1 - 外観検査装置と外観検査方法 - Google Patents
外観検査装置と外観検査方法 Download PDFInfo
- Publication number
- JPWO2017168469A1 JPWO2017168469A1 JP2018507806A JP2018507806A JPWO2017168469A1 JP WO2017168469 A1 JPWO2017168469 A1 JP WO2017168469A1 JP 2018507806 A JP2018507806 A JP 2018507806A JP 2018507806 A JP2018507806 A JP 2018507806A JP WO2017168469 A1 JPWO2017168469 A1 JP WO2017168469A1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- light source
- light
- image
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims description 68
- 238000003384 imaging method Methods 0.000 claims abstract description 237
- 238000001514 detection method Methods 0.000 claims abstract description 167
- 230000003595 spectral effect Effects 0.000 claims abstract description 149
- 238000005286 illumination Methods 0.000 claims abstract description 139
- 230000035945 sensitivity Effects 0.000 claims abstract description 136
- 238000009826 distribution Methods 0.000 claims abstract description 93
- 238000004364 calculation method Methods 0.000 claims abstract description 86
- 239000003086 colorant Substances 0.000 claims description 59
- 239000000284 extract Substances 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 152
- 235000013399 edible fruits Nutrition 0.000 description 100
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 82
- 240000003768 Solanum lycopersicum Species 0.000 description 82
- 208000027418 Wounds and injury Diseases 0.000 description 32
- 238000010586 diagram Methods 0.000 description 32
- 238000000605 extraction Methods 0.000 description 28
- 206010052428 Wound Diseases 0.000 description 24
- 230000006870 function Effects 0.000 description 16
- 239000000126 substance Substances 0.000 description 16
- 230000006378 damage Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 230000001678 irradiating effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 208000014674 injury Diseases 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000011179 visual inspection Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 206010036790 Productive cough Diseases 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012850 discrimination method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N iron Substances [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004451 qualitative analysis Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000003802 sputum Anatomy 0.000 description 2
- 208000024794 sputum Diseases 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/251—Colorimeters; Construction thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/4738—Diffuse reflection, e.g. also for testing fluids, fibrous materials
- G01N21/474—Details of optical heads therefor, e.g. using optical fibres
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/85—Investigating moving fluids or granular solids
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
- G01N2021/8845—Multiple wavelengths of illumination or detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/02—Food
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
反射光は、物質に光が照射された際に物質から放出され、その物質のもつ特性を反映する。そのため反射光は、物質の定性的、定量的な解析に利用することができる。
本開示では、RGBカメラで撮像した撮像画像の各画素のRGB値を三次元のベクトルとしてとらえ、RGB値をRGBベクトルとして表記する。以下、RGBベクトルの方向と長さについて説明する。
[1−1.外観検査装置の構成]
図2は、実施の形態1における外観検査装置100の構成を示すブロック図である。
[1−2−1.外観検査装置の動作]
以上のように構成された外観検査装置100の動作を説明する。
ステップS204の演算を詳細に述べる。この演算は撮像画像Pの画素ごとに対して行われる。また、本実施の形態のように複数の色フィルタを市松状に配置したベイヤ配列構造を有する撮像素子の場合、1画素の中には1色の値しか含まれていない。そのため、周辺画素の情報を用いた補間処理によって、RGB各色の間の画素の値を作り出し、1画素中に複数色の値を持たせる処理を事前に行う。1画素中に複数色の値を持たせる方法は、これ限らず任意の方法を用いてもよい。他にも、デバイスの状態から1画素中に複数色の値を含むような撮像素子や、ダイクロイックミラーを用いて同軸で複数設置されたモノクロの撮像素子に各色の光を分離する方法を用いてもよい。
次に、選択部160の動作を説明する。選択部160は、CPU110の制御に従って、検出部170および判断部180に、あらかじめ設定された1つ以上の単一波長画像をメモリ140から読み出し、検出部170および判断部180へ供給する。
次に、検出部170の動作を説明する。検出部170には、選択部160より、反射光R2の単一波長画像と、反射光R3の単一波長画像とが供給される。検出部170は、反射光R2の単一波長画像と反射光R3の単一波長画像に対して、同じ位置にあたる画素値を用いて、画素毎に比を算出し、算出した比を元の画素の位置の画素値とする画像を生成する。検出部170は、生成した画像の画素毎の値を、所定の閾値を使って二値化し、二値画像を生成する。検出部は、この二値画像を検出結果として出力する。
次に、判断部180の動作を説明する。本実施の形態では、特徴的な部分とは、検出部170が検出した特定部位である果実領域に存在する傷として説明する。
本実施の形態における外観検査装置100は、照明部120と、撮像部130と、メモリ140と、分離演算部150と、検出部170とを有する。照明部120は、互いに異なる相対分光分布を有する単一波長の光を発光し、被写体190に照明光を実質的に同時に照射する光源121、122、123を有する。撮像部130は、光源121、122、123から実質的に同時に照射された照明光に対して、被写体190が放出した光を撮像する。メモリ140は、撮像部130のRGB各色の感度特性に関する情報を記憶している。分離演算部150は、撮像部130の各色の感度特性に関する情報を用いて、撮像部130により撮像された撮像画像を、単一波長の成分毎の複数の単一波長画像に分離する。検出部170は、複数の単一波長画像から選択された1つ以上を用いて、被写体190の特定部位の情報を検出する。
[2−1.外観検査装置の構成]
実施の形態2における外観検査装置の構成は、図2に示す実施の形態1の構成と同じである。本実施の形態と実施の形態1の相違点は、検出部170の動作についてのみである。本実施の形態では、検出部170の動作を中心に説明する。
続いて、本実施の形態による外観検査装置100の動作を説明する。
図6を参照しながら、検出部170の動作を説明する。図6は、本実施の形態の検出部170が決定した識別境界の例を示す図である。縦軸は反射光R3の反射光強度、横軸は反射光R2の反射光強度を示す。また、黒丸と黒三角は、反射光R2の単一波長画像と、反射光R3の単一波長画像において、トマトの果実およびヘタにあたる位置にある画素を対象とし、同じ位置にある画素の反射光R3の反射光強度と反射光R2の反射光強度を1つの組として、平面上にクラス分類したものである。黒丸はヘタにあたる位置にある画素、黒三角は果実にあたる位置にある画素を示す。
本実施の形態の外観検査装置100において、検出部170は、演算部150が分離した単一波長画像より、機械学習を用いて複数の特定部位を分離できる識別境界を決定することができる。
[3−1.外観検査装置の構成]
図7は、実施の形態3における外観検査装置700の構成例を示すブロック図である。図7において、図2と同じ動作を行う構成要素については同一符号を付し、その詳細な説明は省略する。外観検査装置700は、図2に示す実施の形態1の構成に対し、出力部781をさらに有する。また、CPU110、判断部180に代えてCPU710、判断部780を有する。CPU710、判断部780の動作はCPU110、判断部180の動作とは異なる。以下、CPU710、判断部780、出力部781の動作を中心に説明する。
続いて、外観検査装置700の動作について説明する。
まず判断部780の動作を説明する。判断部780は、実施の形態1で説明した判断部180と同様に、被写体190に存在する特徴的な部分を検出する。判断部780は、特徴的な部分を検出できた場合には、CPU710に抽出結果を出力する。結果の出力方法としては、例えば、CPU710が有するポート(不図示)に判断部780を接続し、このポートのハイとローを抽出結果の有無に応じて切り替える等の手段を使えばよい。
CPU710は、判断部780から出力された抽出結果に応じて、出力部781を制御する。具体的には、CPU710は、果実部に傷が存在すると判断部180が判断した場合であって、出力部781が情報表示装置である場合、出力部781にその事実を示す情報を表示させる。
出力部781がインターフェイスや出力端子である場合、CPU710は、判断部780から出力された抽出結果に応じて、出力部781に対し、画像に特徴的な部分が含まれることを示す信号を送る。具体的には、CPU710は、果実部に傷が存在すると判断部780が判断した場合、出力部781にその事実を示す信号を出力する。出力部781は、他の機器に電気的に接続されている。出力部781接続された機器とは、例えば、トマトの不良排出機である。例えば、被写体190であるトマトがコンベアで搬送されている間に、撮像部130がトマトを撮像し、判断部780が撮像画像において、傷の存在を検出した場合、不良排出機は、出力部781からの信号により、傷のあるトマトを排出することができる。
外観検査装置700において、判断部780は抽出結果をCPU710に出力し、CPU710は抽出結果に応じて、出力部781に抽出結果を出力(表示)する。
[4−1.外観検査装置の構成]
図9は実施の形態4における外観検査装置900の構成例を示すブロック図である。
続いて、外観検査装置900の動作について説明する。
まず、任意の光源強度で、図4に示す実施の形態1と同じ動作を実施し、演算部150は、各光源の波長に対応する、単一波長画像を算出する。次に、演算部150は、算出した各単一波長画像を、メモリ140を経由して、あるいは直接に、決定部971に出力する。決定部971は、入力された単一波長画像毎に、空間的に同じ位置にある特定の領域内の強度の平均値を計算する。すなわち、決定部971は、光源121の波長に相当する単一波長画像内の特定領域Aにおける強度の平均値を計算する。また、決定部971は、光源122の波長に相当する単一波長画像内の特定領域Aにおける強度の平均値を計算する。また、決定部971は、光源123の波長に相当する単一波長画像内の特定領域Aにおける強度の平均値を計算する。例えば、特定領域Aとして、例えば、検出部170より供給された二値化画像の果実領域を設定する。
図9に示す外観検査装置900では、決定部971は、演算部150が生成した単一波長画像の特定領域における反射光強度から、次回撮像時の各光源の光源強度を決定する。CPU910は決定部971が決定した光源強度を用いて、照明部120を制御する。
以上のように、本開示における技術の例示として、実施の形態1〜4を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態1〜4で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
110,710,910 CPU
120 照明部
121,122,123 光源
130 撮像部
140 メモリ
150 演算部
160 選択部
170 検出部
180,780 判断部
190 被写体
500 画像
600 直線
781 出力部
971 決定部
973 ユーザーインターフェース
反射光は、物質に光が照射された際に物質から放出され、その物質のもつ特性を反映する。そのため反射光は、物質の定性的、定量的な解析に利用することができる。
本開示では、RGBカメラで撮像した撮像画像の各画素のRGB値を三次元のベクトルとしてとらえ、RGB値をRGBベクトルとして表記する。以下、RGBベクトルの方向と長さについて説明する。
[1−1.外観検査装置の構成]
図2は、実施の形態1における外観検査装置100の構成を示すブロック図である。
[1−2−1.外観検査装置の動作]
以上のように構成された外観検査装置100の動作を説明する。
ステップS204の演算を詳細に述べる。この演算は撮像画像Pの画素ごとに対して行われる。また、本実施の形態のように複数の色フィルタを市松状に配置したベイヤ配列構造を有する撮像素子の場合、1画素の中には1色の値しか含まれていない。そのため、周辺画素の情報を用いた補間処理によって、RGB各色の間の画素の値を作り出し、1画素中に複数色の値を持たせる処理を事前に行う。1画素中に複数色の値を持たせる方法は、これ限らず任意の方法を用いてもよい。他にも、デバイスの状態から1画素中に複数色の値を含むような撮像素子や、ダイクロイックミラーを用いて同軸で複数設置されたモノクロの撮像素子に各色の光を分離する方法を用いてもよい。
次に、選択部160の動作を説明する。選択部160は、CPU110の制御に従って、検出部170および判断部180に、あらかじめ設定された1つ以上の単一波長画像をメモリ140から読み出し、検出部170および判断部180へ供給する。
次に、検出部170の動作を説明する。検出部170には、選択部160より、反射光R2の単一波長画像と、反射光R3の単一波長画像とが供給される。検出部170は、反射光R2の単一波長画像と反射光R3の単一波長画像に対して、同じ位置にあたる画素値を用いて、画素毎に比を算出し、算出した比を元の画素の位置の画素値とする画像を生成する。検出部170は、生成した画像の画素毎の値を、所定の閾値を使って二値化し、二値画像を生成する。検出部は、この二値画像を検出結果として出力する。
次に、判断部180の動作を説明する。本実施の形態では、特徴的な部分とは、検出部170が検出した特定部位である果実領域に存在する傷として説明する。
本実施の形態における外観検査装置100は、照明部120と、撮像部130と、メモリ140と、演算部150と、検出部170とを有する。照明部120は、互いに異なる相対分光分布を有する単一波長の光を発光し、被写体190に照明光を実質的に同時に照射する光源121、122、123を有する。撮像部130は、光源121、122、123から実質的に同時に照射された照明光に対して、被写体190が放出した光を撮像する。メモリ140は、撮像部130のRGB各色の感度特性に関する情報を記憶している。演算部150は、撮像部130の各色の感度特性に関する情報を用いて、撮像部130により撮像された撮像画像を、単一波長の成分毎の複数の単一波長画像に分離する。検出部170は、複数の単一波長画像から選択された1つ以上を用いて、被写体190の特定部位の情報を検出する。
[2−1.外観検査装置の構成]
実施の形態2における外観検査装置の構成は、図2に示す実施の形態1の構成と同じである。本実施の形態と実施の形態1の相違点は、検出部170の動作についてのみである。本実施の形態では、検出部170の動作を中心に説明する。
続いて、本実施の形態による外観検査装置100の動作を説明する。
図6を参照しながら、検出部170の動作を説明する。図6は、本実施の形態の検出部170が決定した識別境界の例を示す図である。縦軸は反射光R3の反射光強度、横軸は反射光R2の反射光強度を示す。また、黒丸と黒三角は、反射光R2の単一波長画像と、反射光R3の単一波長画像において、トマトの果実およびヘタにあたる位置にある画素を対象とし、同じ位置にある画素の反射光R3の反射光強度と反射光R2の反射光強度を1つの組として、平面上にクラス分類したものである。黒丸はヘタにあたる位置にある画素、黒三角は果実にあたる位置にある画素を示す。
本実施の形態の外観検査装置100において、検出部170は、演算部150が分離した単一波長画像より、機械学習を用いて複数の特定部位を分離できる識別境界を決定することができる。
[3−1.外観検査装置の構成]
図7は、実施の形態3における外観検査装置700の構成例を示すブロック図である。図7において、図2と同じ動作を行う構成要素については同一符号を付し、その詳細な説明は省略する。外観検査装置700は、図2に示す実施の形態1の構成に対し、出力部781をさらに有する。また、CPU110、判断部180に代えてCPU710、判断部780を有する。CPU710、判断部780の動作はCPU110、判断部180の動作とは異なる。以下、CPU710、判断部780、出力部781の動作を中心に説明する。
続いて、外観検査装置700の動作について説明する。
まず判断部780の動作を説明する。判断部780は、実施の形態1で説明した判断部180と同様に、被写体190に存在する特徴的な部分を検出する。判断部780は、特徴的な部分を検出できた場合には、CPU710に抽出結果を出力する。結果の出力方法としては、例えば、CPU710が有するポート(不図示)に判断部780を接続し、このポートのハイとローを抽出結果の有無に応じて切り替える等の手段を使えばよい。
CPU710は、判断部780から出力された抽出結果に応じて、出力部781を制御する。具体的には、CPU710は、果実部に傷が存在すると判断部180が判断した場合であって、出力部781が情報表示装置である場合、出力部781にその事実を示す情報を表示させる。
出力部781がインターフェイスや出力端子である場合、CPU710は、判断部780から出力された抽出結果に応じて、出力部781に対し、画像に特徴的な部分が含まれることを示す信号を送る。具体的には、CPU710は、果実部に傷が存在すると判断部780が判断した場合、出力部781にその事実を示す信号を出力する。出力部781は、他の機器に電気的に接続されている。出力部781に接続された機器とは、例えば、トマトの不良排出機である。例えば、被写体190であるトマトがコンベアで搬送されている間に、撮像部130がトマトを撮像し、判断部780が撮像画像において、傷の存在を検出した場合、不良排出機は、出力部781からの信号により、傷のあるトマトを排出することができる。
外観検査装置700において、判断部780は抽出結果をCPU710に出力し、CPU710は抽出結果に応じて、出力部781に抽出結果を出力(表示)する。
[4−1.外観検査装置の構成]
図9は実施の形態4における外観検査装置900の構成例を示すブロック図である。
続いて、外観検査装置900の動作について説明する。
まず、任意の光源強度で、図4に示す実施の形態1と同じ動作を実施し、演算部150は、各光源の波長に対応する、単一波長画像を算出する。次に、演算部150は、算出した各単一波長画像を、メモリ140を経由して、あるいは直接に、決定部971に出力する。決定部971は、入力された単一波長画像毎に、空間的に同じ位置にある特定の領域内の強度の平均値を計算する。すなわち、決定部971は、光源121の波長に相当する単一波長画像内の特定領域Aにおける強度の平均値を計算する。また、決定部971は、光源122の波長に相当する単一波長画像内の特定領域Aにおける強度の平均値を計算する。また、決定部971は、光源123の波長に相当する単一波長画像内の特定領域Aにおける強度の平均値を計算する。例えば、特定領域Aとして、例えば、検出部170より供給された二値画像の果実領域を設定する。
図9に示す外観検査装置900では、決定部971は、演算部150が生成した単一波長画像の特定領域における反射光強度から、次回撮像時の各光源の光源強度を決定する。CPU910は決定部971が決定した光源強度を用いて、照明部120を制御する。
以上のように、本開示における技術の例示として、実施の形態1〜4を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態1〜4で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
110,710,910 CPU
120 照明部
121,122,123 光源
130 撮像部
140 メモリ
150 演算部
160 選択部
170 検出部
180,780 判断部
190 被写体
500 画像
600 直線
781 出力部
971 決定部
973 ユーザーインターフェース
Claims (17)
- 互いに異なる相対分光分布を有する単一波長の光を発光する複数の光源を有し、被写体に前記複数の光源が発光する照明光を実質的に同時に照射する照明部と、
前記複数の光源から照射された複数の前記照明光に対して前記被写体が放出した光を撮像する撮像部と、
前記撮像部の各色の感度特性に関する情報を記憶するメモリと、
前記撮像部の前記各色の感度特性に関する情報を用いて、前記撮像部により撮像された撮像画像を、前記単一波長の成分毎の複数の単一波長画像に分離する演算部と、
前記複数の単一波長画像から選択された1つ以上を用いて、前記被写体の特定部位の情報を検出する検出部と、を備えた、
外観検査装置。 - 前記照明部が有する前記複数の光源の数は、前記撮像部で取得可能な色数以下である、
請求項1に記載の外観検査装置。 - 前記撮像部の少なくとも2色の分光感度特性には重なり合う領域が存在する、
請求項1、2のいずれか1項に記載の外観検査装置。 - 前記撮像部は、前記複数の光源毎における前記撮像部の前記各色の感度特性に関する情報が、お互いに一次独立である分光感度特性を有する、
請求項1から3のいずれか1項に記載の外観検査装置。 - 前記複数の光源の組み合わせは、変更可能である、
請求項1から4のいずれか1項に記載の外観検査装置。 - 前記複数の光源毎の強度は、独立に制御可能である、
請求項1から5のいずれか1項に記載の外観検査装置。 - 前記複数の光源の少なくとも1つの強度を制御する制御部をさらに備え、
前記制御部は、前記複数の光源のうち、前記被写体の反射光の強度が相対的に弱い光源の強度を強くする、もしくは、前記複数の光源のうち、反射光強度が相対的に強い前記光源の強度を弱くする、
請求項6に記載の外観検査装置。 - 前記演算部は、前記複数の光源毎の強度情報を用いて、演算により分離した前記複数の単一波長画像の強度を補正する、
請求項6、7のいずれか1項に記載の外観検査装置。 - 前記複数の光源毎の強度を決定する決定部をさらに備え、
前記決定部は、事前の撮像によって分離した、前記複数の単一波長画像に基づき、次回の撮像時の前記複数の光源毎の強度を決定する、
請求項6から8のいずれか1項に記載の外観検査装置。 - 前記複数の光源毎の設定強度を入力可能なユーザーインターフェースをさらに備えた、
請求項6から8のいずれか1項に記載の外観検査装置。 - 選択された前記複数の単一波長画像の1つ以上と、前記検出部が検出した前記特定部位に存在する特徴的な部分に相当する画像特徴量を抽出する判断部をさらに備えた、
請求項1から10のいずれか1項に記載の外観検査装置。 - 前記判断部は、エッジ検出を用いて前記画像特徴量を抽出する、
請求項11に記載の外観検査装置。 - 前記判断部で検出した結果に関する情報を出力する出力部をさらに備えた、
請求項11、12のいずれか1項に記載の外観検査装置。 - 前記検出部は、前記選択された前記複数の単一波長画像の1つ以上に基づいて機械学習により決定した識別境界を用いて、前記被写体の特定部位の情報を検出する、
請求項1から13のいずれか1項に記載の外観検査装置。 - 前記分離演算部は、前記被写体に応じて、選択される前記複数の単一波長画像の1つ以上を変更する、
請求項1から14のいずれか1項に記載の外観検査装置。 - 前記検出部で検出した結果に関する情報を出力する出力部をさらに備えた、
請求項1に記載の外観検査装置。 - 互いに異なる相対分光分布を有する単一波長の光を発光する複数の光源が発光する照明光を被写体に実質的に同時に照射し、
前記複数の光源から照射された複数の前記照明光に対して前記被写体が放出した光を撮像し、撮像画像を生成し
前記撮像部の各色の感度特性に関する情報と、生成された前記撮像画像とを用いて、前記単一波長の成分毎の複数の単一波長画像に分離し、
前記複数の単一波長画像から選択された1つ以上を用いて、前記被写体の特定部位の情報を検出する外観検査方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016062995 | 2016-03-28 | ||
JP2016062995 | 2016-03-28 | ||
PCT/JP2016/003698 WO2017168469A1 (ja) | 2016-03-28 | 2016-08-10 | 外観検査装置と外観検査方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017168469A1 true JPWO2017168469A1 (ja) | 2019-03-22 |
JP6765036B2 JP6765036B2 (ja) | 2020-10-07 |
Family
ID=59962709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018507806A Active JP6765036B2 (ja) | 2016-03-28 | 2016-08-10 | 外観検査装置と外観検査方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10379035B2 (ja) |
JP (1) | JP6765036B2 (ja) |
WO (1) | WO2017168469A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018070354A1 (ja) * | 2016-10-14 | 2018-04-19 | 富士フイルム株式会社 | 撮影計画生成装置、撮影計画生成方法、およびプログラム |
ES2963646T3 (es) | 2018-03-14 | 2024-04-01 | Atlas Pacific Eng Company | Orientador de productos |
JP7083282B2 (ja) * | 2018-07-04 | 2022-06-10 | Dmg森精機株式会社 | 測定装置 |
CN109827965A (zh) * | 2019-03-19 | 2019-05-31 | 湖州灵粮生态农业有限公司 | 一种水果表面腐烂自动化识别方式 |
CN109827971B (zh) * | 2019-03-19 | 2021-09-24 | 湖州灵粮生态农业有限公司 | 一种无损检测水果表面缺陷的方法 |
CN110519557B (zh) * | 2019-07-15 | 2021-08-06 | 武汉纳思系统技术有限公司 | 一种输电线路多重杆塔图像分析方法 |
JP7411984B2 (ja) * | 2019-09-24 | 2024-01-12 | 株式会社イシダ | 検査装置 |
JP6858377B1 (ja) * | 2019-12-16 | 2021-04-14 | Assest株式会社 | 魚の品質判別プログラム及びシステム |
WO2021137344A1 (ko) * | 2020-01-03 | 2021-07-08 | 제주대학교 산학협력단 | 초 고속 연속 영상 촬영 장치 |
JP7509033B2 (ja) * | 2020-12-25 | 2024-07-02 | 新東工業株式会社 | 検査装置、検査方法、機械学習装置、及び機械学習方法 |
US20240159711A1 (en) * | 2022-11-11 | 2024-05-16 | General Electric Company | Inspection Systems and Methods Employing Different Wavelength Directional Light For Enhanced Imaging |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0634555A (ja) * | 1992-07-21 | 1994-02-08 | Iseki & Co Ltd | メロンの縞抽出装置 |
JPH08166380A (ja) * | 1994-12-14 | 1996-06-25 | Maki Seisakusho:Kk | 青果物の傷害自動検出装置 |
JPH09318547A (ja) * | 1996-05-31 | 1997-12-12 | Maki Seisakusho:Kk | 農産物の外観検査方法及び装置 |
JP2007212364A (ja) * | 2006-02-10 | 2007-08-23 | Riyuukoku Univ | 表面異常判定方法および装置 |
JP2008209404A (ja) * | 2007-01-31 | 2008-09-11 | Tokyo Institute Of Technology | 複数波長による表面形状の測定方法およびこれを用いた装置 |
JP2009216485A (ja) * | 2008-03-10 | 2009-09-24 | Toppan Printing Co Ltd | 微小物体の形状不良判定検査装置 |
JP2010054342A (ja) * | 2008-08-28 | 2010-03-11 | National Agriculture & Food Research Organization | イチゴ品質測定方法及びイチゴ品質測定装置 |
JP2012117858A (ja) * | 2010-11-30 | 2012-06-21 | Toray Eng Co Ltd | クロストーク補正係数算出方法およびクロストーク補正係数算出装置およびこれを用いた三次元表面形状測定装置 |
JP2012243097A (ja) * | 2011-05-19 | 2012-12-10 | Panasonic Corp | 投影装置およびその方法、並びに投影装置を用いた形状認識装置およびその方法 |
JP2013068489A (ja) * | 2011-09-21 | 2013-04-18 | Toray Eng Co Ltd | 複数波長による表面形状測定方法およびこれを用いた装置 |
JP2014085112A (ja) * | 2012-10-19 | 2014-05-12 | Toray Eng Co Ltd | クロストーク補正係数算出方法およびクロストーク補正係数算出機能を備えた透明膜の膜厚測定装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02218944A (ja) | 1989-02-20 | 1990-08-31 | Hitachi Plant Eng & Constr Co Ltd | 柑橘類の白傷検出方法及びその装置 |
JP3055205B2 (ja) | 1991-04-03 | 2000-06-26 | 井関農機株式会社 | 青果物の傷検出装置 |
JPH09264849A (ja) | 1996-03-28 | 1997-10-07 | Hitachi Zosen Corp | 青果物チャック傷判別装置 |
US6271520B1 (en) | 1998-03-23 | 2001-08-07 | University Of Arkansas | Item defect detection apparatus and method |
JP3621937B2 (ja) | 2002-08-09 | 2005-02-23 | 三菱重工業株式会社 | 農産物の品質判定装置及び農産物の品質判定方法 |
JP2005351645A (ja) | 2004-06-08 | 2005-12-22 | Fuji Photo Film Co Ltd | 表面傷検出方法および装置並びにプログラム |
JP4656399B2 (ja) | 2005-04-21 | 2011-03-23 | 静岡シブヤ精機株式会社 | 農産物の外観検査装置 |
US7787111B2 (en) | 2007-04-25 | 2010-08-31 | The United States Of America As Represented By The Secretary Of Agriculture | Simultaneous acquisition of fluorescence and reflectance imaging techniques with a single imaging device for multitask inspection |
-
2016
- 2016-08-10 JP JP2018507806A patent/JP6765036B2/ja active Active
- 2016-08-10 WO PCT/JP2016/003698 patent/WO2017168469A1/ja active Application Filing
-
2018
- 2018-02-21 US US15/901,506 patent/US10379035B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0634555A (ja) * | 1992-07-21 | 1994-02-08 | Iseki & Co Ltd | メロンの縞抽出装置 |
JPH08166380A (ja) * | 1994-12-14 | 1996-06-25 | Maki Seisakusho:Kk | 青果物の傷害自動検出装置 |
JPH09318547A (ja) * | 1996-05-31 | 1997-12-12 | Maki Seisakusho:Kk | 農産物の外観検査方法及び装置 |
JP2007212364A (ja) * | 2006-02-10 | 2007-08-23 | Riyuukoku Univ | 表面異常判定方法および装置 |
JP2008209404A (ja) * | 2007-01-31 | 2008-09-11 | Tokyo Institute Of Technology | 複数波長による表面形状の測定方法およびこれを用いた装置 |
JP2009216485A (ja) * | 2008-03-10 | 2009-09-24 | Toppan Printing Co Ltd | 微小物体の形状不良判定検査装置 |
JP2010054342A (ja) * | 2008-08-28 | 2010-03-11 | National Agriculture & Food Research Organization | イチゴ品質測定方法及びイチゴ品質測定装置 |
JP2012117858A (ja) * | 2010-11-30 | 2012-06-21 | Toray Eng Co Ltd | クロストーク補正係数算出方法およびクロストーク補正係数算出装置およびこれを用いた三次元表面形状測定装置 |
JP2012243097A (ja) * | 2011-05-19 | 2012-12-10 | Panasonic Corp | 投影装置およびその方法、並びに投影装置を用いた形状認識装置およびその方法 |
JP2013068489A (ja) * | 2011-09-21 | 2013-04-18 | Toray Eng Co Ltd | 複数波長による表面形状測定方法およびこれを用いた装置 |
JP2014085112A (ja) * | 2012-10-19 | 2014-05-12 | Toray Eng Co Ltd | クロストーク補正係数算出方法およびクロストーク補正係数算出機能を備えた透明膜の膜厚測定装置 |
Also Published As
Publication number | Publication date |
---|---|
US10379035B2 (en) | 2019-08-13 |
US20180180534A1 (en) | 2018-06-28 |
JP6765036B2 (ja) | 2020-10-07 |
WO2017168469A1 (ja) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6765036B2 (ja) | 外観検査装置と外観検査方法 | |
US10157456B2 (en) | Information processing apparatus, information processing method, and storage medium utilizing technique for detecting an abnormal state such as a scratch on a target | |
JP6945245B2 (ja) | 外観検査装置 | |
US9619876B2 (en) | Detecting defects on wafers based on 2D scatter plots of values determined for output generated using different optics modes | |
WO2016092646A1 (ja) | 魚種判別装置および魚種判別方法 | |
KR102308437B1 (ko) | 대상체의 외부의 검사를 최적화하기 위한 장치 및 그 방법 | |
JP7139243B2 (ja) | 画像分析システム及び方法 | |
US20170319052A1 (en) | Imaging device and image processing method | |
JP2006201130A (ja) | 生籾被害粒の非破壊判定方法及びその装置 | |
JP2007292576A (ja) | 電子部品の外観検査装置 | |
JP2022501594A (ja) | ビジョンベース検査システムの光学構成要素の自律診断検証のためのシステム、方法、および装置 | |
JPWO2017168477A1 (ja) | 撮像装置および画像処理方法 | |
JP6715001B2 (ja) | 食品検査システム及び食品検査方法 | |
JP6754114B2 (ja) | 画像解析装置 | |
JP7317324B2 (ja) | 判定装置 | |
JP2012088199A (ja) | 異物検査装置および異物検査方法 | |
Anami et al. | Influence of light, distance and size on recognition and classification of food grains' images | |
JP7248284B2 (ja) | 異物の検出装置及び異物の検出方法ならびに異物の検出プログラム | |
TWI655412B (zh) | 發光源檢測系統與方法 | |
JP2010198476A (ja) | 欠陥検出装置、欠陥検出方法および欠陥検出プログラム | |
Park et al. | Classification of hyperspectral imagery for identifying fecal and ingesta contaminants | |
JP2020193867A (ja) | 画像処理装置、制御方法、制御プログラムおよびコンピュータで読み取り可能な記録媒体 | |
JP4656399B2 (ja) | 農産物の外観検査装置 | |
JP6948032B2 (ja) | 画像解析装置および検査システム | |
US11906439B2 (en) | Optical inspection method, non-transitory storage medium storing optical inspection program, and optical inspection apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180214 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20190124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190131 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200810 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6765036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |