WO2024010123A1 - 초분광 이미지 기반 폐기물 재질 판별 시스템 - Google Patents

초분광 이미지 기반 폐기물 재질 판별 시스템 Download PDF

Info

Publication number
WO2024010123A1
WO2024010123A1 PCT/KR2022/009952 KR2022009952W WO2024010123A1 WO 2024010123 A1 WO2024010123 A1 WO 2024010123A1 KR 2022009952 W KR2022009952 W KR 2022009952W WO 2024010123 A1 WO2024010123 A1 WO 2024010123A1
Authority
WO
WIPO (PCT)
Prior art keywords
hyperspectral
data
target object
semi
supervised learning
Prior art date
Application number
PCT/KR2022/009952
Other languages
English (en)
French (fr)
Inventor
박태형
Original Assignee
주식회사 에이트테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이트테크 filed Critical 주식회사 에이트테크
Publication of WO2024010123A1 publication Critical patent/WO2024010123A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a waste material discrimination system, and more specifically, to a hyperspectral image-based waste material discrimination system that determines waste material through an artificial intelligence model based on hyperspectral images.
  • a large amount of waste is discharged from homes, factories, restaurants, etc. every day, and many people separate and dispose of food waste among general waste, recyclable waste, and food waste.
  • Patent Registration No. 10-1270354 “Waste Recycling Sorting System,” has the advantage of being able to photograph waste and automatically classify waste according to material.
  • the technical task to be achieved by the present invention is to provide a hyperspectral image-based waste material determination system that can clearly determine the material of the waste using hyperspectral images of the waste and an artificial intelligence model.
  • the hyperspectral image-based waste material discrimination system determines the analysis area in the hyperspectral image of the waste obtained through a hyperspectral sensor and acquires hyperspectral data for the target object.
  • a hyperspectral data acquisition unit A semi-supervised learning processing model unit that processes the hyperspectral data through a semi-supervised learning processing model to generate integrated data; and a target object material determination unit that determines the material of the target object using the integrated data through a deep learning model.
  • the hyperspectral data acquisition unit specifies the target object by considering the positions of the vision camera and the hyperspectral sensor, and the moving speed and moving distance of the waste on the transfer conveyor, excluding the portion where the target object overlaps with other waste.
  • the analysis area of the target object can be determined.
  • the hyperspectral data includes labeled data and unlabeled data
  • the semi-supervised learning processing model can process the labeled data and unlabeled data through a principal component analysis network.
  • the hyperspectral data includes spatial information and spectral information
  • the semi-supervised learning processing model unit integrates the results obtained after learning the spatial information and the spectral information through the semi-supervised learning processing model, respectively. Data can be generated.
  • the deep learning model may use one or more of a convolutional neural network (CNN) and a recursive neural network (RNN).
  • CNN convolutional neural network
  • RNN recursive neural network
  • the hyperspectral sensor may use near infrared (NIR) or short wave infrared (SWIR) wavelengths.
  • NIR near infrared
  • SWIR short wave infrared
  • the present invention can remove noise from hyperspectral data by using hyperspectral image and RGB image overlap technology for the same target object to determine the analysis area of the target object by excluding parts that overlap with other waste.
  • the present invention redesigns the semi-supervised learning processing model by using both labeled and unlabeled data as training data for the principal component analysis model, and uses unlabeled data as well as data on the labeled pixel information of the hyperspectral image. By using all of them as input data for a semi-supervised learning processing model, the overfitting problem caused by insufficient training data can be solved.
  • the present invention not only determines the analysis area of the target object by excluding the part that overlaps with other waste, but also separates spatial information and spectral information and learns each through a semi-supervised learning processing model, thereby converting insufficient hyperspectral data into training data. It is possible to accurately determine the material of waste without overfitting.
  • Figure 1 is a block diagram showing a hyperspectral image-based waste material determination system according to an embodiment of the present invention.
  • Figure 2 is an example diagram for explaining how a hyperspectral data acquisition unit specifies a target object according to an embodiment of the present invention.
  • Figure 3 is an example diagram to explain how the hyperspectral data acquisition unit determines the analysis area of the target object according to an embodiment of the present invention.
  • Figure 4 is a graph showing the standardized near-infrared reflection spectrum according to plastic type.
  • Figure 5 is a diagram for explaining a semi-supervised learning processing model according to an embodiment of the present invention.
  • Figure 6 is a diagram for explaining that the semi-supervised learning processing model unit generates integrated data according to an embodiment of the present invention.
  • waste used in this specification includes plastic, PET bottles, glass bottles, glass, paper, Styrofoam, general waste, and industrial waste.
  • Figure 1 is a block diagram showing a hyperspectral image-based waste material determination system according to an embodiment of the present invention
  • Figure 2 is a block diagram for explaining that the hyperspectral data acquisition unit specifies a target object according to an embodiment of the present invention.
  • Figure 3 is an exemplary diagram to explain how the hyperspectral data acquisition unit determines the analysis area of the target object according to an embodiment of the present invention
  • Figure 4 shows the standardized near-infrared reflection spectrum according to the type of plastic. It's a graph.
  • the hyperspectral image-based waste material determination system 1000 includes a data acquisition unit 100 that acquires hyperspectral data for the target object, and semi-supervised learning of the hyperspectral data. It includes a semi-supervised learning processing model unit 200 that generates integrated data by processing through a processing model, and a target object material determination unit 300 that determines the material of the target object.
  • the hyperspectral data acquisition unit 100 can acquire hyperspectral data about the target object by determining the analysis area in the hyperspectral image of the waste obtained through the hyperspectral sensor.
  • Hyperspectral data includes spatial and spectral information of hyperspectral images.
  • Hyperspectral images have between 10 and 100 spectral bands, and hyperspectral sensors have UV (200 ⁇ 400nm), VIS (400 ⁇ 600nm), NIR (700 ⁇ 1,100nm), and SWIR (1.1 nm) depending on the spectral range. ⁇ 2.5 ⁇ m) and MWIR (2.5 ⁇ 7 ⁇ m).
  • the material of the waste can be identified more clearly when using a hyperspectral image rather than an RGB image with two spectral bands obtained through a vision camera.
  • the hyperspectral data acquisition unit 100 acquires it through a vision camera.
  • the target object can be determined by overlapping a vision image and a hyperspectral image acquired through a hyperspectral sensor.
  • the hyperspectral data acquisition unit 100 determines the positions of the vision camera 20 and the hyperspectral sensor 30, and the waste 40 on the transfer conveyor 10.
  • the target object 40 can be specified by considering its movement speed.
  • the same waste captured by the vision camera 20 is A hyperspectral image can be acquired through the spectral sensor 30.
  • the hyperspectral data acquisition unit 100 analyzes the analysis area of the target object 40, excluding the portion where the target object 40 overlaps with other waste 40. It can be confirmed.
  • the present invention uses hyperspectral images and RGB image overlap technology for the same target object to exclude parts that overlap with other wastes to determine the target object's material. By determining the analysis area of the object, noise in hyperspectral data can be removed.
  • the hyperspectral image-based waste material determination system 1000 can clearly distinguish various types of plastic materials by using the near-infrared band.
  • Figure 5 is a diagram for explaining a semi-supervised learning processing model according to an embodiment of the present invention
  • Figure 6 is a diagram for explaining that the semi-supervised learning processing model unit generates integrated data according to an embodiment of the present invention. am.
  • the semi-supervised learning processing model unit 200 processes the hyperspectral data 411 and 412 through the semi-supervised learning processing model 210 to produce integrated data 430. ) can be created.
  • the hyperspectral image-based waste material determination system 200 uses the semi-supervised learning processing model 210 to determine the material of the target object without overfitting even when insufficient hyperspectral data is used as training data. can do.
  • Hyperspectral images contain both labeled and unlabeled pixel information.
  • the semi-supervised learning processing model 210 can use labeled data and unlabeled data in a principal component analysis (PCA) network as training data.
  • PCA principal component analysis
  • the principal component analysis model according to the prior art is an unsupervised learning model, but in the present invention, it can be redesigned into a semi-supervised learning processing model by using both labeled and unlabeled data as training data for the principal component analysis model.
  • the overfitting problem caused by insufficient training data can be solved by using not only the labeled pixel information of the hyperspectral image but also the unlabeled data as input data.
  • the semi-supervised learning processing model 210 may be composed of an input layer, a convolution layer, and an output layer.
  • the training data of the input layer is as follows.
  • Principal component analysis is a method of summarizing correlated multidimensional data into low-dimensional data.
  • multidimensional data can be converted into two-dimensional data.
  • the axis with the largest variance is determined as the first coordinate axis
  • the axis with the second largest variance is determined as the second coordinate axis.
  • Multidimensional data is mapped onto the plane formed by the first and second coordinate axes.
  • the training data of the input layer can be transformed as follows.
  • N l is the number of labeled pixels
  • N u is the number of unlabeled pixels
  • the semi-supervised learning processing model unit 200 provides hyperspectral data 410 and 420 including spatial information 410 and spectral information 420, respectively.
  • Integrated data 440 can be generated by integrating the results obtained after learning through the semi-supervised learning processing model 210.
  • Hyperspectral data including spatial and spectral information, has a large capacity of tens to hundreds of megabytes, and is due to physical factors such as atmospheric and geometric distortions, as well as mixed pixels in the data and high correlation in adjacent bands. Many factors make hyperspectral data analysis difficult, such as redundancy, variability in hyperspectral signatures, and the curse of dimensionality.
  • the semi-supervised learning processing model unit 200 not only determines the analysis area of the target object by excluding the part overlapping with other waste, but also separates spatial information and spectral information and then analyzes each of them. By learning through the semi-supervised learning processing model 210, the material of the waste can be accurately determined without overfitting using only the training data with insufficient hyperspectral data.
  • the target object material determination unit 300 can determine the material of the target object using the integrated data generated from the semi-supervised learning processing model unit 200 through a deep learning model.
  • the deep learning model may use one or more of a convolutional neural network (CNN) and a recursive neural network (RNN).
  • CNN convolutional neural network
  • RNN recursive neural network
  • the target object material determination unit 300 inputs the integrated data into the convolutional neural network (CNN) and the recurrent neural network (RNN) configured in parallel, and each probability value is derived. can be calculated as the average value.
  • CNN convolutional neural network
  • RNN recurrent neural network
  • a convolutional neural network is a network that extracts feature values by performing a convolution operation by applying multiple kernels of various window sizes to the pixel vector sequence generated through the embedding layer.
  • a recurrent neural network extracts features by sequentially inputting the pixel vector sequence from the embedding layer for each pixel as the input of the network. It extracts new features along with the state vector inferred from the previous input sequence. Because the incoming pixels are inferred, it is possible to extract a feature map that reflects the characteristics of multiple pixels.
  • the target object material determination unit 300 inputs the integrated data into the convolutional neural network (CNN) and the recurrent neural network (RNN) configured in parallel, and each probability value is derived. Rather than simply combining and averaging, the material of the waste can be determined by learning it into a new connected network.
  • CNN convolutional neural network
  • RNN recurrent neural network
  • the hyperspectral image-based waste material determination system according to the embodiment of the present invention can accurately determine the material of the target object with only insufficient hyperspectral data.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Processing Of Solid Wastes (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 초분광 센서를 통해 획득한 폐기물에 대한 초분광 이미지에서 분석영역을 확정하여 대상객체에 대한 초분광 데이터를 획득하는 초분광 데이터 획득부; 준지도학습 가공 모델 통해 상기 초분광 데이터를 가공 처리하여 통합데이터를 생성하는 준지도학습 가공 모델부; 및 상기 통합데이터를 딥러닝 모델을 통해 상기 대상객체에 대한 재질을 판별하는 대상객체 재질 판별부를 포함하는 초분광 이미지 기반 폐기물 재질 판별 시스템이다.

Description

초분광 이미지 기반 폐기물 재질 판별 시스템
본 발명은 폐기물 재질 판별 시스템에 관한 것으로, 더욱 상세하게는 초분광 이미지를 기반으로 인공지능 모델을 통해 폐기물 재질을 판별하는 초분광 이미지 기반 폐기물 재질 판별 시스템에 관한 것이다.
하루에도 많은 양의 폐기물이 가정, 공장, 식당 등에서 배출되고 있으며, 일반 쓰레기, 재활용 가능한 쓰레기 및 음식물 쓰레기 중에서 음식물 쓰레기는 많은 사람들이 분리해서 버리고 있다.
그러나, 아직도 재활용이 가능한 쓰레기는 일반 쓰레기와 함께 섞여 배출되고 있으며, 이를 분리하는데 인력이 직접 투입되고 있다.
뿐만 아니라, 페트병이나 유리병을 사용하는 기업에서는 재활용 쓰레기가 제대로 분리되지 않아 일반 쓰레기로 폐기되기 때문에 외국에서 재활용 폐기물을 수입하고 있는 실정이다.
국내에서도 이러한 문제점을 해결하고자 다양한 발명이 이루어지고 있고, 특히 페트병을 분리하는 방법이나 장치, 시스템이 특허로 출원 및 등록이 되고 있다.
예를 들어, 등록특허 제10-1270354호 "폐기물 재활용 분류 시스템"은 폐기물을 촬영하여 재질에 따라 자동적으로 폐기물을 분류할 수 있다는 이점이 있다.
그러나 비전 카메라에 있는 이미지로 각종 폐기물의 재질을 정확하게 판별하기는 어렵다는 문제가 있다.
또한, 최근에는 초분광 이미징 기술(Hyperspectral imaging technology)과 인공지능 기술을 이용하여 폐기물을 분류하려는 시도가 있지만 오인식률이 매우 높은 현실이다.
본 발명이 이루고자 하는 기술적 과제는 폐기물의 초분광 이미지와 인공지능 모델을 이용하여 폐기물의 재질을 명확하게 판별할 수 있는 초분광 이미지 기반 폐기물 재질 판별 시스템을 제공하고자 한다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 초분광 이미지 기반 폐기물 재질 판별 시스템은 초분광 센서를 통해 획득한 폐기물에 대한 초분광 이미지에서 분석영역을 확정하여 대상객체에 대한 초분광 데이터를 획득하는 초분광 데이터 획득부; 준지도학습 가공 모델 통해 상기 초분광 데이터를 가공 처리하여 통합데이터를 생성하는 준지도학습 가공 모델부; 및 상기 통합데이터를 딥러닝 모델을 통해 상기 대상객체에 대한 재질을 판별하는 대상객체 재질 판별부를 포함한다.
상기 초분광 데이터 획득부는 비전 카메라와 상기 초분광 센서의 위치, 및 이송컨베이어 위에 있는 폐기물의 이동 속도와 이동 거리를 고려하여 대상객체를 특정하고, 상기 대상객체가 다른 폐기물과 겹쳐 있는 부분은 제외하여 상기 대상객체의 분석영역을 확정할 수 있다.
상기 초분광 데이터는 라벨된 데이터와 라벨되지 않은 데이터를 포함하고, 상기 준지도학습 가공 모델은 상기 라벨된 데이터와 라벨되지 않은 데이터를 주성분분석 네트워크를 통해 처리할 수 있다.
상기 초분광 데이터는 공간 정보와 스펙트럼 정보를 포함하고, 상기 준지도학습 가공 모델부는 상기 공간 정보와 상기 스펙트럼 정보를 각각 상기 준지도학습 가공 모델을 통해 학습시킨 후 나온 각각의 결과를 통합하여 상기 통합데이터를 생성할 수 있다.
상기 딥러닝 모델은 합성곱 신경망(CNN)와 재귀신경망(RNN) 중 어느 하나 이상을 이용할 수 있다.
상기 초분광 센서는 근적외선(NIR) 또는 단파적외선(SWIR) 파장을 이용할 수 있다.
위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 본 발명에 따르면 다음과 같은 효과가 있다.
본 발명은 동일한 대상객체에 대한 초분광 이미지와 RGB 이미지 오버랩 기술을 이용하여 다른 폐기물과 겹쳐 있는 부분을 제외하여 대상객체의 분석영역을 확정함으로써 초분광 데이터의 노이즈를 제거할 수 있다.
본 발명은 주성분분석 모델의 훈련데이터로 라벨된 데이터와 라벨되지 않은 데이터를 모두 사용함으로써 준지도학습 가공 모델로 재설계하고, 초분광 이미지의 라벨된 픽셀 정보에 대한 데이터 뿐만 아니라 라벨되지 않은 데이터를 모두를 준지도학습 가공 모델의 인풋 데이터로 활용함으로써 부족한 훈련데이터에 의한 오버피팅 문제를 해결할 수 있다.
본 발명은 다른 폐기물과 겹쳐 있는 부분을 제외하여 대상객체의 분석영역을 확정할뿐만 아니라 공간 정보와 스펙트럼 정보를 분리한 후 각각에 대해서 준지도학습 가공 모델을 통해 학습시킴으로써 부족한 초분광 데이터를 훈련데이터만으로도 오버피팅 없이 폐기물의 재질을 정확하게 판별할 수 있다.
이 밖에도, 본 발명의 실시 예들을 통해 본 발명의 또 다른 특징 및 이점들이 새롭게 파악될 수도 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 초분광 이미지 기반 폐기물 재질 판별 시스템을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 초분광 데이터 획득부가 대상객체를 특정하는 것을 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 초분광 데이터 획득부가 대상객체의 분석영역을 확정하는 것을 설명하기 위한 예시도이다.
도 4는 플라스틱 종류에 따른 표준화된 근적외선 반사 스펙트럼을 나타내는 그래프이다.
도 5는 본 발명의 일 실시예에 따른 준지도학습 가공 모델을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 준지도학습 가공 모델부가 통합데이터를 생성하는 것을 설명하기 위한 도면이다.
본 명세서에서 각 도면의 구성 요소들에 참조번호를 부가함에 있어서 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
한편, 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하는 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.
"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 사용되는 용어, "폐기물"은 플라스틱, 페트병, 유리병, 유리, 종이, 스티로폼, 일반 쓰레지, 및 사업장 쓰레기 등을 포함한다.
이하, 첨부되는 도면을 참고하여 상기 문제점을 해결하기 위해 고안된 본 발명의 바람직한 실시예들에 대해 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 초분광 이미지 기반 폐기물 재질 판별 시스템을 나타낸 블록도이고, 도 2는 본 발명의 일 실시예에 따른 초분광 데이터 획득부가 대상객체를 특정하는 것을 설명하기 위한 예시도이고, 도 3은 본 발명의 일 실시예에 따른 초분광 데이터 획득부가 대상객체의 분석영역을 확정하는 것을 설명하기 위한 예시도이고, 도 4는 플라스틱 종류에 따른 표준화된 근적외선 반사 스펙트럼을 나타내는 그래프이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 초분광 이미지 기반 폐기물 재질 판별 시스템(1000)는 대상객체에 대한 초분광 데이터를 획득하는 데이터 획득부(100), 초분광 데이터를 준지도학습 가공 모델을 통해 가공 처리하여 통합데이터를 생성하는 준지도학습 가공 모델부(200), 및 대상객체의 재질을 판별하는 대상객체 재질 판별부(300)를 포함한다.
본 발명의 일 실시예에 따른 초분광 데이터 획득부(100)는 초분광 센서를 통해 획득한 폐기물에 대한 초분광 이미지에서 분석영역을 확정하여 대상객체에 대한 초분광 데이터를 획득할 수 있다.
초분광 데이터는 초분광 이미지의 공간 정보와 스펙트럼 정보를 포함하고 있다. 초분광 이미지는 스펙트럼 밴드수가 10개 이상 100개 이하를 가지고 있으며, 초분광 센서는 스펙트럼 범위에 따라 UV(200~400nm), VIS(400~600nm), NIR(700~ 1,100nm), SWIR(1.1~2.5μm), MWIR(2.5~7μm)로 구분된다.
따라서, 비전 카메라를 통해 획득한 스펙트럼 밴드수가 2개인 RGB 이미지보다는 초분광 이미지를 이용했을 때 폐기물의 재질을 좀더 명확하게 판별할 수 있다.
그러나, 초분광 센서를 통해 획득한 폐기물에 대한 초분광 이미지만으로는 대상객체를 명확하게 특정하기 어렵다는 문제가 있어서, 본 발명의 다른 실시예에 따른 초분광 데이터 획득부(100)는 비전 카메라를 통해 획득한 비전 이미지와 초분광 센서를 통해 획득한 초분광 이미지를 오버랩시켜 대상객체를 확정할 수 있다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 초분광 데이터 획득부(100)는 비전 카메라(20)와 초분광 센서(30)의 위치, 및 이송컨베이어(10) 위에 있는 폐기물(40)의 이동 속도를 고려하여 대상객체(40)를 특정할 수 있다.
비전 카메라(20)와 초분광 센서(30)의 위치, 및 이송컨베이어(10)의 이동속도를 이용하여 폐기물의 이동 거리(d)를 고려함으로써, 비전 카메라(20)로 찍은 동일한 폐기물에 대해서 초분광 센서(30)를 통해 초분광 이미지를 획득할 수 있다.
그 후, 도 3을 참조하면, 본 발명의 다른 실시예에 따른 초분광 데이터 획득부(100)는 대상객체(40)가 다른 폐기물(40)과 겹쳐 있는 부분은 제외하고 대상객체의 분석영역을 확정할 수 있다.
폐기물끼리 겹쳐있는 영역을 분석영역으로 특정하면 대상객체의 재질을 명확히 판별하기 어려운데, 본 발명은 동일한 대상객체에 대한 초분광 이미지와 RGB 이미지 오버랩 기술을 이용하여 다른 폐기물과 겹쳐 있는 부분을 제외하여 대상객체의 분석영역을 확정함으로써 초분광 데이터의 노이즈를 제거할 수 있다.
또한, 도 4를 참조하면, 본 발명의 실시예에 따른 초분광 이미지 기반 폐기물 재질 판별 시스템(1000)은 근적외선 대역을 이용함으로써 다양한 플라스틱 종류의 재질을 명확하게 판별할 수 있다.
도 5는 본 발명의 일 실시예에 따른 준지도학습 가공 모델을 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 준지도학습 가공 모델부가 통합데이터를 생성하는 것을 설명하기 위한 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 준지도학습 가공 모델부(200)는 준지도학습 가공 모델(210)을 통해 초분광 데이터(411, 412)를 가공 처리하여 통합데이터(430)를 생성할 수 있다.
초분광 이미지를 종래 기술에 따른 인공지능 모델을 이용하여 폐기물 분류하고자 할 때, 훈련데이터가 부족해서 오버피팅이 일어나는 문제가 있었다.
본 발명의 일 실시예에 따른 초분광 이미지 기반 폐기물 재질 판별 시스템(200)은 준지도학습 가공 모델(210)을 이용함으로써 부족한 초분광 데이터를 훈련데이터로 이용하더라도 오버피팅 없이 대상객체의 재질을 판별할 수 있다.
초분광 이미지는 라벨된 픽셀 정보와 라벨되지 않은 픽셀 정보를 모두 포함하고 있다.
본 발명의 일 실시예에 따른 준지도학습 가공 모델(210)은 주성분분석(principal component analysis, PCA) 네트워크에 라벨된 데이터와 라벨되지 않은 데이터를 훈련데이터로 이용할 수 있다.
즉, 종래기술에 따른 주성분분석 모델은 비지도학습 모델이지만, 본 발명에서는 주성분분석 모델의 훈련데이터로 라벨된 데이터와 라벨되지 않은 데이터를 모두 사용함으로써 준지도학습 가공 모델로 재설계할 수 있다.
따라서, 초분광 이미지의 라벨된 픽셀 정보에 대한 데이터 뿐만 아니라 라벨되지 않은 데이터를 모두 인풋 데이터로 활용함으로써 부족한 훈련데이터에 의한 오버피팅 문제를 해결할 수 있다.
도시하지는 않았지만, 본 발명에 따른 준지도학습 가공 모델(210)은 인풋 레이어(input layer), 컨벌루션 레이어(convolution layer), 및 아웃풋 레이어(output layer)로 구성될 수 있다.
종래 기술에 따른 주성분분석 모델에서, 인풋 레이어의 훈련데이터가 다음과 같다고 하자.
X = {X1, X2, X3, …, Xn}이고, Xi ∈
Figure PCTKR2022009952-appb-img-000001
크기를 가진 i번째 샘플이다. 예를 들어 샘플이 공간 정보 벡터인 경우 m=1 이고 n은 밴드의 수이다.
주성분분석은 상관관계가 있는 다차원의 데이터를 저차원의 데이터로 요약하는 방법이다. 예를 들어, 다차원의 데이터를 2차원의 데이터로 변환할 수 있다. 다차원의 데이터를 한 개의 축으로 사상시켰을 때 분산이 가장 커지는 축을 첫 번째 좌표축으로, 두 번째로 커지는 축을 두 번째 좌표축으로 결정한다. 다차원의 데이터를 첫번째 좌표축, 두번째 좌표축이 이루는 평면으로 사상시킨다.
반면에, 본 발명에 따른 준지도학습 가공 모델(210)에서 인풋 레이어의 훈련데이터를 다음과 같이 변형할 수 있다.
Y = [Yl , Yu]라고 할 때, Yl 은 라벨된 데이터이고, Yu 은 라벨되지 않은 데이터라고 하면, Y = [Y1, Y2, Y3, …,
Figure PCTKR2022009952-appb-img-000002
] ∈
Figure PCTKR2022009952-appb-img-000003
이다.
여기서, Nl 은 라벨된 픽셀의 수이고, Nu 은 라벨되지 않은 픽셀의 수이다.
도 6을 참조하면, 본 발명의 또 다른 실시예에 따른 준지도학습 가공 모델부(200)는 공간 정보(410)와 스펙트럼 정보(420)를 포함하고 있는 초분광 데이터(410, 420)를 각각 준지도학습 가공 모델(210)을 통해 학습시킨 후 나온 결과를 통합하여 통합데이터(440)를 생성할 수 있다.
공간 정보와 스펙트럼 정보를 포함하는 초분광 데이터는 수십 내지 수백 메가바이트의 대용량으로, 대기 및 기학적인 왜곡 등 물리적인 요인뿐만 아니라, 데이터의 혼합된 픽셀, 인접 대역에서의 높은 상관관계로 인한 높은 데이터 중복성, 초분광 시그니처(signature)의 가변성, 그리고 차원의 저주(curse of the dimensionality)와 같은 많은 요인에 의해 초분광 데이터 분석을 어렵게 한다.
본 발명의 또 다른 실시예에 따른 준지도학습 가공 모델부(200)는 다른 폐기물과 겹쳐 있는 부분을 제외하여 대상객체의 분석영역을 확정할뿐만 아니라 공간 정보와 스펙트럼 정보를 분리한 후 각각에 대해서 준지도학습 가공 모델(210)을 통해 학습시킴으로써 부족한 초분광 데이터를 훈련데이터만으로도 오버피팅 없이 폐기물의 재질을 정확하게 판별할 수 있다.
대상객체 재질 판별부(300)는 준지도학습 가공 모델부(200)로부터 생성된 통합데이터를 딥러닝 모델을 통해 대상객체에 대한 재질을 판별할 수 있다.
이때, 딥러닝 모델은 합성곱 신경망(CNN)와 재귀신경망(RNN) 중 어느 하나 이상을 이용할 수 있다.
일 실시예에 따른 대상객체 재질 판별부(300)는 통합데이터를 병렬로 구성된 상기 합성곱 신경망(Convolutional neural network, CNN)과 재귀신경망(Recurrent neural network, RNN)에 입력하여 도출된 각각의 확률 값을 평균 값으로 계산할 수 있다.
합성곱 신경망(convolutional neural network, CNN)은 임베딩 층을 거쳐 나온 픽셀 벡터 시퀀스에 다양한 윈도우 사이즈의 커널 다수 개를 적용한 합성곱연산(convolution operation)을 수행하여 특징 값들을 추출하는 네트워크이다.
재귀신경망(recurrent neural network, RNN)은 합성곱 신경망과 달리 임베딩 층을 거쳐 나온 픽셀 벡터 시퀀스를 각 픽셀별로 순차적으로 네트워크의 입력으로 넣어 특징을 추출하는데, 이전 입력 시퀀스에서 추론한 상태 벡터와 함께 새로 들어온 픽셀을 추론하기 때문에 여러 픽셀의 특징을 반영한 특징맵 추출이 가능하다.
다른 일실예에 따른 대상객체 재질 판별부(300)는 통합데이터를 병렬로 구성된 상기 합성곱 신경망(Convolutional neural network, CNN)과 재귀신경망(Recurrent neural network, RNN)에 입력하여 도출된 각각의 확률 값을 단순히 결합하여 평균내는 것이 아니라 새로운 연결 네트워크(Connected network)에 학습시켜 폐기물의 재질을 판별할 수도 있다.
이와 같이, 본 발명의 실시예에 따른 초분광 이미지 기반 폐기물 재질 판별 시스템은 부족한 초분광 데이터만으로도 대상객체의 재질을 정확하게 판별할 수 있다.
이상에서 설명한 본 발명이 전술한 실시예 및 첨부된 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

Claims (6)

  1. 초분광 센서를 통해 획득한 폐기물에 대한 초분광 이미지에서 분석영역을 확정하여 대상객체에 대한 초분광 데이터를 획득하는 초분광 데이터 획득부;
    준지도학습 가공 모델 통해 상기 초분광 데이터를 가공 처리하여 통합데이터를 생성하는 준지도학습 가공 모델부; 및
    상기 통합데이터를 딥러닝 모델을 통해 상기 대상객체에 대한 재질을 판별하는 대상객체 재질 판별부를 포함하는 초분광 이미지 기반 폐기물 재질 판별 시스템.
  2. 제1항에 있어서,
    상기 초분광 데이터 획득부는 비전 카메라와 상기 초분광 센서의 위치, 및 이송컨베이어 위에 있는 폐기물의 이동 속도와 이동 거리를 고려하여 대상객체를 특정하고, 상기 대상객체가 다른 폐기물과 겹쳐 있는 부분은 제외하여 상기 대상객체의 분석영역을 확정하는 것을 특징으로 하는 초분광 이미지 기반 폐기물 재질 판별 시스템.
  3. 제1항에 있어서,
    상기 초분광 데이터는 라벨된 데이터와 라벨되지 않은 데이터를 포함하고, 상기 준지도학습 가공 모델은 상기 라벨된 데이터와 라벨되지 않은 데이터를 주성분분석 네트워크를 통해 처리하는 것을 특징으로 하는 초분광 이미지 기반 폐기물 재질 판별 시스템.
  4. 제3항에 있어서,
    상기 초분광 데이터는 공간 정보와 스펙트럼 정보를 포함하고,
    상기 준지도학습 가공 모델부는 상기 공간 정보와 상기 스펙트럼 정보를 각각 상기 준지도학습 가공 모델을 통해 학습시킨 후 나온 각각의 결과를 통합하여 상기 통합데이터를 생성하는 초분광 이미지 기반 폐기물 재질 판별 시스템.
  5. 제3항에 있어서,
    상기 딥러닝 모델은 합성곱 신경망(CNN)와 재귀신경망(RNN) 중 어느 하나 이상을 이용하는 것을 특징으로 하는 초분광 이미지 기반 폐기물 재질 판별 시스템.
  6. 제1항에 있어서,
    상기 초분광 센서는 근적외선(NIR) 또는 단파적외선(SWIR) 파장을 이용하는 것을 특징으로 하는 초분광 이미지 기반 폐기물 재질 판별 시스템.
PCT/KR2022/009952 2022-07-06 2022-07-08 초분광 이미지 기반 폐기물 재질 판별 시스템 WO2024010123A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0082902 2022-07-06
KR1020220082902A KR102483521B1 (ko) 2022-07-06 2022-07-06 초분광 이미지 기반 폐기물 재질 판별 시스템

Publications (1)

Publication Number Publication Date
WO2024010123A1 true WO2024010123A1 (ko) 2024-01-11

Family

ID=84925753

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009952 WO2024010123A1 (ko) 2022-07-06 2022-07-08 초분광 이미지 기반 폐기물 재질 판별 시스템

Country Status (2)

Country Link
KR (1) KR102483521B1 (ko)
WO (1) WO2024010123A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101942219B1 (ko) * 2018-07-05 2019-01-24 고재성 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 장치 및 방법
KR20190104485A (ko) * 2019-08-21 2019-09-10 엘지전자 주식회사 옷감 식별 방법, 장치 및 시스템
KR20210074929A (ko) * 2019-12-12 2021-06-22 손지환 딥러닝 기반 재활용 쓰레기 자동 분류 시스템
KR20220033940A (ko) * 2020-09-10 2022-03-17 주식회사 넥스트이앤엠 기계학습을 이용한 미세플라스틱 분석 방법
KR20220060722A (ko) * 2020-11-05 2022-05-12 조창환 이미지 데이터 라벨링 학습 방법 및 그 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101270354B1 (ko) 2013-02-12 2013-06-04 한국쓰리알환경산업(주) 폐기물 재활용 분류 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101942219B1 (ko) * 2018-07-05 2019-01-24 고재성 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 장치 및 방법
KR20190104485A (ko) * 2019-08-21 2019-09-10 엘지전자 주식회사 옷감 식별 방법, 장치 및 시스템
KR20210074929A (ko) * 2019-12-12 2021-06-22 손지환 딥러닝 기반 재활용 쓰레기 자동 분류 시스템
KR20220033940A (ko) * 2020-09-10 2022-03-17 주식회사 넥스트이앤엠 기계학습을 이용한 미세플라스틱 분석 방법
KR20220060722A (ko) * 2020-11-05 2022-05-12 조창환 이미지 데이터 라벨링 학습 방법 및 그 장치

Also Published As

Publication number Publication date
KR102483521B1 (ko) 2023-01-02

Similar Documents

Publication Publication Date Title
WO2024010120A1 (ko) 비전-초분광 융합 데이터 기반 폐기물 분류 시스템
WO2019221551A1 (ko) 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
CN110060244B (zh) 基于深度学习神经网络的细胞检测与分割的系统和方法
WO2019132589A1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
CN109858467B (zh) 一种基于关键点区域特征融合的人脸识别方法及装置
CN111967498A (zh) 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
CN111209868A (zh) 一种客运站旅客与行李信息关联方法及装置
WO2004029862A1 (en) Method and apparatus for palmprint identification
CN102612706A (zh) 假手指判定设备、假手指判定方法和假手指判定程序
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
WO2011019192A2 (ko) Ir 조명을 이용한 얼굴인식 시스템 및 방법
WO2019132592A1 (ko) 영상 처리 장치 및 방법
Hossain et al. Automatic detection and recognition of traffic signs
US11151829B2 (en) Extended convolutional neural network for document analysis
Jain et al. Smart vehicle identification system using OCR
WO2017150899A1 (ko) 전역적 다중 객체 추적을 위한 객체 재식별 방법
WO2017183867A1 (ko) 생체의 심장 박동에 따른 지문 이미지의 미세한 밝기 변화에 기초하여 위조지문을 판별할 수 있는 위조지문 판별 장치 및 그 방법
WO2018143486A1 (ko) 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법
Jitanan et al. Quality grading of soybean seeds using image analysis
Khan et al. Comparitive study of tree counting algorithms in dense and sparse vegetative regions
JP3018949B2 (ja) 文字読取装置およびその方法
Manyala et al. CNN-based gender classification in near-infrared periocular images
WO2024010123A1 (ko) 초분광 이미지 기반 폐기물 재질 판별 시스템
Díaz et al. Infected cell identification in thin blood images based on color pixel classification: comparison and analysis
CN117218446A (zh) 一种基于rgb-msi特征融合的固废分选方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22950349

Country of ref document: EP

Kind code of ref document: A1