KR102410896B1 - 이미지 센서 기반 객체 분류 방법 및 장치 - Google Patents
이미지 센서 기반 객체 분류 방법 및 장치 Download PDFInfo
- Publication number
- KR102410896B1 KR102410896B1 KR1020190136347A KR20190136347A KR102410896B1 KR 102410896 B1 KR102410896 B1 KR 102410896B1 KR 1020190136347 A KR1020190136347 A KR 1020190136347A KR 20190136347 A KR20190136347 A KR 20190136347A KR 102410896 B1 KR102410896 B1 KR 102410896B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- classified
- value
- laser
- region
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
- B07C5/362—Separating or distributor mechanisms
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/71—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light thermally excited
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/71—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light thermally excited
- G01N21/718—Laser microanalysis, i.e. with formation of sample plasma
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
- B07C2501/0054—Sorting of waste or refuse
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Plasma & Fusion (AREA)
- Optics & Photonics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
본 발명은 이미지 센서 기반 객체 분류 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 이미지 센서 기반 객체 분류 방법은 (a) 분류대상객체의 2D 이미지와 3D 이미지를 획득하는 단계; (b) 상기 2D 이미지의 색상 정보와 3D 이미지의 기울기 정보 및 높이 정보 중 적어도 하나에 기반하여 상기 분류대상객체의 검사영역을 결정하는 단계; 및 (c) 상기 분류대상객체의 검사영역에 대하여 레이저 유도 플라즈마 분광법(laser induced breakdown spectroscopy)을 수행하여 상기 분류대상객체를 분류하는 단계;를 포함할 수 있다.
Description
본 발명은 이미지 센서 기반 객체 분류 방법 및 장치에 관한 것으로, 더욱 상세하게는 이미지 센서를 통해 획득된 분류대상객체의 2D 이미지와 3D 이미지로부터 오염되지 않고 경사가 낮으며 높이가 높은 검사영역을 결정하여 레이저 유도 플라즈마 분광법을 수행하기 위한 객체 분류 방법 및 장치에 관한 것이다.
폐금속 자원 재활용을 위한 분류 장치는 크게 금속 샘플 인식, 분석, 분류의 세 단계로 나누어질 수 있다. 분류 장치에 폐금속이 투입되면, 컨베이어 위에서 이동하며 인식, 분석되고 공압 등을 이용해 분류된다. 이때, 폐금속의 성분 분석에 화학적 분석 방식인 레이저 유도 플라즈마 분광법(laser induced breakdown spectroscopy, LIBS)이 사용될 수 있다.
분류 장치에 의해 레이저 펄스가 컨베이어 벨트 위 폐금속의 표면에 조사되면 폐금속 표면에서 플라즈마가 발생된다. 플라즈마는 분류 장치의 광학계를 통해 CCD 수광부를 가지는 분광기에 들어가고, 그 스펙트럼을 분석하여 폐금속의 성분을 알아낸다. LIBS를 이용하면 폐금속의 성분을 정확히 알아낼 수 있고, 비접촉 방식에 빠른 처리시간을 가지는 장점이 있다.
그러나 빠르고 정확한 분류를 필요로 하는 분류 장치에 LIBS를 적용하려면 고려해야 할 두 가지 사항이 있다. 첫 번째로, 레이저를 폐금속 표면의 오염된 부분에 조사하면 오염 물질의 성분으로부터 잘못된 분석 결과가 나올 수 있고, 성분 파악에 필요한 최소 신호 이상의 세기를 갖는 스펙트럼 데이터를 얻기 위해 여러 번의 레이저의 조사가 필요하다는 것이다.
두 번째로, 경사가 심한 부위에서도 비슷한 이유로 원하는 측정 신호를 얻기 위한 여러 번의 레이저 빔의 조사가 필요하다.
실제 LIBS 수행 결과 구리(Cu) 재질의 폐금속의 오염이 심한 부분에 레이저가 조사된 경우, 성분 분석에 필요한 최소 신호를 얻는데 9번의 레이저 조사가 필요하다. 결과적으로, 종래의 분류 장치는 폐금속의 재질 분석을 위해서 오랜 시간이 걸리는 문제점이 발생한다.
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 이미지 센서 기반 객체 분류 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 2D 이미지의 다수의 픽셀들 각각에 대한 색상 값을 이용하여 오염되지 않은 영역(uncontaminated area)을 결정하기 위한 객체 분류 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 3D 이미지의 다수의 복셀들 각각에 대한 기울기 값과 높이 값을 이용하여 플랫-하이 영역(flat-high area)을 결정하기 위한 객체 분류 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 분류대상객체의 오염되지 않고 경사가 낮으며 높이가 높은 영역에 레이저 유도 플라즈마 분광법(laser induced breakdown spectroscopy)을 수행하여 분류대상객체를 분류하기 위한 객체 분류 방법 및 장치를 제공하는 것을 그 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 이미지 센서 기반 객체 분류 방법은 (a) 분류대상객체의 2D 이미지와 3D 이미지를 획득하는 단계; (b) 상기 2D 이미지의 색상 정보와 3D 이미지의 기울기 정보 및 높이 정보 중 적어도 하나에 기반하여 상기 분류대상객체의 검사영역을 결정하는 단계; 및 (c) 상기 분류대상객체의 검사영역에 대하여 레이저 유도 플라즈마 분광법(laser induced breakdown spectroscopy)을 수행하여 상기 분류대상객체를 분류하는 단계;를 포함할 수 있다.
실시예에서, 상기 (a) 단계는, 상기 분류대상객체의 2D 이미지의 다수의 픽셀들 각각에 대한 색상 값을 산출하는 단계; 상기 다수의 픽셀들에 대한 색상 값들을 색조 값들로 변환하는 단계; 상기 변환된 색조 값들과 상기 다수의 픽셀들의 개수의 관계 정보를 산출하는 단계; 및 상기 관계 정보에 기반하여 상기 2D 이미지에서 상기 분류대상객체 이외의 영역을 제거하는 단계;를 포함할 수 있다.
실시예에서, 상기 (a) 단계는, 상기 분류대상객체에 레이저를 조사하는 단계; 상기 레이저가 조사됨에 따라 상기 분류대상객체에서 반사된 레이저를 검출하는 단계; 상기 검출된 레이저에 기반하여 상기 분류대상객체의 높이 값을 산출하는 단계; 및 상기 분류대상객체의 높이 값을 이용하여 상기 3D 이미지를 획득하는 단계;를 포함할 수 있다.
실시예에서, 상기 (b) 단계는, 상기 2D 이미지의 다수의 픽셀들 각각에 대한 색상 값을 산출하는 단계; 및 상기 다수의 색상 값들 중 제1 임계값보다 큰 적어도 하나의 색상 값에 해당하는 적어도 하나의 픽셀을 이용하여 제1 영역을 결정하는 단계;를 포함할 수 있다.
실시예에서, 상기 (b) 단계는, 상기 3D 이미지의 다수의 복셀들 각각에 대한 기울기 값과 높이 값을 산출하는 단계; 및 상기 다수의 기울기 값들 중 제2 임계값보다 작은 적어도 하나의 기울기 값에 해당하는 적어도 하나의 복셀과 상기 다수의 높이 값들 중 제3 임계값보다 큰 적어도 하나의 높이 값에 해당하는 적어도 하나의 복셀 중 적어도 하나를 이용하여 제2 영역을 결정하는 단계;를 포함할 수 있다.
실시예에서, 상기 (b) 단계는, 상기 제1 영역과 제2 영역의 중첩 영역을 상기 분류대상객체의 검사영역으로 결정하는 단계;를 포함할 수 있다.
실시예에서, 이미지 센서 기반 객체 분류 장치는 분류대상객체의 2D 이미지를 획득하는 제1 센서부와 상기 분류대상객체의 3D 이미지를 획득하는 제2 센서부; 및 상기 2D 이미지의 색상 정보와 3D 이미지의 기울기 정보 및 높이 정보 중 적어도 하나에 기반하여 상기 분류대상객체의 검사영역을 결정하는 제어부; 및 상기 분류대상객체의 검사영역에 대하여 레이저 유도 플라즈마 분광법(laser induced breakdown spectroscopy)을 수행하여 상기 분류대상객체를 분류하는 분류부;를 포함할 수 있다.
실시예에서, 상기 제어부는, 상기 분류대상객체의 2D 이미지의 다수의 픽셀들 각각에 대한 색상 값을 산출하고, 상기 다수의 픽셀들에 대한 색상 값들을 색조 값들로 변환하고, 상기 변환된 색조 값들과 상기 다수의 픽셀들의 개수의 관계 정보를 산출하며, 상기 관계 정보에 기반하여 상기 2D 이미지에서 상기 분류대상객체 이외의 영역을 제거할 수 있다.
실시예에서, 상기 제2 센서부는, 상기 분류대상객체에 레이저를 조사하는 레이저부; 및 상기 레이저가 조사됨에 따라 상기 분류대상객체에서 반사된 레이저를 검출하는 검출부;를 포함하고, 상기 제어부는, 상기 검출된 레이저에 기반하여 상기 분류대상객체의 높이 값을 산출하고, 상기 분류대상객체의 높이 값을 이용하여 상기 3D 이미지를 획득할 수 있다.
실시예에서, 상기 제어부는, 상기 2D 이미지의 다수의 픽셀들 각각에 대한 색상 값을 산출하고, 상기 다수의 색상 값들 중 제1 임계값보다 큰 적어도 하나의 색상 값에 해당하는 적어도 하나의 픽셀을 이용하여 제1 영역을 결정할 수 있다.
실시예에서, 상기 제어부는, 상기 3D 이미지의 다수의 복셀들 각각에 대한 기울기 값과 높이 값을 산출하고, 상기 다수의 기울기 값들 중 제2 임계값보다 작은 적어도 하나의 기울기 값에 해당하는 적어도 하나의 복셀과 상기 다수의 높이 값들 중 제3 임계값보다 큰 적어도 하나의 높이 값에 해당하는 적어도 하나의 복셀을 이용하여 제2 영역을 결정할 수 있다.
실시예에서, 상기 제어부는, 상기 제1 영역과 제2 영역의 중첩 영역을 상기 분류대상객체의 검사영역으로 결정할 수 있다.
상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.
본 발명의 일 실시예에 의하면, 분류대상객체의 오염되지 않고 경사가 낮으며 높이가 높은 영역에 레이저 유도 플라즈마 분광법(laser induced breakdown spectroscopy)을 수행하여 분류대상객체를 분류함으로써, 레이저 조사 횟수를 줄여 분류 시간을 효율적으로 단축시킬 수 있다.
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 객체 분류 장치를 도시한 도면이다.
도 2a는 본 발명의 일 실시예에 따른 분류대상객체의 2D 이미지를 도시한 도면이다.
도 2b는 본 발명의 일 실시예에 따른 분류대상객체 이외의 영역이 제거된 2D 이미지를 도시한 도면이다.
도 2c는 본 발명의 일 실시예에 따른 분류대상객체의 제1 영역을 도시한 도면이다.
도 2d는 본 발명의 일 실시예에 따른 분류대상객체의 3D 이미지를 도시한 도면이다.
도 2e는 본 발명의 일 실시예에 따른 분류대상객체의 제2 영역을 도시한 도면이다.
도 2f는 본 발명의 일 실시예에 따른 분류대상객체의 검사영역을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 2D 이미지의 색조 값과 2D 이미지의 픽셀들에 대한 스펙트럼을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 분류대상객체의 제1 영역의 결정의 예를 도시한 도면이다.
도 5a 및 5b는 본 발명의 일 실시예에 따른 분류대상객체의 3D 이미지의 획득의 예를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 객체 분류 방법을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영역별 LIBS 수행 포인트의 예를 도시한 도면이다.
도 8a는 본 발명의 일 실시예에 따른 제1 영역 이외의 오염 포인트에 대한 LIBS 결과 그래프를 도시한 도면이다.
도 8b는 본 발명의 일 실시예에 따른 제2 영역 이외의 언플랫-로우 포인트에 대한 LIBS 결과 그래프를 도시한 도면이다.
도 8c는 본 발명의 일 실시예에 따른 검사영역에 대한 LIBS 결과 그래프를 도시한 도면이다.
도 2a는 본 발명의 일 실시예에 따른 분류대상객체의 2D 이미지를 도시한 도면이다.
도 2b는 본 발명의 일 실시예에 따른 분류대상객체 이외의 영역이 제거된 2D 이미지를 도시한 도면이다.
도 2c는 본 발명의 일 실시예에 따른 분류대상객체의 제1 영역을 도시한 도면이다.
도 2d는 본 발명의 일 실시예에 따른 분류대상객체의 3D 이미지를 도시한 도면이다.
도 2e는 본 발명의 일 실시예에 따른 분류대상객체의 제2 영역을 도시한 도면이다.
도 2f는 본 발명의 일 실시예에 따른 분류대상객체의 검사영역을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 2D 이미지의 색조 값과 2D 이미지의 픽셀들에 대한 스펙트럼을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 분류대상객체의 제1 영역의 결정의 예를 도시한 도면이다.
도 5a 및 5b는 본 발명의 일 실시예에 따른 분류대상객체의 3D 이미지의 획득의 예를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 객체 분류 방법을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영역별 LIBS 수행 포인트의 예를 도시한 도면이다.
도 8a는 본 발명의 일 실시예에 따른 제1 영역 이외의 오염 포인트에 대한 LIBS 결과 그래프를 도시한 도면이다.
도 8b는 본 발명의 일 실시예에 따른 제2 영역 이외의 언플랫-로우 포인트에 대한 LIBS 결과 그래프를 도시한 도면이다.
도 8c는 본 발명의 일 실시예에 따른 검사영역에 대한 LIBS 결과 그래프를 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명의 일 실시예에 따른 이미지 센서 기반 객체 분류 방법 및 장치를 설명한다.
도 1은 본 발명의 일 실시예에 따른 객체 분류 장치(100)를 도시한 도면이다.
도 1을 참고하면, 객체 분류 장치(100)는 제1 센서부(110), 제2 센서부(120), 제어부(130) 및 분류부(140)를 포함할 수 있다.
제1 센서부(110)는 분류대상객체의 2D 이미지를 획득할 수 있다. 일 실시예에서, 분류대상객체는 폐금속 물질을 포함할 수 있으며, 예를 들어, 구리, 알루미늄 및 황동을 포함할 수 있으나, 이에 제한되지 않는다.
일 실시예에서, 도 2a를 참고하면, 제1 센서부(110)는 컨베이어 벨트 상에 위치하여 이동하는 분류대상객체의 2D 이미지를 획득할 수 있다. 여기서, 획득된 2D 이미지의 분류대상객체를 제외한 배경부분에 분류대상객체가 위치한 컨베이어 벨트 이미지가 함께 획득될 수 있다.
이 경우, 도 2b를 참고하면, 분류대상객체의 표면 오염 여부, 경사도 및 높이를 산출해야하기 때문에, 제어부(130)는 2D 이미지에서 분류대상객체의 이미지만 남기고 배경부분에 해당하는 이미지를 제거할 수 있다.
제2 센서부(120)는 분류대상객체의 3D 이미지를 획득할 수 있다. 일 실시예에서, 제2 센서부(120)는 분류대상객체에 레이저를 조사하는 레이저부(122) 및 레이저가 조사됨에 따라 분류대상객체에서 반사된 레이저를 검출하는 검출부(124)를 포함할 수 있다.
이후, 도 2c를 참고하면, 제어부(130)는 검출된 레이저에 기반하여 분류대상객체의 높이 값을 산출하고, 분류대상객체의 높이 값을 이용하여 3D 이미지를 획득할 수 있다.
제어부(130)는 2D 이미지의 색상정보와 3D 이미지의 기울기 정보 및 높이 정보에 기반하여 분류대상객체의 검사영역을 결정할 수 있다.
일 실시예에서, 도 2d를 참고하면, 제어부(130)는 2D 이미지의 다수의 픽셀들 각각에 대한 색상 값에 기반하여 제1 영역을 결정할 수 있다. 이 경우, 제1 영역은 분류대상객체의 비오염 영역(uncontaminated area)을 의미할 수 있다.
일 실시예에서, 도 2e를 참고하면, 제어부(130)는 3D 이미지의 다수의 복셀들 각각에 대한 기울기 값과 높이 값 중 적어도 하나에 기반하여 제2 영역을 결정할 수 있다. 이 경우, 제2 영역은 분류대상객체의 특정 기울기보다 작아 평평하고 특정 높이보다 높은 플랫-하이 영역(flat-high area)을 의미할 수 있다.
일 실시예에서, 도 2f를 참고하면, 제어부(130)는 결정된 제1 영역과 제2 영역의 중첩 영역을 분류대상객체의 검사영역으로 결정할 수 있다. 이 경우, 검사영역은 분류대상객체를 분류하기 위해 레이저 빔이 조사될 최적의 영역(optimal area)을 의미할 수 있다.
분류부(140)는 분류대상객체의 검사영역에 대하여 레이저 유도 플라즈마 분광법(laser induced breakdown spectroscopy, LIBS)을 수행하여 분류대상객체를 분류할 수 있다.
일 실시예에서, 분류부(140)는 레이저부, 스펙트로미터 및 제어부를 포함할 수 있다. 분류부(140)의 레이저부는 분류대상객체의 표면에 레이저를 조사하고, 이에 의해 분류대상객체의 표면에서 플라즈마가 발생될 수 있다. 분류부(140)의 스펙트로미터는 발생된 플라즈마의 스펙트럼을 분석할 수 있고, 분류부(140)의 제어부는 분석된 스펙트럼을 통해 분류대상객체의 성분을 확인할 수 있다.
일 실시예에서, 분류부(140)에 포함된 제어부는 제어부(130)와 하나의 구성요소로 구현되거나 별도의 구성요소로 구현될 수 있다.
도 1을 참고하면, 객체 분류 장치(100)는 제1 센서부(110), 제2 센서부(120), 제어부(130) 및 분류부(140)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 객체 분류 장치(100)는 도 1에 설명된 구성들이 필수적인 것은 아니어서, 도 1에 설명된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 2D 이미지의 색조 값과 2D 이미지의 픽셀들에 대한 스펙트럼을 도시한 도면이다.
도 3을 참고하면, 제어부(130)는 분류대상객체의 2D 이미지에서 분류대상객체 이외의 영역을 제거하기 위하여, 분류대상객체의 2D 이미지의 다수의 픽셀들 각각에 대한 색상 값을 산출할 수 있다.
이후, 제어부(130)는 다수의 픽셀들에 대한 색상 값들을 색조 값들로 변환하고, 변환된 색조 값들과 다수의 픽셀들의 개수의 관계 정보를 산출할 수 있다. 예를 들어, 색상 값은 RGB 값을 의미할 수 있으며, 색조 값은 Hue 값을 의미할 수 있으나, 이에 제한되지 않는다.
또한, 일 실시예에서, 변환된 색조 값들과 다수의 픽셀들의 개수의 관계 정보는 분류대상객체의 색조 값에 대응하는 픽셀들의 개수에 대한 스펙트럼을 포함할 수 있다.
이후, 제어부는 관계 정보에 기반하여 2D 이미지에서 분류대상객체 이외의 영역을 제거할 수 있다. 예를 들어, 도 3의 스펙트럼에서 알루미늄(aluminum), 황동(brass), 구리(copper) 및 컨베이어 벨트(conveyor belt) 중 컨베이어 벨트에 해당하는 영역을 2D 이미지에서 제거함으로써 분류대상객체 이미지만을 획득할 수 있다.
여기서, 컨베이어 벨트에 해당하는 영역은 2D 이미지에서 분류대상객체 이외의 배경영역을 의미할 수 있다.
도 4는 본 발명의 일 실시예에 따른 분류대상객체의 제1 영역의 결정의 예를 도시한 도면이다.
도 4를 참고하면, 제어부(130)는 2D 이미지의 다수의 픽셀들 각각에 대한 색상 값을 산출하고, 다수의 색상 값들 중 제1 임계값보다 큰 적어도 하나의 색상 값에 해당하는 적어도 하나의 픽셀을 이용하여 제1 영역을 결정할 수 있다.
일 실시예에서, 제어부(130)는 2D 이미지의 다수의 픽셀들 각각에 대한 RGB 값을 산출하고, RGB 값을 제1 임계값과 비교할 수 있다.
예를 들어, 제어부(130)는 RGB 값의 R, G 및 B 값 각각에 대하여, R<rR_m, G<gG_m 및 B<bB_m인 경우, 해당 픽셀이 오염된 것으로 결정한다. 즉, 제어부(130)는 R>rR_m, G>gG_m 및 B>bB_m에 해당하는 적어도 하나의 픽셀을 이용하여 제1 영역을 결정할 수 있다.
여기서, 임계값 R_m, G_m 및 B_m는 분류대상객체의 오염되지 않은 표면에서의 R, G 및 B 값들 중 가장 작은 값을 의미할 수 있다. 또한, r, g 및 b는 오염도 판정 계수를 의미할 수 있다. 예를 들어, 도 4와 같이, 검은색 오염 물질이 있는 분류대상객체는 오염 물질로 분류될 수 있다.
도 5a 및 5b는 본 발명의 일 실시예에 따른 분류대상객체의 3D 이미지의 획득의 예를 도시한 도면이다.
도 5a 및 5b를 참고하면, 제2 센서부(120)는 레이저부(122)와 검출부(124)를 포함할 수 있다.
레이저부(122)는 분류대상객체에 레이저를 조사할 수 있다. 일 실시예에서, 레이저부(122)는 컨베이어 벨트 상에 위치한 분류대상객체에 컨베이어 벨트의 진행 방향과 수직한 방향으로 라인 빔 레이저를 조사할 수 있다.
컨베이어 벨트의 진행에 따라 분류대상객체가 라인 빔 레이저를 통과하면 라인 빔 레이저의 형상이 분류대상객체의 표면 형상과 동일하게 변화할 수 있다.
검출부(124)는 레이저가 조사됨에 따라 분류대상객체에서 반사된 레이저를 검출할 수 있다.
제어부(130)는 검출된 레이저에 기반하여 분류대상객체의 높이 값을 산출할 수 있다. 일 실시예에서, 제어부(130)는 삼각측량법에 따라 검출된 레이저를 이용하여 분류대상객체의 높이 값을 산출할 수 있다.
예를 들어, 분류대상객체의 높이 값은 하기 <수학식 1>과 같이 산출될 수 있다.
여기서, h는 분류대상객체의 높이 값, d는 원점(즉, 지면)으로부터 검출부(124)에 포함된 렌즈까지의 거리, f는 초점거리, s는 픽셀 거리, l은 조사되는 레이저로부터 렌즈의 초점 간 수직거리, 
는 원점 기준으로 조사되는 레이저와 렌즈 간 각도, 
는 분류대상객체의 높이를 기준으로 조사되는 레이저와 렌즈 간 각도를 의미한다.
도 6은 본 발명의 일 실시예에 따른 객체 분류 방법을 도시한 도면이다.
도 6을 참고하면, S601은 분류대상객체의 2D 이미지와 3D 이미지를 획득하는 단계이다.
일 실시예에서, 분류대상객체의 2D 이미지의 다수의 픽셀들 각각에 대한 색상 값을 산출하고, 상기 다수의 픽셀들에 대한 색상 값들을 색조 값들로 변환하고, 상기 변환된 색조 값들과 상기 다수의 픽셀들의 개수의 관계 정보를 산출하며, 상기 관계 정보에 기반하여 상기 2D 이미지에서 상기 분류대상객체 이외의 영역을 제거할 수 있다.
일 실시예에서, 상기 분류대상객체에 레이저를 조사하고, 상기 레이저가 조사됨에 따라 상기 분류대상객체에서 반사된 레이저를 검출하고, 상기 검출된 레이저에 기반하여 상기 분류대상객체의 높이 값을 산출하며, 상기 분류대상객체의 높이 값을 이용하여 상기 3D 이미지를 획득할 수 있다.
S603은 2D 이미지의 색상 정보와 3D 이미지의 기울기 정보 및 높이 정보 중 적어도 하나에 기반하여 분류대상객체의 검사영역을 결정하는 단계이다.
일 실시예에서, 상기 2D 이미지의 다수의 픽셀들 각각에 대한 색상 값을 산출하고, 상기 다수의 색상 값들 중 제1 임계값보다 큰 적어도 하나의 색상 값에 해당하는 적어도 하나의 픽셀을 이용하여 제1 영역을 결정할 수 있다.
일 실시예에서, 상기 3D 이미지의 다수의 복셀들 각각에 대한 기울기 값과 높이 값을 산출하고, 상기 다수의 기울기 값들 중 제2 임계값보다 작은 적어도 하나의 기울기 값에 해당하는 적어도 하나의 복셀과 상기 다수의 높이 값들 중 제3 임계값보다 큰 적어도 하나의 높이 값에 해당하는 적어도 하나의 복셀 중 적어도 하나를 이용하여 제2 영역을 결정할 수 있다.
일 실시예에서, 상기 제1 영역과 제2 영역의 중첩 영역을 상기 분류대상객체의 검사영역으로 결정할 수 있다.
S605는 분류대상객체의 검사영역에 대하여 레이저 유도 플라즈마 분광법을 수행하여 분류대상객체를 분류하는 단계이다. 즉, 분류대상객체의 검사영역에 대하여 레이저 유도 플라즈마 분광법을 수행한 결과를 통해 분류대상객체의 성분을 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따른 영역별 LIBS 수행 포인트의 예를 도시한 도면이다. 도 8a는 본 발명의 일 실시예에 따른 제1 영역 이외의 오염 포인트에 대한 LIBS 결과 그래프를 도시한 도면이다. 도 8b는 본 발명의 일 실시예에 따른 제2 영역 이외의 언플랫-로우 포인트에 대한 LIBS 결과 그래프를 도시한 도면이다. 도 8c는 본 발명의 일 실시예에 따른 검사영역에 대한 LIBS 결과 그래프를 도시한 도면이다.
도 7 및 도 8a를 참고하면, 제1 영역 이외의 오염 포인트에 대해 5회의 LIBS를 수행하는 경우, 오염 포인트에서의 수행으로 인해 결과 정확도가 떨어지기 때문에, 분류대상객체인 알루미늄(Al) 성분이 검출되었지만, 오염물질인 칼슘(Ca) 성분 또한 높은 비율로 검출되어 분류대상객체를 제대로 인식할 수 없음을 확인할 수 있다.
도 8b를 참고하면, 제2 영역 이외의 언플랫-로우 포인트에 대해 2회의 LIBS를 수행하는 경우, 분류대상객체인 알루미늄(Al) 성분을 검출하기 충분한 LIBS 신호가 검출됨을 확인할 수 있다.
도 8c를 참고하면, 검사영역에 대해 LIBS를 수행하는 경우, 1회의 LIBS 수행만으로도, 분류대상객체인 알루미늄(Al) 성분을 검출하기 충분한 LIBS 신호가 검출됨을 확인할 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.
따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.
100: 객체 분류 장치
110: 제1 센서부
120: 제2 센서부
122: 레이저부
124: 검출부
130: 제어부
140: 분류부
110: 제1 센서부
120: 제2 센서부
122: 레이저부
124: 검출부
130: 제어부
140: 분류부
Claims (12)
- 분류대상객체의 2D 이미지와 3D 이미지를 획득하는 단계;
상기 분류대상객체의 2D 이미지의 다수의 픽셀들 각각에 대한 색상 값을 산출하는 단계;
상기 다수의 픽셀들에 대한 색상 값들을 색조 값들로 변환하는 단계;
상기 변환된 색조 값들과 상기 다수의 픽셀들의 개수의 관계 정보를 산출하는 단계;
상기 관계 정보에 기반하여 상기 2D 이미지에서 상기 분류대상객체 이외의 배경 영역을 제거하는 단계;
상기 분류대상객체 이외의 배경 영역이 제거된 2D 이미지의 다수의 픽셀들 각각에 대한 색상 값을 산출하는 단계;
상기 다수의 색상 값들 중 제1 임계값보다 큰 적어도 하나의 색상 값에 해당하는 적어도 하나의 픽셀을 이용하여 제1 영역을 결정하는 단계;
상기 3D 이미지의 다수의 복셀들 각각에 대한 기울기 값과 높이 값을 산출하는 단계;
상기 다수의 기울기 값들 중 제2 임계값보다 작은 적어도 하나의 기울기 값에 해당하는 적어도 하나의 복셀과 상기 다수의 높이 값들 중 제3 임계값보다 큰 적어도 하나의 높이 값에 해당하는 적어도 하나의 복셀 중 적어도 하나를 이용하여 제2 영역을 결정하는 단계; 및
상기 제1 영역과 제2 영역에 대하여 레이저 유도 플라즈마 분광법(laser induced breakdown spectroscopy)을 수행하여 상기 분류대상객체를 분류하는 단계;
를 포함하고,
상기 변환된 색조 값들과 상기 다수의 픽셀들의 개수의 관계 정보는, 상기 분류대상객체의 색조 값에 대응하는 픽셀들의 개수에 대한 스펙트럼을 포함하는,
이미지 센서 기반 객체 분류 방법.
- 삭제
- 제1항에 있어서,
상기 획득하는 단계는,
상기 분류대상객체에 레이저를 조사하는 단계;
상기 레이저가 조사됨에 따라 상기 분류대상객체에서 반사된 레이저를 검출하는 단계;
상기 검출된 레이저에 기반하여 상기 분류대상객체의 높이 값을 산출하는 단계; 및
상기 분류대상객체의 높이 값을 이용하여 상기 3D 이미지를 획득하는 단계;
를 포함하는,
이미지 센서 기반 객체 분류 방법.
- 삭제
- 삭제
- 제1항에 있어서,
상기 제2 영역을 결정하는 단계 이후에,
상기 제1 영역과 제2 영역의 중첩 영역을 상기 분류대상객체의 검사영역으로 결정하는 단계;
를 더 포함하는,
이미지 센서 기반 객체 분류 방법.
- 분류대상객체의 2D 이미지를 획득하는 제1 센서부와 상기 분류대상객체의 3D 이미지를 획득하는 제2 센서부; 및
상기 분류대상객체의 2D 이미지의 다수의 픽셀들 각각에 대한 색상 값을 산출하고,
상기 다수의 픽셀들에 대한 색상 값들을 색조 값들로 변환하고,
상기 변환된 색조 값들과 상기 다수의 픽셀들의 개수의 관계 정보를 산출하며,
상기 관계 정보에 기반하여 상기 2D 이미지에서 상기 분류대상객체 이외의 배경 영역을 제거하고,
상기 분류대상객체 이외의 배경 영역이 제거된 2D 이미지의 다수의 픽셀들 각각에 대한 색상 값을 산출하고, 상기 다수의 색상 값들 중 제1 임계값보다 큰 적어도 하나의 색상 값에 해당하는 적어도 하나의 픽셀을 이용하여 제1 영역을 결정하고,
상기 3D 이미지의 다수의 복셀들 각각에 대한 기울기 값과 높이 값을 산출하고, 상기 다수의 기울기 값들 중 제2 임계값보다 작은 적어도 하나의 기울기 값에 해당하는 적어도 하나의 복셀과 상기 다수의 높이 값들 중 제3 임계값보다 큰 적어도 하나의 높이 값에 해당하는 적어도 하나의 복셀을 이용하여 제2 영역을 결정하는 제어부; 및
상기 제1 영역 및 제2 영역에 대하여 레이저 유도 플라즈마 분광법(laser induced breakdown spectroscopy)을 수행하여 상기 분류대상객체를 분류하는 분류부;
를 포함하고,
상기 변환된 색조 값들과 상기 다수의 픽셀들의 개수의 관계 정보는, 상기 분류대상객체의 색조 값에 대응하는 픽셀들의 개수에 대한 스펙트럼을 포함하는,
이미지 센서 기반 객체 분류 장치.
- 삭제
- 제7항에 있어서,
상기 제2 센서부는,
상기 분류대상객체에 레이저를 조사하는 레이저부; 및
상기 레이저가 조사됨에 따라 상기 분류대상객체에서 반사된 레이저를 검출하는 검출부;
를 포함하고,
상기 제어부는,
상기 검출된 레이저에 기반하여 상기 분류대상객체의 높이 값을 산출하고,
상기 분류대상객체의 높이 값을 이용하여 상기 3D 이미지를 획득하는,
이미지 센서 기반 객체 분류 장치.
- 삭제
- 삭제
- 제7항에 있어서,
상기 제어부는,
상기 제1 영역과 제2 영역의 중첩 영역을 상기 분류대상객체의 검사영역으로 결정하는,
이미지 센서 기반 객체 분류 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190136347A KR102410896B1 (ko) | 2019-10-30 | 2019-10-30 | 이미지 센서 기반 객체 분류 방법 및 장치 |
| PCT/KR2020/012936 WO2021085864A2 (ko) | 2019-10-30 | 2020-09-24 | 이미지 센서 기반 객체 분류 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190136347A KR102410896B1 (ko) | 2019-10-30 | 2019-10-30 | 이미지 센서 기반 객체 분류 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210051285A KR20210051285A (ko) | 2021-05-10 |
| KR102410896B1 true KR102410896B1 (ko) | 2022-06-20 |
Family
ID=75715318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190136347A KR102410896B1 (ko) | 2019-10-30 | 2019-10-30 | 이미지 센서 기반 객체 분류 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102410896B1 (ko) |
| WO (1) | WO2021085864A2 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018012346A1 (ja) * | 2016-07-15 | 2018-01-18 | 国立研究開発法人産業技術総合研究所 | Ｌｉｂｓ型物体選別装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09203663A (ja) * | 1996-01-26 | 1997-08-05 | Tokai Rika Co Ltd | 自動選別装置 |
| US6545240B2 (en) * | 1996-02-16 | 2003-04-08 | Huron Valley Steel Corporation | Metal scrap sorting system |
| KR101941193B1 (ko) | 2017-02-28 | 2019-01-22 | 광주과학기술원 | 레이저 유도 붕괴 분광장치(libs)에 의한 금속을 분류하기 위한 방법 및 이에 관한 컴퓨터-판독가능 저장매체 |
| KR102025747B1 (ko) * | 2018-01-04 | 2019-11-04 | 목포대학교산학협력단 | 레이저유도 플라즈마 분광 분석기에서 시료 표면의 높이 최적화 및 변화를 모니터링하는 장치 및 방법 |
| KR102070694B1 (ko) * | 2018-02-09 | 2020-01-29 | 광주과학기술원 | 레이저 유도붕괴 분광분석을 이용한 금속 분류 시스템 및 그것의 동작 방법 |
-
2019
- 2019-10-30 KR KR1020190136347A patent/KR102410896B1/ko active IP Right Grant
-
2020
- 2020-09-24 WO PCT/KR2020/012936 patent/WO2021085864A2/ko active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018012346A1 (ja) * | 2016-07-15 | 2018-01-18 | 国立研究開発法人産業技術総合研究所 | Ｌｉｂｓ型物体選別装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021085864A3 (ko) | 2021-06-24 |
| WO2021085864A2 (ko) | 2021-05-06 |
| KR20210051285A (ko) | 2021-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7570794B2 (en) | System and method for evaluating a machined surface of a cast metal component | |
| KR102003781B1 (ko) | 초분광영상화 기법을 이용한 글라스(Glass) 결함 검출 장치 | |
| KR102027986B1 (ko) | 비전 카메라를 이용한 비드 인식 장치 및 그 방법 | |
| US20190392601A1 (en) | Image Processing System for Inspecting Object Distance and Dimensions Using a Hand-Held Camera with a Collimated Laser | |
| KR20180115645A (ko) | 2d 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법 | |
| KR102012318B1 (ko) | 영상센서를 이용한 용접 품질 전수 검사 장치 및 그 방법 | |
| KR102410896B1 (ko) | 이미지 센서 기반 객체 분류 방법 및 장치 | |
| KR102070694B1 (ko) | 레이저 유도붕괴 분광분석을 이용한 금속 분류 시스템 및 그것의 동작 방법 | |
| US20080170772A1 (en) | Apparatus for determining positions of objects contained in a sample | |
| US10957035B2 (en) | Defect classification by fitting optical signals to a point-spread function | |
| Radovan et al. | An approach for automated inspection of wood boards | |
| KR101858829B1 (ko) | 편석 분석 장치 및 방법 | |
| JP2006510006A (ja) | 自動流動顕微鏡のための粒子抽出 | |
| JP2004062519A (ja) | レーンマーク検出装置 | |
| KR101687710B1 (ko) | 이물질 탐지 장치 및 그 방법 | |
| JP2006118913A (ja) | ひび割れ検出方法及び装置 | |
| CN111638226B (zh) | 检测方法、图像处理器以及检测系统 | |
| JP4733433B2 (ja) | ビーズアレイ用蛍光読取装置及びビーズアレイ用蛍光読取方法 | |
| CN111640085B (zh) | 图像处理方法和设备、检测方法和装置、存储介质 | |
| JP2010038723A (ja) | 欠陥検査方法 | |
| US9804098B2 (en) | Defect recognition system and defect recognition method | |
| Bonnot et al. | Machine vision system for surface inspection on brushed industrial parts | |
| JP6509146B2 (ja) | 検査装置および検査方法 | |
| JP7265248B2 (ja) | 自動サンプル検出機能を有する顕微分光装置 | |
| Jin | A Study on Alignment Correction Algorithm for Detecting Specific Areas of Video Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |