KR20190050145A - 딥러닝 기반 폐금속 스크랩 분류 방법 및 장치 - Google Patents

딥러닝 기반 폐금속 스크랩 분류 방법 및 장치 Download PDF

Info

Publication number
KR20190050145A
KR20190050145A KR1020170145382A KR20170145382A KR20190050145A KR 20190050145 A KR20190050145 A KR 20190050145A KR 1020170145382 A KR1020170145382 A KR 1020170145382A KR 20170145382 A KR20170145382 A KR 20170145382A KR 20190050145 A KR20190050145 A KR 20190050145A
Authority
KR
South Korea
Prior art keywords
scrap
image
metal
scrap metal
metal scrap
Prior art date
Application number
KR1020170145382A
Other languages
English (en)
Inventor
조홍연
오태양
박원우
Original Assignee
주식회사 씨티아이랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨티아이랩 filed Critical 주식회사 씨티아이랩
Priority to KR1020170145382A priority Critical patent/KR20190050145A/ko
Publication of KR20190050145A publication Critical patent/KR20190050145A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반 폐금속 스크랩 분류 방법 및 장치에 관한 것으로, 본 발명에 따른 방법은 폐금속 스크랩을 촬영한 폐금속 스크랩 영상을 획득하는 단계, 상기 폐금속 스크랩 영상을 획득하는 환경 조건을 고려하여 상기 폐금속 스크랩 영상을 전처리하는 단계, 상기 전처리된 폐금속 스크랩 영상을 이용하여 신경망부를 학습시키는 단계, 그리고 상기 신경망부를 이용하여 폐금속 스크랩을 분류하는 단계를 포함한다. 본 발명에 의하면 영상 기반으로 폐금속 스크랩에 대한 분류를 자동화할 수 있다. 특히 폐금속 스크랩 영상을 획득하는 환경 조건을 고려한 특화된 전처리 방법을 적용함으로써 분류 및 분포 예측의 정확도를 높일 수 있다. 아울러 시각화된 방법으로 폐금속 스크랩 영상과 등급 분류를 색상으로 나타낸 분포도를 중첩한 영상으로 제공함으로써 시각적으로 폐금속 스크랩 분류 및 분포 결과를 쉽게 이해할 수 있다.

Description

딥러닝 기반 폐금속 스크랩 분류 방법 및 장치{Waste Metal Scrap Classification Method and Apparatus Based on Deep Learning}
본 발명은 폐금속 스크랩 분류 방법 및 장치에 관한 것으로, 보다 자세하게는 딥러닝 기반 폐금속 스크랩 분류 방법 및 장치에 관한 것이다.
고철은 철광석, 원료탄과 함께 철강 산업의 3대 기초 원료이며, 특히 전기로 제강 철강재의 불가결한 원료이다. 고철은 철강재 생산과정, 철강수요산업의 가공과정, 철강을 소재로 한 제품의 폐기물 등에서 발생되며 고철 유통업자들의 수집 과정을 통해 회수된다.
이렇게 회수된 고철 스크랩 등은 미리 정해진 등급 분류 기준에 따라 중량 L, 중량 B, 경량 A, 경량 B 등의 등급으로 분류가 되는데 지금까지는 검수자에 의해 직접 분류되는 방식이 이용되었다.
그런데 이렇게 검수자에 의해 수동으로 등급이 분류되는 경우 일관된 기준이 적용되기 어렵고, 공급자와 수요자 사이에 이견이 있을 수 있다.
최근 영상 기반으로 폐금속 스크랩에 대한 분류를 자동화하려는 시도가 있으나, 폐금속 스크랩을 수거하는 현장의 환경 특성이 어둡고 먼지가 많이 날리는 장소라는 점에서, 해당 환경에서 취득된 영상을 분석하여 처리하는데 어려움이 있었다.
따라서 본 발명이 해결하고자 하는 기술적 과제는 폐금속 스크랩 영상을 이용한 딥러닝 기반 폐금속 스크랩 분류 방법 및 장치를 제공하는 것이다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 폐금속 스크랩 분류 방법은 폐금속 스크랩을 촬영한 폐금속 스크랩 영상을 획득하는 단계, 상기 폐금속 스크랩 영상을 획득하는 환경 조건을 고려하여 상기 폐금속 스크랩 영상을 전처리하는 단계, 상기 전처리된 폐금속 스크랩 영상을 이용하여 신경망부를 학습시키는 단계, 그리고 상기 신경망부를 이용하여 폐금속 스크랩을 분류하는 단계를 포함한다.
상기 폐금속 스크랩 영상을 전처리하는 단계는, 상기 폐금속 스크랩 영상 획득 환경의 조명에 의한 그림자 영향을 상기 폐금속 스크랩 영상에서 필터링하는 단계, 상기 폐금속 스크랩 영상 획득 환경의 조명에 의한 열 잡음 성분을 상기 폐금속 스크랩 영상에서 필터링하는 단계 및, 상기 폐금속 스크랩 영상 획득 환경의 먼지에 의한 영향을 상기 폐금속 스크랩 영상에서 필터링하는 단계중 적어도 하나를 포함할 수 있다.
상기 폐금속 스크랩 영상 획득 환경의 조명에 의한 그림자 영향을 호모모픽 필터 (Homo - morphic Filter)에 의해 필터링하고, 상기 폐금속 스크랩 영상 획득 환경의 조명에 의한 열 잡음 성분을 바이레이터럴 필터(Bilateral Filter)에 의해 필터링하며, 상기 폐금속 스크랩 영상 획득 환경의 먼지에 의한 영향을 헤이즈 리무벌(Haze Removal Filter) 알고리즘에 의해 필터링할 수 있다.
상기 폐금속 스크랩 영상을 전처리하는 단계는, 상기 폐금속 스크랩 영상을 푸리에 변환 처리하는 단계를 더 포함할 수 있다.
상기 폐금속 스크랩 영상을 푸리에 변환 처리할 때 미리 정해진 개수 이상의 푸리에 변환 윈도우 함수를 적용하여 학습 데이터를 확장할 수 있다.
상기 신경망부를 이용하여 폐금속 스크랩을 분류하는 단계는, 상기 폐금속 스크랩을 분류 모델을 이용하여 미리 정해진 분류 기준에 따라 등급을 분류하는 단계, 상기 분류된 등급에 대응하는 분포 모델을 이용하여 폐금속 스크랩의 분포를 예측하는 단계, 그리고 상기 폐금속 스크랩 영상에 상기 분포 예측 결과를 중첩한 영상을 제공하는 단계를 포함할 수 있다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 폐금속 스크랩 분류 장치는, 폐금속 스크랩을 촬영한 폐금속 스크랩 영상을 획득하는 영상 획득부, 상기 폐금속 스크랩 영상을 획득하는 환경 조건을 고려하여 상기 폐금속 스크랩 영상을 전처리하는 전처리부, 그리고 상기 전처리된 폐금속 스크랩 영상을 이용하여 학습하여 폐금속 스크랩을 분류하는 신경망부를 포함한다.
본 발명에 의하면 영상 기반으로 폐금속 스크랩에 대한 분류를 자동화할 수 있다. 특히 폐금속 스크랩 영상을 획득하는 환경 조건을 고려한 특화된 전처리 방법을 적용함으로써 분류 및 분포 예측의 정확도를 높일 수 있다. 아울러 시각화된 방법으로 폐금속 스크랩 영상과 등급 분류를 색상으로 나타낸 분포도를 중첩한 영상으로 제공함으로써 시각적으로 폐금속 스크랩 분류 및 분포 결과를 쉽게 이해할 수 있다.
도 1은 본 발명의 일 실시예에 따른 폐금속 스크랩 분류 장치의 구성도이다.
도 2는 본 발명에 따른 폐금속 스크랩 영상 획득의 조명 환경을 설명하기 위해 제공되는 사진이다.
도 3은 본 발명에 따른 폐금속 스크랩 영상 획득의 조명 환경을 설명하기 위해 제공되는 사진이다.
도 4는 본 발명에 따른 폐금속 스크랩 영상 획득 환경 조건을 설명하기 위해 제공되는 사진이다.
도 5는 본 발명에 따른 폐금속 스크랩 영상에서 폐금속 스크랩의 위치 이동을 설명하기 위해 제공되는 사진이다.
도 6은 본 발명의 일 실시예에 따른 폐금속 스크랩 영상에 특화된 영상 확장을 설명하기 위해 제공되는 도면이다.
도 7을 참고하여 신경망부(130)에서 폐금속 스크랩의 등급 분류 및 분포 예측을 수행하는 프로세스에 대해 보다 자세히 설명한다.
도 8은 본 발명의 일 실시예에 따른 폐금속 스크랩 분포 예측 결과를 시각화하여 제공하는 예를 나타낸 것이다.
도 9는 본 발명에 따른 등급별 예측값과 실제값 사이의 대응 관계를 나타낸 컨퓨전 매트릭스이다.
도 10은 본 발명에 따른 등급 분류의 민감도와 특이도 관계를 나타낸 RC 곡선 그래프이다.
도 11은 본 발명의 일 실시예에 따른 폐금속 스크랩 분류 장치의 동작을 설명하기 위해 제공되는 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 폐금속 스크랩 분류 장치의 구성도이다.
도 1을 참고하면, 본 발명에 따른 폐금속 스크랩 분류 장치는 영상 획득부(110), 전처리부(120), 신경망부(130) 및 시각화부(140)를 포함할 수 있다.
영상 획득부(110)는 폐금속 스크랩을 촬영한 폐금속 스크랩 영상을 획득하는 카메라를 포함할 수 있다. 일반적으로 폐금속 스크랩(Waste Metal Scrap)은 트럭 등의 운송 수단에 화물칸에 적재된 상태로 폐금속 수거장에 반입된다. 영상 획득부(110)는 화물칸에 폐금속 스크랩이 적재된 상태에서 카메라를 이용하여 폐금속 스크랩 영상을 획득할 수 있다. 물론 실시예에 따라서 화물칸에서 폐금속 수거장의 일정한 장소로 폐금속 스크랩이 내려진 후에 폐금속 스크랩 영상을 획득하는 것도 가능하다.
전처리부(120)는 폐금속 스크랩 영상을 획득하는 환경 조건을 고려하여 폐금속 스크랩 영상을 전처리할 수 있다. 앞서 설명한 것과 같이 트럭 화물칸에 적재된 폐금속 스크랩을 촬영하여 폐금속 스크랩 영상을 획득하는 환경 조건은 일반적으로 어둡고, 조명이 균일하지 않으며, 미세 먼지가 많이 발생한다. 따라서 이러한 폐금속 스크랩 영상 획득 환경 조건을 고려하여 폐금속 스크랩 영상 전처리가 요구된다.
도 2는 본 발명에 따른 폐금속 스크랩 영상 획득의 조명 환경을 설명하기 위해 제공되는 사진이다.
도 2에 예시된 것과 같이 어두운 실내조명으로 인해 트럭에 적재된 폐금속 스크랩 영상에 강한 그림자가 드리워질 수 있다. 따라서 폐금속 스크랩 영상의 기하학적 정보들은 보존하고 조명 영향은 줄여주는 영상 필터링을 수행하는 것이 바람직하다. 이를 위해 호모모픽 필터(Homo-morphic Filter)를 이용할 수 있다.
호모모픽 필터(Homo-morphic Filter)는 영상에서 저주파 성분인 조명 성분과 고주파 성분인 반사 성분을 로그로 분리한 후, 푸리에 변환(fourier transform)하여 저주파 대역을 필터링한 다음 역푸리에 변환을 함으로써 그림자의 영향을 상대적으로 제거해주는 필터로 알려져있다.
도 3은 본 발명에 따른 폐금속 스크랩 영상 획득의 조명 환경을 설명하기 위해 제공되는 사진이다.
도 3에 예시된 것과 같이 어두운 실내조명으로 인해 영상 획득부(110)에 사용되는 카메라의 CCD(Charge Coupled Device) 소자에 미세한 열잡음이 발생할 수 있다. 영상에 발생되는 미세한 열잡음은 영상 인식 처리에 장애 요인이 된다. 따라서 폐금속 스크랩 영상에 발생되는 잡음을 제거하기 위한 필터링을 수행하는 것이 바람직하다. 특히 폐금속 스크랩 영상에는 금속 스크랩 등과 같이 직선 성분이 많으므로, 직선 성분은 보존하면서 열잡음은 제거해줄 수 있는 바이레이터럴 필터(Bilateral Filter)를 이용하는 것이 바람직하다. 바이레이터럴 필터는 일반적인 잡음 제거 필터와는 달리 윤곽선을 잘 보존하면서 잡음을 제거해주는 장점을 가지고 있어, 본 발명에 따른 폐금속 스크랩 영상의 미세잡음을 효과적으로 제거할 수 있다.
도 4는 본 발명에 따른 폐금속 스크랩 영상 획득 환경 조건을 설명하기 위해 제공되는 사진이다.
폐금속 스크랩 영상을 취득하는 환경은 폐금속 스크랩에 포함된 먼지 등이 많이 날리므로, 도 4에 예시된 것과 같이 먼지로 인해 흐릿한 폐금속 스크랩 영상이 많이 획득될 수 있다. 흐릿한 영상에서 먼지 등으로 인한 영향을 필터링하는 다양한 헤이즈 리무벌(Haze Removal) 알고리즘이 공지되어 있다. 예를 들어 안개/미세먼지에 의해 흐릿한 영상을 세선화 영상(thinned image)과 팽창 영상(Dilation image)을 융합해 거리맵(Distance Map)을 구한 후 거리맵으로부터 거리에 따른 차별화된 콘트라스트(Contrast) 보정으로 안개를 제거해주는 원리 등을 적용하면 미세 먼지 등으로 인한 영향을 필터링할 수 있다.
앞에서 설명한 호모모픽 필터, 바이레이터럴 필터, 헤이즈 리무벌 알고리즘 등에 대해서는 이미 공지된 내용을 적용하면 되므로, 여기서 자세한 설명은 생략한다.
한편 전처리부(120)는 앞서 필터링이 수행된 폐금속 스크랩 영상에 대해서 푸리에 변환 처리를 할 수 있다.
도 5는 본 발명에 따른 폐금속 스크랩 영상에서 폐금속 스크랩의 위치 이동을 설명하기 위해 제공되는 사진이다.
도 5에서는 폐금속 스크랩이 트럭의 화물칸에서 아래로 위치이동 된 예를 나타내고 있다. 폐금속 스크랩이 트럭 화물칸에서의 위치 이동에 따른 영향을 제거하기 위해 푸리에 변환 처리를 하는 것이 바람직하다. 푸리에 변환을 하면 진폭 영상과 위상 영상이 얻어지는데, 위상 영상을 버리고 진폭 영상만 취하면 위치에 무관한 영상 정보가 얻어지게 된다.
특히 전처리부(120)는 푸리에 변환 처리를 할 때 미리 정해진 개수 이상의 푸리에 변환 윈도우 함수(fourier transform window function)를 적용하여 학습 데이터를 확장하도록 구현하는 것이 바람직하다.
도 6은 본 발명의 일 실시예에 따른 폐금속 스크랩 영상에 특화된 영상 확장을 설명하기 위해 제공되는 도면이다.
도 6을 참고하면, 하나의 폐금속 스크랩 영상에 6개의 푸리에 변환 윈도우 함수를 적용하여 푸리에 변환함으로써 6배의 학습 데이터를 만들 수 있는 것을 나타내었다.
다시 도 1을 참고하면, 신경망부(130)는 전처리부(120)에서 전처리된 폐금속 스크랩 영상을 학습 데이터로 제공받아 폐금속 스크랩의 등급(class)을 분류하고, 폐금속 스크랩 영상 내에서 등급별 분포를 예측하기 위한 학습을 수행한다. 이를 위해 신경망부(130)는 영상 인식에서 우수한 성능을 가지는 인셉션 모듈(inception module) 기반 컨벌루션 신경망(Convolutional Neural Networks, CNN), 심층 신경망(Deep Neural Network, DNN), 재귀 신경망(Recurrent Neural Network, RNN), 제한 볼츠만 머신(restricted Boltzmann machine), 심층 신뢰 신경망(Deep Belief Network, DBN), 심층 Q-네트워크(Deep Q-Network) 등과 같이 다양한 딥 러닝 기법이 적용된 신경망 알고리즘이 사용될 수 있다.
신경망부(130)는 학습 완료 후에 전처리부(120)에서 전처리되어 입력되는 폐금속 스크랩 영상을 기초로 폐금속 스크랩의 등급을 분류하고, 폐금속 스크랩 영상 내에서 등급별 분포를 예측할 수 있다.
도 7을 참고하여 신경망부(130)에서 폐금속 스크랩의 등급 분류 및 분포 예측을 수행하는 프로세스에 대해 보다 자세히 설명한다.
도 7은 본 발명의 일 실시예에 따른 폐금속 스크랩의 등급 분류 및 분포 예측 프로세스를 설명하기 위해 제공되는 도면이다.
도 7을 참고하면, 신경망부(130)는 전처리된 폐금속 스크랩 영상이 입력되면, 먼저 분류 DNN(Deep Neural Network) 모델을 이용하여 미리 정해진 분류 기준에 따라 등급을 분류할 수 있다. 도 7에서는 등급 분류 결과가 경량 A인 것을 나타내고 있다. 그러면 신경망부(130)는 경량 A에 해당하는 분포 DNN 모델을 선택할 수 있다. 그리고 신경망부(130)는 선택된 분포 DNN 모델을 이용하여 폐금속 스크랩의 분포를 예측할 수 있다. 도 7에서는 폐금속 스크랩에 경량 A 클라스에 해당하는 폐금속이 85% 분포하는 것이 예측된 것을 나타내고 있다.
한편 본 발명에 따른 신경망부(130)는 폐금속 스크랩에 포함된 스크랩의 크기, 회전, 변형에 큰 영향을 받지않고 분포를 정확하게 예측하기 위해서 복수 개의 CNN 구조를 내포하는 DNN을 사용할 수 있다. 이에 의하면 최소한의 폐금속 스크랩 영상을 이용하여 학습을 시행하여도 분포 예측을 더 정확하게 할 수 있다. 물론 강화 학습 모델(Deep Q-Learning), GAN(Generative Adversarial Networks) 등 다른 모델로 대체하는 것도 가능하다.
시각화부(140)는 폐금속 스크랩 영상에 신경망부(130)에서의 분포 예측 결과를 중첩한 영상을 제공할 수 있다.
도 8은 본 발명의 일 실시예에 따른 폐금속 스크랩 분포 예측 결과를 시각화하여 제공하는 예를 나타낸 것이다.
도 8을 참고하면, 시각화부(140)는 영상 획득부(110)에서 획득된 폐금속 스크랩 영상(A)과 신경망부(130)에서의 분포 예측 결과(B)를 중첩한 영상(C)을 제공할 수 있다. 도 8에서 붉은색에 가까울 수록 경량 A에 해당하는 것을 나타내고 있다. 분포 예측 결과(B)는 등급별로 색상을 다르게 나타내는 영상으로 제공될 수 있다.
도 9는 본 발명에 따른 등급별 예측값과 실제값 사이의 대응 관계를 나타낸 컨퓨전 매트릭스이다.
한편 시각화부(140)는 신경망부(130)의 등급별 예측값과 실제값 사이의 대응 관계를 도 9에 예시한 것과 같은 컨퓨전 매트릭스(Confusion Matrix) 영상으로 제공할 수도 있다. 이에 의해 사용자는 신경망부(130)의 전체적인 성능을 시각적으로 확인이 가능하다. 컨퓨전 매트릭스에서 대각선 방향으로만 밝은 픽셀이 나오면 성능이 우수한 것이다.
도 10은 본 발명에 따른 등급 분류의 민감도와 특이도 관계를 나타낸 RC 곡선 그래프이다.
한편 시각화부(140)는 도 10에 예시한 것과 같은 ROC 곡선을 통해 등급별 분류 정확도를 제공할 수도 있다. 여기서 ROC 곡선은 특정 진단 방법의 민감도(Sensitivity)와 특이도(Specificity)가 어떤 관계를 가지고 있는지를 표현한 그래프이다. 그래프에서 각 등급의 커브가 좌상단으로 붙을수록 정확도가 높다. 예를 들어 해당 등급의 커브가 좌상단에 붙은 꺽은선 모양이면 정확도가 100%가 되며 대각선(검은 점선) 모양이면 정확도가 0%이다.
도 11은 본 발명의 일 실시예에 따른 폐금속 스크랩 분류 장치의 학습 동작을 설명하기 위해 제공되는 흐름도이다.
도 11을 참고하면, 먼저 영상 획득부(110)는 폐금속 스크랩을 촬영한 폐금속 스크랩 영상을 획득할 수 있다(S1100).
먼저 전처리부(120)는 폐금속 스크랩 영상을 획득하는 환경 조건을 고려하여 폐금속 스크랩 영상을 전처리할 수 있다(S1200).
폐금속 스크랩 영상을 전처리하는 단계(S1200)에 대해 구체적으로 살펴보면, 먼저 전처리부(120)는 폐금속 스크랩 영상의 기하학적 정보들은 보존하고 조명 영향은 줄여주는 영상 필터링을 수행할 수 있다(S1210). 단계(S1210)에 의해 도 2에 예시된 것과 같이 어두운 실내조명으로 인해 트럭에 적재된 폐금속 스크랩 영상에 강한 그림자가 드리워진 영향을 제거할 수 있다. 단계(S1210)에서 호모모픽 필터(Homo-morphic Filter)를 이용할 수 있다.
다음으로 전처리부(120)는 폐금속 스크랩 영상에 발생되는 열잡음을 제거하기 위한 필터링을 수행할 수 있다(S1230). 단계(S1230)에서 전처리부(120)는 폐금속 스크랩 영상에 금속 스크랩 등과 같이 직선 성분이 많으므로, 직선 성분은 보존하면서 열잡음은 제거해줄 수 있는 바이레이터럴 필터(Bilateral Filter)를 이용하는 것이 바람직하다.
다음으로 전처리부(120)는 폐금속 스크랩 영상에서 먼지 등으로 인한 영향을 필터링하는 다양한 헤이즈 리무벌(Haze Removal) 필터링 처리를 할 수 있다(S1250).
그리고 전처리부(120)는 단계(S1210) 내지 단계(S1250)에서 설명한 필터링이 수행된 폐금속 스크랩 영상에 대해서 푸리에 변환 처리를 할 수 있다(S1270). 단계(S1270)에서 푸리에 변환 처리를 함으로써 진폭 영상과 위상 영상이 얻어지는데, 위상 영상을 버리고 진폭 영상만 취하면 위치에 무관한 영상 정보를 얻을 수 있다. 특히 단계(S1270)에서 학습 데이터 확장을 위해 미리 정해진 개수 이상의 푸리에 변환 윈도우 함수(fourier transform window function)를 적용하여 복수의 푸레이 변환 영상을 획득할 수 있다. 예컨대 도 6에 예시한 것과 같이, 하나의 폐금속 스크랩 영상에 대해서 6개의 푸리에 변환 윈도우 함수를 적용하여 각각 푸리에 변환함으로써 6배의 학습 데이터를 만들 수 있다.
다음으로 신경망부(130)는 전처리부(120)에서 전처리된 폐금속 스크랩 영상을 학습 데이터로 제공받아 폐금속 스크랩의 등급(class)을 분류하고, 폐금속 스크랩 영상 내에서 등급별 분포를 예측하기 위한 학습을 수행할 수 있다(S1300).
이후 신경망부(130)는 학습 완료 후에 전처리부(120)에서 전처리되어 입력되는 폐금속 스크랩 영상을 기초로 폐금속 스크랩의 등급을 분류하고, 폐금속 스크랩 영상 내에서 등급별 분포를 예측할 수 있다.
그리고 시각화부(140)는 폐금속 스크랩 영상에 신경망부(130)에서의 분포 예측 결과를 중첩한 영상을 제공할 수 있다. 시각화부(140)는 도 8에 예시한 것과 같이 영상 획득부(110)에서 획득된 폐금속 스크랩 영상(A)과 신경망부(130)에서의 분포 예측 결과(B)를 중첩한 영상(C)을 제공할 수 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 폐금속 스크랩 영상을 이용한 딥러닝 기반 폐금속 스크랩 분류 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (12)

  1. 폐금속 스크랩을 촬영한 폐금속 스크랩 영상을 획득하는 단계,
    상기 폐금속 스크랩 영상을 획득하는 환경 조건을 고려하여 상기 폐금속 스크랩 영상을 전처리하는 단계,
    상기 전처리된 폐금속 스크랩 영상을 이용하여 신경망부를 학습시키는 단계, 그리고
    상기 신경망부를 이용하여 폐금속 스크랩을 분류하는 단계
    를 포함하는 폐금속 스크랩 분류 방법.
  2. 제 1 항에서,
    상기 폐금속 스크랩 영상을 전처리하는 단계는,
    상기 폐금속 스크랩 영상 획득 환경의 조명에 의한 그림자 영향을 상기 폐금속 스크랩 영상에서 필터링하는 단계,
    상기 폐금속 스크랩 영상 획득 환경의 조명에 의한 열 잡음 성분을 상기 폐금속 스크랩 영상에서 필터링하는 단계 및,
    상기 폐금속 스크랩 영상 획득 환경의 먼지에 의한 영향을 상기 폐금속 스크랩 영상에서 필터링하는 단계
    중 적어도 하나를 포함하는 폐금속 스크랩 분류 방법.
  3. 제 2 항에서,
    상기 폐금속 스크랩 영상 획득 환경의 조명에 의한 그림자 영향을 호모모픽 필터 (Homo - morphic Filter)에 의해 필터링하고,
    상기 폐금속 스크랩 영상 획득 환경의 조명에 의한 열 잡음 성분을 바이레이터럴 필터(Bilateral Filter)에 의해 필터링하며,
    상기 폐금속 스크랩 영상 획득 환경의 먼지에 의한 영향을 헤이즈 리무벌(Haze Removal Filter) 알고리즘에 의해 필터링하는 폐금속 스크랩 분류 방법.
  4. 제 2 항에서,
    상기 폐금속 스크랩 영상을 전처리하는 단계는,
    상기 폐금속 스크랩 영상을 푸리에 변환 처리하는 단계를 더 포함하는 폐금속 스크랩 분류 방법.
  5. 제 4 항에서,
    상기 폐금속 스크랩 영상을 푸리에 변환 처리할 때 미리 정해진 개수 이상의 푸리에 변환 윈도우 함수를 적용하여 학습 데이터를 확장하는 폐금속 스크랩 분류 방법.
  6. 제 1 항에서,
    상기 신경망부를 이용하여 폐금속 스크랩을 분류하는 단계는,
    상기 폐금속 스크랩을 분류 모델을 이용하여 미리 정해진 분류 기준에 따라 등급을 분류하는 단계,
    상기 분류된 등급에 대응하는 분포 모델을 이용하여 폐금속 스크랩의 분포를 예측하는 단계, 그리고
    상기 폐금속 스크랩 영상에 상기 분포 예측 결과를 중첩한 영상을 제공하는 단계
    를 포함하는 폐금속 스크랩 분류 방법.
  7. 폐금속 스크랩을 촬영한 폐금속 스크랩 영상을 획득하는 영상 획득부,
    상기 폐금속 스크랩 영상을 획득하는 환경 조건을 고려하여 상기 폐금속 스크랩 영상을 전처리하는 전처리부, 그리고
    상기 전처리된 폐금속 스크랩 영상을 이용하여 학습하여 폐금속 스크랩을 분류하는 신경망부
    를 포함하는 폐금속 스크랩 분류 장치.
  8. 제 7 항에서,
    상기 전처리부는,
    상기 폐금속 스크랩 영상 획득 환경의 조명에 의한 그림자 영향을 상기 폐금속 스크랩 영상에서 필터링, 상기 폐금속 스크랩 영상 획득 환경의 조명에 의한 열 잡음 성분을 상기 폐금속 스크랩 영상에서 필터링 및, 상기 폐금속 스크랩 영상 획득 환경의 먼지에 의한 영향을 상기 폐금속 스크랩 영상에서 필터링 중 적어도 하나를 수행하는 폐금속 스크랩 분류 장치.
  9. 제 8 항에서,
    상기 폐금속 스크랩 영상 획득 환경의 조명에 의한 그림자 영향을 호모모픽 필터 (Homo - morphic Filter)에 의해 필터링하고,
    상기 폐금속 스크랩 영상 획득 환경의 조명에 의한 열 잡음 성분을 바이레이터럴 필터(Bilateral Filter)에 의해 필터링하며,
    상기 폐금속 스크랩 영상 획득 환경의 먼지에 의한 영향을 헤이즈 리무벌(Haze Removal Filter) 알고리즘에 의해 필터링하는 폐금속 스크랩 분류 장치.
  10. 제 9 항에서,
    상기 전처리부는,
    상기 폐금속 스크랩 영상을 푸리에 변환 처리하는 폐금속 스크랩 분류 장치.
  11. 제 10 항에서,
    상기 폐금속 스크랩 영상을 푸리에 변환 처리할 때 미리 정해진 개수 이상의 푸리에 변환 윈도우 함수를 적용하여 학습 데이터를 확장하는 폐금속 스크랩 분류 장치.
  12. 제 7 항에서,
    상기 신경망부는,
    상기 폐금속 스크랩을 분류 모델을 이용하여 미리 정해진 분류 기준에 따라 등급을 분류하고, 상기 분류된 등급에 대응하는 분포 모델을 이용하여 폐금속 스크랩의 분포를 예측하고,
    상기 폐금속 스크랩 영상에 상기 분포 예측 결과를 중첩한 영상을 제공하는 시각화부
    를 더 포함하는 폐금속 스크랩 분류 장치.
KR1020170145382A 2017-11-02 2017-11-02 딥러닝 기반 폐금속 스크랩 분류 방법 및 장치 KR20190050145A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170145382A KR20190050145A (ko) 2017-11-02 2017-11-02 딥러닝 기반 폐금속 스크랩 분류 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170145382A KR20190050145A (ko) 2017-11-02 2017-11-02 딥러닝 기반 폐금속 스크랩 분류 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20190050145A true KR20190050145A (ko) 2019-05-10

Family

ID=66580719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170145382A KR20190050145A (ko) 2017-11-02 2017-11-02 딥러닝 기반 폐금속 스크랩 분류 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20190050145A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102210250B1 (ko) * 2020-10-13 2021-02-01 주식회사 웨이센 Ai 예측 모델을 이용한 예측 결과의 시각화 방법
KR102234533B1 (ko) * 2020-05-11 2021-03-31 주식회사 보고넷 전기로 전력 투입제어를 위한 인공지능 장입 고철 분류를 이용한 인공지능 원재료 분석 서비스 제공 방법
CN113516637A (zh) * 2021-06-23 2021-10-19 深圳市小绿人网络信息技术有限公司 一种基于图像自动识别废钢种类的方法及装置
CN115115893A (zh) * 2022-07-26 2022-09-27 金乡县富通金属回收有限公司 用于废金属回收的智能分选方法
US11660762B2 (en) 2018-05-11 2023-05-30 Mp Zenrobotics Oy Waste sorting robot
US11851292B2 (en) 2018-04-22 2023-12-26 Mp Zenrobotics Oy Waste sorting gantry robot
WO2024010120A1 (ko) * 2022-07-06 2024-01-11 주식회사 에이트테크 비전-초분광 융합 데이터 기반 폐기물 분류 시스템
KR102650811B1 (ko) * 2023-09-27 2024-03-25 주식회사 에이트테크 폐기물 분류 사업장 별 특성을 고려한 폐기물 분류 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11851292B2 (en) 2018-04-22 2023-12-26 Mp Zenrobotics Oy Waste sorting gantry robot
US11660762B2 (en) 2018-05-11 2023-05-30 Mp Zenrobotics Oy Waste sorting robot
KR102234533B1 (ko) * 2020-05-11 2021-03-31 주식회사 보고넷 전기로 전력 투입제어를 위한 인공지능 장입 고철 분류를 이용한 인공지능 원재료 분석 서비스 제공 방법
KR102210250B1 (ko) * 2020-10-13 2021-02-01 주식회사 웨이센 Ai 예측 모델을 이용한 예측 결과의 시각화 방법
CN113516637A (zh) * 2021-06-23 2021-10-19 深圳市小绿人网络信息技术有限公司 一种基于图像自动识别废钢种类的方法及装置
WO2024010120A1 (ko) * 2022-07-06 2024-01-11 주식회사 에이트테크 비전-초분광 융합 데이터 기반 폐기물 분류 시스템
CN115115893A (zh) * 2022-07-26 2022-09-27 金乡县富通金属回收有限公司 用于废金属回收的智能分选方法
KR102650811B1 (ko) * 2023-09-27 2024-03-25 주식회사 에이트테크 폐기물 분류 사업장 별 특성을 고려한 폐기물 분류 시스템

Similar Documents

Publication Publication Date Title
KR20190050145A (ko) 딥러닝 기반 폐금속 스크랩 분류 방법 및 장치
US20210081698A1 (en) Systems and methods for physical object analysis
US20210201472A1 (en) Method of inspecting and evaluating coating state of steel structure and system therefor
Xiao et al. A vision-based method for automatic tracking of construction machines at nighttime based on deep learning illumination enhancement
Parlak et al. Deep learning-based detection of aluminum casting defects and their types
US8724851B2 (en) Aerial survey video processing
Diaz-Romero et al. Deep learning computer vision for the separation of Cast-and Wrought-Aluminum scrap
Doycheva et al. GPU-enabled pavement distress image classification in real time
Głowacz et al. Video detection algorithm using an optical flow calculation method
Parhizkar et al. Car detection and damage segmentation in the real scene using a deep learning approach
Hridoy et al. A framework for industrial inspection system using deep learning
Choodowicz et al. Hybrid algorithm for the detection and recognition of railway signs
CN109977844A (zh) 一种基于图像识别机动车礼让行人控制系统及控制方法
Fakhrurroja et al. Automated License Plate Detection and Recognition using YOLOv8 and OCR With Tello Drone Camera
JP2023515476A (ja) 知覚システムのための訓練データ候補の自動特定
Gobhinath et al. Dynamic Objects Detection and Tracking from Videos for Surveillance Applications
Mohanan et al. Use of mathematical morphology in vehicle plate detection
Mohammed et al. Deep Learning Based Car Damage Classification and Cost Estimation
Ravničan et al. A Prestudy of Machine Learning in Industrial Quality Control Pipelines
Da Wu et al. Enhanced Identification of Internal Casting Defects in Vehicle Wheels Using YOLO Object Detection and X-Ray Inspection.
Jehad et al. Developing and validating a real time video based traffic counting and classification
Azi et al. Car tracking technique for DLES project
CN118097301B (zh) 表面缺陷检测方法、表面缺陷检测模型的训练方法及装置
Jansche et al. Machine learning based detection and deep learning based image inpainting of preparation artefacts in micrographs
Ong et al. Vehicle Classification Using Neural Networks and Image Processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application