KR101942219B1

KR101942219B1 - 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 장치 및 방법

Info

Publication number: KR101942219B1
Application number: KR1020180078009A
Authority: KR
Inventors: 고재성
Original assignee: 고재성
Priority date: 2018-07-05
Filing date: 2018-07-05
Publication date: 2019-01-24

Abstract

컨볼루션 뉴럴 네트워크(Convolutional Neural Network)를 이용한 폐기물 이미지 식별 장치 및 방법을 개시한다. 본 발명의 컨볼루션 뉴럴 네트워크(Convolutional Neural Network)를 이용한 폐기물 이미지 식별 장치는 기 결정된 크기의 폐기물 관련 이미지를 수신하는 수신부. 수신된 이미지를 관심 영역과 비관심 영역으로 구별하는 구별부 및 관심 영역에 포함된 폐기물의 특징을 파악하여 폐기물의 종류를 식별하는 판단부를 포함한다.

Description

컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 장치 및 방법{APPARATUS AND METHOD FOR WASTE IMAGE IDENTIFICATION USING CONVOLUTION NEURAL NETWORK}

본 발명은 폐기물 이미지 식별 장치 및 방법에 관한 것으로서, 보다 상세하게는 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 장치 및 방법에 관한 것이다.

심층학습(Deep Learning)은 다층구조 형태의 신경망을 기반으로 하는 기계 학습(Machine Learning)의 한 분야이다. 이는 대량의 데이터로부터 높은 수준의 추상화 모델을 구축하고자 하는 기법이고, 이를 위해 데이터를 컴퓨터가 처리 가능한 형태인 벡터나 그래프 등으로 표현하며 이를 학습하기 위한 더 나은 표현 방법과 효율적인 모델을 구축하는 연구를 포함한다. 이러한 심층학습의 표현방법들 중 다수는 신경과학에서 영감을 얻었으며, 신경 시스템의 정보 처리나 통신 패턴에 기반을 두고 있다.

최근 몇 년간, 대량의 축적된 데이터(예컨대, 빅 데이터)를 기반으로 다양한 응용 분야에 딥 러닝이 사용되고 있다. 예를 들어 영상으로부터 사람의 자세(Pose), 동작(Action) 및 위치(Location)를 인식하는 문제를 해결하여 사용자 기반 추천 서비스, 게임의 조작 등의 응용 분야에 사용되면서 많은 관심을 받고 있다.

또 다른 응용분야인 인식 시스템에 있어서의 심층학습 연구는, 배경 분리나 특징 추출 알고리즘을 사람의 경험적 노하우를 이용하여 설계하는 대신, 많은 데이터를 수집하여 직접 해당 역할을 하는 모델을 학습시킴으로써 좋은 성능을 내고 있다.

선행문헌 1(공개특허 10-2015-0098119호)는 딥 러닝을 이용한 의료 영상 내 거짓 양성 병변후보 제거 방법을 개시한다. 하지만, 정확한 질환 등의 진단을 위하여 정확도를 딥 러닝을 이용하여 향상시키는 기술은 개시되지 못한 상황이다.

특히, 가정용(산업용)폐기물(의자, 쇼파, 장농, 옷장 등)의 경우에 종래의 이미지 식별 방식으로는 기대하는 속도 및 정확도를 얻을 수 없으므로, 새로운 방식의 폐기물 이미지 식별 장치의 개발의 필요성이 요구되고 있다.

선행문헌 1 : 한국공개특허 제10-2018-0053003호(공개일 : 2018년05월21일) 선행문헌 2 : 한국공개특허 제10-2018-0004898호(공개일 : 2018년01월15일) 선행문헌 3 : 한국공개특허 제10-2018-0062422호(공개일 : 2018년06월08일)

상술한 필요성에 의해서 안출된 본 발명은 폐기물 이미지를 빠르고 정확하게 식별할 수 있는 폐기물 이미지 식별 장치 및 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컨볼루션 뉴럴 네트워크(Convolutional Neuron Network)를 이용한 폐기물 이미지 식별 장치는, 기 결정된 크기의 폐기물 관련 이미지를 수신하는 수신부, 상기 수신된 이미지를 관심 영역과 비관심 영역으로 구별하는 구별부 및 상기 관심 영역에 포함된 폐기물의 특징을 파악하여 상기 폐기물의 종류를 식별하는 판단부를 포함한다.

이 경우에, 상기 구별부는 상기 수신된 이미지에 제1 컨볼루션 뉴럴 네트워크를 사용하여 제1 특징 맵을 획득하고, 상기 제1 특징 맵에 영역 제안 네트워크(Region Proposal Network)를 사용하여, 상기 관심 영역을 구별한다.

이 경우에, 상기 구별부는 상기 제1 특징 맵에 슬라이딩 윈도우를 적용하여, 상기 슬라이딩 윈도우에 포함되는 객체의 존부를 분류하는 객체 분류 모듈과 상기 슬라이딩 윈도우의 위치를 파악하는 위치 확인 모듈을 포함한다.

한편, 상기 판단부는 상기 관심 영역에 제2 컨볼루션 뉴럴 네트워크를 사용하여 제2 특징 맵을 획득하고, 상기 제2 특징 맵에 기초하여 상기 관심 영역에 포함된 폐기물을 세부 항목으로 분류한다.

한편, 상기 판단부는, 상기 관심 영역의 제1 특징 맵 또는 제2 특징 맵에 대해서 최대 풀링(Max pooling), 평균 풀링(Mean pooling) 및 최소 풀링(Minimum pooling)중 적어도 하나를 적용한다.

본 발명의 다른 실시 예에 따른 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 장치를 이용한 폐기물 이미지 식별 방법은, 기 결정된 크기의 이미지를 수신하는 단계, 상기 수신하는 단계에서 얻어진 이미지를 관심 영역과 비관심 영역을 구별하는 단계 및 상기 관심 영역으로 구별된 이미지에 포함된 폐기물의 특징을 파악하고 상기 폐기물의 종류를 식별하는 단계를 포함한다.

이 경우에, 상기 구별하는 단계는 상기 수신된 이미지에 제1 컨볼루션 뉴럴 네트워크를 사용하여 제1 특징 맵을 획득하는 단계 및 상기 제1 특징 맵에 영역 제안 네트워크(Region Proposal Network)를 사용하여 상기 관심 영역을 구별하는 단계를 포함한다.

이 경우에, 상기 구별하는 단계는 상기 제1 특징 맵에 슬라이딩 윈도우를 적용하는 단계, 상기 슬라이딩 윈도우에 포함되는 객체의 존부를 분류하는 단계, 및 상기 슬라이딩 윈도우의 위치를 파악하는 단계를 포함한다.

한편, 상기 판단하는 단계는 상기 관심 영역에 제2 컨볼루션 뉴럴 네트워크를 사용하여 제2 특징 맵을 획득하는 단계, 및 상기 제2 특징 맵에 기초하여 상기 관심 영역에 포함된 폐기물을 세부 항목으로 분류하는 단계를 포함한다.

한편, 상기 판단하는 단계는 상기 관심 영역의 제1 특징 맵 또는 제2 특징 맵에 대해서 최대 풀링(Max pooling), 평균 풀링(Mean pooling) 및 최소 풀링(Minimum pooling)중 적어도 하나를 적용하는 단계를 포함한다.

본 발명의 다양한 실시 예에 따르면, 다양한 종류의 폐기물 이미지를 빠르고 정확하게 식별할 수 있는 효과를 발휘한다.

도 1은 본 발명의 일 실시 예에 따른 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 장치의 구성을 예시적으로 설명하는 도면,
도 2는 본 발명의 일 실시 예에 따른 구별부의 구성을 예시적으로 설명하는 도면,
도 3은 본 발명의 일 실시 예에 따른 구별부에서 사용하는 관심 영역 식별 방식을 설명하는 도면,
도 4는 도 2의 구별부에 의해서 폐기물 이미지 중 관심 영역을 구별하는 과정을 예시적으로 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 판단부의 동작을 예시적으로 설명하는 도면,
도 6은 본 발명의 다른 실시 예에 따른 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 방법의 프로세스를 설명하는 흐름도, 그리고,
도 7은 본 발명의 다른 실시 예에 따른 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 시스템을 예시적으로 설명하는 블럭도.

이하 도면을 참고하면 본 발명의 바람직한 실시예를 설명하며, 본 발명의 기술적 사상의 범위에서 다양한 변형실시가 가능하다.

컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 장치

도 1은 본 발명의 일 실시 예에 따른 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 장치의 구성을 예시적으로 설명하는 도면이다. 도 1을 참고하면, 본 발명에 따른 폐기물 이미지 식별 장치는 수신부(110), 구별부(130) 및 판단부(150)를 포함한다.

수신부(110)는 폐기물에 관련된 이미지 파일(예컨대, JPEG, PNG, JIF, RAW 등)을 사용자 단말(미도시)로부터 수신한다. 사용자 단말은 폐기물을 이미지 촬상 장치를 이용하여 이미지를 촬상하여 이미지 파일로 생성한다. 사용자 단말은 수신부(110)와 통신 채널을 연결한 뒤, 이미지 파일을 수신부(110)로 전송한다.

수신부(110)는 유무선 통신 인터페이스로 구성될 수 있고, 이미지를 패킷 데이터로 수신할 수 있다. 패킷 데이터 통신 방식에 대해서는 자세한 설명을 생략하더라도 본 발명의 동작을 이해하는데 지장이 없으므로 생략한다.

구별부(130)는 Faster-RCNN 방식을 이용하여 입력된 이미지에서 관심 영역과 비관심 영역으로 구별할 수 있다. 보다 구체적으로 살펴보면, 구별부(130)는 임의 크기의 폐기물 관련 이미지에서 폐기물을 포함하는 관심 영역에 대해서는 경계 영역 박스(Bounding box)를 생성함으로써, 관심 영역과 비관심 영역을 구변별하고, 관심 영역을 식별한다. Faster RCNN에 대해서는 이하에서 별도로 설명한다.

판단부(150)는 관심 영역을 적절한 크기로 조정한 후 폐기물의 종류별로 사전에 훈련된 필터 뱅크(Filter Bank)를 통해 클래스 분류(Classiication)기능을 수행하여 페기물의 종류별로 분류한다. 판단부(150)는 클래스 분류 블록 내부에는 다양한 크기의 경계영역 박스(Bounding Box)를 처리하는 크기 조절(Size adaptation)과 사전에 검출된 폐기물 클랙스(Class)의 정보를 토대로 필터 뱅크로 데이터를 전달하는 기능을 수행하는 제어 블록(Control Block)이 구비된다. 클래스 분류(Classification) 블록은 폐기물의 종류의 수에 따라 클래스(Class)의 수를 증감시킬 수 있다.

또한, 각 클래스(Class)는 이진 분류 기법(binary classification)을 이용하여 폐기물의 종류를 구별하기 위해서 진실 긍정(True Positive)와 거짓 긍정(Fault Positive)로 구성된 훈련 데이터 집합(Training Data Set)으로 사전에 훈련이 된다. 이를 위하여 각 클래스별로 진실 긍정을 달리하여 구성된 별도의 제2 컨볼루션 뉴럴 네트워크를 사용하여 폐기물의 세부 항목의 종류를 식별할 수 있다.

본 발명의 일 실시예에서 제어(Control) 블록의 역할은 경계영역 박스(Bounding Box) 이미지의 추출, 추출된 경계영역 박스의 크기 조절(Size adaptation) 기능이다. 또한, 제어 블록은 구별부(130)에서 검출된 경계영역 박스(Bounding Box) 이미지의 폐기물 종류 각각에 대응되는 CNN 클래스에 입력되면, 각 CNN 클래스는 입력 이미지에 나타난 폐기물이 어떤 종류인지 판단하여 참(True) 또는 거짓(False) 값을 출력한다.

도 2는 본 발명의 일 실시 예에 따른 구별부의 구성을 예시적으로 설명하는 도면이다. 도 2를 참고하면, 구별부(130)는 객체 분류 모듈과 위치 확인 모듈을 포함한다. 구별부(130)는 Faster R-CNN 방식을 이용하여 수신된 이미지에서 관심 영역(Region of Interest)과 비관심영역(Region of Non-Interest)을 구분할 수 있다.

이러한 구별부(130)는 객체 분류 모듈과 위치 확인 모듈을 포함한다. 구별부(130)의 객체 분류 모듈은 제1 특징 맵에 슬라이딩 윈도우를 적용하고, 슬라이딩 윈도우에 포함되는 특정 그룹의 픽셀에 객체(Object)가 포함되는지 여부를 판단한 객체 존부에 대한 정보를 생성한다. 구별부(130)의 위치 확인 모듈은 제1 특징 맵에 적용된 슬라이딩 윈도우의 센터 위치를 확인할 수 있는 윈도우 위치 정보를 생성한다.

이와 같이 구별부(130)에 의해서 생성된 객체 존부에 대한 정보 및 윈도우 위치 정보를 이용하여 관심 영역을 제안하는 네트워크의 동작에 대해서는 이하에서 도 3을 참고하여 구체적으로 설명한다.

도 3은 본 발명의 일 실시 예에 따른 구별부에서 사용하는 관심 영역 식별 방식을 설명하는 도면이다. 도 3을 참고하면, 컨벌루션 특징 맵(Convolution Feature Map)에 슬라이딩 윈도우(Sliding Window)를 적용한다. 슬라이딩 윈도우에 대한 k개의 앵커 박스(anchor boxes)를 생성하고, k개의 앵커 박스에 대해서 2k개의 객체 존부 정보를 생성한다. 또한, k개 앵커 박스에 대해서 4k 개의 윈도우 위치 정보를 생성한다. 2k개의 객체 존부 정보와 4k개의 윈도우 위치 정보를 각각 클래스 층과 리그레스 층으로 각각 전달하여 컨벌루션 뉴럴 네트워크를 통해서 관심 영역을 식별한다. 폐기물 관련 이미지에서 폐기물을 포함하는 영역을 관심 영역으로 구별하는 과정에 대해서 이하 도 4를 참고하여 설명한다.

도 4는 도 2의 구별부에 의해서 폐기물 이미지 중 관심 영역을 구별하는 과정을 예시적으로 도시한 도면이다. 도 4(a)를 참고하면, 구별부(130)는 수신된 이미지를 크게 4개의 영역으로 구분한다. 제1 영역(Region 1)은 제1 폐기물을 대부분 포함하는 영역이고, 제2 영역(Region 2)은 제1 폐기물과 유사한 특징을 갖고 있으나, 폐기물로 분류되지 않는 영역이다. 제3 영역(Region 3)은 제1 폐기물 이외의 주변 영역이고, 제4 영역(Region 4)은 제1 폐기물을 둘러싸는 배경 영역이다.

구별부(130)는 Faster R-CNN을 사용하여 수신된 이미지를 구성하는 제3 영역 및 제4 영역을 제외한 제1 영역과 제2 영역을 제1 관심 영역으로 구별할 수 있다(도 4(b) 참고). 구별부(130)는 제1 관심 영역에 대해서 Faster R-CNN을 적용하여 제1 관심 영역을 제2 관심 영역으로 구별할 수 있다(도 4(c) 참고). 즉, 제1 관심 영역은 제1 영역과 제2 영역으로 구성되고, 제2 관심 영역은 제1 영역만으로 구성된다. 제1 영역과 제2 영역은 서로 유사한 특징점을 공유하지만, 실질적으로 서로 다른 객체이므로 제1 관심 영역보다 제2 관심 영역이 보다 정확하게 폐기물 종류를 표현한다고 볼 수 있다. 다시 말해서 제1 관심 영역은 제2 영역을 포함하므로 폐기물의 종류, 크기, 중량 등을 왜곡할 수 있으므로, 보다 정밀하게 객체를 추출할 수 있는 제2 관심 영역을 이용한다면 폐기물의 종류, 크기, 중량 등을 보다 정확히 식별할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 판단부의 동작을 예시적으로 설명하는 도면이다. 도 5를 참고하면, 판단부(150)는 관심 영역을 포함하는 폐기물 관련 이미지를 입력 데이터로 수신하고, 입력 데이터를 크기 조절(Size adaptation) 블록에서 CNN에 입력될 수 있는 구조로 변경시킨다. 입력된 이미지는 각각의 폐기물 클래스(Class)별로 학습된 컨벌루션 뉴럴 네트워크를 통해서 140여종 이상의 폐기물의 종류로 식별될 수 있다.

도 5에 도시된 폐기물의 종류를 식별하기 위한 컨벌루션 뉴럴 네트워크의 구조를 살펴보면, 단일 CNN Network를 통해 최종 결과에 폐기물의 종류를 식별할 수 있다. 이는 폐기물의 종류 클래스에 대응하는 CNN 네크워크가 폐기물의 종류를 식별할 수 있는 이미지를 사전에 학습하였음을 의미한다.

컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 방법

도 6은 본 발명의 다른 실시 예에 따른 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 방법의 흐름도이다. 도 6을 참고하면, 폐기물 이미지 식별 방법은 이미지를 수신하는 단계(S610), 관심 영역과 비관심 영역을 구별하는 단계(S630) 및 폐기물의 종류를 식별하는 단계(S650)를 포함한다.

이미지를 수신하는 단계(S610)에서, 폐기물과 관련된 이미지를 수신한다. 수신된 이미지는 기 결정된 크기를 가지고 있다.

관심 영역과 비관심 영역을 구별하는 단계(S630)에서, 수신된 이미지를 폐기물과 관련된 이미지를 포함하는 관심 영역과 폐기물과 관련 없는 이미지를 포함하는 비관심 영역으로 구별한다.

폐기물의 종류를 식별하는 단계(S650)에서 관심 영역을 포하하는 이미지에 대해서 컨볼루션 뉴럴 네트워크를 사용하여 특징 맵을 생성하고, 특징 맵에 풀링 단계를 진행한다. 여기서 풀링 방식은 최대 풀링, 평균 풀링, 최소 풀링 방식이 적용될 수 있다. 풀링 레이어는 컨볼류션 레이어의 출력 데이터를 입력으로 받아서 출력 데이터(Activation Map)의 크기를 줄이거나 특정 데이터를 강조한다. 플링 레이어를 처리하는 방법으로는 최대 풀링(Max Pooling), 평균 풀링(Average Pooning) 및 최소 풀링(Min Pooling)이 적용될 수 있다. 풀링 레이어의 산출된 데이터를 이용하여 분류 단계를 진행하여 최종적으로 폐기물의 종류를 식별한다.

제1 실시 예 - 정밀도를 높이기 위한 방안 1

도 7은 본 발명의 다른 실시 예에 따른 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 시스템을 예시적으로 설명하는 블럭도이다. 도 7을 참고하면, 사용자가 전자장치(200)를 이용하여 폐기물에 대한 사진을 촬상하고, 촬상된 이미지를 네트워크를 통해서 폐기물 이미지 식별 장치(100)로 전송한다.

도 7에서는 폐기물 이미지 식별 장치(100)와 서버(300)가 별개로 도시되어 있으나, 물리적 또는 소프트웨어적으로 독립되거나 통합되어 설계될 수 있다. 이하에서는 폐기물 이미지 식별 장치(100)로 폐기물 이미지를 전송하는 경우를 중심으로 설명한다. 폐기물 이미지 식별 장치(100)는 수신된 폐기물 이미지에 대해서 1차 CNN을 활용하여 폐기물 이미지에 포함된 이미지를 식별한다. 1차 CNN에 대해서는 상술한 컨벌루션 뉴럴 네트워크와 실질적으로 동일하므로 자세한 설명을 생략한다. 1차 CNN의 결과만으로 사용자 단말로 식별 결과를 전달할 수 있다.

또는 1차 CNN에 의해서 폐기물을 분석하기 어렵거나 보다 정밀한 분석이 필요한 경우(예컨대, 세부 품목 구분이 필요한 경우)에는 2차 CNN에 의해서 폐기물 이미지를 분석하게 된다. 1차 CNN 및/또는 2차 CNN 분석 결과를 사용자 단말(200)로 전송한다.

사용자 단말(200)은 폐기물 이미지 식별 장치(100)로부터 수신한 폐기물 이미지 식별 결과를 표시하고, 사용자는 식별 결과를 수용할 수 있는 경우에는 해당 분석 결과에 동의하고, 동의된 분석 결과를 폐기물 이미지 식별 장치(100)로 피드백한다. 만약, 사용자가 식별 결과를 수요할 수 없는 경우에는 해당 분석 결과에 대해서 동의하지 않고, 부동의 분석 결과를 폐기물 이미지 식별 장치(100)로 피드백한다. 이때, 사용자는 부동의 분석 결과에 해당 이미지에 대한 정확한 정보를 포함시킬 수 있다. 예를 들어, 폐기물 이미지 식별 장치(100)는 가죽 재질의 3인용 쇼파라고 분석하였지만, 사용자는 면 소재의 4인용 쇼파로 판단될 경우에, 해당 분석 결과에 부동의하고, 해당 폐기물 이미지는 면 소재의 4인용 쇼파라는 정보를 추가하여 전달할 수 있다.

폐기물 이미지 식별 장치(100)는 사용자로부터의 피드백을 훈련 데이터로 추가하여 훈련 데이터 집합을 새롭게 갱신한다.

제2 실시 예 - 정밀도를 높이기 위한 방안 2

본 발명의 다른 실시 예에 따르면, 사용자가 폐기물에 대한 사진을 촬상한 뒤, 촬상된 이미지를 폐기물 이미지 식별 장치(100)로 전달하면, 폐기물 이미지 식별 장치(100)는 1차, 2차 분석을 통해서 사전 학습된 모든 품목을 분석한다. 이미지 식별 장치(100)는 사전 학습된 품목 이외의 제품에 대한 정보를 삭제하고, 사용자 단말(200)로 관련 정보를 전달한다. 이후 사용자는 해당 분석 결과에 대한 피드백 결과를 폐기물 이미지 식별 장치(100)로 전달한다. 분석 결과에 대한 동의 피드백을 전송한 경우에는 해당 분석 결과를 이하 설명하는 훈련 데이터 세트에 반영한다. 만약 분석 결과에 대한 동의하지 않는 피드백을 전송한 경우에 피드백에 포함된 사용자의 정보를 훈련 데이터 세트에 반영한다.

제3 실시 예 - 학습 데이터 세트

본 발명의 폐기물 이미지 식별 장치(100)는 140여종이 넘는 폐기물 이미지에 대한 사전 학습 데이터를 저장하고 있다. 폐기물 이미지 식별 장치(100)는 새로운 폐기물 이미지에 대한 식별 결과에 대한 사용자의 피드백 결과를 수신하여 딥 러닝을 위한 훈련 데이터 세트를 구성한다.

이러한 훈련 데이터 세트는 컨벌루션 뉴럴 네트워크의 풀링 레이어의 결과값인 사진 정보, 품목 정보, 1차/2차 분석 여부, 분석 결과에 대한 사용자의 확인 여부, 폐기물의 크기, 무게, 재질에 대한 정보 등을 포함한다.

한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims

컨볼루션 뉴런 네트워크(Convolutional Neuron Network)를 이용한 폐기물 이미지 식별 장치에 있어서,
기 결정된 크기의 폐기물 관련 이미지를 수신하는 수신부;
상기 수신된 이미지를 관심 영역과 비관심 영역으로 구별하는 구별부; 및
기 저장된 복수의 폐기물 관련 이미지에 대한 학습 데이터 세트에 기초하여 상기 관심 영역에 포함된 폐기물의 특징을 파악하여 상기 폐기물의 종류를 식별하는 판단부를 포함하고,
상기 구별부는, 상기 수신된 이미지에 제1 컨볼루션 뉴런 네트워크를 사용하여 제1 특징 맵을 획득하고, 상기 제1 특징 맵에 영역 제안 네트워크(Region Proposal Network)를 사용하여, 상기 관심 영역을 구별하며,
상기 판단부는, 신규 폐기물 이미지에 대한 식별 결과에 대한 사용자의 피드백을 수신하여 상기 학습 데이터 세트를 갱신하는 것을 특징으로 하는 컨볼루션 뉴런 네트워크를 이용한 폐기물 이미지 식별 장치.
삭제
제1 항에 있어서,
상기 구별부는, 상기 제1 특징 맵에 슬라이딩 윈도우(Sliding Window)를 적용하여, 상기 슬라이딩 윈도우에 포함되는 객체의 유무를 분류하는 객체 분류 모듈과 상기 슬라이딩 윈도우의 위치를 파악하는 위치 확인 모듈을 포함하는 것을 특징으로 하는 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 장치.
제1 항에 있어서,
상기 판단부는, 상기 관심 영역에 제2 컨볼루션 뉴럴 네트워크를 사용하여 제2 특징 맵을 획득하고, 상기 제2 특징 맵에 기초하여 상기 관심 영역에 포함된 폐기물을 세부 항목으로 분류하는 것을 특징으로 하는 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 장치.
제3 항 또는 제4 항에 있어서,
상기 판단부는, 상기 관심 영역의 제1 특징 맵 또는 제2 특징 맵에 대해서 최대 풀링(Max pooling), 평균 풀링(Mean pooling) 및 최소 풀링(Minimum pooling)중 적어도 하나를 적용하는 것을 특징으로 하는 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 장치.
컨볼루션 뉴런 네트워크를 이용한 폐기물 이미지 식별 장치를 이용한 폐기물 이미지 식별 방법에 있어서,
기 결정된 크기의 폐기물 관련 이미지를 수신하는 단계;
상기 수신하는 단계에서 얻어진 이미지를 관심 영역과 비관심 영역을 구별하는 단계; 및
기 저장된 복수의 폐기물 관련 이미지에 대한 학습 데이터 세트에 기초하여 상기 관심 영역으로 구별된 이미지에 포함된 폐기물의 특징을 파악하고 상기 폐기물의 이미지를 식별하는 단계를 포함하고,
상기 구별하는 단계는, 상기 수신된 이미지에 제1 컨볼루션 뉴런 네트워크를 사용하여 제1 특징 맵을 획득하는 단계와, 상기 제1 특징 맵에 영역 제안 네트워크(Region Proposal Network)를 사용하여 상기 관심 영역을 구별하고,
상기 식별하는 단계는, 신규 폐기물 이미지에 대한 식별 결과에 대한 사용자의 피드백을 수신하여 상기 학습 데이터 세트를 갱신하는 것을 특징으로 하는 컨볼루션 뉴런 네트워크를 이용한 폐기물 이미지 식별 장치를 이용한 폐기물 이미지 식별 방법.
삭제
제6 항에 있어서,
상기 구별하는 단계는, 상기 제1 특징 맵에 슬라이딩 윈도우를 적용하는 단계와, 상기 슬라이딩 윈도우에 포함되는 객체의 유무를 분류하는 단계, 및 상기 슬라이딩 윈도우의 위치를 파악하는 단계를 포함하는 것을 특징으로 하는 폐기물 이미지 식별 방법.
제6 항에 있어서,
상기 구별하는 단계는, 상기 관심 영역에 제2 컨볼루션 뉴럴 네트워크를 사용하여 제2 특징 맵을 획득하는 단계, 및 상기 제2 특징 맵에 기초하여 상기 관심 영역에 포함된 폐기물의 세부를 분류하는 단계를 포함하는 폐기물 이미지 식별 방법.
제8 항에 있어서,
상기 구별하는 단계는, 상기 관심 영역에 대한 제1 특징 맵 또는 제2 특징 맵을 최대 풀링(Max pooling)하는 단계를 더 포함하는 폐기물 이미지 식별 방법.