KR20200138465A - Smart cctv system for analysis of waste - Google Patents

Smart cctv system for analysis of waste Download PDF

Info

Publication number
KR20200138465A
KR20200138465A KR1020190063102A KR20190063102A KR20200138465A KR 20200138465 A KR20200138465 A KR 20200138465A KR 1020190063102 A KR1020190063102 A KR 1020190063102A KR 20190063102 A KR20190063102 A KR 20190063102A KR 20200138465 A KR20200138465 A KR 20200138465A
Authority
KR
South Korea
Prior art keywords
waste
cctv
image
operation unit
collection box
Prior art date
Application number
KR1020190063102A
Other languages
Korean (ko)
Other versions
KR102219025B1 (en
Inventor
김대선
Original Assignee
주식회사 디파인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디파인 filed Critical 주식회사 디파인
Priority to KR1020190063102A priority Critical patent/KR102219025B1/en
Publication of KR20200138465A publication Critical patent/KR20200138465A/en
Application granted granted Critical
Publication of KR102219025B1 publication Critical patent/KR102219025B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

The present invention relates to an intelligent CCTV system having a waste analysis function. According to one embodiment of the present invention, the intelligent CCTV system having the waste analysis function comprises: one or more CCTV devices for photographing one or more collection boxes or spaces wherein waste is discharged and accommodated; and an image server configured to store information on images photographed by the one or more CCTV devices, wherein the CCTV device may comprise: a photographing unit configured to photograph the one or more collection boxes or spaces; and an operation unit configured to generate a database for extracting features of the waste by using images photographed by the photographing unit, train a model regarding the features of the waste by using the generated database, and calculate and output features of the waste accommodated in the one or more collection boxes or spaces according to a result of the training. According to the present invention, a type and amount of waste discharged to a collection box or space can be confirmed by using images by photographing the collection box or space for collecting waste by using a camera such as a CCTV and the like.

Description

폐기물 분석 지능형 CCTV 시스템{SMART CCTV SYSTEM FOR ANALYSIS OF WASTE}Waste analysis intelligent CCTV system {SMART CCTV SYSTEM FOR ANALYSIS OF WASTE}

본 발명은 폐기물 분석 지능형 CCTV 시스템에 관한 것으로, 더욱 상세하게는 폐기물의 수거를 위한 수거함의 종류 및 수거함에 수용된 폐기물의 양을 분석할 수 있는 폐기물 분석 지능형 CCTV 시스템에 관한 것이다.The present invention relates to a waste analysis intelligent CCTV system, and more particularly, to a waste analysis intelligent CCTV system capable of analyzing the type and amount of waste accommodated in the collection box for the collection of waste.

지구 온난화와 환경 파괴에 대한 경각심이 높아지면서, 이산화탄소의 감소 및 자원 절약 그리고 환경보호를 위해 자원을 재활용하는 노력이 여러 분야에서 이루어지고 있다. 이러한 자원 재활용을 위한 노력을 보다 효과적으로 할 수 있게 폐기물을 종류별로 분류하여 배출하는 정책이 시행되고 있다.With increasing awareness of global warming and environmental destruction, efforts to recycle resources for reduction of carbon dioxide, resource conservation, and environmental protection are being made in various fields. In order to make efforts to recycle these resources more effectively, a policy is in place to classify and discharge wastes by type.

일반적으로 폐기물을 분리하여 배출하는 것은 시민들이 자발적으로 수행할 수 있게 폐기물의 종류를 구별하여 투입할 수 있도록 폐기물 종류에 따라 수거함이나 공간이 별도로 구비된다.In general, to separate and dispose of waste, a separate collection box or space is provided according to the type of waste so that citizens can voluntarily separate and input the type of waste.

이러한 폐기물 수거함이나 공간이 일정 이상 채워지면 이를 수거하기 위한 차량을 이용하여 폐기물 처리 시설로 옮겨져야 하는데, 폐기물의 종류별 배출량을 분석하는 것이 쉽지 않다.When such a waste collection box or space is filled over a certain amount, it must be transferred to a waste treatment facility using a vehicle to collect it, but it is difficult to analyze the amount of discharge by type of waste.

종래에는, 초음파 센서 등을 이용하여 수거함이나 공간에 폐기물이 일정 이상의 높이로 채워지면, 수거함이나 공간에 폐기물이 채워진 것을 확인하도록 하는 기술이 적용되었다. 하지만, 초음파 센서의 특성상 특정 위치에 소정의 높이로 폐기물이 쌓이면, 다른 위치에 폐기물이 채워질 공간이 있음에도 불구하고 수거함이나 공간에 폐기물이 더 이상 채워질 공간이 없는 것으로 표시되는 등의 오류가 발생할 수 있다.Conventionally, when waste is filled to a predetermined height or higher in a collection box or space using an ultrasonic sensor or the like, a technique has been applied to confirm that the waste is filled in the collection box or space. However, due to the nature of the ultrasonic sensor, if waste is accumulated at a predetermined height at a specific location, errors such as indicating that there is no more space to be filled with waste may occur in the collection box or the space even though there is a space to be filled with waste at another location. .

또한, 초음파 센서는 사물을 인지하지 못하기 때문에 폐기물의 종류를 판단하지 못하고 수거함이나 공간의 청결도 등을 확인하지 못하는 문제가 있다.In addition, since the ultrasonic sensor does not recognize objects, there is a problem in that it cannot determine the type of waste and cannot check the cleanliness of a collection box or space.

대한민국 공개특허 제10-2018-0086164호 (2018.07.30.)Republic of Korea Patent Publication No. 10-2018-0086164 (July 30, 2018) 대한민국 공개특허 제10-2017-0017652호 (2017.02.15.)Republic of Korea Patent Publication No. 10-2017-0017652 (2017.02.15.) 대한민국 공개특허 제10-2012-0118226호 (2012.10.26.)Republic of Korea Patent Publication No. 10-2012-0118226 (2012.10.26.)

본 발명이 해결하고자 하는 과제는, 폐기물을 수거하기 위한 장소에 설치된 폐기물 수거함이나 공간에 정상적으로 폐기물이 분리 배출되어 있는지를 확인하고 또한, 폐기물의 배출량을 확인할 수 있는 폐기물 분석 지능형 CCTV 시스템을 제공하는 것이다.The problem to be solved by the present invention is to provide a waste analysis intelligent CCTV system that can check whether waste is normally separated and discharged in a waste collection box or space installed at a place for collecting waste, and also check the discharge amount of waste. .

본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템은, 폐기물이 배출되어 수용되는 하나 이상의 수거함 또는 공간을 촬영하기 위한 하나 이상의 CCTV 장치; 및 상기 하나 이상의 CCTV 장치에서 촬영된 영상에 대한 정보가 저장되는 영상 서버를 포함하고, 상기 CCTV 장치는, 상기 하나 이상의 수거함 또는 공간을 촬영하는 촬영부; 및 상기 촬영부에서 촬영된 영상 또는 이미지를 이용하여 상기 폐기물의 특징을 추출하기 위한 데이터베이스를 생성하고, 생성된 데이터베이스를 이용하여 상기 폐기물의 특징에 대한 모델을 학습하며, 학습된 결과에 따라 상기 하나 이상의 수거함 또는 공간에 수용된 폐기물의 특징을 연산하여 출력하는 연산부를 포함할 수 있다.Waste analysis intelligent CCTV system according to an embodiment of the present invention, one or more CCTV devices for photographing one or more collection boxes or spaces in which waste is discharged and accommodated; And an image server for storing information on images captured by the one or more CCTV devices, wherein the CCTV device includes: a photographing unit for photographing the one or more collection boxes or spaces; And generating a database for extracting characteristics of the waste using the image or image captured by the photographing unit, learning a model for the characteristics of the waste using the generated database, and learning the one It may include a calculation unit that calculates and outputs the characteristics of the waste accommodated in the above collection box or space.

상기 CCTV 장치는, 상기 연산부에서 연산된 상기 폐기불의 특징을 저장하는 저장부를 더 포함할 수 있다.The CCTV device may further include a storage unit for storing the characteristics of the waste fire calculated by the operation unit.

상기 연산부에서 연산되는 폐기물의 특징은 상기 하나 이상의 수거함 또는 공간에 수용된 폐기물의 종류 또는 폐기물의 배출량일 수 있다.The characteristic of the waste calculated by the operation unit may be the type of waste or discharge amount of the waste accommodated in the one or more collection boxes or spaces.

상기 연산부는, 상기 데이터베이스를 이용하여 상기 하나 이상의 수거함 또는 공간에 폐기물에 대한 범주 특징을 추출하고, 추출된 범주 특징을 이용하여 상기 하나 이상의 수거함 또는 공간의 폐기물 특징에 대한 모델을 학습하며, 학습된 폐기물 특징에 대한 모델을 이용하여 상기 하나 이상의 폐기물 특징에 대한 결과를 연산할 수 있다.The operation unit extracts category features for waste in the one or more collection boxes or spaces using the database, learns a model for waste characteristics in the one or more collection boxes or spaces using the extracted category features, and A model for waste characteristics can be used to compute results for the one or more waste characteristics.

상기 연산부는, 영상 인식을 위한 딥러닝 합성곱 신경망(Convoloutional Neural Network, CNN)을 기반으로 하여 상기 폐기물의 특징에 대한 모델을 학습할 수 있다.The operation unit may learn a model for the characteristics of the waste based on a deep learning convolutional neural network (CNN) for image recognition.

한편, 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템은, 폐기물이 배출되어 수용되는 하나 이상의 수거함 또는 공간을 촬영하기 위한 하나 이상의 CCTV 장치; 및 상기 하나 이상의 CCTV 장치에서 촬영된 영상에 대한 정보가 저장되는 영상 서버를 포함하고, 상기 영상 서버는, 상기 하나 이상의 CCTV 장치에서 촬영된 영상 또는 이미지를 수신하며, 수신된 영상 또는 이미지를 이용하여 상기 폐기물의 특징을 추출하기 위한 데이터베이스를 생성하고, 생성된 데이터베이스를 이용하여 상기 폐기물의 특징에 대한 모델을 학습하며, 학습된 결과에 따라 상기 하나 이상의 수거함 또는 공간에 수용된 폐기물의 특징을 연산하여 출력하는 서버 연산부를 포함할 수 있다.On the other hand, the waste analysis intelligent CCTV system according to an embodiment of the present invention, one or more CCTV devices for photographing one or more collection boxes or spaces in which waste is discharged and accommodated; And an image server for storing information on images captured by the one or more CCTV devices, wherein the image server receives images or images captured by the one or more CCTV devices, and uses the received images or images. Generates a database for extracting characteristics of the waste, learns a model for the characteristics of the waste using the generated database, and calculates and outputs the characteristics of the waste accommodated in the one or more collection boxes or spaces according to the learned result It may include a server operation unit.

상기 서버 연산부에서 연산되는 폐기물의 특징은 상기 하나 이상의 수거함 또는 공간에 수용된 폐기물의 종류 또는 폐기물의 배출량일 수 있다.The characteristic of the waste calculated by the server operation unit may be the type of waste or discharge amount of waste accommodated in the one or more collection boxes or spaces.

상기 서버 연산부는, 상기 데이터베이스를 이용하여 상기 하나 이상의 수거함 또는 공간에 폐기물에 대한 범주 특징을 추출하고, 추출된 범주 특징을 이용하여 상기 하나 이상의 수거함 또는 공간의 폐기물 특징에 대한 모델을 학습하며, 학습된 폐기물 특징에 대한 모델을 이용하여 상기 하나 이상의 폐기물 특징에 대한 결과를 연산할 수 있다.The server operation unit extracts category features for waste in the one or more collection boxes or spaces using the database, and learns a model for the waste characteristics of the one or more collection boxes or spaces using the extracted category features, and learns The models for the waste features that have been generated can be used to compute results for the one or more waste features.

상기 서버 연산부는, 영상 인식을 위한 딥러닝 합성곱 신경망(Convoloutional Neural Network, CNN)을 기반으로 하여 상기 폐기물의 특징에 대한 모델을 학습할 수 있다.The server operation unit may learn a model for the characteristics of the waste based on a deep learning convolutional neural network (CNN) for image recognition.

상기 CCTV 장치는, 상기 하나 이상의 수거함 또는 공간을 촬영하는 촬영부; 및 상기 촬영부에서 촬영된 영상 또는 이미지를 이용하여 상기 폐기물의 특징을 추출하기 위한 데이터베이스를 생성하고, 생성된 데이터베이스를 이용하여 상기 폐기물의 특징에 대한 모델을 학습하며, 학습된 결과에 따라 상기 하나 이상의 수거함 또는 공간에 수용된 폐기물의 특징을 연산하여 출력하는 연산부를 포함하며, 상기 영상 서버는 상기 촬영부에서 촬영된 영상 또는 이미지를 수신하고, 상기 서버 연산부는 연산된 결과를 상기 CCTV 장치에 포함된 연산부에 전송할 수 있다.The CCTV device, a photographing unit for photographing the one or more collection boxes or spaces; And generating a database for extracting characteristics of the waste using the image or image captured by the photographing unit, learning a model for the characteristics of the waste using the generated database, and learning the one And a calculation unit that calculates and outputs characteristics of wastes accommodated in the above collection box or space, wherein the image server receives the image or image captured by the photographing unit, and the server calculation unit includes the calculated result in the CCTV device. It can be transmitted to the calculation unit.

본 발명에 의하면, CCTV 등의 카메라를 이용하여 폐기물을 수거하기 위한 수거함이나 공간을 촬영함으로써, 수거함이나 공간에 배출된 폐기물의 종류와 폐기물의 배출량을 영상을 통해 확인할 수 있는 효과가 있다.According to the present invention, by photographing a collection box or space for collecting waste by using a camera such as CCTV, there is an effect that the type of waste discharged to the collection box or space and the amount of waste discharged can be confirmed through an image.

또한, CCTV를 이용하여 촬영한 영상을 분석하여 폐기물의 종류를 인식하고 폐기물 배출량을 분석할 수 있어, 폐기물을 수거하기 위한 차량의 최적 경로를 계산하거나 지역에 따라 폐기물의 배출 현황을 분석할 수 있는 효과가 있다.In addition, by analyzing the image captured using CCTV, the type of waste can be recognized and the amount of waste discharged can be analyzed, so that the optimal route of vehicles for collecting waste can be calculated or the status of the discharge of waste can be analyzed by region. It works.

도 1은 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템을 도시한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템에서 딥러닝 수행을 위한 개념을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템의 통합 단말기를 통해 수거함의 분석 결과의 예를 도시한 도면이다.
도 5 내지 도 9는 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템에서 폐기물의 배출량을 분석한 결과를 설명하기 위한 도면이다.
도 10 내지 도 12는 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템에서 폐기물의 종류를 분석한 결과를 설명하기 위한 도면이다.
도 13은 본 발명의 다른 실시예에 따른 폐기물 분석 지능형 CCTV 시스템을 도시한 블록도이다.
1 is a schematic diagram showing a waste analysis intelligent CCTV system according to an embodiment of the present invention.
2 is a block diagram showing an intelligent CCTV system for waste analysis according to an embodiment of the present invention.
3 is a view for explaining a concept for performing deep learning in the waste analysis intelligent CCTV system according to an embodiment of the present invention.
4 is a view showing an example of the analysis result of the collection box through the integrated terminal of the waste analysis intelligent CCTV system according to an embodiment of the present invention.
5 to 9 are views for explaining the result of analyzing the discharge amount of waste in the waste analysis intelligent CCTV system according to an embodiment of the present invention.
10 to 12 are views for explaining a result of analyzing the type of waste in the waste analysis intelligent CCTV system according to an embodiment of the present invention.
13 is a block diagram showing a waste analysis intelligent CCTV system according to another embodiment of the present invention.

본 발명의 바람직한 실시예에 대하여 첨부된 도면을 참조하여 더 구체적으로 설명한다.A preferred embodiment of the present invention will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템을 도시한 개략도이고, 도 2는 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템을 도시한 블록도이다. 도 3은 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템에서 딥러닝 수행을 위한 개념을 설명하기 위한 도면이다.1 is a schematic diagram showing a waste analysis intelligent CCTV system according to an embodiment of the present invention, Figure 2 is a block diagram showing a waste analysis intelligent CCTV system according to an embodiment of the present invention. 3 is a view for explaining a concept for performing deep learning in the waste analysis intelligent CCTV system according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템(100)은, CCTV 장치(110), 영상 서버(120) 및 관리자 단말기(130)를 포함한다.1 and 2, the waste analysis intelligent CCTV system 100 according to an embodiment of the present invention includes a CCTV device 110, an image server 120, and a manager terminal 130.

CCTV 장치(110)는, 도시된 바와 같이, 다수 개가 구비될 수 있으며, 각 CCTV 장치(110)는, 하나의 수거함(WB) 내부를 촬영하도록 설치될 수 있다. 이때, 본 실시예에서, 하나의 CCTV 장치(110)가 하나의 수거함(WB)을 촬영하는 것으로 설명하지만, 이에 한정되는 것은 아니며, 하나의 CCTV 장치(110)는 폐기물이 수거되는 공간을 촬영할 수도 있다. 즉, 수거함(WB)과 같이 폐기물이 수거되는 특정 박스 형상의 통이 아닌, 특정 폐기물을 수거할 수 있는 장소일 수 있다.CCTV device 110, as shown, may be provided with a plurality, each CCTV device 110, may be installed to photograph the inside of one collection box (WB). At this time, in this embodiment, it is described that one CCTV device 110 photographs one collection box (WB), but is not limited thereto, and one CCTV device 110 may photograph a space where waste is collected. have. That is, it may be a place where specific waste can be collected, not a specific box-shaped bin where waste is collected, such as a collection box (WB).

그리고 본 실시예에서, 수거함(WB)이 이용되는 경우, 필요에 따라 CCTV 장치(110)에서 촬영하는 것을 포함하여, 수거함(WB)의 무게를 측정할 수 있는 구성이 포함될 수도 있다. 수거함(WB)의 무게 측정은, 수거함(WB)의 하부 각각에 무게를 측정할 수 있는 장치가 설치될 수 있다. 수거함(WB)의 무게를 측정하고, 측정된 수거함(WB)의 무게에 대한 정보는 관리자 단말기(130)로 전송될 수 있다.And in the present embodiment, when the collection box (WB) is used, a configuration capable of measuring the weight of the collection box (WB) may be included, including photographing in the CCTV device 110 as necessary. To measure the weight of the collection box WB, a device capable of measuring weight may be installed at each lower portion of the collection box WB. The weight of the collection box WB is measured, and information on the measured weight of the collection box WB may be transmitted to the manager terminal 130.

이렇게 수거함(WB)의 무게를 측정함으로써, 수거함(WB)으로 배출된 폐기물의 배출량을 측정할 수 있다. 본 실시예에서, 무게 측정 장치가 선택적으로 구비되더라도, CCTV 장치(110)에서 촬영된 영상을 이용하여 수거함(WB)을 채운 폐기물의 배출량을 확인할 수 있다. 이를 위해 본 실시예에서, CCTV 장치(110)는, 촬영부(112), 영상부 및 저장부(116)를 포함한다.By measuring the weight of the collection box WB, the amount of waste discharged to the collection box WB can be measured. In this embodiment, even if the weighing device is optionally provided, it is possible to check the discharge amount of waste filling the collection bin (WB) by using the image captured by the CCTV device 110. To this end, in this embodiment, the CCTV device 110 includes a photographing unit 112, an image unit, and a storage unit 116.

촬영부(112)는, 수거함(WB)의 내부를 촬영할 수 있다. 이때, 하나의 수거함(WB)에 하나의 CCTV 장치(110)가 설치될 수 있으며, CCTV 장치(110)에 포함된 촬영부(112)에서 수거함(WB)의 내부를 촬영할 수 있다. 그리고 본 실시예에서, 촬영부(112)는 수거함(WB) 내부를 주간 및 야간에 촬영할 수 있으며, 주간 촬영을 위한 카메라와 야간 촬영을 위한 적외선 카메라를 포함할 수 있다.The photographing unit 112 may photograph the inside of the collection box WB. At this time, one CCTV device 110 may be installed in one collection box WB, and the inside of the collection box WB may be photographed by the photographing unit 112 included in the CCTV device 110. In addition, in the present embodiment, the photographing unit 112 may photograph the inside of the collection box WB at daytime and at night, and may include a camera for daytime photographing and an infrared camera for night photographing.

촬영부(112)는 수거함(WB) 내부를 촬영할 수 있으므로, 본 실시예에서, CCTV 장치(110)는, 도 1에 도시된 바와 같이, 수거함(WB)의 상부에 고정되어 설치될 수 있다. 여기서, CCTV 장치(110)가 다수 개가 구비되어 다수 개의 수거함(WB)을 각각 촬영하는 것에 대해 설명하지만, 이에 한정되는 것은 아니다. 필요에 따라 하나의 CCTV 장치(110)가 구비되고, 하나의 CCTV 장치(110)가 다수의 수거함(WB)을 촬영하도록 구성될 수도 있다. 즉, 다수의 수거함(WB)이 배치된 위치에 하나의 CCTV 장치(110)가 이동하여 다수의 수거함(WB) 내부를 순차적으로 각각 촬영하도록 설치될 수도 있다.Since the photographing unit 112 can photograph the inside of the collection box WB, in this embodiment, the CCTV device 110 may be fixedly installed on the upper part of the collection box WB, as shown in FIG. 1. Here, a plurality of CCTV devices 110 are provided to describe each photographing of a plurality of collection boxes (WB), but is not limited thereto. If necessary, one CCTV device 110 is provided, and one CCTV device 110 may be configured to photograph a plurality of collection boxes (WB). That is, one CCTV device 110 may be installed to move to a location where a plurality of collection boxes WB are arranged to sequentially photograph the interior of the plurality of collection boxes WB.

연산부(114)는 촬영부(112)에서 촬영된 영상을 분석하여 수거함(WB) 내에 수용된 폐기물의 종류 및 폐기물의 수용량에 대한 분석을 수행할 수 있다. 본 실시예에서, 연산부(114)는 딥러닝 학습을 통해 수거함(WB) 내에 수용된 폐기물의 종류 및 폐기물의 수용량에 대한 분석이 이루어질 수 있다. 이때, 딥러닝 학습 모델에 대한 상세한 설명은 후술하겠지만, 딥러닝 합성곱 신경망(Convoloutional Neural Network, CNN)을 기반으로 하는 모델을 통해 폐기물의 종류 및 수거함(WB) 내의 폐기물 수용량을 분석할 수 있다.The operation unit 114 may analyze the image photographed by the photographing unit 112 to perform analysis on the type of waste and the capacity of the waste accommodated in the collection box WB. In this embodiment, the calculation unit 114 may analyze the type of waste accommodated in the collection box WB and the capacity of the waste through deep learning learning. In this case, a detailed description of the deep learning learning model will be described later, but the type of waste and the waste capacity in the collection bin (WB) can be analyzed through a model based on a deep learning convoloutional neural network (CNN).

이를 위해 연산부(114)는 딥러닝 합성곱 신경망을 기반으로 하는 프로그램을 통해 분석이 이루어질 수 있게 컴퓨팅 리소스(CPU, GPU, RAM 및 저장장치 등)를 포함하는 하드웨어로 구성될 수 있다. 그리고 연산부(114)에 포함된 저장장치에 폐기물 종류 및 수거함(WB)의 수용량에 대한 모델, 분석 프로그램 및 폐기물 분석 정보 등이 저장될 수 있다.To this end, the operation unit 114 may be configured with hardware including computing resources (CPU, GPU, RAM, storage device, etc.) so that analysis can be performed through a program based on a deep learning convolutional neural network. In addition, a model, analysis program, waste analysis information, and the like for the type of waste and the capacity of the collection box WB may be stored in the storage device included in the operation unit 114.

도 3을 참조하면, 먼저, 연산부(114)는, 폐기물이 수거되는 특정 장소에서, 폐기물의 종류 및 폐기물의 배출량에 대한 정보(input data)를 바탕으로 데이터베이스가 구축된다. 그리고 합성곱 신경망을 기반으로 하는 학습을 위해 구축된 데이터베이스에서 폐기물 종류 및 폐기물의 배출량에 대한 범주 특징을 추출한다(Convolutions). 이렇게 학습된 폐기물 종류 및 폐기물 배출량의 분석 모델을 이용하여 폐기물의 종류 및 폐기물의 배출량을 각각 추출할 수 있다. 이때, 학습된 모델은 수거함(WB)의 폐기물 종류 및 폐기물 배출량에 대한 영상 또는 이미지를 확보할 수 있다.Referring to FIG. 3, first, the operation unit 114 builds a database based on input data on the type of waste and the amount of waste discharged at a specific place where waste is collected. And, from the database built for learning based on convolutional neural networks, category features for waste types and waste emissions are extracted (Convolutions). The type of waste and the amount of waste can be extracted, respectively, by using the analyzed model of the type of waste and the amount of waste that has been learned in this way. At this time, the learned model can secure an image or image of the waste type and waste discharge amount of the collection bin (WB).

여기서, 폐기물 종류 및 폐기물 배출량의 분석 모델을 학습하는 과정에서, 폐기물 수거 장소에 대한 다양한 기상변화(예컨대, 눈이나 비가 오는 상황)이나 시간 변화(주간 및 야간 변화) 등에 대한 다양한 영상 또는 이미지를 확보하고, 확보된 영상 또는 이미지를 통해 폐기물 종류 및 폐기물 배출량에 대한 분석 모델을 학습할 수 있다.Here, in the process of learning the analysis model of waste type and waste discharge, various images or images of various weather changes (e.g., snow or rain) or time changes (day and night changes) for the waste collection location And, it is possible to learn an analysis model for waste types and waste discharge through the secured images or images.

그리고 학습된 폐기물 종류 및 폐기물 배출량을 추출할 때, 폐기물 수거함(WB)에 대한 영상 또는 이미지를 사용하여 실제 폐기물의 종류와 폐기물의 배출량을 분석하고, 오류가 발생하는 경우, 폐기물 종류 및 폐기물 배출량에 대한 범주를 다시 추출하는 과정부터 반복하여 오류가 발생하는 것을 최소화할 수 있다. 따라서 연산부(114)는 최종적으로 폐기물의 종류 및 폐기물의 배출량에 대한 정보를 연산할 수 있다.In addition, when extracting the learned waste type and waste discharge amount, analyze the actual type of waste and discharge amount by using images or images of the waste collection box (WB), and if an error occurs, the waste type and waste discharge amount It is possible to minimize the occurrence of errors by repeating the process of re-extracting the categories for each. Therefore, the calculation unit 114 may finally calculate the type of waste and information on the amount of waste discharged.

본 실시예에서, 합성곱 신경망은 기계학습과 인지과학 분야에서 생물학의 신경망과 같은 통계학적인 학습 알고리즘이다. 합성곱 신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시킴에 따라 무제 해결 능력을 가지는 모델 전반을 의미할 수 있다.In this embodiment, the convolutional neural network is a statistical learning algorithm like a biological neural network in the field of machine learning and cognitive science. The convolutional neural network may refer to an overall model that has the ability to solve unrestrictedly as artificial neurons (nodes), which form a network through synaptic bonding, change the synaptic bonding strength through learning.

본 실시예에서, CCTV 장치(110)에 포함된 연산부(114)는, 합성곱 신경망 모델를 이용하여 영상 인식 및 사물 인지 분석에 사용되는 다양한 신경망(예컨대, LeNET, AlexNet, ZFNet, GooLeNet, ResNet 등)을 통해 폐기물 종류 및 폐기물 배출량에 대한 분석 모델을 생성할 수 있다.In this embodiment, the operation unit 114 included in the CCTV device 110 is a variety of neural networks used for image recognition and object recognition analysis using a convolutional neural network model (eg, LeNET, AlexNet, ZFNet, GooLeNet, ResNet, etc.) Through this, analysis models for waste types and waste emissions can be created.

즉, 도 3에 도시된 입력데이터(input data)로 촬영부(112)에서 촬영된 영상 또는 이미지가 입력될 수 있다. 그리고 연산부(114)에서 입력된 영상이나 이미지를 이용하여 수거함(WB)에 수용된 폐기물 종류 및 폐기물 배출량을 분석하여 해당 정보를 출력할 수 있다.That is, an image or an image captured by the photographing unit 112 may be input as input data shown in FIG. 3. In addition, by using the image or image input from the operation unit 114, the type of waste and the amount of waste received in the collection box WB may be analyzed, and the corresponding information may be output.

이렇게 연산부(114)에서 연산된 폐기물의 종류 및 폐기물의 배출량에 대한 정보는 영상 서버(120)로 전송될 수 있다.In this way, information on the type of waste and discharge amount of the waste calculated by the operation unit 114 may be transmitted to the image server 120.

저장부(116)는 연산부(114)에서 연산된 결과를 저장한다. 이때, 저장부(116)는 연산부(114)에 포함된 저장장치와 독립된 구성으로 구비될 수 있지만, 이에 한정되는 것은 아니며, 필요에 따라 연산부(114)에 포함된 저장장치와 저장부(116)는 하나의 구성으로 구비될 수도 있다.The storage unit 116 stores the result calculated by the operation unit 114. At this time, the storage unit 116 may be provided in a configuration independent from the storage device included in the calculation unit 114, but is not limited thereto, and the storage device and the storage unit 116 included in the calculation unit 114 as necessary. May be provided in one configuration.

영상 서버(120)는 앞서 설명한 바와 같이, 다수의 CCTV 장치(110)에 포함된 연산부(114)에서 연산된 폐기물 종류 및 폐기물 배출량에 대한 연산 결과를 수신할 수 있고, 수신된 결과를 각각의 수거함(WB)에 대한 정보로 저장할 수 있다.As described above, the image server 120 may receive calculation results for waste types and waste discharges calculated by the calculation unit 114 included in a plurality of CCTV devices 110, and collect the received results. It can be saved as information about (WB).

관리자 단말기(130)는, 폐기물 수거 장소의 폐기물 배출 현황을 관리하기 위해 구비된다. 관리자 단말기(130)는 CCTV 장치(110) 및 영상 서버(120)에서 전송된 정보를 바탕으로 폐기물 수거함(WB)의 분석 및 관리가 수행될 수 있다. 본 실시예에서, 관리자 단말기(130)는 폐기물 수거 장소의 각 수거함(WB)에 대한 폐기물에 따른 배출량에 대한 정보를 기반으로 각 수거함(WB)에 수용된 폐기물을 수거하기 위한 차량의 최적의 이동 경로를 설정할 수 있다.The manager terminal 130 is provided to manage the current state of waste discharge at the waste collection site. The manager terminal 130 may analyze and manage a waste collection box (WB) based on information transmitted from the CCTV device 110 and the image server 120. In this embodiment, the manager terminal 130 is the optimal movement path of the vehicle for collecting the waste contained in each collection box (WB) based on the information on the discharge amount according to the waste for each collection box (WB) of the waste collection location Can be set.

도 4는 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템의 통합 단말기를 통해 수거함의 분석 결과의 예를 도시한 도면이다.4 is a view showing an example of the analysis result of the collection box through the integrated terminal of the waste analysis intelligent CCTV system according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템(100)을 이용하여 수거함(WB)에 각 폐기물 별로, 수거함(WB)에 수용된 수용량을 영상을 이용하여 분석한 것을 확인할 수 있다.Referring to FIG. 4, it is confirmed that the capacity received in the collection box WB is analyzed using images for each waste in the collection box (WB) using the waste analysis intelligent CCTV system 100 according to an embodiment of the present invention. I can.

첫 번째 수거함(WB)에 캔 종류의 폐기물이 수용되어 있으며, 수거함(WB)의 약 22%를 캔 종류의 폐기물이 채우고 있는 것을 확인할 수 있다. 그리고 두 번째 수거함(WB)에 플라스틱 종류의 폐기물이 수용되어 있고, 수거함(WB)의 약 83%를 플라스틱 종류의 폐기물이 채우고 있는 것을 확인할 수 있다. 또한, 세 번째 수거함(WB)에 종이 종류의 폐기물이 수용되어 있으며, 수거함(WB)의 약 42%를 종이 종류의 폐기물이 채우고 있는 것을 확인할 수 있다. 그리고 네 번째 수거함(WB)에 일반쓰레기의 폐기물이 수용되어 있는 것을 확인할 수 있다.It can be seen that can-type waste is accommodated in the first collection bin (WB), and about 22% of the collection bin (WB) is filled with can-type waste. And it can be seen that plastic-type waste is accommodated in the second collection bin (WB), and about 83% of the collection bin (WB) is filled with plastic-type waste. In addition, it can be seen that paper-type waste is accommodated in the third collection bin (WB), and about 42% of the collection bin (WB) is filled with paper-type waste. And it can be seen that the fourth collection bin (WB) contains the waste of general trash.

따라서 재활용할 수 있는 폐기물이 수거함(WB)에 얼마나 채워져 있는지와 종량제(일반쓰레기)의 폐기물이 수거함(WB)에 얼마나 채워져 있는지를 각각 확인할 수 있고, 모든 수거함(WB)의 적재량 중 얼마나 채워져 있는지를 확인할 수 있다.Therefore, you can check how much recyclable waste is in the collection box (WB) and how much waste in the pay-as-you-go (general garbage) is in the collection box (WB), and how many of the loads of all collection boxes (WB) are I can confirm.

이렇게 각 수거함(WB)을 실시간으로 촬영한 영상을 이용하여 각 수거함(WB)에 폐기물이 얼마나 채워져 있는지를 확인함으로써, 관리자 단말기(130)는 해당 수거함(WB)들이 배치된 수거 장소에 폐기물을 수거할 것인지를 사전에 확인할 수 있다.By checking how much waste is filled in each collection box (WB) by using the image captured in real time each collection box (WB) in this way, the manager terminal 130 collects the waste at the collection location where the corresponding collection box (WB) is placed. You can check in advance whether to do it.

도 5 내지 도 9는 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템에서 폐기물의 배출량을 분석한 결과를 설명하기 위한 도면이다.5 to 9 are views for explaining the result of analyzing the discharge amount of waste in the waste analysis intelligent CCTV system according to an embodiment of the present invention.

도 5 내지 도 9를 참조하여, 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템(100)을 통해 딥러닝 합성곱 신경망을 이용하여 수거함(WB)에 배출된 폐기물의 양을 연산하는 것에 대해 설명한다. 본 실시예에서, 수거함(WB)에 배출된 폐기물의 양을 수거함(WB)의 20%, 40%, 60%, 80% 및 100%의 다섯 단계로 구분한 것에 대해 설명한다. 하지만, 이에 한정되는 것은 아니며, 필요에 따라 더 세분화된 단계로 구분할 수 있으며, 1% 단계로 구분될 수도 있다.5 to 9, about calculating the amount of waste discharged to the collection box (WB) using a deep learning convolutional neural network through the waste analysis intelligent CCTV system 100 according to an embodiment of the present invention. Explain. In this embodiment, it will be described that the amount of waste discharged to the collection box (WB) is divided into five stages of 20%, 40%, 60%, 80%, and 100% of the collection box (WB). However, the present invention is not limited thereto, and may be divided into more subdivided stages as needed, and may be divided into 1% stages.

도 5를 참조하면, 도 5의 (a)의 수거함(WB)에 20%, 40%, 60%, 80% 및 100%의 단계에 대해 각 단계에 대한 확률이 도 5의 (b)에 도시된 바와 같이, 20%일 때 0.8725821, 60%일 때 0.099532016, 40%일 때 0.027615786, 80%일 때 0.00014902806 및 100%일 때 0.00012094527인 것으로 나타날 수 있다. 이때 소요된 시간은 0.492s가 소용된 것을 확인할 수 있다.Referring to FIG. 5, the probability for each step for the steps of 20%, 40%, 60%, 80% and 100% in the collection box (WB) of FIG. 5A is shown in FIG. 5B. As described above, it can be shown that it is 0.8725821 at 20%, 0.099532016 at 60%, 0.027615786 at 40%, 0.00014902806 at 80%, and 0.00012094527 at 100%. At this time, it can be seen that 0.492s was used for the time required.

따라서 가장 높은 확률을 갖는 20%인 것을 판단되는데, 이는 폐기물이 수거함(WB)의 약 20%를 채운 상태인 것을 나타낸다.Therefore, it is judged to be 20% with the highest probability, indicating that the waste has filled about 20% of the collection bin (WB).

도 6을 참조하면, 도 6의 (a)의 수거함(WB)에 20%, 40%, 60%, 80% 및 100%의 단계에 대해 각 단계에 대한 확률이 도 6의 (b)에 도시된 바와 같이, 40%일 때 0.8305835, 20%일 때 0.1431199, 60%일 때 0.025084553, 80%일 때 0.0010898137 및 100%일 때 0.00012224758인 것으로 나타날 수 있다. 이때 소요된 시간은 0.373s가 소용된 것을 확인할 수 있다.Referring to FIG. 6, the probability for each step is shown in FIG. 6(b) for the steps of 20%, 40%, 60%, 80% and 100% in the collection box (WB) of FIG. 6(a). As described above, it can be shown to be 0.8305835 at 40%, 0.1431199 at 20%, 0.025084553 at 60%, 0.0010898137 at 80%, and 0.00012224758 at 100%. At this time, it can be seen that 0.373s was used for the time required.

따라서 가장 높은 확률을 갖는 40%인 것을 판단되는데, 이는 폐기물이 수거함(WB)의 약 40%를 채운 상태인 것을 나타낸다.Therefore, it is judged to be 40% with the highest probability, indicating that the waste has filled approximately 40% of the collection bin (WB).

도 7을 참조하면, 도 7의 (a)의 수거함(WB)에 20%, 40%, 60%, 80% 및 100%의 단계에 대해 각 단계에 대한 확률이 도 7의 (b)에 도시된 바와 같이, 60%일 때 0.9658261, 20%일 때 0.0234172, 100%일 때 0.008906304, 40%일 때 0.000983298및 80%일 때 0.0008670432인 것으로 나타날 수 있다. 이때 소요된 시간은 0.355s가 소용된 것을 확인할 수 있다.Referring to FIG. 7, the probability for each step is shown in FIG. 7 (b) for the steps of 20%, 40%, 60%, 80% and 100% in the collection box (WB) of FIG. 7 (a). As described above, it can be shown to be 0.9658261 at 60%, 0.0234172 at 20%, 0.008906304 at 100%, 0.000983298 at 40%, and 0.0008670432 at 80%. At this time, it can be seen that 0.355s was used for the time required.

따라서 가장 높은 확률을 갖는 60%인 것을 판단되는데, 이는 폐기물이 수거함(WB)의 약 60%를 채운 상태인 것을 나타낸다.Therefore, it is judged to be 60% with the highest probability, which indicates that the waste has filled about 60% of the collection bin (WB).

도 8을 참조하면, 도 8의 (a)의 수거함(WB)에 20%, 40%, 60%, 80% 및 100%의 단계에 대해 각 단계에 대한 확률이 도 8의 (b)에 도시된 바와 같이, 80%일 때 0.9572164, 100%일 때 0.030484878, 20%일 때 0.008193274, 60%일 때 0.0028198282및 40%일 때 0.001285649인 것으로 나타날 수 있다. 이때 소요된 시간은 0.358s가 소용된 것을 확인할 수 있다.Referring to FIG. 8, the probability for each step for the steps of 20%, 40%, 60%, 80% and 100% in the collection box (WB) of FIG. 8 (a) is shown in FIG. 8 (b). As described above, it can be shown to be 0.9572164 at 80%, 0.030484878 at 100%, 0.008193274 at 20%, 0.0028198282 at 60%, and 0.001285649 at 40%. At this time, it can be seen that 0.358s was used for the time required.

따라서 가장 높은 확률을 갖는 80%인 것을 판단되는데, 이는 폐기물이 수거함(WB)의 약 80%를 채운 상태인 것을 나타낸다.Therefore, it is judged to be 80% with the highest probability, indicating that the waste has filled about 80% of the collection bin (WB).

도 9를 참조하면, 도 9의 (a)의 수거함(WB)에 20%, 40%, 60%, 80% 및 100%의 단계에 대해 각 단계에 대한 확률이 도 9의 (b)에 도시된 바와 같이, 100%일 때 0.9915324, 60%일 때 0.005785733, 80%일 때 0.0025920623, 20%일 때 6.868307e-05 및 40%일 때 2.1143418e-05인 것으로 나타날 수 있다. 이때 소요된 시간은 0.355s가 소용된 것을 확인할 수 있다.Referring to FIG. 9, the probability for each step for the steps of 20%, 40%, 60%, 80% and 100% in the collection box (WB) of FIG. 9(a) is shown in FIG. 9(b). As described above, it can be shown to be 0.9915324 at 100%, 0.005785733 at 60%, 0.0025920623 at 80%, 6.868307e-05 at 20%, and 2.1143418e-05 at 40%. At this time, it can be seen that 0.355s was used for the time required.

따라서 가장 높은 확률을 갖는 100%인 것을 판단되는데, 이는 폐기물이 수거함(WB)의 약 100%를 채운 상태인 것을 나타낸다.Therefore, it is judged to be 100% with the highest probability, which indicates that the waste has filled approximately 100% of the collection bin (WB).

도 10 내지 도 12는 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV 시스템에서 폐기물의 종류를 분석한 결과를 설명하기 위한 도면이다.10 to 12 are views for explaining a result of analyzing the type of waste in the waste analysis intelligent CCTV system according to an embodiment of the present invention.

도 10 내지 도 12를 참조하여, 본 발명의 일 실시예에 따른 폐기물 분석 지능형 CCTV를 통해 딥러닝 합성곱 신경망을 이용하여 수거함(WB)에 배출된 폐기물의 종류를 연산하는 것에 대해 설명한다. 본 실시예에서, 일반쓰레기, 플라스틱 및 종이를 구분하는 것에 대해 설명한다. 하지만, 이에 한정되는 것은 아니며, 필요에 따라 더 세분화된 종류를 구분할 수 있다.With reference to FIGS. 10 to 12, a description will be given of calculating the type of waste discharged to the collection box (WB) using a deep learning convolutional neural network through the waste analysis intelligent CCTV according to an embodiment of the present invention. In this embodiment, a description will be given of separating general garbage, plastic and paper. However, the present invention is not limited thereto, and further subdivided types may be classified as necessary.

도 10을 참조하면, 도 10의 (a)의 수거함(WB)에 수용된 폐기물의 종류에 대해 도 10의 (b)에 도시된 바와 같이, 일반쓰레기 폐기물일 확률이 0.7413017이고, 플라스틱 폐기물일 확률이 0.2538774이며, 종이 폐기물일 확률이 0.0048224716인 것으로 나타났으며, 이때, 소용된 시간은 0.337s인 것을 확인할 수 있다.Referring to FIG. 10, with respect to the type of waste accommodated in the collection box (WB) of FIG. 10(a), as shown in FIG. 10(b), the probability of a general garbage waste is 0.7413017, and the probability of a plastic waste is It was found to be 0.2538774, and the probability of paper waste was 0.0048224716, and at this time, it could be confirmed that the spent time was 0.337s.

따라서 도 10의 (a)에 도시된 수거함(WB)에 일반쓰레기 폐기물이 수용된 것으로 판단될 수 있다.Accordingly, it can be determined that the general garbage waste is accommodated in the collection box WB shown in FIG. 10A.

도 11을 참조하면, 도 11의 (a)의 수거함(WB)에 수용된 폐기물의 종류에 대해 도 11의 (b)에 도시된 바와 같이, 종이 폐기물일 확률이 0.996872이고, 플라스틱 폐기물일 확률이 0.0030095605이며, 일반쓰레기 폐기물일 확률이 0.00011851702인 것으로 나타났으며, 이때, 소용된 시간은 0.344s인 것을 확인할 수 있다.Referring to FIG. 11, with respect to the type of waste accommodated in the collection box (WB) of FIG. 11(a), as shown in FIG. 11(b), the probability of paper waste is 0.996872, and the probability of plastic waste is 0.0030095605 It was found that the probability of being a general trash waste was 0.00011851702, and at this time, it was confirmed that the spent time was 0.344s.

따라서 도 11의 (a)에 도시된 수거함(WB)에 종이 폐기물이 수용된 것으로 판단될 수 있다.Therefore, it can be determined that the paper waste is accommodated in the collection box WB shown in (a) of FIG. 11.

도 12를 참조하면, 도 12의 (a)의 수거함(WB)에 수용된 폐기물의 종류에 대해 도 12의 (b)에 도시된 바와 같이, 플라스틱 폐기물일 확률이 0.9160764이고, 종이 폐기물일 확률이 0.08361702이며, 일반쓰레기 폐기물일 확률이 0.000306574007인 것으로 나타났으며, 이때, 소용된 시간은 0.356s인 것을 확인할 수 있다.Referring to FIG. 12, for the type of waste accommodated in the collection box (WB) of FIG. 12 (a), as shown in FIG. 12 (b), the probability of plastic waste is 0.9160764, and the probability of paper waste is 0.08361702. It was found that the probability of being a general trash waste was 0.000306574007, and at this time, it was confirmed that the spent time was 0.356s.

따라서 도 12의 (a)에 도시된 수거함(WB)에 플라스틱 폐기물이 수용된 것으로 판단될 수 있다.Therefore, it can be determined that the plastic waste is accommodated in the collection box WB shown in FIG. 12A.

도 13은 본 발명의 다른 실시예에 따른 폐기물 분석 지능형 CCTV 시스템을 도시한 블록도이다.13 is a block diagram showing a waste analysis intelligent CCTV system according to another embodiment of the present invention.

도 13을 참조하면, 본 발명의 다른 실시예에 따른 폐기물 분석 지능형 CCTV 시스템(100)은, CCTV 장치(110), 영상 서버(120) 및 관리자 단말기(130)를 포함한다. 본 실시예에 대해 설명하면서, 일 실시예에서와 동일한 설명은 생략한다.Referring to FIG. 13, a waste analysis intelligent CCTV system 100 according to another embodiment of the present invention includes a CCTV device 110, an image server 120, and a manager terminal 130. While describing this embodiment, the same description as in the embodiment will be omitted.

본 실시예에서, CCTV 장치(110)는 촬영부(112)만 포함할 수 있다. 따라서 다수의 CCTV 장치(110)는 폐기물이 배출되기 위한 각 수거함(WB)이나 공간을 촬영한다.In this embodiment, the CCTV device 110 may include only the photographing unit 112. Therefore, a number of CCTV devices 110 photograph each collection box (WB) or space for discharging waste.

그리고 CCTV 장치(110)에서 촬영된 영상은 영상 서버(120)로 전송될 수 있다. 이때, 필요에 따라 CCTV 장치(110)에 촬영된 영상이 저장되기 위한 저장부(116)가 추가로 포함될 수도 있다.In addition, the image captured by the CCTV device 110 may be transmitted to the image server 120. In this case, if necessary, a storage unit 116 for storing an image captured by the CCTV device 110 may be additionally included.

영상 서버(120)는, CCTV 장치(110)에서 전송된 영상을 분석하기 위해 서버 연산부(122) 및 서버 저장부(124)를 포함할 수 있다.The image server 120 may include a server operation unit 122 and a server storage unit 124 to analyze an image transmitted from the CCTV device 110.

서버 연산부(122)는 다수의 CCTV 장치(110)에서 수거함(WB) 또는 공간을 촬영한 영상을 실시간으로 수신하고, 수신된 각 영상에 대해 폐기물 종류 및 폐기물 배출량을 연산할 수 있다. 그리고 연산된 결과를 서버 저장부(124)에 저장하고, 관리자 단말기(130)로 전송할 수 있다.The server operation unit 122 may receive images taken of a collection box (WB) or a space from a plurality of CCTV devices 110 in real time, and calculate a waste type and waste discharge amount for each received image. In addition, the calculated result may be stored in the server storage unit 124 and transmitted to the manager terminal 130.

이때, 영상 서버(120)는 서버 연산부(122)에서 연산된 시간별, 일별, 월별 및 연별 등으로 폐기물의 종류별로 배출되는 배출량에 대한 정보를 기반으로 최적의 관리를 수행할 수 있다.In this case, the image server 120 may perform optimal management based on the information on the amount of discharged by the type of waste, such as hourly, daily, monthly, and yearly calculated by the server operation unit 122.

본 실시예에서 서버 연산부(122)는, 딥러닝을 기반으로 폐기물 수거 장소의 배치된 각 수거함(WB)에 수용된 폐기물 종류와 폐기물 배출량을 모델링하여 합성곱 신경망을 통해 지속적으로 정보를 갱신하고, 갱신된 각 모델에 따라 가장 정확한 모델을 유지할 수 있다.In this embodiment, the server operation unit 122 continuously updates and updates information through a convolutional neural network by modeling the type of waste and the amount of waste received in each waste collection box (WB) disposed at the waste collection location based on deep learning. The most accurate model can be maintained according to each model.

서버 연산부(122)는, CCTV에 촬영된 영상 또는 이미지를 수신하고, 수신된 영 상 또는 이미지에서 폐기물 종류 및 폐기물 배출량에 대한 데이터베이스를 구축한다. 그리고 합성곱 신경망을 기반으로 학습을 위한 데이터베이스에서 폐기물 종류 및 폐기물 배출량에 대한 범주 특징을 추출한다. 이렇게 학습된 폐기물 종류 및 폐기물 배출량에 대한 분석 모델을 이용하여 폐기물 종류 및 폐기물 배출량을 추출할 수 있다.The server operation unit 122 receives an image or image photographed by CCTV, and builds a database on the waste type and waste discharge amount from the received image or image. And, based on the convolutional neural network, category features for waste types and waste emissions are extracted from the database for learning. Waste types and waste discharges can be extracted by using the analyzed model for waste types and waste discharges learned in this way.

또한, 서버 연산부(122)는 CCTV 장치(110)에서 촬영된 영상 또는 이미지를 그대로 이용함에 따라 수거함(WB)에 배치된 위치의 다양한 기상 변화와 시간 변화 등에 대한 다양한 영상 또는 이미지에 대한 분석이 이루어질 수 있다.In addition, as the server operation unit 122 uses the image or image captured by the CCTV device 110 as it is, analysis of various images or images for various weather changes and time changes of the location placed in the collection box (WB) is made. I can.

그리고 서버 연산부(122)는 폐기물 종류 및 폐기물 배출량을 분석할 때, 오류가 발생하는 경우, 합성곱 신경망을 기반으로 학습을 위해 데이터베이스에서 폐기물 종류 및 폐기물 배출량에 대한 범주 특징을 다시 추출하고, 분석 모델을 이용하여 폐기물의 종류 및 폐기물의 배출량을 연산할 수 있다.In addition, when an error occurs when analyzing the type of waste and the amount of waste, the server operation unit 122 re-extracts the category characteristics for the type of waste and the amount of waste from the database for learning based on a convolutional neural network, and an analysis model The type of waste and the amount of waste can be calculated using.

상기와 같이, 본 실시예에서, 영상 서버(120)에 포함된 서버 연산부(122)에서 CCTV 장치(110)를 통해 촬영된 영상 또는 이미지의 분석이 이루어질 수 있는데, 이에 한정되지 않고, 일 실시예에서와 같이, CCTV 장치(110)에 연산부(114)가 포함되고, 다른 실시예에서와 같이, 영상 서버(120)에 서버 연산부(122)가 포함되어 CCTV 장치(110) 및 영상 서버(120)에서 모두 연산이 이루어질 수 있다.As described above, in the present embodiment, an image or image captured through the CCTV device 110 may be analyzed by the server operation unit 122 included in the image server 120, but is not limited thereto. As in, the CCTV device 110 includes an operation unit 114, and, as in other embodiments, the image server 120 includes a server operation unit 122, so that the CCTV device 110 and the image server 120 All operations can be performed at

이렇게 CCTV 장치(110) 및 영상 서버(120)에서 모두 연산이 이루어지는 경우, 보다 CCTV 장치(110)에서 촬영된 영상 또는 이미지에 대한 연산이 효율적으로 이루어질 수 있다.When the operation is performed in both the CCTV device 110 and the image server 120 in this way, the operation on the image or image captured by the CCTV device 110 may be more efficiently performed.

이 경우, 영상 서버(120)는 CCTV 장치(110)에서 촬영된 영상 또는 이미지를 수신하고, CCTV 장치(110)의 연산부(114)에서 분석된 폐기물 종류 및 폐기물 배출량에 대한 연산 결과를 수신할 수 있다. 그리고 CCTV 장치(110)의 연산부(114)에서 수신된 폐기물 종류 및 폐기물 배출량의 분석 정보를 바탕으로 폐기물의 배출 현황을 분석할 수 있다. 또한, 영상 서버(120)의 서버 연산부(122)는 CCTV 장치(110)의 촬영부(112)에서 수신된 영상 또는 이미지와 CCTV의 연산부(114)에서 수신된 분석 정보를 이용하여 합성곱 신경망을 기반으로 폐기물 종류 및 폐기물 배출량의 분석 학습 모델을 갱신할 수 있다.In this case, the image server 120 may receive an image or image captured by the CCTV device 110, and receive an operation result for the type of waste and the amount of waste analyzed by the operation unit 114 of the CCTV device 110. have. In addition, based on the analysis information of the type of waste and the amount of waste received by the operation unit 114 of the CCTV device 110, the discharge status of the waste may be analyzed. In addition, the server operation unit 122 of the image server 120 uses the image or image received from the photographing unit 112 of the CCTV device 110 and the analysis information received from the CCTV operation unit 114 to generate a convolutional neural network. Based on this, the analysis learning model of waste types and waste discharges can be updated.

이렇게 서버 연산부(122)는 분석 학습 모델을 갱신하여 폐기물 종류 및 폐기물 배출량에 대한 분석 결과를 CCTV 장치(110) 및 관리자 단말기(130)로 전송한다.In this way, the server operation unit 122 updates the analysis learning model and transmits the analysis result of the waste type and waste discharge to the CCTV device 110 and the manager terminal 130.

또는, 서버 연산부(122)는, 합성곱 신경망을 기반으로 연상 분석을 통해 폐기물 종류 및 폐기물 배출량에 대한 분석 학습 모델을 생성하고, 다수의 CCTV 장치(110)에서 촬영된 영상 또는 이미지를 수집한다. 그리고 수집된 영상 또는 이미지를 이용하여 폐기물의 종류 및 폐기물의 배출량을 연산할 수 있다.Alternatively, the server operation unit 122 generates an analysis learning model for waste types and waste discharge through associative analysis based on a convolutional neural network, and collects images or images captured by a plurality of CCTV devices 110. In addition, the type of waste and the amount of waste can be calculated using the collected images or images.

위에서 설명한 바와 같이 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시예에 의해서 이루어졌지만, 상술한 실시예는 본 발명의 바람직한 예를 들어 설명하였을 뿐이므로, 본 발명이 상기 실시예에만 국한되는 것으로 이해돼서는 안 되며, 본 발명의 권리범위는 후술하는 청구범위 및 그 등가개념으로 이해되어야 할 것이다.As described above, a detailed description of the present invention has been made by an embodiment with reference to the accompanying drawings, but the above-described embodiment has been described with reference to a preferred example of the present invention, so that the present invention is limited to the above embodiment. It should not be understood, and the scope of the present invention should be understood as the following claims and equivalent concepts.

100: 지능형 CCTV 시스템
110: CCTV 장치
112: 촬영부
114: 연산부
116: 저장부
120: 영상 서버
122: 서버 연산부
124: 서버 저장부
130: 관리자 단말기
WB: 수거함
100: intelligent CCTV system
110: CCTV device
112: photographing department
114: operation unit
116: storage unit
120: video server
122: server operation unit
124: server storage
130: administrator terminal
WB: collection box

Claims (10)

폐기물이 배출되어 수용되는 하나 이상의 수거함 또는 공간을 촬영하기 위한 하나 이상의 CCTV 장치; 및
상기 하나 이상의 CCTV 장치에서 촬영된 영상에 대한 정보가 저장되는 영상 서버를 포함하고,
상기 CCTV 장치는,
상기 하나 이상의 수거함 또는 공간을 촬영하는 촬영부; 및
상기 촬영부에서 촬영된 영상 또는 이미지를 이용하여 상기 폐기물의 특징을 추출하기 위한 데이터베이스를 생성하고, 생성된 데이터베이스를 이용하여 상기 폐기물의 특징에 대한 모델을 학습하며, 학습된 결과에 따라 상기 하나 이상의 수거함 또는 공간에 수용된 폐기물의 특징을 연산하여 출력하는 연산부를 포함하는 폐기물 분석 지능형 CCTV 시스템.
One or more CCTV devices for photographing one or more collection boxes or spaces in which waste is discharged and accommodated; And
Including an image server for storing information about the image captured by the one or more CCTV devices,
The CCTV device,
A photographing unit for photographing the at least one collection box or space; And
A database for extracting characteristics of the waste is created using the image or image captured by the photographing unit, and a model for the characteristics of the waste is learned using the generated database, and the at least one Waste analysis intelligent CCTV system including an operation unit that calculates and outputs the characteristics of the waste accommodated in the collection box or space.
청구항 1에 있어서,
상기 CCTV 장치는, 상기 연산부에서 연산된 상기 폐기불의 특징을 저장하는 저장부를 더 포함하는 폐기물 분석 지능형 CCTV 시스템.
The method according to claim 1,
The CCTV device, waste analysis intelligent CCTV system further comprises a storage unit for storing the characteristics of the waste calculated by the calculation unit.
청구항 1에 있어서,
상기 연산부에서 연산되는 폐기물의 특징은 상기 하나 이상의 수거함 또는 공간에 수용된 폐기물의 종류 또는 폐기물의 배출량인 폐기물 분석 지능형 CCTV 시스템.
The method according to claim 1,
The characteristic of the waste calculated by the operation unit is the type of waste or discharge amount of waste accommodated in the one or more collection boxes or spaces.
청구항 1에 있어서,
상기 연산부는, 상기 데이터베이스를 이용하여 상기 하나 이상의 수거함 또는 공간에 폐기물에 대한 범주 특징을 추출하고, 추출된 범주 특징을 이용하여 상기 하나 이상의 수거함 또는 공간의 폐기물 특징에 대한 모델을 학습하며, 학습된 폐기물 특징에 대한 모델을 이용하여 상기 하나 이상의 폐기물 특징에 대한 결과를 연산하는 폐기물 분석 지능형 CCTV 시스템.
The method according to claim 1,
The operation unit extracts category features for waste in the one or more collection boxes or spaces using the database, learns a model for waste characteristics in the one or more collection boxes or spaces using the extracted category features, and Waste analysis intelligent CCTV system that calculates the results for the one or more waste characteristics using the model for the waste characteristics.
청구항 1에 있어서,
상기 연산부는, 영상 인식을 위한 딥러닝 합성곱 신경망(Convoloutional Neural Network, CNN)을 기반으로 하여 상기 폐기물의 특징에 대한 모델을 학습하는 폐기물 분석 지능형 CCTV 시스템.
The method according to claim 1,
The operation unit is a waste analysis intelligent CCTV system that learns a model for the characteristics of the waste based on a deep learning convolutional neural network (CNN) for image recognition.
폐기물이 배출되어 수용되는 하나 이상의 수거함 또는 공간을 촬영하기 위한 하나 이상의 CCTV 장치; 및
상기 하나 이상의 CCTV 장치에서 촬영된 영상에 대한 정보가 저장되는 영상 서버를 포함하고,
상기 영상 서버는, 상기 하나 이상의 CCTV 장치에서 촬영된 영상 또는 이미지를 수신하며, 수신된 영상 또는 이미지를 이용하여 상기 폐기물의 특징을 추출하기 위한 데이터베이스를 생성하고, 생성된 데이터베이스를 이용하여 상기 폐기물의 특징에 대한 모델을 학습하며, 학습된 결과에 따라 상기 하나 이상의 수거함 또는 공간에 수용된 폐기물의 특징을 연산하여 출력하는 서버 연산부를 포함하는 폐기물 분석 지능형 CCTV 시스템.
One or more CCTV devices for photographing one or more collection boxes or spaces in which waste is discharged and accommodated; And
Including an image server for storing information about the image captured by the one or more CCTV devices,
The image server receives images or images captured by the one or more CCTV devices, generates a database for extracting characteristics of the waste using the received image or image, and uses the generated database to A waste analysis intelligent CCTV system comprising a server operation unit that learns a model for a feature and calculates and outputs the feature of the waste accommodated in the one or more collection boxes or spaces according to the learned result.
청구항 6에 있어서,
상기 서버 연산부에서 연산되는 폐기물의 특징은 상기 하나 이상의 수거함 또는 공간에 수용된 폐기물의 종류 또는 폐기물의 배출량인 폐기물 분석 지능형 CCTV 시스템.
The method of claim 6,
The characteristic of the waste calculated by the server operation unit is the type of waste or discharge amount of waste accommodated in the at least one collection box or space.
청구항 6에 있어서,
상기 서버 연산부는, 상기 데이터베이스를 이용하여 상기 하나 이상의 수거함 또는 공간에 폐기물에 대한 범주 특징을 추출하고, 추출된 범주 특징을 이용하여 상기 하나 이상의 수거함 또는 공간의 폐기물 특징에 대한 모델을 학습하며, 학습된 폐기물 특징에 대한 모델을 이용하여 상기 하나 이상의 폐기물 특징에 대한 결과를 연산하는 폐기물 분석 지능형 CCTV 시스템.
The method of claim 6,
The server operation unit extracts category features for waste in the one or more collection boxes or spaces using the database, and learns a model for the waste characteristics of the one or more collection boxes or spaces using the extracted category features, and learns Waste analysis intelligent CCTV system that calculates the results for the one or more waste characteristics using the model for the waste characteristics.
청구항 6에 있어서,
상기 서버 연산부는, 영상 인식을 위한 딥러닝 합성곱 신경망(Convoloutional Neural Network, CNN)을 기반으로 하여 상기 폐기물의 특징에 대한 모델을 학습하는 폐기물 분석 지능형 CCTV 시스템.
The method of claim 6,
The server operation unit is a waste analysis intelligent CCTV system that learns a model for the characteristics of the waste based on a deep learning convolutional neural network (CNN) for image recognition.
청구항 6에 있어서,
상기 CCTV 장치는,
상기 하나 이상의 수거함 또는 공간을 촬영하는 촬영부; 및
상기 촬영부에서 촬영된 영상 또는 이미지를 이용하여 상기 폐기물의 특징을 추출하기 위한 데이터베이스를 생성하고, 생성된 데이터베이스를 이용하여 상기 폐기물의 특징에 대한 모델을 학습하며, 학습된 결과에 따라 상기 하나 이상의 수거함 또는 공간에 수용된 폐기물의 특징을 연산하여 출력하는 연산부를 포함하며,
상기 영상 서버는 상기 촬영부에서 촬영된 영상 또는 이미지를 수신하고,
상기 서버 연산부는 연산된 결과를 상기 CCTV 장치에 포함된 연산부에 전송하는 폐기물 분석 지능형 CCTV 시스템.
The method of claim 6,
The CCTV device,
A photographing unit for photographing the at least one collection box or space; And
A database for extracting characteristics of the waste is created using the image or image captured by the photographing unit, and a model for the characteristics of the waste is learned using the generated database, and the at least one It includes a calculation unit that calculates and outputs the characteristics of the waste accommodated in the collection box or space,
The image server receives the image or image captured by the photographing unit,
The server operation unit is a waste analysis intelligent CCTV system that transmits the calculated result to the operation unit included in the CCTV device.
KR1020190063102A 2019-05-29 2019-05-29 Smart cctv system for analysis of waste KR102219025B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190063102A KR102219025B1 (en) 2019-05-29 2019-05-29 Smart cctv system for analysis of waste

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190063102A KR102219025B1 (en) 2019-05-29 2019-05-29 Smart cctv system for analysis of waste

Publications (2)

Publication Number Publication Date
KR20200138465A true KR20200138465A (en) 2020-12-10
KR102219025B1 KR102219025B1 (en) 2021-02-24

Family

ID=73790429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190063102A KR102219025B1 (en) 2019-05-29 2019-05-29 Smart cctv system for analysis of waste

Country Status (1)

Country Link
KR (1) KR102219025B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102358468B1 (en) * 2021-09-28 2022-02-08 안재호 Method and system for measuring and setting collected garbage

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120118226A (en) 2011-04-18 2012-10-26 윤원섭 Apparatus for separate garbage collection using image process technique
KR101410729B1 (en) * 2013-02-12 2014-06-24 한국쓰리알환경산업(주) System for subdividing recycle nonferrous metal waste with different kind materials seperation type
KR20170017652A (en) 2015-08-07 2017-02-15 이경록 Auto Separate Garbage Can Through Garbage Type Recognition
JP2017109197A (en) * 2016-07-06 2017-06-22 ウエノテックス株式会社 Waste screening system and screening method therefor
KR20180086164A (en) 2018-07-10 2018-07-30 송은호 Recycled product discrimination system using artificial intelligence
KR101942219B1 (en) * 2018-07-05 2019-01-24 고재성 Apparatus and method for waste image identification using convolution neural network
KR20190071387A (en) * 2017-12-14 2019-06-24 안성준 Automatic Recycling Waste Sorting Apparatus and Method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120118226A (en) 2011-04-18 2012-10-26 윤원섭 Apparatus for separate garbage collection using image process technique
KR101410729B1 (en) * 2013-02-12 2014-06-24 한국쓰리알환경산업(주) System for subdividing recycle nonferrous metal waste with different kind materials seperation type
KR20170017652A (en) 2015-08-07 2017-02-15 이경록 Auto Separate Garbage Can Through Garbage Type Recognition
JP2017109197A (en) * 2016-07-06 2017-06-22 ウエノテックス株式会社 Waste screening system and screening method therefor
KR20190071387A (en) * 2017-12-14 2019-06-24 안성준 Automatic Recycling Waste Sorting Apparatus and Method
KR101942219B1 (en) * 2018-07-05 2019-01-24 고재성 Apparatus and method for waste image identification using convolution neural network
KR20180086164A (en) 2018-07-10 2018-07-30 송은호 Recycled product discrimination system using artificial intelligence

Also Published As

Publication number Publication date
KR102219025B1 (en) 2021-02-24

Similar Documents

Publication Publication Date Title
Arebey et al. Solid waste bin level detection using gray level co-occurrence matrix feature extraction approach
Hasan et al. Smart waste management and classification system for smart cities using deep learning
US11247580B2 (en) Apparatus and method for predicting failure of electric car charger
CN103745229A (en) Method and system of fault diagnosis of rail transit based on SVM (Support Vector Machine)
CN115908424A (en) Building health detection method, system and medium based on three-dimensional laser scanning
US11475416B1 (en) System and method for auditing the fill status of a customer waste container by a waste services provider during performance of a waste service activity
CN113111769A (en) Garbage illegal putting behavior monitoring method and device and computer equipment
CN110288035A (en) A kind of online autonomous learning method and system of intelligent garbage bin
CN110555477A (en) municipal facility fault prediction method and device
KR102219025B1 (en) Smart cctv system for analysis of waste
KR102392054B1 (en) Optimal route recommendation method and system for waste carrier vehicle
CN114418175A (en) Personnel management method and device, electronic equipment and storage medium
CN106056451A (en) Vehicle OBD sensor-based remote unmanned loss assessment system
CN112083456A (en) Freight state identification method, device, equipment and storage medium
KR102186974B1 (en) Smart cctv system for analysis of parking
CN113393442A (en) Method and system for detecting abnormality of train parts, electronic device and storage medium
Boudanga et al. IoT-and XAI-based smart medical waste management
Mitra Detection of waste materials using deep learning and image processing
CN116881783B (en) Road damage detection method, device, computer equipment and storage medium
JP7097215B2 (en) Vehicle estimation device, learning device, and vehicle estimation method
CN114283387B (en) Intelligent garbage point cleaning work order generation method and device and related medium
CN111222370A (en) Case studying and judging method, system and device
CN112115846A (en) Identification method and identification device for littering garbage behavior and readable storage medium
Kunwar MWaste: A Deep Learning Approach to Manage Household Waste
CN112700016A (en) Predictive maintenance method and apparatus

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant