KR102648016B1 - 태양 전지 기반 저전력 지능형 쓰레기 무단투기 탐지 시스템 및 방법 - Google Patents

태양 전지 기반 저전력 지능형 쓰레기 무단투기 탐지 시스템 및 방법 Download PDF

Info

Publication number
KR102648016B1
KR102648016B1 KR1020230096463A KR20230096463A KR102648016B1 KR 102648016 B1 KR102648016 B1 KR 102648016B1 KR 1020230096463 A KR1020230096463 A KR 1020230096463A KR 20230096463 A KR20230096463 A KR 20230096463A KR 102648016 B1 KR102648016 B1 KR 102648016B1
Authority
KR
South Korea
Prior art keywords
control unit
video frame
cctv
cctvs
information
Prior art date
Application number
KR1020230096463A
Other languages
English (en)
Inventor
박주한
채은경
장현우
신건철
이은혜
김유상
Original Assignee
주식회사 유클리드소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유클리드소프트 filed Critical 주식회사 유클리드소프트
Priority to KR1020230096463A priority Critical patent/KR102648016B1/ko
Application granted granted Critical
Publication of KR102648016B1 publication Critical patent/KR102648016B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/34—Parallel operation in networks using both storage and other dc sources, e.g. providing buffering
    • H02J7/35—Parallel operation in networks using both storage and other dc sources, e.g. providing buffering with light sensitive cells
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
    • H02S20/00—Supporting structures for PV modules
    • H02S20/20—Supporting structures directly fixed to an immovable object
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
    • H02S40/00—Components or accessories in combination with PV modules, not provided for in groups H02S10/00 - H02S30/00
    • H02S40/30—Electrical components
    • H02S40/38—Energy storage means, e.g. batteries, structurally associated with PV modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 복수의 CCTV, 주제어 유닛의 제어에 따라 복수의 AI 추론가속기 중 하나 이상을 할당하여 복수의 CCTV 각각으로부터 수신되는 영상 프레임에서 객체를 탐지하고 후속하여 탐지된 객체에 대한 자세를 분류하고 객체 탐지와 자세 분류에 따라 무단투기를 탐지하는 제어부, 제어부에 연결되어 제어부로부터의 음향 신호를 출력하는 스피커, 태양광 패널 및 태양광 패널에서 발생하는 전원을 이용하여 복수의 CCTV, 제어부 및 스피커에 직류 전원을 생성하여 공급하는 전원공급 회로를 포함하는, 무단투기 탐지 시스템에 관한 것이다.

Description

태양 전지 기반 저전력 지능형 쓰레기 무단투기 탐지 시스템 및 방법{SOLAR CELL BASED LOW-POWER INTELLIGENT WASTE DUMPING DETECTION SYSTEM AND METHOD}
본 발명은 태양 전지 기반 저전력 지능형 쓰레기 무단투기 탐지 시스템 및 방법에 관한 것으로서, 구체적으로는 인공지능 모델을 활용하여 다채널 카메라의 이미지에서 객체를 탐지하고 탐지된 객체에 대한 자세 추정으로 쓰레기 투기를 탐지할 수 있는 태양 전지 기반 저전력 지능형 쓰레기 무단투기 탐지 시스템 및 방법에 관한 것이다.
다양한 목적으로 CCTV가 활용된다. 예를 들어, CCTV는 특정 위치에 설치되어 상태 파악, 범죄 예방, 이동인원 확인을 위한 영상을 관제 서버로 전송하고 관제 서버는 다수의 CCTV에서 촬영한 영상을 표시하고 관리원 등이 해당 CCTV의 영상을 확인하고 필요한 조치를 취할 수 있다.
CCTV가 많이 설치됨에 따라 CCTV를 모니터링하고 관리하기 위한 관리원의 수요가 증가하고 업무 과중이 발생한다. 그에 따라, 관리원이 특정한 이상 이벤트를 놓치기 일쑤이고 피로감이 누적되고 있다.
특히, 다가구 밀집지역이나 다수 인구 이동지역이나 사각지대 등에서는 쓰레기 무단투기의 발생이 해마다 증가하고 있고 이로 인한 악취와 감지장치의 알람 경적으로 많은 민원이 발생하고 있다.
일상 환경에서 설치된 쓰레기 투기 감시용 CCTV는 쓰레기 투기를 방지하기 위한 사전 예방과 쓰레기 투기 후 확인할 수 있는 용도로 일부 활용되고 있으나 이상 현상(쓰레기 투기 현상)이 발생한 그 시점에 실시간으로 활용되지 못하고 있고 인력에 의한 관리로 사후 확인이나 분석에 한정하여 활용되고 있어 그 효용도가 매우 낮은 실정이다.
일부 영상감시장치들이 이미지기반의 모션 감지기술을 적용하고 있으나 지능형 CCTV로 진화하기에는 그 한계가 명확하다.
등록특허 10-2076113호, 2020년02월11일
본 발명은, 상술한 문제점을 해결하기 위해서 안출한 것으로서, CCTV에서 촬영된 이미지에서 실시간으로 무단투기자를 인공지능 모델을 통해 인식하고 경고를 출력할 수 있는 무단투기 탐지 시스템 및 방법을 제공하는 데 그 목적이 있다.
또한, 본 발명은 서로 연계되고 독립적으로 수행 가능한 다수의 인공지능 모델을 활용하여 저전력 및 효율적으로 다수의 CCTV 영상에서 동시에 객체들을 탐지하고 탐지된 객체들의 자세 추정으로 쓰레기 무단투기를 실시간 인식 가능한 무단투기 탐지 시스템 및 방법을 제공하는 데 그 목적이 있다.
또한, 본 발명은 태양 전지만으로 작동할 수 있도록 구성되고 외부 감시 대상 환경의 변화에 따라 다수 인공지능 모델의 확장과 변경이 용이하며 무단투기를 감시하고 CCTV 운용에 필요한 관리 인력을 없애거나 줄일 수 있는 무단투기 탐지 시스템 및 방법을 제공하는 데 그 목적이 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양상에 따른 무단투기 탐지 시스템은 복수의 CCTV, 메모리, 주제어 유닛 및 복수의 AI 추론가속기를 구비하는 제어부로서, 주제어 유닛의 제어에 따라 복수의 AI 추론가속기 중 하나 이상을 할당하여 복수의 CCTV 각각으로부터 수신되는 영상 프레임에서 객체를 탐지하고 후속하여 탐지된 객체에 대한 자세를 분류하고 객체 탐지와 자세 분류에 따라 무단투기를 탐지하는 제어부, 제어부에 연결되어 제어부로부터의 음향 신호를 출력하는 스피커, 태양광 패널 및 태양광 패널에서 발생하는 전원을 이용하여 복수의 CCTV, 제어부 및 스피커에 직류 전원을 생성하여 공급하는 전원공급 회로를 포함한다.
상기한 무단투기 탐지 시스템에 있어서, 제어부는, CCTV로부터 수신되는 제1 영상 프레임에서 사람 객체를 탐지하고 탐지된 사람 객체의 자세가 투기 자세이고 CCTV로부터의 후속하는 하나 이상의 영상 프레임에서 사람 객체를 탐지하고 탐지된 사람 객체의 자세가 투기 자세인 경우에, 쓰레기의 무단투기가 일어난 것으로 판정하고 스피커를 통해 경고 음성의 음향 신호를 출력하고 상기 제1 영상 프레임과 후속하는 상기 하나 이상의 영상 프레임을 저장한다.
상기한 무단투기 탐지 시스템에 있어서, 주제어 유닛은 RTSP 통신을 통해 복수의 CCTV 각각으로부터 영상 프레임을 수신하고 메모리의 이미지 큐에 수신 시각에 따라 순차적으로 CCTV ID, 수신된 영상 프레임 및 프레임 ID를 포함하는 영상 프레임 정보를 저장하고, 이미지 큐의 저장된 영상 프레임 정보별로 복수의 AI 추론가속기 중 하나 이상의 AI 추론가속기를 사용하여 객체를 탐지하고 탐지된 객체의 바운딩 박스 영역, CCTV ID 및 프레임 ID를 포함하는 ROI(Region of Interest) 정보를 메모리의 ROI 큐에 저장한다.
상기한 무단투기 탐지 시스템에 있어서, 주제어 유닛은 주제어 유닛에서 수행되는 이미지 전달 쓰레드를 통해 영상 프레임 정보를 이미지 큐에 저장하고 복수의 CCTV 각각에 대해 할당되고 AI 추론가속기를 사용하는 복수의 객체 탐지 쓰레드를 통해 객체를 탐지하고 탐지된 객체의 정보를 포함하는 ROI 정보를 ROI 큐에 저장한다.
상기한 무단투기 탐지 시스템에 있어서, 주제어 유닛은 ROI 큐의 ROI 정보 각각을 복수의 AI 추론가속기 중 하나 이상의 AI 추론가속기를 사용하는 자세 분류 쓰레드 각각에 할당하여 ROI 정보의 바운딩 박스 영역의 객체의 자세를 인공지능 모델을 통해 분류하고 분류된 자세 데이터, CCTV ID 및 프레임 ID를 포함하는 결과 정보를 메모리의 결과 큐에 저장한다.
상기한 무단투기 탐지 시스템에 있어서, 주제어 유닛은 결과 큐의 복수의 결과 정보 중 동일한 CCTV ID를 가지는 순차적인 영상 프레임들의 결과 정보에 기초하여 쓰레기의 무단투기 여부를 판정하고 판정에 따라 스피커를 통해 경고 음성을 나타내는 음향 신호를 출력하고 메모리에 무단투기로 판정된 CCTV의 영상 프레임들을 저장한다.
또한, 본 발명의 일 양상에 따른 무단투기 탐지 방법은 복수의 CCTV 각각으로부터 영상 프레임을 수신하는 단계, 메모리, 주제어 유닛 및 복수의 AI 추론가속기를 구비하는 제어부에서, 복수의 AI 추론가속기 중 하나 이상을 할당하여 복수의 CCTV 각각으로부터 수신되는 영상 프레임에서 객체를 탐지하는 단계, 제어부에서, 탐지된 객체에 대한 자세를 복수의 AI 추론가속기 중 하나 이상을 할당하여 분류하는 단계 및 자세 분류에 따라 무단투기를 탐지하고 스피커로 경고 음성을 출력하는 단계를 포함한다.
상기한 무단투기 탐지 방법에 있어서, 영상 프레임을 수신하는 단계는, RTSP 통신을 통해 복수의 CCTV 각각으로부터 영상 프레임을 수신하고 메모리의 이미지 큐에 수신 시각에 따라 순차적으로 CCTV ID, 수신된 영상 프레임 및 프레임 ID를 포함하는 영상 프레임 정보를 저장하고, 영상 프레임에서 객체를 탐지하는 단계는, 이미지 큐의 저장된 영상 프레임 정보별로 복수의 AI 추론가속기 중 하나 이상의 AI 추론가속기를 사용하여 객체를 탐지하고 탐지된 객체의 바운딩 박스 영역, CCTV ID 및 프레임 ID를 포함하는 ROI(Region of Interest) 정보를 메모리의 ROI 큐에 저장한다.
상기와 같은 본 발명에 따른 무단투기 탐지 시스템 및 방법은 CCTV에서 촬영된 이미지에서 실시간으로 무단투기자를 인공지능 모델을 통해 인식하고 경고를 출력할 수 있는 효과가 있다.
또한, 상기와 같은 본 발명에 따른 무단투기 탐지 시스템 및 방법은 서로 연계되고 독립적으로 수행 가능한 다수의 인공지능 모델을 활용하여 저전력 및 효율적으로 다수의 CCTV 영상에서 동시에 객체들을 탐지하고 탐지된 객체들의 자세 추정으로 쓰레기 무단투기를 실시간 인식 가능한 효과가 있다.
또한, 상기와 같은 본 발명에 따른 무단투기 탐지 시스템 및 방법은 태양 전지만으로 작동할 수 있도록 구성되고 외부 감시 대상 환경의 변화에 따라 다수 인공지능 모델의 확장과 변경이 용이하며 무단투기를 감시하고 CCTV 운용에 필요한 관리 인력을 없애거나 줄일 수 있는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 무단투기 탐지 시스템의 예시적인 일 외형을 도시한 도면이다.
도 2는 제어 박스의 내부에 구성되는 전원 및 제어 관련 구성의 예를 도시한 도면이다.
도 3은 쓰레기의 무단투기를 탐지하기 위한 예시적인 제어 흐름을 도시한 도면이다.
도 4는 무단투기 탐지를 위해 구현되는 쓰레드와 자료구조의 구현 예를 도시한 도면이다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술 되어 있는 상세한 설명을 통하여 더욱 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 무단투기 탐지 시스템의 예시적인 일 외형을 도시한 도면이다.
도 1의 예와 같이 무단투기 탐지 시스템은 단일의 기기나 장치로 구현되어 쓰레기의 무단투기를 탐지(또는 감시)하기 위한 특정 장소에 설치될 수 있다. 또는 무단투기 탐지 시스템은 다수의 별도 기기나 장치로 구현되어 특정 장소에 설치될 수 있다.
무단투기 탐지 시스템의 구성을 살펴보면, 무단투기 탐지 시스템은 태양광 패널(10), 다수의 CCTV(20), 제어 박스(30) 및 스피커(40)를 포함하고 태양광 패널(10), CCTV(20)들, 제어 박스(30) 및 스피커(40)를 고정하거나 지지하기 위한 상부 프레임(50)과 하부 프레임(60)을 포함하여 구성된다. 무단투기 탐지 시스템은 설치 장소나 유형에 따라 다양한 변형 예와 그 외형을 가질 수 있다.
도 1을 통해 무단투기 탐지 시스템을 좀 더 구체적으로 살펴보면, 태양광 패널(10)은 다수의 태양전지 셀을 가지고 태양광을 집전하여 집전된 전기신호를 출력한다. 태양광 패널(10)은 상부 프레임(50)에 고정되고 무단투기 탐지 시스템의 최상측에 위치하여 태양으로부터의 에너지를 집전하고 집전된 에너지에 대응하는 전기신호를 출력한다.
CCTV(20)는 무단투기 탐지 시스템의 외부 영상을 촬영한다. 무단투기 탐지 시스템은 다수의 CCTV(20)를 가지고 각각의 CCTV(20)는 설치된 위치에서 구비된 렌즈를 통해 노출되는 영상을 촬영한다. 각각의 CCTV(20)는 서로 다른 영상을 촬영하고 촬영된 영상을 제어 박스(30)로 전달 가능하다. 예를 들어, 무단투기 탐지 시스템은 두 개의 CCTV(20)를 가지고 하나의 CCTV(20)는 전방 영상을 촬영하고 다른 하나의 CCTV(20)는 후방 영상을 촬영할 수 있다. CCTV(20)들은 최상측의 태양광 패널(10) 아래에 설치되어 렌즈를 통해 노출되는 영상을 촬영할 수 있다.
CCTV(20)들은 상하 방향의 상부 프레임(50)에 설치되는 좌우 방향의 브래킷에 설치되어 특정 방향의 영상을 촬영하고 촬영된 일련의 영상 프레임을 제어 박스(30)로 전송 가능하다. 예를 들어, CCTV(20)들은 PoE(Power of Ethernet)을 통해 제어 박스(30)에 연결되어 RTSP(Real-time Streaming Protocol)을 통해 촬영된 일련의(순차적인) 영상 프레임을 실시간으로 제어 박스(30)로 전송할 수 있도록 바람직하게 구성된다.
제어 박스(30)는 직육면체의 형상의 보호 케이스를 가지고 내부에 무단투기 탐지 시스템을 제어하고 전원을 공급하기 위한 제어보드, 배터리(530), 전원공급 회로(500) 등을 내장한다. 금속재 케이스 등으로 구성되는 제어 박스(30)는 인공지능 모델을 수행하기 위한 AI 추론가속기(191)와 AI 추론가속기(191)를 제어하고 CCTV(20), 스피커(40) 등을 제어하는 주제어 유닛(110)을 가지고(구비하고) 인공지능 모델의 수행을 통해 무단투기 탐지 시스템 외부에서 발생하는 쓰레기 무단투기를 동적으로 탐지하고 스피커(40)를 통해 실시간으로 경고 음성을 출력할 수 있도록 구성된다. 제어 박스(30)는 내부의 제어보드, 배터리(530), 전원공급 회로(500) 등을 외부로부터 보호하고 분리할 수 있도록 구성된다.
제어 박스(30)의 구체적인 구성과 그 제어에 대해서는 도 2 이하에서 상세히 살펴보도록 한다.
스피커(40)는 수신되는 음향 신호를 가청 신호로 변환하여 출력한다. 스피커(40)는 제어 박스(30)의 제어부(100)에 유선라인 등으로 연결되어 제어부(100)로부터 수신되는 (전기적) 음향 신호를 사용자가 들을 수 있는 가청 신호(진동 신호)로 변환하여 출력할 수 있다. 스피커(40)는 제어 박스(30) 위, CCTV(20)들 아래에 위치하고 상부 프레임(50)에 결합하여 무단투기자 등이 들을 수 있는 경고 음성 등을 실시간 출력할 수 있다.
하부 프레임(60)과 상부 프레임(50)은 무단투기 탐지 시스템의 구성 블록을 지지하고 무단투기 탐지 시스템의 외형을 구성한다. 제어 박스(30)의 설치 위치를 중심으로 제어 박스(30)의 아래에 하부 프레임(60)이 위치하고 제어 박스(30) 위에 상부 프레임(50)이 위치한다.
상부 프레임(50)에는 제어 박스(30)의 설치 위치로부터 상측으로 스피커(40), CCTV(20)들 및 태양광 패널(10)이 위치하고 고정될 수 있다. 상부 프레임(50)은 상하 방향의 긴 파이프 형상(나아가 수평 방향의 브랫킷 형상)을 가지고 그 형상의 특정 위치에 스피커(40), CCTV(20)들 및 태양광 패널(10)이 위치하고 고정된다.
하부 프레임(60) 위에 제어 박스(30), 상부 프레임(50), 스피커(40), CCTV(20)들 및 태양광 패널(10)을 위치시켜 고정하고 하부 프레임(60)에는 무단투기 탐지 시스템을 이동시키기 위한 이동수단(예를 들어, 바퀴 등)을 더 구비할 수 있다. 상부 프레임(50) 및 하부 프레임(60)은 금속재로 구성될 수 있다.
도 2는 제어 박스(30)의 내부에 구성되는 전원 및 제어 관련 구성의 예를 도시한 도면이다.
도 2의 전원 및 제어 관련 구성은 보드, 배터리(530), 전자부품을 이용한 전자회로로 구현되고 제어 박스(30) 내부에 내장되어 무단투기 탐지 시스템을 모니터링하고 제어할 수 있도록 구성된다.
제어 박스(30)를 포함하는 무단투기 탐지 시스템은 제어 박스(30) 내부에 제어부(100)와 전원공급 회로(500)를 포함하여 구성된다.
전원공급 회로(500)는 제어부(100)와 CCTV(20)들 및 스피커(40)에 필요 전원을 공급한다. 전원공급 회로(500)는 태양광 패널(10)에서 발생하는 전원(만)을 이용하여 CCTV(20)들, 제어부(100) 및 스피커(40)에 필요한 하나 이상의 직류 전원을 생성하여 공급한다.
전원공급 회로(500)는 발전 모듈(510), 배터리(530) 및 전원 생성기(550)를 포함하여 태양광 패널(10)의 전기 신호로부터 전원을 생성 및 저장하여 저장된 전원으로부터의 직류 전원을 하나 이상 생성(예를 들어, 1.8V, 3.3 V, 5V 등)하고 생성된 직류 전원들을 제어부(100)의 구성 부품들과 CCTV(20)들 및 스피커(40)로 공급할 수 있다.
발전 모듈(510)은 태양광 패널(10)의 전기 신호로부터 전원을 생성하고 생성된 전원을 배터리(530)에 충전하기 위한 회로를 포함하고 리튬 이온이나 리튬 폴리머 등의 배터리(530)는 발전 모듈(510)에 연결되어 공급되는 전원을 축전한다. 전원 생성기(550)는 배터리(530)에 연결되어 배터리(530)로부터의 전원을 제어부(100), CCTV(20), 스피커(40) 등에 필요한 직류 전원으로 변환하여 출력한다. 전원 생성기(550)는 하나 이상의 LDO, 레귤레이터 등을 포함하여 구성될 수 있다. 발전 모듈(510), 배터리(530) 및 전원 생성기(550)를 포함하는 전원공급 회로(500)는 보드나 모듈 등의 형태로 구현될 수 있다.
제어부(100)는 구비된 인공지능 프로그램을 이용하여 무단투기 탐지 시스템을 제어한다. 바람직하게는 제어부(100)는 인공지능 모델을 이용하여 CCTV(20)에서 촬영된 영상에서 무단투기( 행위)를 실시간으로 탐지하고 탐지 결과에 따른 경고 음성을 스피커(40)를 통해 출력할 수 있도록 구성된다. 제어부(100)는 PCB 기판과 하나 이상의 전자 부품 등으로 구성되는 제어 보드(의 회로)로 구현된다.
하나 이상의 영상으로부터 무단투기를 탐지하는 제어부(100)는 주제어 유닛(110), AI 추론 유닛(190), 메모리(130), 오디오 DAC(150), 영상 인터페이스(170)를 포함하여 구성되고 주제어 유닛(110), AI 추론 유닛(190), 메모리(130), 오디오 DAC(150) 및 영상 인터페이스(170)는 예를 들어, PCB 기판상의 신호라인을 통해 서로 연결되어 각종 데이터나 제어 신호를 송수신할 수 있다.
제어부(100)를 좀 더 구체적으로 살펴보면, 메모리(130)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함하여 각종 데이터와 프로그램을 저장한다. 예를 들어, 메모리(130)는 CCTV(20)의 영상 프레임들, 주제어 유닛(110)에서 이용 가능한 각종 제어 프로그램 (모듈), AI 추론 유닛(190)(의 AI 추론가속기(191))에서 이용 가능한 각종 인공지능 프로그램( 모듈)을 저장할 수 있다.
오디오 DAC(150)(Digital Analog Converter)는 주제어 유닛(110)으로부터의 디지털 음향 신호를 아날로그 음향 신호로 변환하여 스피커(40)로 출력한다. 예를 들어, 오디오 DAC(150)는 오디오 클럭에 동기화된 디지털의 시리얼 신호를 아날로그의 신호로 변환하여 스피커(40)로 출력할 수 있다.
영상 인터페이스(170)는 CCTV(20)로부터의 영상을 수신한다. 영상 인터페이스(170)는 예를 들어, 이더넷 또는 PoE(Power of Ethernet) 신호라인을 통해 수신되는 신호에서 이더넷 패킷을 추출하고 추출된 이더넷 패킷을 주제어 유닛(110)으로 전송할 수 있다. 영상 인터페이스(170)는 이더넷 패킷 추출에 필요한 전자(전기) 회로를 포함하여 구성된다.
AI 추론 유닛(190)은 인공지능 모델(의 수행)을 가속화할 수 있는 유닛이다. AI 추론 유닛(190)은 서로 독립적으로 인공지능 모델 관련 연산(예를 들어, 컨볼루션 연산)이나 레이어 연산 및/또는 인공지능 모델 자체를 처리할 수 있는 AI 추론가속기(191)를 가지고 AI 추론가속기(191)에 할당되는 인공지능 모델의 특정 쓰레드(thread)(의 명령어 코드)를 수행하여 그 결과를 생성할 수 있다.
AI 추론 유닛(190)은 주제어 유닛(110)에 데이터/제어 버스(예를 들어, PCI 버스)를 통해 연결되고 주제어 유닛(110)으로부터의 제어 데이터에 따라 여러 AI 추론가속기(191) 중 특정 하나 또는 복수의 AI 추론가속기(191)를 구동시켜 인공지능 모델(의 특정 레이어나 특정 연산)을 수행 가능하다.
AI 추론 유닛(190)은 인공지능 모델의 수행에 특화되며 주제어 유닛(110)과는 별도의 칩셋일 수 있고 예를 들어, NPU(Neural Processing Unit), TPU(Tensor Processing Unit), DSP(digital signal processor) 등을 나타내거나 포함할 수 있다. 적어도 AI 추론 유닛(190)은 그래픽 처리를 위해 구성되었으나 인공지능 모델의 수행에 널리 이용되는 GPU(Graphic Processing Unit) 대신에 인공지능 모델의 수행에 특화된 칩셋으로서 저전력으로 다양한 개수의 인공지능 모델을 동시에(또는 병렬로) 수행 가능하도록 구성된다.
주제어 유닛(110)은 제어부(100)의 다른 블록들을 제어하여 무단투기 탐지 시스템을 제어한다. 주제어 유닛(110)은 메모리(130)의 프로그램을 이용하여 무단투기 탐지 시스템을 제어할 수 있도록 구성되고 소위 CPU, MPU, 중앙처리장치 등을 나타내거나 포함한다. 주제어 유닛(110)은 AI 추론 유닛(190)과는 별도의 칩셋일 수 있고 예를 들어, ARM 기반의 프로세서로 구현되어 AI 추론 유닛(190)과 PCI 버스를 통해 제어신호나 데이터를 송수신 가능하도록 구성될 수 있다. 여기서 설계 예에 따라, 주제어 유닛(110), 메모리(130), 오디오 DAC(150) 및 영상 인터페이스(170)는 단일 칩셋에 구현되거나 다수의 칩셋으로 구현될 수 있다.
주제어 유닛(110)은 내부에 프로그램의 명령어를 실행할 수 있는 실행 유닛을 하나 이상 포함하여 메모리(130)의 프로그램의 명령어에 따라 무단투기 탐지 시스템을 제어한다. 바람직하게는 주제어 유닛(110)(을 포함하는 제어부(100))은 메모리(130)의 주제어 프로그램의 제어에 따라 메모리(130)의 인공지능 모델(프로그램)을 수행시켜 AI 추론 유닛(190)의 AI 추론가속기(191)들 중 하나 이상을 인공지능 모델의 쓰레드(thread) 할당하고 CCTV(20)로부터 수신되는 영상 프레임으로부터 객체를 탐지하며 탐지된 객체에 대한 자세 분류로 무단투기를 탐지할 수 있도록 구성된다.
주제어 유닛(110)과 AI 추론 유닛(190)과의 연동에 따라 쓰레기 무단투기를 감지하는 과정은 도 3 및 도 4를 통해 좀 더 상세히 살펴보도록 한다.
도 3은 쓰레기의 무단투기를 탐지하기 위한 예시적인 제어 흐름을 도시한 도면이다.
도 3의 무단투기 탐지 제어 흐름은 무단투기 탐지 시스템에서 수행되고 바람직하게는 인공지능 모델의 프로그램을 수행하는 주제어 유닛(110)에 의해 영상 인터페이스(170)를 통해 수신되는 영상 프레임에 대한 AI 추론 유닛(190)의 AI 추론가속기(191)의 할당 및 구동 제어에 따른 인공지능 모델의 수행에 따른 결과를 오디오 DAC(150)를 통해 출력하여 이루어진다. 도 3의 각각의 과정은 반드시 순차적으로 이루어질 필요는 없고 각각의 과정은 다른 과정과 독립하여(병렬로) (다수회) 수행될 수 있다.
도 4와 연계하여, 도 3의 제어 흐름을 살펴보면, 주제어 유닛(110)은 영상 인터페이스(170)를 통해 연결된 CCTV(20)들 각각으로부터 영상 프레임을 수신(S101)한다. 메모리(130)에 저장되어 있는 프로그램인 이미지 전달 쓰레드를 수행하는 주제어 유닛(110)은 RTSP 통신을 통해 CCTV(20) 각각으로부터 영상 프레임을 수신하고 수신된 영상 프레임을 메모리(130)의 이미지 큐에 삽입 저장한다. 수신되는 영상 프레임은 SD, HD, Full-HD 또는 UHD 등의 해상도를 가질 수 있다.
주제어 유닛(110)에서 수행되는 이미지 전달 쓰레드는 영상 프레임을 전송한 CCTV(20)의 ID, 영상 프레임 및 프레임 ID(영상 프레임의 순서를 나타내거나 특정 가능한 ID)를 포함하는 영상 프레임 정보를 구성하고 이미지 큐에 저장(인큐(enque))(도 4의 ① 참조)한다. 무단투기 탐지 시스템은 하나의 이미지 큐를 가지고, 이미지 전달 쓰레드는 CCTV(20) 들의 영상 프레임의 수신 시각에 따라 영상 프레임 정보를 구성하고 이미지 큐의 삽입 위치(rear point)에 순차적으로 저장(인큐)하고 후속 영상 프레임 정보 삽입을 위한 다음의 삽입 위치를 변경한다. 이와 같이, 이미지 큐는 다수의 CCTV(20)들의 다수의 영상 프레임 정보를 저장하고 이미지 큐에 의한 순차적인 큐잉으로 영상 프레임의 수신과 후속하는 여러 인공지능 모델의 수행을 비동기화 시킬 수 있다.
제어부(100)(의 주제어 유닛(110))는 이미지 큐에 영상 프레임 정보가 저장됨에 따라 CCTV(20)들 각각으로부터 수신되는 영상 프레임에서 객체를 탐지(S103)한다. 주제어 유닛(110)은 AI 추론 유닛(190)의 AI 추론가속기(191)들 중 하나 이상의 AI 추론가속기(191)를 객체 탐지 대상 영상 프레임에 할당하여 CCTV(20)의 영상 프레임에서 객체를 탐지한다.
구체적으로, 주제어 유닛(110)(의 제어 프로그램)은 이미지 큐의 삽입 순서에 따라 하나의 영상 프레임 정보(이미지 큐의 영상 프레임 정보들 중 가장 오랜된 영상 프레임 정보)를 추출(디큐(deque))하고 추출된 영상 프레임 정보의 프레임 ID에 대응하는 객체 탐지 쓰레드(메모리(130) 프로그램)에 추출된 영상 프레임 정보에 대한 객체 탐지 잡(Job)을 할당한다.
CCTV(20)들 별로 대응하는 객체 탐지 쓰레드가 미리 매칭(할당)될 수 있다. 예를 들어, CCTV(20)가 2개인 경우, 두 개의 객체 탐지 쓰레드가 미리 매칭되고 각각의 객체 탐지 쓰레드는 지정된 영상 프레임 정보의 영상 프레임에 대한 객체를 해당 객체 탐지 쓰레드에 미리 할당되는 하나 이상의 AI 추론가속기(191)(도 4의 ② 참조)를 이용하여 탐지한다.
할당된 개별 AI 추론가속기(191)를 이용하여 영상 프레임으로부터 객체를 탐지하는 개별 객체 탐지 쓰레드(들)는 객체 탐지를 위해 트레이닝된 인공지능 객체 탐지 모델(의 프로그램)을 할당된 AI 추론가속기(191)를 이용하여 탐지(도 4 참조)한다. 메모리(130)의 프로그램에 의해 구성되는 객체 탐지 쓰레드는 영상 프레임에서 사람 객체를 탐지하고 사람 객체의 탐지에 따라 탐지된 사람 객체를 특정하는 바운딩 박스 영역(예를 들어, 직사각형 영역), CCTV ID 및 프레임 ID를 포함하는 ROI(Region of Interest) 정보를 메모리(130)의 ROI 큐에 삽입 저장(인큐)(도 4의 ③ 참조)한다.
이와 같이, 주제어 유닛(110)은 CCTV(20)들 각각에 대해 할당되고 AI 추론가속기(191)를 사용하는 객체 탐지 쓰레드를 통해 독립적으로 객체를 탐지하고 탐지된 객체에 대한 정보(예를 들어, 영역 정보와 탐지된 CCTV(20)의 ID와 그 프레임 ID)를 포함하는 ROI 정보를 ROI 큐에 저장하도록 구성된다.
개별 객체 탐지 쓰레드는 다른 객체 탐지 쓰레드와 독립하여 잡이 할당된 CCTV(20)로부터의 영상 프레임에서 객체를 탐지하고 다수의 ROI 정보를 비동기적으로 저장 가능한 ROI 큐에 저장할 수 있다. ROI 큐에는 삽입 순서(시각)에 따라 순차적으로 ROI 정보가 삽입(인큐)된다. 객체 탐지 쓰레드는 하나 이상의 사람 객체를 탐지하고 탐지된 사람 객체 각각의 ROI 정보를 생성하여 ROI 큐에 삽입할 수 있다.
또한, 객체 탐지 쓰레드는 쓰레기 객체를 더 탐지할 수 있다. 객체 탐지 쓰레드는 쓰레기 객체의 탐지에 따라 바운딩 박스(Bounding Box) 영역, CCTV ID 및 프레임 ID를 포함하는 ROI 정보를 생성하여 ROI 큐에 저장 가능하다.
객체 탐지 쓰레드는 객체 탐지 과정에서 임계치 비교에 따른 객체 탐지 과정을 거치고 이미지 수정(예를 들어, 크기 변경이나 그레이 영상 변환 등) 과정을 거친 후의 ROI 정보를 생성하여 ROI 큐에 삽입 저장할 수 있다.
이와 같이, CCTV(20)별로 할당된 개별 객체 탐지 쓰레드는 개별 영상 프레임에서 독립적으로 탐지된 객체를 특정 가능한 하나 이상의 ROI 정보를 생성하고 ROI 큐에 삽입 위치에 탐지 시각(ROI 정보의 생성 시각)에 따른 순서로 저장할 수 있다.
제어부(100)(의 주제어 유닛(110))는 객체 탐지에 따라 탐지된 객체에 대한 자세를 AI 추론가속기(191) 중 하나 이상을 할당하여 분류(S105)한다. 주제어 유닛(110)은 ROI 큐의 ROI 정보를 추출(디큐)하고 추출된 ROI 정보 각각을 AI 추론가속기(191)들 중 할당되지 않은 하나( 이상)의 AI 추론가속기(191)(를 사용하는 자세 분류 쓰레드)에 할당하여 추출된 ROI 정보의 바운딩 박스 영역의 객체의 자세를 인공지능 모델을 통해 분류(도 4의 ④ 참조)한다. 각각의 자세 분류 쓰레드는 분류된 자세 데이터, CCTV ID 및 프레임 ID를 포함하는 결과 정보를 메모리(130)의 결과 큐에 저장(인큐)할 수 있다.
ROI 큐의 ROI 정보에 대해 자세 분류 잡을 받은 각각의 자세 분류 쓰레드는 할당받은 각각의 AI 추론가속기(191)에서 인공지능 자세 분류 모델(의 프로그램)을 수행하여 탐지된 객체의 자세를 분류하고 분류된 자세 데이터와 CCTV ID(ROI 정보의 CCTV ID) 및 프레임 ID(ROI 정보의 프레임 ID)를 포함하는 결과 정보를 생성하여 결과 큐의 삽입 위치에 결과 정보의 생성에 따라 순차적 저장(인큐)(도 4의 ⑤ 참조)한다.
ROI 큐의 ROI 정보에 대해 구동되는 각각의 자세 분류 쓰레드는 동적으로 AI 추론가속기(191)를 할당받아 ROI 큐의 ROI 정보의 개수의 변화에 따라 동적으로 대응 가능하다. 반면, 객체 탐지 쓰레드는 CCTV(20) 별로 미리 AI 추론가속기(191)를 할당받아 순차적으로 수신되는 영상 프레임별로 안정적으로 객체 탐지가 가능하다. 자세 분류를 위한 ROI 정보의 개수는 동적으로 변화하고 자세 분류를 위한 소요 시간은 객체 탐지보다 많은 시간이 요한다.
예를 들어, 객체 탐지를 위한 MyriadX 기준 1 프레임당 SSD(Single Shot Dector) 모델(인공지능 객체 탐지 모델의 예)의 경우 대략 54ms 시간이 소요되고 자세 분류를 위한 인공지능 모델의 경우 SSD 모델 대비 2배 이상인 116ms의 시간이 소요된다. 본 발명에 따른 무단투기 탐지 시스템은 동적으로 ROI 정보에 AI 추론가속기(191)를 할당하고 정적으로 CCTV(20)에 객체 탐지를 위한 AI 추론가속기(191)를 할당하여 AI 추론 유닛(190)의 병렬 처리의 장점을 극대화하고 효율적인 동적 처리와 저전력을 구현할 수 있다.
자세 분류 쓰레드는 적어도 객체 이미지로부터 (쓰레기의) 무단투기 자세인지 아닌지를 나타내는 자세 데이터(예를 들어, 무단투기 자세의 확률)를 생성하여 결과 정보로 결과 큐에 저장할 수 있다.
제어부(100)(의 주제어 유닛(110))는 자세 분류에 따라 CCTV(20)의 영상으로부터 무단투기를 탐지(S107)한다. 주제어 유닛(110)(의 무단투기 판정 프로그램 모듈)은 결과 큐의 여러 결과 정보들 중에서 동일한 CCTV ID를 가지는 영상 프레임들의 결과 정보에 기초하여 쓰레기의 무단투기 여부를 판정(도 4의 ⑥ 참조)한다.
예를 들어, 주제어 유닛(110)은 동일한 CCTV ID를 가지는 복수의(일련의) 영상 프레임의 ROI 정보들의 자세 데이터가 무단투기 자세인 경우에 무단투기가 일어난 것으로 판정할 수 있다. 예를 들어, 주제어 유닛(110)은 결과 큐의 동일 CCTV ID를 가지고 연속적인 영상 프레임의 ROI 정보의 존재 여부를 판단하고 각각의 ROI 정보의 무단투기 자세의 확률이 (무단 투기의 판별을 위해 설정된) 임계치 이상인 경우에 무단투기가 발생한 것으로 판정할 수 있다. 이와 같이, 주제어 유닛(110)은 연속적인 영상 프레임들의 ROI 정보에 기초하여 특정 CCTV(20)에서의 무단투기 발생 여부를 판정할 수 있다.
살펴본 바와 같이, 제어부(100)는 서로 비동기적이고 독립적으로 삽입(인큐) 및 추출(디큐)하고 그에 따라 인공지능 모델의 쓰레드를 수행 가능토록 하는 이미지 큐, ROI 큐 및 결과 큐를 활용하여 서로 비동기적이고 병렬적으로 CCTV(20)로부터 수신되는 하나의 영상 프레임에서 사람 객체를 탐지하고 이어 사람 객체의 자세가 투기 자세인지를 탐지할 수 있다. 또한, 제어부(100)는 후속하는 (하나 이상의) 영상 프레임에서 사람 객체를 탐지하고 이어 사람 객체의 자세가 투기 자세인지를 탐지한다. 연속적인 영상 프레임에서 투기 자세를 탐지한 경우에 제어부(100)는 쓰레기의 무단투기가 일어난 것으로 판정 가능하다.
제어부(100)(의 주제어 유닛(110))는 무단투기 탐지(판정)에 따라 오디오 DAC(150)를 통해 경고 음성의 음향 신호를 출력하고 무단투기의 판정에 이용된 특정 CCTV(20)의 일련의 영상 프레임들과 이후의 특정 CCTV(20)의 영상 프레임들을 메모리(130)에 저장한다.
도 3의 제어 흐름을 수행하는 무단투기 탐지 시스템은 객체 탐지 인공지능 모델을 수행하는 객체 탐지 쓰레드와 자세 분류 인공지능 모델을 수행하는 자세 분류 쓰레드를 AI 추론가속기(191)에 할당하여 단계적으로 무단투기를 탐지한다. 객체 탐지와 자세 분류의 인공지능 모델 사이에 다수의 정보를 순차적으로 저장하고 저장 순서대로 추출 가능한 비동기 큐를 활용하여 독립적이고 병렬적으로 각 CCTV(20)별 영상 프레임에서 무단투기 탐지가 가능하다. 객체 탐지 인공지능 모델과 자세 분류 인공지능 모델은 미리 학습되어 모델의 프로그램이 메모리(130)에 저장될 수 있다.
본 발명에 따른 무단투기 탐지 시스템은 NPU와 같은 AI 추론 유닛(190)을 활용하고 모델별 쓰레드(의 AI 추론가속기(191))가 정적으로 할당되거나 동적으로 할당되는 프로그램 구현 모델을 가진다.
본 발명에 따른 무단투기 탐지 시스템은 GPU 대비 낮은 소비전력을 가질 수 있고 CCTV(20)의 개수의 변경 대응과 CCTV(20) 내 탐지되는 객체의 수에 동적인 대응이 용이하고 계층화된 인공지능 모델과 그 사이의 큐잉 구조에 따라 무단투기 탐지 시스템의 효율적인 구현과 소비되는 에너지의 절감을 가져온다. 그에 따라 본 발명의 무단투기 탐지 시스템은 태양광 패널(10)에 의해 생성되는 전력만으로 무단투기 탐지 시스템의 필요 전력을 충당할 수 있고 별도의 전력 공급원이 필요치 않게 구현 가능하다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
10 : 태양광 패널
20 : CCTV
30 : 제어 박스
40 : 스피커
50 : 상부 프레임
60 : 하부 프레임
100 : 제어부
110 : 주제어 유닛
130 : 메모리
150 : 오디오 DAC
170 : 영상 인터페이스
190 : AI 추론 유닛
191 : AI 추론가속기
500 : 전원공급 회로
510 : 발전 모듈
530 : 배터리
550 : 전원 생성기

Claims (8)

  1. 복수의 CCTV;
    메모리, 주제어 유닛 및 복수의 AI 추론가속기를 구비하는 제어부;로서, 상기 주제어 유닛의 제어에 따라 상기 복수의 AI 추론가속기 중 하나 이상을 할당하여 상기 복수의 CCTV 각각으로부터 수신되는 영상 프레임에서 객체를 탐지하고 후속하여 탐지된 객체에 대한 자세를 분류하고 객체 탐지와 자세 분류에 따라 무단투기를 탐지하는 제어부;
    상기 제어부에 연결되어 상기 제어부로부터의 음향 신호를 출력하는 스피커;
    태양광 패널; 및
    상기 태양광 패널에서 발생하는 전원을 이용하여 상기 복수의 CCTV, 상기 제어부 및 상기 스피커에 직류 전원을 생성하여 공급하는 전원공급 회로;를 포함하고,
    상기 메모리의 이미지 전달 쓰레드를 수행하는 상기 주제어 유닛은, 복수의 CCTV 각각으로부터 영상 프레임을 수신하고 상기 메모리의 이미지 큐의 삽입 위치에 수신 시각에 따라 순차적으로 CCTV ID, 수신된 영상 프레임 및 프레임 ID를 포함하는 영상 프레임 정보를 인큐하고 후속 영상 프레임 정보 삽입을 위한 상기 이미지 큐의 상기 삽입 위치를 변경하고,
    상기 주제어 유닛은 상기 이미지 큐의 삽입 순서에 따른 하나의 영상 프레임 정보를 디큐하고 상기 복수의 CCTV 각각의 객체 탐지를 수행하는 복수의 객체 탐지 쓰레드 중 디큐된 영상 프레임 정보의 수신된 영상 프레임을 촬영한 CCTV에 대응하는 객체 탐지 쓰레드에 상기 영상 프레임 정보에 대한 객체 탐지 잡을 할당하고,
    디큐된 영상 프레임 정보의 프레임 ID에 대응하는 상기 객체 탐지 쓰레드를 수행하는 상기 주제어 유닛은 상기 객체 탐지 쓰레드에 할당된 하나 이상의 AI 추론가속기를 사용하여 사람 객체를 탐지하고 탐지된 사람 객체의 바운딩 박스 영역, 상기 디큐된 영상 프레임 정보의 CCTV ID 및 프레임 ID를 포함하는 ROI(Region of Interest) 정보를 상기 메모리의 ROI 큐에 인큐하고,
    상기 복수의 CCTV 각각에 대응하는 상기 복수의 객체 탐지 쓰레드 각각은 상기 복수의 AI 추론가속기 중 하나 이상의 AI 추론가속기를 정적으로 미리 할당받는,
    무단투기 탐지 시스템.
  2. 제1항에 있어서,
    상기 제어부는, 상기 CCTV로부터 수신되는 제1 영상 프레임에서 사람 객체를 탐지하고 탐지된 사람 객체의 자세가 투기 자세이고 상기 CCTV로부터의 후속하는 하나 이상의 영상 프레임에서 사람 객체를 탐지하고 탐지된 사람 객체의 자세가 투기 자세인 경우에, 쓰레기의 무단투기가 일어난 것으로 판정하고 상기 스피커를 통해 경고 음성의 음향 신호를 출력하고 상기 제1 영상 프레임과 후속하는 상기 하나 이상의 영상 프레임을 저장하는,
    무단투기 탐지 시스템.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 주제어 유닛은 상기 ROI 큐의 ROI 정보를 디큐하고 상기 복수의 AI 추론가속기 중 할당되지 않은 하나 이상의 AI 추론가속기를 동적으로 자세 분류 쓰레드에 할당하여 디큐된 상기 ROI 정보의 바운딩 박스 영역의 객체의 자세를 인공지능 모델을 통해 분류하고 분류된 자세 데이터, CCTV ID 및 프레임 ID를 포함하는 결과 정보를 상기 메모리의 결과 큐에 저장하는,
    무단투기 탐지 시스템.
  6. 제5항에 있어서,
    상기 주제어 유닛은 상기 결과 큐의 복수의 결과 정보 중 동일한 CCTV ID를 가지는 순차적인 영상 프레임들의 결과 정보에 기초하여 쓰레기의 무단투기 여부를 판정하고 상기 판정에 따라 스피커를 통해 경고 음성을 나타내는 음향 신호를 출력하고 상기 메모리에 무단투기로 판정된 CCTV의 영상 프레임들을 저장하는,
    무단투기 탐지 시스템.
  7. 복수의 CCTV 각각으로부터 영상 프레임을 수신하는 단계;
    메모리, 주제어 유닛 및 복수의 AI 추론가속기를 구비하는 제어부에서, 상기 복수의 AI 추론가속기 중 하나 이상을 할당하여 상기 복수의 CCTV 각각으로부터 수신되는 영상 프레임에서 객체를 탐지하는 단계;
    상기 제어부에서, 탐지된 객체에 대한 자세를 상기 복수의 AI 추론가속기 중 하나 이상을 할당하여 분류하는 단계; 및
    상기 자세 분류에 따라 무단투기를 탐지하고 스피커로 경고 음성을 출력하는 단계;를 포함하고,
    상기 영상 프레임을 수신하는 단계는, RTSP 통신을 통해 복수의 CCTV 각각으로부터 영상 프레임을 수신하고 상기 메모리의 이미지 큐의 삽입 위치에 수신 시각에 따라 순차적으로 CCTV ID, 수신된 영상 프레임 및 프레임 ID를 포함하는 영상 프레임 정보를 인큐하고 후속 영상 프레임 정보 삽입을 위한 상기 이미지 큐의 상기 삽입 위치를 변경하고,
    상기 영상 프레임에서 객체를 탐지하는 단계는, 상기 이미지 큐의 삽입 순서에 따른 하나의 영상 프레임 정보를 디큐하고 상기 복수의 CCTV 각각의 객체 탐지를 수행하는 복수의 객체 탐지 쓰레드 중 디큐된 영상 프레임 정보의 수신된 영상 프레임을 촬영한 CCTV에 대응하는 객체 탐지 쓰레드에 상기 영상 프레임 정보에 대한 객체 탐지 잡을 할당하고, 디큐된 영상 프레임 정보의 상기 객체 탐지 쓰레드의 수행을 통해 상기 객체 탐지 쓰레드에 할당된 하나 이상의 AI 추론가속기를 사용하여 사람 객체를 탐지하고 탐지된 사람 객체의 바운딩 박스 영역, 상기 디큐된 영상 프레임 정보의 CCTV ID 및 프레임 ID를 포함하는 ROI(Region of Interest) 정보를 상기 메모리의 ROI 큐에 인큐하며,
    상기 복수의 CCTV 각각에 대응하는 상기 복수의 객체 탐지 쓰레드 각각은 상기 복수의 AI 추론가속기 중 하나 이상의 AI 추론가속기를 정적으로 미리 할당받는,
    무단투기 탐지 방법.
  8. 삭제
KR1020230096463A 2023-07-25 2023-07-25 태양 전지 기반 저전력 지능형 쓰레기 무단투기 탐지 시스템 및 방법 KR102648016B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230096463A KR102648016B1 (ko) 2023-07-25 2023-07-25 태양 전지 기반 저전력 지능형 쓰레기 무단투기 탐지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230096463A KR102648016B1 (ko) 2023-07-25 2023-07-25 태양 전지 기반 저전력 지능형 쓰레기 무단투기 탐지 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102648016B1 true KR102648016B1 (ko) 2024-03-18

Family

ID=90473964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230096463A KR102648016B1 (ko) 2023-07-25 2023-07-25 태양 전지 기반 저전력 지능형 쓰레기 무단투기 탐지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102648016B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017152909A (ja) * 2016-02-24 2017-08-31 学 奥田 監視カメラシステム
KR20190128500A (ko) * 2018-05-08 2019-11-18 한국전자통신연구원 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
KR102076113B1 (ko) 2019-10-14 2020-02-11 (주)비에스아이시스템 쓰레기 무단 투기 영상 감시 장치
KR102124027B1 (ko) * 2020-03-17 2020-06-17 (주)스마트링스 빅데이터 기반의 멀티 채널 감시 및 객체 분석이 가능한 클라우딩 시스템, 그리고 클라우딩 서비스 제공 방법
US11562554B1 (en) * 2020-11-12 2023-01-24 Amazon Technologies, Inc. Workload reduction for non-maximum suppression operation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017152909A (ja) * 2016-02-24 2017-08-31 学 奥田 監視カメラシステム
KR20190128500A (ko) * 2018-05-08 2019-11-18 한국전자통신연구원 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
KR102076113B1 (ko) 2019-10-14 2020-02-11 (주)비에스아이시스템 쓰레기 무단 투기 영상 감시 장치
KR102124027B1 (ko) * 2020-03-17 2020-06-17 (주)스마트링스 빅데이터 기반의 멀티 채널 감시 및 객체 분석이 가능한 클라우딩 시스템, 그리고 클라우딩 서비스 제공 방법
US11562554B1 (en) * 2020-11-12 2023-01-24 Amazon Technologies, Inc. Workload reduction for non-maximum suppression operation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
한국 공개특허공보 제10-2019-0128500호(2019.11.18.) 1부.*
한국 등록특허공보 제10-2124027호(2020.06.17.) 1부.*

Similar Documents

Publication Publication Date Title
CN101511000B (zh) 一种利用声波定位的智能监控摄像头装置
WO2022142830A1 (zh) 应用设备及其隔空手势识别方法
KR102648016B1 (ko) 태양 전지 기반 저전력 지능형 쓰레기 무단투기 탐지 시스템 및 방법
CN112449147A (zh) 光伏电站视频集群监控系统及其图像处理方法
CN103020590A (zh) 一种基于三维模型与图像匹配的车辆识别系统及其方法
CN112332457A (zh) 一种配电综合监测数据的边云协同处理方法
CN113955594A (zh) 一种电梯控制方法、装置、计算机设备和存储介质
CN111104289B (zh) 一种gpu集群的效率检查系统及方法
CN105992213A (zh) 智能路由器、云端服务器及智能路由器启停系统
CN105023262A (zh) 视觉检测控制器
CN116167563A (zh) 电力资源的分配方法、装置、电子设备及存储介质
CN114972863A (zh) 一种基于边缘智能终端的大型机械检测装置及其检测方法
CN202548758U (zh) 一种互动投影系统
CN113054902B (zh) 一种基于深度学习的沿海太阳能智能发电系统
CN111160283B (zh) 一种数据接入方法、装置、设备和介质
KR102354035B1 (ko) 경험적 학습기반 음원을 이용한 상황인식 시스템 및 그 방법
CN109388703A (zh) 基于java语言的高压试验报告自动生成手持设备及方法
Bramberger et al. A method for dynamic allocation of tasks in clusters of embedded smart cameras
CN110543497A (zh) 一种高实时性布控解决方法及系统
CN211981832U (zh) 一种光功率预测用环境监测装置
CN106137211A (zh) 一种通过影像技术来预防近视的护眼设备
CN117076699B (zh) 一种多图片的加速处理方法、装置及电子设备
CN216661188U (zh) 一种fpga和arm的垃圾分类装置
Lin Research on the Design of Household Intelligent Sorting Garbage Bins Based on Raspberry Pi
CN114132808A (zh) 可识别电梯门开关状态的投影装置及方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant