KR20210123682A - 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템 및 방법 - Google Patents

감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템 및 방법 Download PDF

Info

Publication number
KR20210123682A
KR20210123682A KR1020200041134A KR20200041134A KR20210123682A KR 20210123682 A KR20210123682 A KR 20210123682A KR 1020200041134 A KR1020200041134 A KR 1020200041134A KR 20200041134 A KR20200041134 A KR 20200041134A KR 20210123682 A KR20210123682 A KR 20210123682A
Authority
KR
South Korea
Prior art keywords
target
image
data
feature
unit
Prior art date
Application number
KR1020200041134A
Other languages
English (en)
Other versions
KR102504320B1 (ko
Inventor
배강민
윤기민
권용진
김형일
문진영
박종열
배유석
이영완
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200041134A priority Critical patent/KR102504320B1/ko
Publication of KR20210123682A publication Critical patent/KR20210123682A/ko
Application granted granted Critical
Publication of KR102504320B1 publication Critical patent/KR102504320B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템 및 방법에 관한 것으로, 대상의 특징을 추출하기 위한 특징 데이터가 저장된 특징 데이터베이스; 기 설치된 카메라를 통해 촬영되는 영상을 획득하는 영상 획득부; 상기 영상 획득부를 통해 획득한 영상에서 기 학습된 딥러닝 모델을 이용하여 상기 물체를 들고 있는 사람을 특징 추출 대상으로 설정하는 대상 설정부; 설정된 특징 추출 대상에서 특정 행위를 하는지를 판단하기 위한 특징 데이터를 추출하는 특징 추출부; 및 상기 특징 추출부를 통해 추출된 특징 정보를 이용하여 쓰레기 투기 행위를 탐지하는 특정 행위 탐지부를 포함한다.

Description

감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템 및 방법{Garbage dumper detection system and method using multi-characteristic information in surveillance camera environment}
본 발명은 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템 및 방법에 관한 것으로, 더욱 상세하게는 감시카메라를 통해 제공되는 촬영 영상으로부터 특정 행위인 쓰레기 투기 행위자를 탐지하는 시스템 및 방법에 관한 것이다.
환경과 공공을 위한 인공지능의 개발이 화두다. 플라스틱이나 쓰레기 등을 무분별한 사용과 버려짐으로 인해 많은 환경이 파괴되고 있다. 또한, 공공의 문제로서 무단으로 버려진 쓰레기 더미를 치우는데 많은 사회적 비용이 발생한다. 이를 해결하기 위해, 관제사가 CCTV를 돌려보거나 간단한 움직임 센서 등을 이용한 방법을 사용하고 있지만, 비효율성으로 인해서 사용 효과가 미비하다.
기존의 유사한 연구로서는 놓고 간 물체 탐지 방법이 있다. 한번 발생한 움직임이 오랫동안 지속되면, 특정 물체가 사람에 의해서 장면에 등장한 이후에 두고 갔다라는 가정을 이용한다.
그러나, 이 방식은 주차된 차량의 경우에도 놓고 간 물체라고 판단되는 문제가 있으며 또한 버려진 물체가 가려짐 없이 확연히 보여야만 동작하는 한계가 있다.
종래의 쓰레기 투기 탐지 방법의 기술들은 미리 정해진 가정을 많이 활용한다.
예를 들어, 쓰레기가 버려져 있는 영역에 사람이 나타나서 오래 머물러있는다든지, 투기 감시 카메라 아래에서 움직이는 물체가 1개에서 2개로 나타난다든지, 혹은 손 주변 움직임이 발생한다든지 하는 제약사항이 많다.
본 발명은 종래 문제점을 해결하기 위해 안출된 것으로, 실제 투기 행위에서 발생하는 사람의 자세 및 배경 정보의 형상을 학습 기반의 방식을 통해 쓰레기 투기 행위를 감지하고, 사용자에게 이벤트를 알려주는 장치 및 방법을 제시하고자 한다.
또한, 본 발명은 추가적인 일반 행동 분류기를 통해서, 쓰레기 투기 행위뿐만 아니라 일반적인 행동 분류를 지원하고, 이를 이용하여 오탐지가 적은 쓰레기 투기 감지 시스템 및 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템은 대상의 특징을 추출하기 위한 특징 데이터가 저장된 특징 데이터베이스; 기 설치된 카메라를 통해 촬영되는 영상을 획득하는 영상 획득부; 상기 영상 획득부를 통해 획득한 영상에서 기 학습된 딥러닝 모델을 이용하여 상기 물체를 들고 있는 사람을 특징 추출 대상으로 설정하는 대상 설정부; 설정된 특징 추출 대상에서 특정 행위를 하는지를 판단하기 위한 특징 데이터를 추출하는 특징 추출부; 및 상기 특징 추출부를 통해 추출된 특징 정보를 이용하여 쓰레기 투기 행위를 탐지하는 특정 행위 탐지부를 포함한다.
상기 영상 획득부는 웹을 통해 접속하는 IP 카메라이다.
상기 특징 데이터베이스는 대상의 특징을 추출하기 위해, 영상 획득부가 촬영하는 영상에서 추출되는 대상 주변의 이미지 데이터; 추출된 대상의 관절 영역 데이터를 추출하기 위한 관절 데이터; 추출된 대상의 특정 행동을 추출하기 위한 움직임 데이터; 및 상기 움직임 데이터를 통해 선정된 대상이 들고 있는 물체를 식별하기 위해 상기 영상 획득부가 촬영하는 영상에서의 주변 배경 데이터가 각각 저장되고, 학습된다.
상기 대상이 들고 있는 물체는, 사람이 들 수 있는 물체만을 학습한다.
상기 특징 추출부는, 획득한 영상에서 대상 주변의 이미지 데이터를 추출하는 대상 주변 이미지 추출부; 추출된 대상의 관절 영역 데이터를 추출하는 대상 관절 영역 추정부; 추출된 대상의 쓰레기 투기 움직임 데이터를 추출하는 대상 주변 움직임 추출부; 및 상기 대상 주변 움직임 추출부를 통해 추출된 대상의 움직임이 행해진 대상의 주변 배경 데이터를 추출하는 대상 주변 배경 추출부를 포함한다.
상기 특징 추출부는, DNN(Deep Neural network)을 이용하여 추출된 복수의 다중 특징 정보를 각각 학습하는 다중 특징 학습부를 더 포함하고, 상기 다중 특징 학습부는 쓰레기 투기 영상과 일반적인 행동 인식 영상을 각각 학습한다.
상기 특정 행위 탐지부는 CCTV 데이터 분류기를 이용하고, 사람의 세부 상태 분류기, 사람 자세 예측기 및 사람의 상태 분류기 중 적어도 하나 이상을 이용하여 상기 특정 행위 탐지부를 통해 탐지한 투기 행위에 대한 검증을 수행하는 투기 행동 검증부를 포함한다.
그리고 상기 투기 행동 검증부는, 상기 특정 행위 탐지부를 통해 탐지한 투기 행위의 검증여부에 따라, 관제사에게 이벤트 송부를 결정한다.
그리고 본 발명의 일 실시예에 따른 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 방법은 영상 획득부에 의해, 기 설치된 카메라를 통해 촬영되는 영상을 획득하는 단계; 대상 설정부에 의해, 상기 획득한 영상에서 기 학습된 딥러닝 모델을 이용하여 물체를 들고 있는 사람을 특징 추출 대상으로 설정하는 단계; 특징 추출부에 의해, 상기 설정된 특징 추출 대상에서 특정 행위를 하는지를 판단하기 위한 특징 데이터를 추출하는 단계; 및 특정 행위 탐지부에 의해, 상기 추출된 특징 정보를 이용하여 쓰레기 투기 행위를 탐지하는 단계를 포함한다.
상기 영상 획득하는 단계는, 웹을 통해 접속하는 IP 카메라이고, IP, 아이디, 패스워드를 통해서 인증 받은 후 웹으로 인터넷을 접속할 수 있는 주소를 이용하여 접속하는 것이 바람직하다.
상기 대상이 손으로 잡고 있는 물체는, 사람이 들 수 있는 물체만을 학습할 수 있다.
상기 특징 추출하는 단계는, 대상 주변 이미지 추출부에 의해, 상기 획득한 영상에서 대상 주변의 이미지 데이터를 추출하는 단계; 대상 관절 영역 추정부에 의해, 상기 추출된 대상의 관절 영역 데이터를 추출하는 단계; 대상 주변 움직임 추출부에 의해, 상기 추출된 대상의 쓰레기 투기 움직임 데이터를 추출하는 단계; 및 대상 주변 배경 추출부에 의해, 상기 추출된 대상의 움직임이 행해진 대상의 주변 배경 데이터를 추출하는 단계를 포함한다.
또한, CCTV 데이터 분류기를 이용하여 투기 행위를 검출하는 단계 및 상기 투기 행동 검증부에 의해, 상기 특정 행위 탐지부를 통해 탐지한 투기 행위의 검증여부에 따라, 관제사에게 이벤트 송부를 결정하는 단계;를 포함한다.
상기 탐지한 투기 행위에 대한 검증을 수행하는 단계는, 투기 행동 검증부에 의해, 사람의 세부 상태 분류기, 사람 자세 예측기 및 사람의 상태 분류기 중 적어도 하나 이상을 이용하여 상기 특정 행위 탐지부를 통해 탐지한 투기 행위에 대한 검증을 수행하는 것이 바람직하다.
본 발명의 다른 실시에에 따른 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 학습방법은 영상 획득부에 의해, 획득한 영상에서 대상 주변의 이미지 데이터를 저장하는 단계; 대상의 관절 영역 데이터를 추출하기 위한 관절 데이터를 저장하는 단계; 특정 움직임을 판단하기 위해, 추출된 대상의 움직임 데이터를 저장하는 단계; 및 추출된 대상이 들고 있는 물체를 판단하기 위해, 상기 영상 획득부에 의해, 획득한 영상에서 대상의 주변 배경 데이터를 저장하는 단계를 포함한다.
상기 각 데이터를 저장하는 단계는, DNN(Deep Neural network)을 이용하여 추출된 복수의 다중 특징 정보를 각각 학습하는 단계를 더 포함한다.
상기 각 데이터를 저장하는 단계는, 쓰레기 투기 영상과 일반적인 행동 인식 영상을 각각 학습하는 것이 바람직하다.
본 발명의 일 실시예에 따르면, 실제 학습 데이터로 다양하게 수집한 영상을 통해서, 투기 행동과 그렇지 않은 행동을 잘 구별할 수 있는 분류기를 학습하여 기존의 규칙 기반의 방법보다 오탐지가 적고 개선된 결과를 얻을 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템을 설명하기 위한 기능블럭도.
도 2는본 발명의 일 실시예에서 영상 획득부를 통해 촬영된 영상의 일 예를 설명한 도면.
도 3은 도 1의 특징 추출부를 상세히 설명하기 위한 기능블록도.
도 4 내지 도 7은 본 발명의 일 실시예에 따른 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템에서 특정 행위를 감지하기 위한 과정을 설명하기 위한 참고도.
도 8은 본 발명의 일 실시예에서 획득한 영상에 복수개의 대상이 설정된 상태를 설명하기 위한 참고도.
도 9는 본 발명의 일 실시예에서 획득한 영상에 복수개의 대상이 들고 있는 물체를 설명하기 위한 참고도.
도 10은 본 발명의 일 실시예에서 특정 행위를 검증하기 위한 과정을 설명하기 위한 기능블록도.
도 11은 본 발명의 일 실시예에 따른 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 방법을 설명하기 위한 순서도.
도 12는 도 11의 특징 데이터 추출 단계를 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템을 설명하기 위한 기능블럭도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템은 특징 데이터베이스(100), 영상 획득부(200), 대상 설정부(300), 특징 추출부(400) 및 특정 행위 탐지부(500)를 포함한다.
특징 데이터베이스(100)는 대상의 특징을 추출하기 위한 특징 데이터가 저장된다.
영상 획득부(200)는 기 설치된 카메라를 통해 촬영되는 영상을 획득한다. 도 2는 영상 획득부(200)를 통해 촬영된 영상의 예이다. 이러한 영상 획득부(200)는 CCTV 카메라일 수 있고, 웹을 통해 접속하는 IP 카메라이며, IP, 아이디, 패스워드를 통해서 인증 받은 후 웹으로 인터넷을 접속할 수 있는 주소를 이용하여 접속한다.
대상 설정부(300)는 도 2에 도시된 바와 같이, 영상 획득부(200)를 통해 획득한 영상에서 기 학습된 딥러닝 모델을 이용하여 물체를 들고 있는 사람을 특징 추출 대상으로 설정한다. 이러한 대상 설정부(300)는 영상 획득부(200)를 통해 촬영된 영상에서 사람을 탐지하고, 사람이 소유하고 있는 물체를 탐지할 수 있다.
특징 추출부(400)는 설정된 특징 추출 대상에서 특정 행위를 하는지를 판단하기 위한 특징 데이터를 추출한다. 여기서, 본 발명의 일 실시예에서의 특정 행위는 쓰레기를 투기하는 행위이다.
도 3은 도 1의 특징 추출부(400)를 설명하기 위한 구성블록도이다.
도 3에 도시된 바와 같이, 하기에서는 본 발명의 일 실시예에 따른 특징 추출부(400)는 대상 주변 이미지 추출부(410), 대상 관절 영역 추정부(420), 대상 주변 움직임 추출부(430) 및 대상 주변 배경 추출부(440)를 포함한다.
대상 주변 이미지 추출부(410)는 특징 데이터베이스(100)에 저장된 특정 정보를 이용하여 도 4에 도시된 바와 같이, 상기 영상에서 대상 주변의 이미지 데이터를 추출한다.
대상 관절 영역 추정부(420)는 특징 데이터베이스(100)에 저장된 특정 정보를 이용하여 획득한 영상에서 도 5에 도시된 바와 같이, 추출된 대상의 관절 영역 데이터를 추출한다.
대상 주변 움직임 추출부(430)는 특징 데이터베이스(100)에 저장된 특정 정보를 이용하여 획득한 영상에서 도 7에 도시된 바와 같이, 추출된 대상의 쓰레기 투기 움직임 데이터를 추출한다.
대상 주변 배경 추출부(440)는 특징 데이터베이스(100)에 저장된 특정 정보를 이용하여 도 8에 도시된 바와 같이, 대상 주변 움직임 추출부(430)를 통해 추출된 대상의 움직임이 행해진 대상의 주변 배경 데이터를 추출한다.
이후, 특정 행위 탐지부(500)는 특징 추출부(400)를 통해 추출된 특징 정보를 이용하여 특정 행위인 쓰레기 투기 행위를 탐지한다.
일 예로, 도 2에 도시된 바와 같이, 영상 획득부(200)로부터 촬영된 영상 정보가 수집되면, 대상 설정부(300)는 영상 획득부(200)를 통해 획득한 영상에서 기 학습된 딥러닝 모델을 이용하여 물체를 들고 있는 사람을 특징 추출 대상과 대상이 들고 있는 물체(T1)을 설정한다. 한편, 특징 추출 대상은 도 8에 도시된 바와 같이, 복수의 사람(O1 내지 O3)이 특징 추출 대상으로 설정되거나 해당 대상이 들고 있는 물체(T1)이 될 수 있다.
이를 위해, 특징 추출부(400)는 설정된 특징 추출 대상에서 특정 행위를 하는지를 판단하기 위한 특징 데이터를 추출한다.
먼저, 대상 주변 이미지 추출부(410)는 특징 데이터베이스(100)에 저장된 특정 정보를 이용하여 상기 영상에서 대상 주변의 이미지 데이터를 추출한다.
대상 관절 영역 추정부(420)는 특징 데이터베이스(100)에 저장된 특정 정보를 이용하여 획득한 영상에서 추출된 대상의 관절 영역 데이터를 추출한다.
대상 주변 움직임 추출부(430)는 특징 데이터베이스(100)에 저장된 특정 정보를 이용하여 획득한 영상에서 추출된 대상의 쓰레기 투기 움직임 데이터를 추출한다.
대상 주변 배경 추출부(440)는 특징 데이터베이스(100)에 저장된 특정 정보를 이용하여 상기 대상 주변 움직임 추출부(430)를 통해 추출된 대상의 움직임이 행해진 대상의 주변 배경 데이터를 추출한다.
이후, 특정 행위 탐지부(500)는 특징 추출부(400)를 통해 추출된 특징 정보를 이용하여 특정 행위인 쓰레기 투기 행위를 탐지한다.
특정 행위 탐지부(500)는 특징 추출부(400)에 의해, 추출된 특징 데이터를 이용하여 추출된 특징 추출 대상의 특징 행위를 탐지할 수 있다.
즉, 특정 행위 탐지부(500)는 추출된 특징 추출 대상에 대하여 추출한 대상 주변의 이미지 데이터를 비교하여 사람이 들고 있는 물체 즉, 쓰레기를 검출한다. 이와 같이, 사림이 들고 있는 물체가 검출되면 해당 물체를 들고 있는 대상만을 선택하여 정밀 분석할 수 있다.
그리고 특징 행위 탐지부(500)는 추출된 특징 추출 대상에 대하여 관절 영역 데이터를 비교하여 쓰레기의 투기 행동을 탐지한다. 즉, 쓰레기 투기시의 관절 영역 데이터를 비교함으로써, 쓰레기 투기 행동을 수행하고자 하는 대상인지를 탐지할 수 있다.
또한, 특징 행위 탐지부(500)는 추출된 특징 추출 대상에 대하여 대상 쓰레기 투기 움직임 데이터와 비교하여 검출된 대상이 쓰레기를 투기 하는 움직임을 수행함을 탐지할 수 있다.
그리고 특징 행위 탐지부(500)는 추출된 특징 추출 대상에 대하여 대상의 주변 배경 데이터와 비교하여 대상이 특징 물체를 들고 있는지를 판단하거나 대상이 들고 있는 물체를 투기하는지를 탐지하여 쓰레기 투기 대상 탐지를 보다 정확하게 할 수 있다.
한편 특징 추출부(400)는 DNN(Deep Neural network)을 이용하여 추출된 복수의 다중 특징 정보를 각각 학습하는 다중 특징 학습부를 더 포함할 수 있다. 여기서, 본 실시예에서의 대상이 손으로 잡고 있는 물체는 사람이 들 수 있는 물체만을 학습하는 것이 바람직하다. 이와 같이, 학습 대상을 한정함으로써 보다 정확하게 물체를 학습할 수 있다.
한편, 다중 특징 학습부는 쓰레기 투기 영상과 일반적인 행동 인식 영상을 각각 학습할 수 있다. 이와 같이, 쓰레기 투기 영상과 일반적인 행동 인식 영상을 각각 학습함으로써, 그 학습 대상 영상 데이터를 학습하여 그 정확도를 높일 수 있다.
도 10은 본 발명의 일 실시예에서 특정 행위를 검증하기 위한 과정을 설명하기 위한 기능블록도이다.
한편, 본 발명의 일 실시예에서는, 특정 행위 추출부(500)를 통해 추출된 특정 행위를 검증하여 검출의 정확성을 높일 수 있다.
이를 위해, 본 발명의 일 실시예에서는, CCTV 데이터 분류기를 이용하여 쓰레기를 투기하는 대상을 탐지하고, 사람의 세부 상태 분류기, 사람 자세 예측기 및 사람의 상태 분류기 중 적어도 하나 이상을 이용하여 특정 행위 탐지부(500)를 통해 탐지한 투기 행위에 대한 검증을 수행하는 투기 행동 검증부(600)를 포함할 수 있다. 여기서, 사람의 세부 상태 분류기는 사람의 포괄적 행동 특징(예시; 서있다, 누워있다, 앉아있다 등)을 분류할 수 있는 MPHB 분류기이고, 사람의 상태 분류기는 사람의 세부적 행동 특징(예시; 자전거를 타다, 카트를 밀다 등)을 분류할 수 있는 Standford40 분류기이다.
그리고, 투기 행동 검증부(600)는 상기 특정 행위 탐지부(500)를 통해 탐지한 투기 행위의 검증여부에 따라, 관제사에게 이벤트 송부를 결정할 수 있다.
이하, 하기에서는 본 발명의 일 실시예에 따른 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 방법에 대하여 도 11을 참조하여 설명하기로 한다.
먼저, 영상 획득부(200)에 의해, 기 설치된 카메라를 통해 촬영되는 영상을 획득한다(S100). 상기 영상 획득하는 단계(S100)는 웹을 통해 접속하는 IP 카메라인 것이 바람직하고, IP, 아이디, 패스워드를 통해서 인증 받은 후 웹으로 인터넷을 접속할 수 있는 주소를 이용하여 접속할 수 있다.
이후, 대상 설정부(300)에 의해, 상기 획득한 영상에서 기 학습된 딥러닝 모델을 이용하여 물체를 들고 있는 사람을 특징 추출 대상으로 설정한다(S200).
이어서, 특징 추출부(400)에 의해, 상기 설정된 특징 추출 대상에서 쓰레기를 투기하는 행위를 하는지를 판단하기 위한 특징 데이터를 추출한다(S300).
이하, 하기에서는 본 발명의 일 실시예에 따른 특징 추출하는 단계(S300)에 대하여 도 12를 참조하여 설명하기로 한다.
먼저, 대상 주변 이미지 추출부(410)에 의해, 상기 획득한 영상에서 대상 주변의 이미지 데이터를 추출한다(S310).
그리고 대상 관절 영역 추정부(420)에 의해, 상기 추출된 대상의 관절 영역 데이터를 추출한다(S320).
또한, 대상 주변 움직임 추출부(430)에 의해, 상기 추출된 대상의 쓰레기 투기 움직임 데이터를 추출한다(S330).
대상 주변 배경 추출부(440)에 의해, 상기 추출된 대상의 움직임이 행해진 대상의 주변 배경 데이터를 추출한다(S340).
이후, 특정 행위 탐지부(500)에 의해, 상기 추출된 특징 정보를 이용하여 쓰레기 투기 행위를 탐지한다(S400).
이후, 탐지된 쓰레기 투기 행위를 검증한다(S500). 즉, 특정 행위 추출부(500)를 통해 추출된 특정 행위를 검증하여 검출의 정확성을 높일 수 있다.
상기 검증 단계는, 투기 행동 검증부(600)에 의해, 상기 CCTV 데이터 분류기를 이용하여 쓰레기를 투기하는 대상을 탐지할 수 있다. 그리고, 상기 검증 단계는, 사람의 세부 상태 분류기, 사람 자세 예측기 및 사람의 상태 분류기 중 적어도 하나 이상을 이용하여 특정 행위 탐지부(500)를 통해 탐지한 투기 행위에 대한 검증을 수행할 수 있다. 여기서, 사람의 세부 상태 분류기는 사람의 포괄적 행동 특징(예시; 서있다, 누워있다, 앉아있다 등)을 분류할 수 있는 MPHB 분류기이고, 사람의 상태 분류기는 사람의 세부적 행동 특징(예시; 자전거를 타다, 카트를 밀다 등)을 분류할 수 있는 Standford40 분류기이다.
그리고, 투기 행동 검증부(600)에 의해, 탐지한 투기 행위의 검증여부에 따라, 관제사에게 이벤트 송부를 결정할 수 있다.
한편, 상기 대상이 손으로 잡고 있는 물체는 사람이 들 수 있는 물체만을 학습할 수 있다.
본 발명의 일 실시예에 따른 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 학습 방법은 획득한 영상에서 대상 주변의 이미지 데이터를 특징 데이터베이스(100)에 저장한다. 이러한 이미지 데이터는 검출된 대상이 손으로 들고 있는 물건 또는 쓰레기 더미에 쌓여 있는 물건을 검출하는데 이용된다.
이어서, 대상의 관절 영역 데이터를 추출하기 위한 관절 데이터를 특징 데이터베이스(100)에 저장한다. 여기서, 관절 데이터는 대상이 특정 행위를 수행하는지를 검출하는데 이용된다.
그리고 특정 움직임을 판단하기 위해, 추출된 대상의 움직임 데이터를 특징 데이터베이스(100)에 저장한다. 여기서, 움직임 데이터는 대상이 특정 행위를 수행하는지를 검출하는데 이용된다. 이를 위해, 관절 데이터와 움직임 데이터의 경우 특정 행위와 일반적인 행동 인식 영상을 데이터로 이용하여 학습함으로써, 실제 CCTV를 통해 촬영된 영상뿐만 아니라, 특정 동작을 검출하기 위해 다른 영상 매체를 통해 촬영된 영상 또한 이용될 수 있다.
또한 추출된 대상이 들고 있는 물체를 판단하기 위해, 상기 획득한 영상에서 대상의 주변 배경 데이터를 특징 데이터베이스(100)에 저장한다.
여기서, 주변 배경 데이터는 CCTV를 통해 촬영된 영상내에 복수의 대상이 검출되는 경우, 실제 쓰레기를 투기하는 대상 즉, 특정 행동을 수행하는 대상을 검출하기 위한 데이터로 이용된다. 따라서, 실제 CCTV를 통해 촬영된 영상으로부터 획득한 데이터가 저장되고 학습되는 것이 바람직하다.
여기서, 상기 각 데이터를 저장하는 단계는 DNN(Deep Neural network)을 이용하여 추출된 복수의 다중 특징 정보를 각각 학습하는 것이 바람직하다.
또한 상기 각 데이터를 저장하는 단계는 쓰레기 투기 영상과 일반적인 행동 인식 영상을 각각 학습할 수 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (20)

  1. 대상의 특징을 추출하기 위한 특징 데이터가 저장된 특징 데이터베이스;
    기 설치된 카메라를 통해 촬영되는 영상을 획득하는 영상 획득부;
    상기 영상 획득부를 통해 획득한 영상에서 기 학습된 딥러닝 모델을 이용하여 상기 물체를 들고 있는 사람을 특징 추출 대상으로 설정하는 대상 설정부;
    설정된 특징 추출 대상에서 특정 행위를 하는지를 판단하기 위한 특징 데이터를 추출하는 특징 추출부; 및
    상기 특징 추출부를 통해 추출된 특징 정보를 이용하여 쓰레기 투기 행위를 탐지하는 특정 행위 탐지부를 포함하는 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템.
  2. 제 1항에 있어서,
    상기 영상 획득부는,
    웹을 통해 접속하는 IP 카메라인 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템.
  3. 제 1항에 있어서,
    상기 특징 데이터베이스는,
    대상의 특징을 추출하기 위해,
    영상 획득부가 촬영하는 영상에서 추출되는 대상 주변의 이미지 데이터;
    추출된 대상의 관절 영역 데이터를 추출하기 위한 관절 데이터;
    추출된 대상의 특정 행동을 추출하기 위한 움직임 데이터; 및
    상기 움직임 데이터를 통해 선정된 대상이 들고 있는 물체를 식별하기 위해 상기 영상 획득부가 촬영하는 영상에서의 주변 배경 데이터가 각각 저장된 것인 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템.
  4. 제 1항에 있어서,
    상기 대상이 들고 있는 물체는,
    사람이 들 수 있는 물체만을 학습하는 것인 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템.
  5. 제 1항에 있어서,
    상기 특징 추출부는,
    획득한 영상에서 대상 주변의 이미지 데이터를 추출하는 대상 주변 이미지 추출부;
    추출된 대상의 관절 영역 데이터를 추출하는 대상 관절 영역 추정부;
    추출된 대상의 쓰레기 투기 움직임 데이터를 추출하는 대상 주변 움직임 추출부; 및
    상기 대상 주변 움직임 추출부를 통해 추출된 대상의 움직임이 행해진 대상의 주변 배경 데이터를 추출하는 대상 주변 배경 추출부를 포함하는 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템.
  6. 제 1항에 있어서,
    상기 특징 추출부는,
    DNN(Deep Neural network)을 이용하여 추출된 복수의 다중 특징 정보를 각각 학습하는 다중 특징 학습부를 더 포함하는 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템.
  7. 제 6항에 있어서,
    상기 다중 특징 학습부는,
    쓰레기 투기 영상과 일반적인 행동 인식 영상을 각각 학습하는 것인 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템.
  8. 제 1항에 있어서,
    상기 특정 행위 탐지부는,
    CCTV 데이터 분류기를 이용하는 것인 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템.
  9. 제 8항에 있어서,
    사람의 세부 상태 분류기, 사람 자세 예측기 및 사람의 상태 분류기 중 적어도 하나 이상을 이용하여 상기 특정 행위 탐지부를 통해 탐지한 투기 행위에 대한 검증을 수행하는 투기 행동 검증부를 포함하는 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템.
  10. 제 9항에 있어서,
    상기 투기 행동 검증부는,
    상기 특정 행위 탐지부를 통해 탐지한 투기 행위의 검증여부에 따라, 관제사에게 이벤트 송부를 결정하는 것인 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템.
  11. 영상 획득부에 의해, 기 설치된 카메라를 통해 촬영되는 영상을 획득하는 단계;
    대상 설정부에 의해, 상기 획득한 영상에서 기 학습된 딥러닝 모델을 이용하여 물체를 들고 있는 사람을 특징 추출 대상으로 설정하는 단계;
    특징 추출부에 의해, 상기 설정된 특징 추출 대상에서 특정 행위를 하는지를 판단하기 위한 특징 데이터를 추출하는 단계; 및
    특정 행위 탐지부에 의해, 상기 추출된 특징 정보를 이용하여 쓰레기 투기 행위를 탐지하는 단계를 포함하는 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 방법.
  12. 제 11항에 있어서,
    상기 영상 획득하는 단계는,
    웹을 통해 접속하는 IP 카메라인 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 방법.
  13. 제 12항에 있어서,
    상기 영상 획득하는 단계는,
    IP, 아이디, 패스워드를 통해서 인증 받은 후 웹으로 인터넷을 접속할 수 있는 주소를 이용하여 접속하는 것인 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 방법.
  14. 제 11항에 있어서,
    상기 대상이 손으로 잡고 있는 물체는,
    사람이 들 수 있는 물체만을 학습하는 것인 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 방법.
  15. 제 11항에 있어서,
    상기 특징 추출하는 단계는,
    대상 주변 이미지 추출부에 의해, 상기 획득한 영상에서 대상 주변의 이미지 데이터를 추출하는 단계;
    대상 관절 영역 추정부에 의해, 상기 추출된 대상의 관절 영역 데이터를 추출하는 단계;
    대상 주변 움직임 추출부에 의해, 상기 추출된 대상의 쓰레기 투기 움직임 데이터를 추출하는 단계; 및
    대상 주변 배경 추출부에 의해, 상기 추출된 대상의 움직임이 행해진 대상의 주변 배경 데이터를 추출하는 단계를 포함하는 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 방법.
  16. 제 11에 있어서,
    CCTV 데이터 분류기를 이용하여 투기 행위를 검출하는 단계 및
    상기 투기 행동 검증부에 의해, 상기 특정 행위 탐지부를 통해 탐지한 투기 행위의 검증여부에 따라, 관제사에게 이벤트 송부를 결정하는 단계;를 포함하는 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 방법.
  17. 제 16항에 있어서,
    상기 탐지한 투기 행위에 대한 검증을 수행하는 단계는,
    투기 행동 검증부에 의해, 사람의 세부 상태 분류기, 사람 자세 예측기 및 사람의 상태 분류기 중 적어도 하나 이상을 이용하여 상기 특정 행위 탐지부를 통해 탐지한 투기 행위에 대한 검증을 수행하는 것인 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 방법.
  18. 영상 획득부에 의해, 획득한 영상에서 대상 주변의 이미지 데이터를 저장하는 단계;
    대상의 관절 영역 데이터를 추출하기 위한 관절 데이터를 저장하는 단계;
    특정 움직임을 판단하기 위해, 추출된 대상의 움직임 데이터를 저장하는 단계; 및
    추출된 대상이 들고 있는 물체를 판단하기 위해, 상기 영상 획득부에 의해, 획득한 영상에서 대상의 주변 배경 데이터를 저장하는 단계를 포함하는 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 학습방법.
  19. 제 18항에 있어서,
    상기 각 데이터를 저장하는 단계는,
    DNN(Deep Neural network)을 이용하여 추출된 복수의 다중 특징 정보를 각각 학습하는 단계를 더 포함하는 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 학습방법.
  20. 제 19항에 있어서,
    상기 각 데이터를 저장하는 단계는,
    쓰레기 투기 영상과 일반적인 행동 인식 영상을 각각 학습하는 것인 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 학습방법.
KR1020200041134A 2020-04-03 2020-04-03 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템 및 방법 KR102504320B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200041134A KR102504320B1 (ko) 2020-04-03 2020-04-03 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200041134A KR102504320B1 (ko) 2020-04-03 2020-04-03 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210123682A true KR20210123682A (ko) 2021-10-14
KR102504320B1 KR102504320B1 (ko) 2023-02-28

Family

ID=78151329

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200041134A KR102504320B1 (ko) 2020-04-03 2020-04-03 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102504320B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108789A (ko) * 2013-02-28 2014-09-15 경북대학교 산학협력단 영상 감시 장치 및 영상 감시 방법
KR20170128648A (ko) * 2016-05-12 2017-11-23 주식회사 협성엠티 쓰레기 무단투기 감시장치
KR101880100B1 (ko) * 2018-03-26 2018-07-19 주식회사 큐앤에스시스템 감시영역에서 이동객체의 이상행동을 검출하기 위한 cctv 시스템
KR20190128500A (ko) * 2018-05-08 2019-11-18 한국전자통신연구원 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108789A (ko) * 2013-02-28 2014-09-15 경북대학교 산학협력단 영상 감시 장치 및 영상 감시 방법
KR20170128648A (ko) * 2016-05-12 2017-11-23 주식회사 협성엠티 쓰레기 무단투기 감시장치
KR101880100B1 (ko) * 2018-03-26 2018-07-19 주식회사 큐앤에스시스템 감시영역에서 이동객체의 이상행동을 검출하기 위한 cctv 시스템
KR20190128500A (ko) * 2018-05-08 2019-11-18 한국전자통신연구원 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치

Also Published As

Publication number Publication date
KR102504320B1 (ko) 2023-02-28

Similar Documents

Publication Publication Date Title
CN109948408B (zh) 活性测试方法和设备
US8854182B2 (en) Opening management through gait detection
KR101724658B1 (ko) 사람 검출 장치 및 방법
JP5726125B2 (ja) 奥行き画像内の物体を検出する方法およびシステム
CN101853391B (zh) 信息处理设备和方法
WO2019033572A1 (zh) 人脸遮挡检测方法、装置及存储介质
JP3636927B2 (ja) 顔画像処理装置
CN109376604B (zh) 一种基于人体姿态的年龄识别方法和装置
JP5106356B2 (ja) 画像監視装置
CN108009466B (zh) 行人检测方法和装置
CN106919921B (zh) 结合子空间学习与张量神经网络的步态识别方法及系统
CN111753643B (zh) 人物姿态识别方法、装置、计算机设备和存储介质
KR20190068000A (ko) 다중 영상 환경에서의 동일인 재식별 시스템
TWI712980B (zh) 理賠資訊提取方法和裝置、電子設備
Anishchenko Machine learning in video surveillance for fall detection
CN110674680B (zh) 活体识别的方法、装置、存储介质
JP2018032078A (ja) 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法
JP7151875B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20220078893A (ko) 영상 속 사람의 행동 인식 장치 및 방법
CN113052142A (zh) 一种基于多模态数据的静默活体检测方法
CN108875497B (zh) 活体检测的方法、装置及计算机存储介质
Zambanini et al. Detecting falls at homes using a network of low-resolution cameras
JP2009169518A (ja) 領域識別装置およびコンテンツ識別装置
KR20200119425A (ko) 도메인 적응 기반 객체 인식 장치 및 그 방법
KR102504320B1 (ko) 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant