KR101907442B1 - 사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법 - Google Patents

사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법 Download PDF

Info

Publication number
KR101907442B1
KR101907442B1 KR1020180038424A KR20180038424A KR101907442B1 KR 101907442 B1 KR101907442 B1 KR 101907442B1 KR 1020180038424 A KR1020180038424 A KR 1020180038424A KR 20180038424 A KR20180038424 A KR 20180038424A KR 101907442 B1 KR101907442 B1 KR 101907442B1
Authority
KR
South Korea
Prior art keywords
frame
value
image
coordinate point
point value
Prior art date
Application number
KR1020180038424A
Other languages
English (en)
Inventor
한택진
윤일로
이윤진
Original Assignee
주식회사 다누시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다누시스 filed Critical 주식회사 다누시스
Priority to KR1020180038424A priority Critical patent/KR101907442B1/ko
Application granted granted Critical
Publication of KR101907442B1 publication Critical patent/KR101907442B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G06K2017/0045—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 사람 이동 궤적 기반 유기 감지 시스템 및 유기 행위 검출 방법에 관한 것이다.
여기서, 본 발명의 사람 이동 궤적 기반 유기 감지 시스템은 외부에서 시간의 경과에 따라 영상 패킷을 수신해 영상프레임으로 변환한 후, 영상프레임을 저장하는 영상처리부;
영상처리부로부터 수신된 출력된 영상프레임 중 하나를 배경프레임으로 생성하는 배경프레임생성부;
배경프레임과 영상프레임을 입력받고, 영상프레임 가운데 최신 영상프레임과 배경프레임 간 차이가 있는 부분을 차분프레임으로 생성하는 차분프레임생성부;
정상객체를 저장하고 있으며, 배경프레임과 차분프레임을 비교하여 차분프레임에서 정상객체와 매칭되는 제1객체 또는 정상객체와 비매칭되는 제2객체를 검출하며, 제1객체 또는 제2객체가 검출되면, 차분프레임의 중앙지점의 좌표값인 중앙좌표점값을 추출하는 객체좌표검출부;
객체좌표검출부에서 검출된 제2객체가 검출되면, 중앙좌표점값이 추출된 제1객체와 제1거리값을 추출하여 제1 거리값이 기준거리값 미만이 되면, 제2객체를 유기물 객체로 감지하는 유기물객체감지부를 포함한다.
또한, 본 발명의 사람 이동 궤적 기반 유기 감지 방법은 외부에서 시간의 경과에 따라 영상 패킷을 수신해 영상프레임으로 변환한 후, 영상처리부에 영상프레임을 저장하는 (a)단계;
영상처리부로부터 수신된 출력된 영상프레임 중 하나를 배경프레임으로 생성하는 (b)단계;
배경프레임과 영상프레임을 입력받고, 영상프레임 가운데 최신 영상프레임과 배경프레임 간 차이가 있는 부분을 차분프레임으로 생성하는 (c)단계;
정상객체를 저장하고 있으며, 배경프레임과 차분프레임을 비교하여 차분프레임에서 정상객체와 매칭되는 제1객체 또는 정상객체와 비매칭되는 제2객체를 검출하며, 제1객체 또는 제2객체가 검출되면, 차분프레임의 중앙지점의 좌표값인 중앙좌표점값을 추출하는 (d)단계;
(d)단계에서 제2객체가 검출되면, 중앙좌표점값이 추출된 제1객체와 제1거리값을 추출하여 제1 거리값이 기준거리값 미만이 되면, 제2객체를 유기물 객체로 감지하는 (e)단계를 포함한다.

Description

사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법{System For Detects Dumping Of Trash Based On Moving Trajectory Of Person And Method For Detects Dumping Of Trash Based On Moving Trajectory Of Person}
본 발명은 사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법에 관한 것이다.
최근 들어 폐회로 텔레비전(CCTV: Closed Circuit Television)은 은행, 공공기관, 골목 등의 환경감시 영역 등 여러 장소에 활용되고 있다. 폐회로 텔레비전의 다양한 곳에 활용됨에 따라, 효율적인 모니터링을 위해 촬영되는 객체를 보다 정확히 감지할 수 있는 기술 개발이 활발히 진행되고 있다.
특히, 영상의 정보를 분석하여 자동으로 이상 행위를 탐지하고 관리자에서 경보를 전송하는 지능형 영상 감지 시스템이 활발히 개발되고 있다. 이러한 지능형 영상 감지(IVS: Intelligent Video Surveillance)시스템은 영상 전처리 단계, 배경 영역분리 단계, 객체 식별단계, 객체 추적 단계 및 사전에 정의된 규칙을 기반으로 이벤트를 탐지하는 이벤트 탐지 단계로 구성된다.
이러한 단계로 구성되는 지능형 영상 감지 시스템은 감지 효율 및 높은 신뢰도를 얻기 위해서는 이벤트를 정확하게 탐지해야 한다.
그러나 현재 개발된 대다수의 지능형 영상 감지 시스템은 이벤트를 탐지할 때 빈번한 오류를 발생시고 있다.
일례로, 바람에 따라 모양, 위치 등이 변화되는 나무 및 입간판 등 그리고 심한 조도 변화로 아무것도 없는 위치에서 객체가 잡히는 경우에도 쓰레기 유기행위로 탐지하는 문제를 발생시키고 있다. 이러한 문제는 쓰레기 유기행위 탐지에 대한 신뢰도를 낮추는 상황까지 발생시키고 있다.
대한민국등록특허 10-1519342 (공고일자 2015.05.13)
이에, 본 발명이 해결하고자 하는 과제는 이러한 문제점을 해결하기 위한 것으로서, 쓰레기가 유기되는 상황과 쓰레기가 유기되지 않는 상황을 정확하게 구별할 수 있도록 하는 것이다.
보다 구체적으로, 본 발명은 사람의 이동을 감지하고, 감지된 사람과 유기된 쓰레기간 거리값을 통해 쓰레기유기 행위를 감지할 수 있도록 하는 것이다.
본 발명의 해결 하고자 하는 과제는 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 해결하고자 하는 과제를 달성하기 위한 본 발명의 사람 이동 궤적 기반 유기 감지 시스템은,
외부에서 시간의 경과에 따라 영상 패킷을 수신해 영상프레임으로 변환한 후, 상기 영상프레임을 저장하는 영상처리부;
상기 영상처리부로부터 수신된 출력된 영상프레임 중 하나를 배경프레임으로 생성하는 배경프레임생성부;
상기 배경프레임과 영상프레임을 입력받고, 상기 영상프레임 가운데 최신 영상프레임과 상기 배경프레임 간 차이가 있는 부분을 차분프레임으로 생성하는 차분프레임생성부;
정상객체를 저장하고 있으며, 상기 배경프레임과 상기 차분프레임을 비교하여 상기 차분프레임에서 상기 정상객체와 매칭되는 제1객체 또는 상기 정상객체와 비매칭되는 제2객체를 검출하며, 상기 제1객체 또는 상기 제2객체가 검출되면, 상기 차분프레임의 중앙지점의 좌표값인 중앙좌표점값을 추출하는 객체좌표검출부;
상기 객체좌표검출부에서 검출된 상기 제2객체가 검출되면, 상기 중앙좌표점값이 추출된 상기 제1객체와 제1거리값을 추출하여 상기 제1 거리값이 기준거리값 미만이 되면, 상기 제2객체를 유기물 객체로 감지하는 유기물객체감지부를 포함한다.
상기 객체좌표검출부는, 상기 제2객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값이 추출된 시점에서 가장 가까운 시점의 상기 제1객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값을 추출할 수 있다.
상기 유기물객체감지부는,
상기 제2객체가 추출되기 직전의 상기 제1객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값과 상기 제2객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값 및 상기 제2객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값이 추출된 시점의 직후의 상기 제1객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값간 거리를 연산하여, 연산값이 상기 기준거리값 미만이 되면 상기 제2객체를 유기물 객체로 감지할 수 있다.
상기 유기물객체감지부는,
상기 제2객체가 추출되기 직전의 상기 제1객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값과 상기 차분프레임의 상기 중앙좌표점값이 추출된 시점의 직후의 상기 제1객체를 포함하는 상기 차분프레임의 상기 중앙좌표값을 계산하여, 제1객체간직선을 추출하고 상기 제1객체간직선으로부터 상기 제2객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값을 수직으로 연결하여 수직직선을 추출하고 상기 수직직선의 거리값을 추출해, 상기 수직직선의 거리값이 상기 기준거리값 미만이 되면, 상기 제2객체를 유기물 객체로 감지할 수 있다.
상기 객체좌표검출부는, 상기 차분프레임의 일측의 상단부의 제1지점과 타측의 하단부의 제2지점 간 중앙지점의 좌표값을 상기 중앙좌표점값으로 추출할 수 있다.
외부에서 시간의 경과에 따라 영상 패킷을 수신해 영상프레임으로 변환한 후, 영상처리부에 상기 영상프레임을 저장하는 (a)단계;
상기 영상처리부로부터 수신된 출력된 영상프레임 중 하나를 배경프레임으로 생성하는 (b)단계;
상기 배경프레임과 영상프레임을 입력받고, 상기 영상프레임 가운데 최신 영상프레임과 상기 배경프레임 간 차이가 있는 부분을 차분프레임으로 생성하는 (c)단계;
정상객체를 저장하고 있으며, 상기 배경프레임과 상기 차분프레임을 비교하여 상기 차분프레임에서 상기 정상객체와 매칭되는 제1객체 또는 상기 정상객체와 비매칭되는 제2객체를 검출하며, 상기 제1객체 또는 상기 제2객체가 검출되면, 상기 차분프레임의 중앙지점의 좌표값인 중앙좌표점값을 추출하는 (d)단계;
상기 (d)단계에서 상기 제2객체가 검출되면, 상기 중앙좌표점값이 추출된 상기 제1객체와 제1거리값을 추출하여 상기 제1 거리값이 기준거리값 미만이 되면, 상기 제2객체를 유기물 객체로 감지하는 (e)단계를 포함한다.
본 발명에 따른 사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법은 쓰레기를 유기하는 상황과 쓰레기를 유기하지 않는 상황을 정확하게 판별한다. 이를 통해, 쓰레기를 유기할 때 알림 신호가 발생 되도록 하고, 길을 지나가는 보행자가 유기된 쓰레기를 그냥 지나갈 때는 알림 신호가 발생 되지 않도록 하며, 알림 신호 발생에 대한 신뢰도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 사람 이동 궤적 기반 유기 감지 시스템의 블록도이다.
도 2는 도 1의 영상처리부의 작동상태를 나타낸 도면이다.
도 3은 도 1의 차분프레임생성부의 작동상태를 나타낸 도면이다.
도 4는 도 1의 객체좌표검출부에 저장된 정상객체를 나타낸 도면이다.
도 5는 도 1의 객체좌표검출부에서 차분프레임의 중앙좌표점값을 추출하는 상태를 나타낸 도면이다.
도 6은 도 1의 유기물객체감지부에서 제1객체 및 제2객체를 검출하는 상태를 나타낸 도면이다.
도 7은 도 6의 유기물객체감지부에서 제1객체와 제2객체 간 거리값을 추출하는 과정을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 사람 이동 궤적 기반 유기 감지 시스템이 제1객체에 의해 제2객체가 유기되는 상황인지 및 제1객체가 제2객체를 단순히 지나가는 상황인지를 구별하는 상태를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 사람 이동 궤적 기반 유기 감지 방법의 순서도이다.
본 발명의 이점 및 특징 그리고 그것들을 달성하기 위한 방법들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
본 발명의 청구범위는 청구항을 비롯해 청구항을 뒷받침하는 설명에 의해 정의될 수 있다. 아울러, 명세서 전체에 걸쳐 동일 참조부호는 동일 구성요소를 지칭한다.
아울러, 본 명세서상에 기술된‘제1객체’는 설명의 편의상 도면에 도시된 바와 같이 사람을 일례로 하고,‘제2객체’는 쓰레기가 담긴 봉지를 일례로 하나, 제1객체가 사람으로서 한정되는 것은 아니며 상황 및 사용자의 설정에 따라 자동차, 오토바이 등으로 얼마든지 변경될 수 있다. 그리고 제2객체는 박스, 가방 등으로 얼마든지 변경될 수 있다.
이하, 도 1 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 사람 이동 궤적 기반 유기 감지 시스템에 대해 상세히 설명하고, 이를 바탕으로 도 9를 참조해 유기 행위 검출 방법에 대해 상세히 설명하도록 한다.
먼저, 도 1을 참조하여 본 발명의 일 실시예에 따른 사람 이동 궤적 기반 유기 감지 시스템에 대해 개괄적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 사람 이동 궤적 기반 유기 감지 시스템의 블록도이다.
본 발명의 일 실시예에 따른 사람 이동 궤적 기반 유기 감지 시스템(1)은 먼저 배경프레임을 입력받아, 설정한 후 입력되는 최신의 영상프레임과 비교하여 차분프레임을 추출한다. 이후 추출된 차분프레임에 포함된 객체가 정상객체 인지 그리고 정상객체가 감지된 후, 비정상객체 감지되면, 감지된 정상객체와 비정상객체 간 거리값을 통해 쓰레기가 유기되었는지를 감지한다.
따라서, 본 발명의 일 실시예에 따른 사람 이동 궤적 기반 유기 감지 시스템(1)은 제1객체(사람)에 의해 제2객체(쓰레기가 담긴 봉지) 버려지는 것을 정확하게 감지할 수 있다.
이러한 사람 이동 궤적 기반 유기 감지 시스템(1)은 컴퓨터가 되는 영상처리부(10), 배경프레임생성부(20), 차분프레임생성부(30), 객체좌표검출부(40), 유기물객체감지부(50)가 연결되어 데이터를 상호 송수신하며 각 부에서 데이터를 가공한다. 아울러 사람 이동 궤적 기반 유기 감지 시스템(1)은 유기물객체감지부(50)에서 발생 되는 신호를 통해 알림신호를 발생시키는 이벤트발생부(60)를 포함할 수 있다.
이를 통해, 사람 이동 궤적 기반 유기 감지 시스템(1)은 제1객체에 의해 제2객체가 유기되는 상황인지 또는 제1객체가 제2객체를 단순히 지나가는 상황인지를 정확하게 구별할 수 있다. 그리고 구별된 상황을 알림장치를 통해 알릴 수 있다.
이하, 도 2 내지 도 8을 참조하여, 사람 이동 궤적 기반 유기 감지 시스템을 구성하는 구성요소와 각 구성요소의 작동에 대해 설명하도록 한다.
도 2는 도 1의 영상처리부의 작동상태를 나타낸 도면이고, 도 3은 도 1의 차분프레임생성부의 작동상태를 나타낸 도면이고, 도 4는 도 1의 객체좌표검출부에 저장된 정상객체를 나타낸 도면이다. 도 5는 도 1의 객체좌표검출부에서 차분프레임의 중앙좌표점값을 추출하는 상태를 나타낸 도면이고, 도 6은 도 1의 유기물객체감지부에서 제1객체 및 제2객체를 검출하는 상태를 나타낸 도면이다. 그리고 도 7은 도 6의 유기물객체감지부에서 제1객체와 제2객체 간 거리값을 추출하는 과정을 나타낸 도면이고, 도 8은 본 발명의 일 실시예에 따른 사람 이동 궤적 기반 유기 감지 시스템이 제1객체에 의해 제2객체가 유기되는 상황인지 및 제1객체가 제2객체를 단순히 지나가는 상황인지를 구별하는 상태를 나타낸 도면이다.
영상처리부(10)는 도 2의 (a)에 도시된 바와 같은 영상 패킷(101)을 전송받아 도 2의 (b)에 도시된 바와 같은 영상프레임(102)으로 변환한다. 그리고 변환된 영상프레임(102)을 배경프레임생성부(20)로 전송한다.
이러한 영상처리부(10)는 영상 패킷수신모듈 및 디코딩모듈을 포함할 수 있다. 이에, 영상처리부(10)는 카메라 등 외부 네트워크로부터 영상 패킷(101)을 시간의 경과에 따라 순차적으로 전송받을 수 있다. 그리고 받은 영상 패킷을 순차적으로 디코딩하여 특정 해상도를 가지는 영상프레임 즉, 사진으로 변환시킬 수 있다.
배경프레임생성부(20)는 영상처리부(10)으로 부터 영상프레임(102)을 순차적으로 수신한다. 배경프레임생성부(20)는 수신된 영상프레임(102)중 하나를 배경프레임(201)으로 생성할 수 있다.
배경프레임생성부(20)는 후술할 제1객체(311) 및 제2객체(312)가 감지되기 이전의 영상프레임(102)을 배경프레임(201)으로 만들 낼 수 있다. 즉, 배경프레임생성부(20)는 과거의 영상프레임(102)을 배경프레임(201)으로 만들어 낼 수 있다.
차분프레임생성부(30)는 배경프레임생성부(20)로부터 배경프레임(201)을 입력받고 영상처리부(10)에서 영상프레임(102)을 입력받아 영상프레임(102) 가운데 최신 영상프레임(102)과 배경프레임(201) 간 차이가 있는 부분을 차분프레임(310)을 생성한다. 이때, 차분프레임(310)은 도 3에 도시된 바와 같이 Path 1를 이동하는 제1객체(311)가 될 수 있다. 차분프레임생성부(30)는 이러한 차분프레임(310)을 객체좌표검출부(40)로 전송한다.
객체좌표검출부(40)는 영상처리부(10), 배경프레임생성부(20) 및 차분프레임생성부(30) 등이 작동하기 앞서 미리 정상객체 즉, 제1객체를 저장하고 있다.
여기서, 정상객체는 도 4의 (a)와 같은 카메라 영상의 배경으로부터 분리되고 도 4의 (b)와 같은 그림자가 제거되는 과정 거친 객체(401) 그리고 객체의 부분을 Convolutional Neural Net(CNN) 기반으로 학습 되는 과정을 거쳐 추출된 객체가 될 수 있다.
이러한 정상객체는 본 명세서상 설명이 간결하고 명확해질 수 있도록 사람이 되는 것으로 한다. 다만, 정상객체가 사람으로서 한정되는 것은 아니며, 필요에 따라 자동차 및 오토바이 등도 정상객체가 될 수 있다.
객체좌표검출부(40)는 이러한 정상객체를 저장하고 있는 장치가 된다. 그리고 객체좌표검출부(40)는 배경프레임(201)과 차분프레임(310)을 비교하여, 도 5에 도시된 바와 같이 차분프레임(310)으로부터 정상객체와 매칭되는 제1객체(311) 또는 정상객체와 매칭되지 않는 제2객체(312)를 검출한다. 여기서, 제1객체(311)는 정상객체와 매칭되는 사람이 되고, 제2객체(312)는 정상객체와 매칭되지 않는 나무, 쓰레기 봉지 등이 될 수 있다.
이때, 객체좌표검출부(40)는 제1객체(311) 또는 제2객체(312)가 검출되면, 차분프레임(310)의 중앙지점의 좌표값인 중앙좌표점값(Center point)을 추출한다.
여기서 객체좌표검출부(40)는 차분프레임의 일측의 상단부의 제1지점(Left up point)과 타측의 하단부의 제2지점(Right dowm point) 간 중앙지점의 좌표값을 중앙좌표점값으로 추출한다.
아울러, 객체좌표검출부(40)는 제2객체(312)를 포함하는 차분프레임(310)의 중앙좌표점값(Center point)이 추출된 시점에서 가장 가까운 시점의 제1객체(311)를 포함하는 차분프레임의 중앙좌표점값(Center point)을 추출할 수 있다. 객체좌표검출부(40)는 추출된 데이터를 유기물객체감지부(50)로 전송한다.
유기물객체감지부(50)는 객체좌표검출부(40)와 차분프레임생성부(30)로부터 데이터를 전송받는다. 그리고 전송받은 데이터를 연산하여 제2객체(312)가 path 2로 이동하는 제1객체(311)에 의해 유기된 물건 인지 아닌지를 검출한다.
유기물객체감지부(50)는 도 6에 도시된 바와 같이 객체좌표검출부(40)로부터 제2객체(312)가 검출되면, 제2객체(312)가 검출된 이후의 최신의 영상프레임에 나타나는 제1객체(311)의 중앙좌표점값(Center point)과 제2객체(312)의 중앙좌표점값 간 거리값인 제1거리값을 추출한다.
유기물객체감지부(50)는 이렇게 추출된 제1거리값이 기준거리값 미만이 되면, 제2객체(312)를 유기물 객체로 감지한다.
보다 구체적으로, 유기물객체감지부(50)는 도 7에 도시된 바와 같이 제2객체(312)가 추출되면, 제2객체(312)가 추출되기 직전의 제1객체(311)를 포함하는 차분프레임의 중앙좌표점값(311P13)의 추출한다. 그리고 제2객체(312)를 포함하는 차분프레임의 중앙좌표점값(312P11) 및 제2객체(312)를 포함하는 차분프레임의 중앙좌표점값이 추출된 시점 직후의 제1객체를 포함하는 차분프레임의 중앙좌표점값(311F11) 간 거리를 연산한다.
이때, 유기물객체감지부(50)는 제2객체(312) 검출전 제1객체(311)의 중앙좌표점값(311P13)과 제2객체(312)의 검출 후 제1객체(311)의 중앙좌표점값(311P13) 간 제1객체간직선(X1+X2)를 추출한다.
그리고 추출된 제1객체간직선(X1+X2)의 중앙지점에서 제2객체(312)의 중앙좌표점값(312P11)로 수직직선을 추출하여, 추출된 수직직선의 거리값(X3)이 기준거리값 미만이 되면, 제2객체(312)를 유기물 객체 즉, 쓰레기 봉지로 감지한다. 이러한 유기물객체감지부(50)는 제1객체간직선(X1+X2)의 중심으로부터 제2객체의 이격거리인 수직직선을 추출함으로써, 제2객체가 많이 놓여진 경우라도 많은 제2객체(312)들 가운데에서도 제1객체(311)가 어떠한 제2객체(312)를 유기했는지를 정확히 파악할 수 있다.
아울러, 유기물객체감지부(50)는 제1객체간직선(X1+X2)의 중심으로부터 제2객체의 이격거리인 수직직선을 추출함으로써, 제2객체를 유기하지 않는 제1객체(311)가 제2객체(312) 근처를 지나가는 경우에는 제1객체(311)가 제2객체(312)를 유기했다고 감지하지 않는다.
이와 같이, 유기물객체감지부(50)는 제1객체(311)가 제2객체(312)를 유기하는 경우, 또는 유기하지 않고 그냥 지나가는 경우를 정확하게 판별하여, 제1객체(311)가 제2객체(312)를 유기할 때만 이벤트 신호를 발생시킬 수 있다. 그리고 유기물객체감지부(50)는 발생 된 이벤트 신호를 알림 장치(S)에 전송하거나 관제센터(미도시)에 전송할 수 있다.
일례로, 유기물객체감지부(50)에서 이벤트 신호가 발생하여 알림 장치(S)에 전송되는 경우, 도 8의 (b)에 도시된 바와 같이 알림 장치가 작동될 수 있다. 여기서, 발생 되는 알림 신호는 쓰레기를 유기할 때만 발생 되어, 알림 신호 발생에 대한 신뢰도가 높을 수 있다.
따라서, 알림 신호의 발생에 대한 높은 신뢰도를 바탕으로, 알림 신호는 쓰레기를 유기하는 사람이 있다는 것을 주변에 있는 사람이 인지하여 쓰레기 봉지가 유기되는 지역으로 나오도록 유도함으로써, 쓰레기 봉지를 유기하는 사람이 함부로 쓰레기를 유기하지 못하도록 할 수 있다.
이하, 지금까지 설명한 객체를 검출하는 사람 이동 궤적 기반 유기 감지 시스템(1)에 대한 설명을 바탕으로 본 발명의 일 실시예에 따른 사람 이동 궤적 기반 유기 감지방법에 대해 상세히 설명한다.
사람 이동 궤적 기반 유기 감지 시스템을 구성하는 구성요소 및 구성요소의 특징에 대해 설명된 내용은 사람 이동 궤적 기반 유기 감지 방법에 그대로 적용될 수 있다. 사람 이동 궤적 기반 유기 감지 방법은 도 9의 순서도를 기준으로 한다.
도 9는 본 발명의 일 실시예에 사람 이동 궤적 기반 유기 감지 방법의 순서도이다.
사람 이동 궤적 기반 유기 감지 방법은 일련의 과정으로 배경프레임(201)과 영상프레임(102)을 복수 개의 블록으로 나누고, 배경프레임과 영상프레임 간 차분프레임을 추출한다. 그리고 추출된 차분프레임에 포함된 객체가 정상객체 인지 그리고 정상객체가 감지된 후, 비정상객체 감지되면 감지된 정상객체와 비정상객체 간 거리값을 통해 쓰레기가 유기되었는지를 감지한다.
이하, 사람 이동 궤적 기반 유기 감지 방법의 단계에 대해 구체적으로 설명한다.
사람 이동 궤적 기반 유기 감지 방법은 외부에서 시간의 경과에 따라 영상 패킷을 수신해 영상프레임으로 변환한 후, 영상처리부에 상기 영상프레임을 저장하는 (a)단계(S110)로 일련의 단계를 시작한다.
이후, 영상처리부(10)로부터 수신된 출력된 영상프레임(102) 중 하나를 배경프레임(201)으로 생성하는 (b)단계로 진행된다(S120). 이때, 배경프레임은 입력되는 영상프레임들 중 어느 하나가 될 수 있다.
(B)단계 이후, 배경프레임(201)과 영상프레임(102)을 입력받고, 영상프레임 가운데 최신 영상프레임과 배경프레임 간 차이가 있는 부분을 차분프레임으로 생성하는 (c)단계(S130)로 진행된다.
이후, 배경프레임(201)과 차분프레임(310)을 비교하여 차분프레임(310)에서 저장된 정상객체와 매칭되는 제1객체(311) 또는 정상객체와 비매칭 되는 제2객체(312)를 검출하는 단계 그리고 제1객체(311) 또는 제2객체(312)가 검출되면 차분프레임의 중앙지점의 좌표값인 중앙좌표점값을 추출하는 (d)단계(S140)로 진행된다.
이후, (d)단계에서 제2객체가 검출되면, 중앙좌표점값이 추출된 제1객체와 제1거리값을 추출하는 단계(S150)로 진행된다. 이후, 추출된 제1 거리값과 기준거리값을 비교하여, 제1거리값이 기준거리값 미만이 되면, 제2객체를 유기물 객체로 감지하는 (e)단계로 진행된다.
(e)단계 이후, 사람 이동 궤적 기반 유기 감지 방법은 (e)단계에서 제2객체(312)가 유기물 객체로 감지되면, 이벤트 신호를 발생시키는 (S190)로 더 진행되고, 이를 통해 알림 장치(S)에서 이벤트 신호가 출력되는 단계로 진행될 수도 있다.
사람 이동 궤적 기반 유기 감지 방법은 전술한 단계를 일련의 단계로 진행하며 쓰레기를 유기하는 상황과 쓰레기를 유기하지 않는 상황을 정확하게 구별할 수 있다. 그리고 쓰레기유기 여부로부터 출력된 데이터로 알림 장치를 정확하게 작동시키며 쓰레기유기에 대한 알림 신호 발생에 대한 신뢰성도 높일 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
1: 사람 이동 궤적 기반 유기 감지 시스템
10: 영상처리부
101: 영상 패킷 102: 영상프레임
20: 배경프레임생성부 201: 배경프레임
202: 배경블록 30: 차분프레임생성부
301: 최신 영상프레임 302: 영상블록
310: 차분프레임 311: 제1객체
312: 제2객체
40: 객체저장검출부 401: 정상객체
50: 점수부여부 60: 유기물객체감지부
A: 유기물 객체 S: 알림 장치

Claims (6)

  1. 외부에서 시간의 경과에 따라 영상 패킷을 수신해 영상프레임으로 변환한 후, 상기 영상프레임을 저장하는 영상처리부;
    상기 영상처리부로부터 수신된 출력된 영상프레임 중 하나를 배경프레임으로 생성하는 배경프레임생성부;
    상기 배경프레임과 영상프레임을 입력받고, 상기 영상프레임 가운데 최신 영상프레임과 상기 배경프레임 간 차이가 있는 부분을 차분프레임으로 생성하는 차분프레임생성부;
    정상객체를 저장하고 있으며, 상기 배경프레임과 상기 차분프레임을 비교하여 상기 차분프레임에서 상기 정상객체와 매칭되는 제1객체 또는 상기 정상객체와 비매칭되는 제2객체를 검출하며, 상기 제1객체 또는 상기 제2객체가 검출되면, 상기 차분프레임의 중앙지점의 좌표값인 중앙좌표점값을 추출하는 객체좌표검출부;
    상기 객체좌표검출부에서 검출된 상기 제2객체가 검출되면, 상기 중앙좌표점값이 추출된 상기 제1객체와 제1거리값을 추출하여 상기 제1거리값이 기준거리값 미만이 되면, 상기 제2객체를 유기물 객체로 감지하는 유기물객체감지부를 포함하되,
    상기 객체좌표검출부는,
    상기 차분프레임의 일측의 상단부의 제1지점과 타측의 하단부의 제2지점 간 중앙지점의 좌표값을 상기 중앙좌표점값으로 추출하며,
    상기 제2객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값이 추출된 시점에서 가장 가까운 시점의 상기 제1객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값을 추출하고,
    상기 유기물객체감지부는,
    상기 제2객체가 추출되기 직전의 상기 제1객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값과 상기 제2객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값 및 상기 제2객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값이 추출된 시점의 직후의 상기 제1객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값간 거리를 연산하되,
    상기 제2객체가 검출되기 전 제2객체의 중앙좌표점값과 상기 제2객체가 검출된 후 제1객체의 중앙좌표점값 간 제1객체간직선을 추출하고,
    추출된 상기 제1객체간직선의 중앙지점에서 제2객체의 중앙좌표점값으로 수직직선을 추출하여, 상기 수직직선의 거리값이 기준거리값 미만이 되면, 상기 제2객체를 유기물 객체로 감지하는, 사람 이동 궤적 기반 유기 감지 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 영상처리부가 외부에서 시간의 경과에 따라 영상 패킷을 수신해 영상프레임으로 변환한 후, 상기 영상프레임을 저장하는 (a)단계;
    배경프레임생성부가 상기 영상처리부로부터 수신된 출력된 영상프레임 중 하나를 배경프레임으로 생성하는 (b)단계;
    차분프레임생성부가 상기 배경프레임과 영상프레임을 입력받고, 상기 영상프레임 가운데 최신 영상프레임과 상기 배경프레임 간 차이가 있는 부분을 차분프레임으로 생성하는 (c)단계;
    객체좌표검출부가 정상객체를 저장하고 있으며, 상기 배경프레임과 상기 차분프레임을 비교하여 상기 차분프레임에서 상기 정상객체와 매칭되는 제1객체 또는 상기 정상객체와 비매칭되는 제2객체를 검출하며, 상기 제1객체 또는 상기 제2객체가 검출되면, 상기 차분프레임의 중앙지점의 좌표값인 중앙좌표점값을 추출하는 (d)단계;
    유기물객체감지부가 상기 (d)단계에서 상기 제2객체를 검출하면, 상기 중앙좌표점값이 추출된 상기 제1객체와 제1거리값을 추출하여 상기 제1거리값이 기준거리값 미만이 되면, 상기 제2객체를 유기물 객체로 감지하는 (e)단계를 포함하되,
    상기 (d)단계에서, 상기 객체좌표검출부는 상기 차분프레임의 일측의 상단부의 제1지점과 타측의 하단부의 제2지점 간 중앙지점의 좌표값을 상기 중앙좌표점값으로 추출하고, 상기 제2객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값이 추출된 시점에서 가장 가까운 시점의 상기 제1객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값을 추출하고,
    상기 (e)단계에서, 상기 유기물객체감지부는 상기 제2객체가 추출되기 직전의 상기 제1객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값과 상기 제2객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값 및 상기 제2객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값이 추출된 시점의 직후의 상기 제1객체를 포함하는 상기 차분프레임의 상기 중앙좌표점값간 거리를 연산하되,
    상기 제2객체가 검출되기 전 제2객체의 중앙좌표점값과 상기 제2객체가 검출된 후 제1객체의 중앙좌표점값 간 제1객체간직선을 추출하고,
    추출된 상기 제1객체간직선의 중앙지점에서 제2객체의 중앙좌표점값으로 수직직선을 추출하여, 상기 수직직선의 거리값이 기준거리값 미만이 되면, 상기 제2객체를 유기물 객체로 감지하는, 사람 이동 궤적 기반 유기 감지 방법.
KR1020180038424A 2018-04-03 2018-04-03 사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법 KR101907442B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180038424A KR101907442B1 (ko) 2018-04-03 2018-04-03 사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180038424A KR101907442B1 (ko) 2018-04-03 2018-04-03 사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법

Publications (1)

Publication Number Publication Date
KR101907442B1 true KR101907442B1 (ko) 2018-10-12

Family

ID=63876333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180038424A KR101907442B1 (ko) 2018-04-03 2018-04-03 사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법

Country Status (1)

Country Link
KR (1) KR101907442B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102129734B1 (ko) * 2019-02-11 2020-07-03 (주)지니가치 인공지능 기반의 영상 감시 시스템
KR20210106627A (ko) 2020-02-20 2021-08-31 한국기술교육대학교 산학협력단 조도 변화시 유기된 물체의 감시 방법
KR20230003875A (ko) 2021-06-30 2023-01-06 주식회사 에스원 기상 조건에 적응적인 유기 상황 감지 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017005403A (ja) * 2015-06-08 2017-01-05 住友電気工業株式会社 画像監視装置、画像監視システム、画像監視方法及び画像監視プログラム
KR101808587B1 (ko) * 2017-08-03 2017-12-13 주식회사 두원전자통신 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017005403A (ja) * 2015-06-08 2017-01-05 住友電気工業株式会社 画像監視装置、画像監視システム、画像監視方法及び画像監視プログラム
KR101808587B1 (ko) * 2017-08-03 2017-12-13 주식회사 두원전자통신 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102129734B1 (ko) * 2019-02-11 2020-07-03 (주)지니가치 인공지능 기반의 영상 감시 시스템
KR20210106627A (ko) 2020-02-20 2021-08-31 한국기술교육대학교 산학협력단 조도 변화시 유기된 물체의 감시 방법
KR20230003875A (ko) 2021-06-30 2023-01-06 주식회사 에스원 기상 조건에 적응적인 유기 상황 감지 장치 및 방법

Similar Documents

Publication Publication Date Title
CN108230594B (zh) 一种用于在视频监控系统中生成警报的方法
KR101980551B1 (ko) 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법
KR101789690B1 (ko) 딥 러닝 기반 보안 서비스 제공 시스템 및 방법
CN109446942B (zh) 目标跟踪方法、装置和系统
KR101907442B1 (ko) 사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법
KR101910542B1 (ko) 객체 검출을 위한 영상분석 서버장치 및 방법
KR101893875B1 (ko) 유기 행위 검출 시스템 및 유기 행위 검출 방법
JP2018101317A (ja) 異常監視システム
EP2903261B1 (en) Apparatus and method for detecting event from plurality of photographed images
CN117749995B (zh) 一种基于多场景识别与语音交互的视频监控方法及系统
KR102247359B1 (ko) 원격 모니터링을 위한 영상 분석 시스템 및 방법
CN101089875A (zh) 面部鉴别装置、面部鉴别方法以及入口和出口管理装置
JPH10285581A (ja) 自動監視装置
KR101372860B1 (ko) 영상 검색 시스템 및 영상 분석 서버
KR20180138558A (ko) 객체 검출을 위한 영상분석 서버장치 및 방법
KR101442669B1 (ko) 지능형 객체감지를 통한 범죄행위 판별방법 및 그 장치
KR20210062256A (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
JPH07181012A (ja) 画像データの特徴量検出装置
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
JPH0779429A (ja) 画像監視装置
US7738009B2 (en) Method for following at least one object in a scene
KR101465314B1 (ko) 원격지의 모니터링 시스템을 관리하는 온라인 관리 및 보수 시스템 및 그 방법
KR20200028550A (ko) 객체 인식을 통해 위급 상황을 판단하는 장치 및 방법
JP6482892B2 (ja) 監視システム
KR101482646B1 (ko) 스마트 기기 연동형 지능형 방범보안 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant