KR102019301B1 - 농축산 도난을 감지하는 영상 감시 장치 및 그 방법 - Google Patents

농축산 도난을 감지하는 영상 감시 장치 및 그 방법 Download PDF

Info

Publication number
KR102019301B1
KR102019301B1 KR1020180047431A KR20180047431A KR102019301B1 KR 102019301 B1 KR102019301 B1 KR 102019301B1 KR 1020180047431 A KR1020180047431 A KR 1020180047431A KR 20180047431 A KR20180047431 A KR 20180047431A KR 102019301 B1 KR102019301 B1 KR 102019301B1
Authority
KR
South Korea
Prior art keywords
moving object
livestock
video surveillance
moving
color
Prior art date
Application number
KR1020180047431A
Other languages
English (en)
Inventor
주영훈
Original Assignee
군산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 군산대학교 산학협력단 filed Critical 군산대학교 산학협력단
Priority to KR1020180047431A priority Critical patent/KR102019301B1/ko
Application granted granted Critical
Publication of KR102019301B1 publication Critical patent/KR102019301B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G06K9/3233—
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 농축산 도난을 감지하는 영상 감시 기술에 관한 것으로서, 영상 감시 방법은, 카메라를 통해 촬영된 입력 영상으로부터 이동 객체를 추출하고, 추출된 이동 객체의 영역으로부터 적어도 하나 이상의 가축을 포함하는 이동 객체를 인식하고, 인식된 이동 객체가 갖는 형태적 특징인 골격 특징 정보 및 색상 정보를 이용하여 이동 객체로부터 가축과 인간을 분류하며, 가축 또는 인간으로 분류된 이동 객체를 각각 개별적으로 추적한다.

Description

농축산 도난을 감지하는 영상 감시 장치 및 그 방법{A video surveillance apparatus for detecting agro-livestock theft and method thereof}
본 발명은 영상 감시 기술에 관한 것으로, 특히 영상을 입력받아 영상 내의 다중 이동 물체를 식별하되 이러한 다중 이동 물체가 서로 유사한 색상 정보를 지닐 경우 각각의 이동 물체를 지속적으로 추적할 수 있는 영상 감시 장치 및 방법, 그 방법을 기록한 기록매체에 관한 것이다.
최근 카메라를 이용한 영상 시스템의 발달로 인하여 회사, 학교, 가정, 차량 등 많은 곳에서 카메라를 이용한 영상 시스템이 사용됨을 볼 수 있다. 특히, 많은 곳에서 지능형 영상 감시 시스템을 사용하여 범죄를 예방 및 대처하는 추세이며 많은 기술들이 상용화되고 있다. 그러나 이러한 감시 시스템은 도심을 기준으로 발달되고 있으며, 인간을 주요 대상으로 하여 객체를 추출하고 추적하는 연구가 대부분이다. 그로 인해, 도심 지역에 비해 농촌 지역은 감시 카메라를 이용한 영상 시스템의 도입이 어려운 실정이다.
이러한 카메라를 이용한 영상 시스템의 활용에 있어서, 농촌 지역을 대상으로 하는 축사 감시 시스템은 기본적인 CCTV(closed circuit television)를 이용하여 하드 디스크 등의 저장장치를 사용한 DVR(digital video recorder) 기반 감시 시스템과 RFID(radio frequency identification)를 이용한 센서 기반 감시 시스템이 대부분이다. 그러나, 종래의 축사 감시 시스템은 가축과 인간을 구분할 수 없으며, 관리자가 직접 확인하지 않을 경우, 문제 상황에 대한 사전 또는 사후의 대처가 어렵다는 문제점이 있다.
따라서, 축사의 상황을 감시하면서 입력 영상 내에서 이동 객체를 추출하고, 추출된 이동 객체가 인간인지 또는 가축인지를 스스로 인식/판단하며, 판단 결과에 따라 실시간으로 축사의 문제 상황에 대처할 수 있는 지능형 영상 감시 시스템의 개발이 요구된다.
V. Tsakanikas, and T. Dagiuklas, "Video surveillance systems-current status and future trends," Computers & Electrical Engineering, pp. 1-18, 2017. S. W. Ibrahim, "A comprehensive review on intelligent surveillance systems," Communications in Science and Technology, vol. 1, no. 1, pp. 7-14, 2016.
본 발명이 해결하고자 하는 기술적 과제는, 종래의 영상 감시 시스템에서 잡음이 많은 외부 환경의 경우 정확한 이동 객체 추출이 어려운 문제를 해결하고, 이동 객체가 움직임을 보이지 않을 경우 배경으로 판단한다는 약점을 보완하며, 가축과 인간이 혼재되어 있는 상황에서 이동 객체의 형태가 고유한 특징을 보이지 않을 경우 해당 객체의 분류율이 저하되는 한계를 극복하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 감시 방법은, (a) 카메라를 통해 촬영된 입력 영상으로부터 이동 객체를 추출하는 단계; (b) 추출된 이동 객체의 영역으로부터 적어도 하나 이상의 가축을 포함하는 이동 객체를 인식하는 단계; (c) 인식된 상기 이동 객체가 갖는 형태적 특징인 골격 특징 정보 및 색상 정보를 이용하여 상기 이동 객체로부터 가축과 인간을 분류하는 단계; 및 (d) 가축 또는 인간으로 분류된 상기 이동 객체를 각각 개별적으로 추적하는 단계를 포함한다.
일 실시예에 따른 영상 감시 방법에서, 상기 (a) 이동 객체를 추출하는 단계는, (a1) 카메라를 통해 촬영된 입력 영상으로부터 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 배경(background)을 모델링함으로써 전경(foreground)인 제 1 이동 객체를 추출하는 단계; (a2) 상기 입력 영상으로부터 RGB 배경 모델링(background modeling)을 이용하여 움직임이 소정 기준 이하인 제 2 이동 객체를 추출하는 단계; 및 (a3) 상기 제 1 이동 객체와 상기 제 2 이동 객체의 합으로부터 전체 이동 객체를 획득하는 단계를 포함할 수 있다. 또한, 상기 (a) 이동 객체를 추출하는 단계는, (a4) 모폴로지(morphology) 기법 중 침식(erosion) 및 팽창(dilation) 연산을 수행하여 이동 객체의 그림자 및 흔들림으로 인해 발생하는 잡음을 제거하는 단계를 더 포함할 수 있다.
일 실시예에 따른 영상 감시 방법에서, 상기 (b) 이동 객체를 인식하는 단계는, 추출된 상기 이동 객체의 영역에 대해 라벨링(labeling)을 수행하여 적어도 하나 이상의 가축을 포함하는 이동 객체를 인식하되, 미리 설정된 소정 크기 이하의 라벨(label)은 잡음으로 판단하여 제거할 수 있다.
일 실시예에 따른 영상 감시 방법에서, 상기 (c) 이동 객체로부터 가축과 인간을 분류하는 단계는, (c1) 인식된 상기 이동 객체에 대해 골격화(skeletonization)를 수행하고, 골격화된 이동 객체에 대한 픽셀(pixel) 값의 변화로부터 코너(corner)를 판단하여 상기 이동 객체의 골격에 대한 특징점을 추출하는 단계; (c2) 추출된 상기 특징점에 대해 최외각에 존재하는 점이 나머지 점을 내부에 포함하도록 다각형을 생성하는 컨벡스 헐(convex hull)을 이용하여 이동 객체의 형태 정보와 크기로부터 상기 이동 객체가 가축인지 여부를 판단하는 단계; 및 (c3) 가축으로 판단된 이동 객체에 대한 색상 유사도를 산출하여 상기 색상 유사도가 임계 범위 이내인 이동 객체를 가축으로 결정하는 단계를 포함할 수 있다.
또한, 상기 (c2) 이동 객체가 가축인지 여부를 판단하는 단계는, 추출된 상기 특징점으로부터 컨벡스 헐을 통해 생성된 다각형의 면적과 무게 중심을 산출하고, 산출된 상기 무게 중심을 이용하여 상기 다각형의 높이와 너비를 산출하며, 산출된 상기 다각형의 높이와 너비의 비율로부터 가축 고유의 형태적 특징을 갖는지를 검사함으로써, 상기 이동 객체가 가축인지 여부를 판단할 수 있다.
또한, 상기 (c3) 이동 객체를 가축으로 결정하는 단계는, 가축으로 판단된 이동 객체를 구성하는 특징점 영역에 대해 관심 영역(region of interest, ROI)를 설정하고, 설정된 상기 관심 영역의 RGB 색상 공간의 이미지를 이용하여 HSV(hue-saturation-value) 색상 공간으로 변환하고, 상기 관심 영역에 대한 HSV 색상 값을 이용하여 상기 이동 객체를 구성하는 색상 유사도를 산출하며, 산출된 상기 색상 유사도가 임계 범위 이내인 이동 객체만을 가축으로 결정할 수 있다.
나아가, 상기 (c) 이동 객체로부터 가축과 인간을 분류하는 단계는, (c4) 베이지안 분류기(Bayesian classifier)를 통해 오분류 색상을 제외시킴으로써 획득된 형태 분류 정보와 색상 분류 정보를 이용하여 상기 이동 객체로부터 가축과 인간을 재분류하는 단계를 더 포함할 수 있다.
일 실시예에 따른 영상 감시 방법에서, 상기 (d) 이동 객체를 각각 개별적으로 추적하는 단계는, 가축 또는 인간으로 분류된 이동 객체에 대해 CAM(continuously adaptive meanshift) 쉬프트(shift)의 탐색 윈도우(window)를 이용하여 각각의 이동 객체를 개별적으로 추적하되, 칼만 필터(Kalman Filter)를 이용하여 이동 객체의 겹침을 판단할 수 있다.
일 실시예에 따른 영상 감시 방법은, (e) 상기 이동 객체의 추적 과정에서 가축으로 분류된 이동 객체와 인간으로 분류된 이동 객체가 임계값 이내로 근접하는 경우, 근접한 이동 객체의 종을 고려하여 가축의 도난 또는 위험 상황의 발생을 판단하는 단계를 더 포함할 수 있다.
한편, 이하에서는 상기 기재된 영상 감시 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 감시 장치는, 카메라를 통해 촬영된 영상을 입력받는 입력부; 입력된 영상 내에 포함된 가축 및 인간의 움직임을 감시하는 영상 감시 프로그램을 저장하는 메모리; 및 상기 영상 감시 프로그램을 구동하는 적어도 하나의 프로세서를 포함하되, 상기 메모리에 저장된 영상 감시 프로그램은, 입력 영상으로부터 이동 객체를 추출하고, 추출된 이동 객체의 영역으로부터 적어도 하나 이상의 가축을 포함하는 이동 객체를 인식하고, 인식된 상기 이동 객체가 갖는 형태적 특징인 골격 특징 정보 및 색상 정보를 이용하여 상기 이동 객체로부터 가축과 인간을 분류하며, 가축 또는 인간으로 분류된 상기 이동 객체를 각각 개별적으로 추적하는 명령어를 포함한다.
일 실시예에 따른 영상 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 카메라를 통해 촬영된 입력 영상으로부터 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 배경(background)을 모델링함으로써 전경(foreground)인 제 1 이동 객체를 추출하고, 상기 입력 영상으로부터 RGB 배경 모델링(background modeling)을 이용하여 움직임이 소정 기준 이하인 제 2 이동 객체를 추출하며, 상기 제 1 이동 객체와 상기 제 2 이동 객체의 합으로부터 전체 이동 객체를 획득하는 명령을 수행할 수 있다. 또한, 상기 메모리에 저장된 영상 감시 프로그램은, 모폴로지(morphology) 기법 중 침식(erosion) 및 팽창(dilation) 연산을 수행하여 이동 객체의 그림자 및 흔들림으로 인해 발생하는 잡음을 제거하는 명령을 더 수행할 수 있다.
일 실시예에 따른 영상 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 추출된 상기 이동 객체의 영역에 대해 라벨링(labeling)을 수행하여 적어도 하나 이상의 가축을 포함하는 이동 객체를 인식하되, 미리 설정된 소정 크기 이하의 라벨(label)은 잡음으로 판단하여 제거하는 명령을 수행할 수 있다.
일 실시예에 따른 영상 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 인식된 상기 이동 객체에 대해 골격화(skeletonization)를 수행하고, 골격화된 이동 객체에 대한 픽셀(pixel) 값의 변화로부터 코너(corner)를 판단하여 상기 이동 객체의 골격에 대한 특징점을 추출하고, 추출된 상기 특징점에 대해 최외각에 존재하는 점이 나머지 점을 내부에 포함하도록 다각형을 생성하는 컨벡스 헐(convex hull)을 이용하여 이동 객체의 형태 정보와 크기로부터 상기 이동 객체가 가축인지 여부를 판단하며, 가축으로 판단된 이동 객체에 대한 색상 유사도를 산출하여 상기 색상 유사도가 임계 범위 이내인 이동 객체를 가축으로 결정할 수 있다.
또한, 일 실시예에 따른 영상 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 추출된 상기 특징점으로부터 컨벡스 헐을 통해 생성된 다각형의 면적과 무게 중심을 산출하고, 산출된 상기 무게 중심을 이용하여 상기 다각형의 높이와 너비를 산출하며, 산출된 상기 다각형의 높이와 너비의 비율로부터 가축 고유의 형태적 특징을 갖는지를 검사함으로써, 상기 이동 객체가 가축인지 여부를 판단할 수 있다.
또한, 일 실시예에 따른 영상 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 가축으로 판단된 이동 객체를 구성하는 특징점 영역에 대해 관심 영역(region of interest, ROI)를 설정하고, 설정된 상기 관심 영역의 RGB 색상 공간의 이미지를 이용하여 HSV(hue-saturation-value) 색상 공간으로 변환하고, 상기 관심 영역에 대한 HSV 색상 값을 이용하여 상기 이동 객체를 구성하는 색상 유사도를 산출하며, 산출된 상기 색상 유사도가 임계 범위 이내인 이동 객체만을 가축으로 결정할 수 있다.
나아가, 일 실시예에 따른 영상 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 베이지안 분류기(Bayesian classifier)를 통해 오분류 색상을 제외시킴으로써 획득된 형태 분류 정보와 색상 분류 정보를 이용하여 상기 이동 객체로부터 가축과 인간을 재분류하는 명령을 더 수행할 수 있다.
일 실시예에 따른 영상 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 가축 또는 인간으로 분류된 이동 객체에 대해 CAM(continuously adaptive meanshift) 쉬프트(shift)의 탐색 윈도우(window)를 이용하여 각각의 이동 객체를 개별적으로 추적하되, 칼만 필터(Kalman Filter)를 이용하여 이동 객체의 겹침을 판단할 수 있다.
일 실시예에 따른 영상 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 상기 이동 객체의 추적 과정에서 가축으로 분류된 이동 객체와 인간으로 분류된 이동 객체가 임계값 이내로 근접하는 경우, 근접한 이동 객체의 종을 고려하여 가축의 도난 또는 위험 상황의 발생을 판단하는 명령을 더 수행할 수 있다.
본 발명의 실시예들에 따르면, 농촌 지역의 축사와 같은 외부 환경에서 이동 객체를 정확히 추출하되, 이동 객체가 움직임을 보이지 않을 경우에도 배경이 아닌 객체로 인식할 수 있을 뿐만 아니라, 가축과 인간이 혼재되어 있는 상황에서 각각의 유형별로 고유한 형태학적 특징 및 색상 특징을 활용함으로써 높은 분류율을 달성함과 동시에, 이들의 움직임을 개별적으로 추적하여 상호 관계를 분석함으로써 위험 상황을 자동으로 판단하여 실시간으로 대응할 수 있다.
도 1은 본 발명의 일 실시예에 따른 농축산 도난을 감지하는 영상 감시 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 영상 감시 방법에서 이동 객체를 추출하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 3은 가우시안 혼합 모델과 RGB 배경 모델링을 이용하여 움직이지 않는 객체를 추출한 결과를 예시한 도면이다.
도 4는 가우시안 혼합 모델과 RGB 배경 모델링을 이용하여 이동 객체를 추출한 결과를 예시한 도면이다.
도 5는 잡음 제거 및 이동 객체의 인식 결과를 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 도 1의 영상 감시 방법에서 이동 객체로부터 가축과 인간을 분류하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 7은 이동 객체에 대해 골격화 수행 결과를 예시한 도면이다.
도 8은 특징점 추출 및 컨벡스 헐 적용 결과를 예시한 도면이다.
도 9는 무게중심, 높이 및 너비 추출 결과를 예시한 도면이다.
도 10은 형태적 특징을 이용한 이동 객체 분류 결과를 예시한 도면이다.
도 11은 실시간 영상으로부터 객체의 추적 결과를 예시한 도면이다.
도 12는 동일 객체 간의 겹침 판단을 예시한 도면이다.
도 13은 인간과 가축의 겹침 판단을 예시한 도면이다.
도 14는 본 발명의 일 실시예에 따른 농축산 도난을 감지하는 영상 감시 장치를 도시한 블록도이다.
도 15는 본 발명의 일 실시예에 따른 영상 감시를 위한 제안 알고리즘을 예시한 도면이다.
도 16 내지 도 19는 본 발명의 일 실시예에 따른 영상 감시 알고리즘을 구현한 프로토타입(prototype)을 통해 다양한 상황에 대한 영상 감시 결과를 예시한 도면이다.
앞서 소개된 바와 같이, 도심을 기준으로 발달해온 종래의 영상 감시 기술을 농촌 지역에 그대로 적용하고자 할 경우, 환경 및 제약 조건의 차이로 인해 의도하는 목표를 달성하기 어렵다는 점이 지적되었다. 따라서, 이하에서 제안되는 본 발명의 실시예들은 상기된 문제점을 해결하기 위해 안출된 것으로, 다양한 객체, 특히 인간과 가축이 혼재되어 있는 농축산 환경(예를 들어, 축사)에 대한 농축산 도난 감지 시스템을 제안하고자 한다. 이를 위해 본 발명의 실시예들이 제안하는 영상 감시 방법은, 이동 객체의 골격 특징 및 색상 유사도를 활용하고 있으며, 이를 통해 이동 객체의 추출, 인식, 분류 및 추적의 일련의 과정으로 구성된다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 농축산 도난을 감지하는 영상 감시 방법을 도시한 흐름도이다.
S110 단계에서, 영상 감시 시스템은, 카메라를 통해 촬영된 입력 영상으로부터 이동 객체를 추출한다. 이 과정에서는, 먼저 입력 영상을 입력받고, 이동 객체 추출을 위해 가우시안 혼합 모델(Gaussian mixture model, GMM)방법을 통해 배경을 모델링하며, 움직임이 적고 조도의 변화에 의해 추출되지 않는 이동 객체를 추출하기 위해 RGB 배경 모델링(background modeling) 방법을 이용한다. 그런 다음, 조도의 변화에 따른 잡음 및 그림자를 제거하기 위해 모폴로지(morphology) 방법을 이용할 수 있다.
S120 단계에서, 상기 영상 감시 시스템은, S110 단계를 통해 추출된 이동 객체의 영역으로부터 적어도 하나 이상의 가축을 포함하는 이동 객체를 인식한다. 이 과정에서는, 추출된 상기 이동 객체의 영역에 대해 라벨링(labeling)을 수행하여 적어도 하나 이상의 가축을 포함하는 이동 객체를 인식하되, 미리 설정된 일정 크기 이하의 라벨(label)은 잡음으로 판단하여 제거하는 것이 바람직하다.
S130 단계에서, 상기 영상 감시 시스템은, S120 단계를 통해 인식된 상기 이동 객체가 갖는 형태적 특징인 골격 특징 정보 및 색상 정보를 이용하여 상기 이동 객체로부터 가축과 인간을 분류한다. 이때, 인식된 이동 객체 영역과 배경 영역을 분류하고, 이동 객체가 가지고 있는 골격 특징 정보와 색상 정보를 이용한 판단 방법을 통해 인간과 가축을 분류할 수 있다.
보다 구체적으로, 인식된 이동 객체에 대해 골격화(skeletonization)를 수행하고, 코너 점 추출 방법(예를 들어, Shi-Tomasi Corner)를 이용하여 배경을 제외한 이동 객체의 골격에 대한 특징점을 추출한다. 이렇게 추출된 특징점에 대해 컨벡스 헐(Convex Hull)을 이용하여 이동 객체의 형태 정보와 크기를 판단하며, 가축으로 판단된 객체에 대해 색상 유사도를 판단한다. 유사도 판단 결과, 유사도가 높은 색상을 가축의 색상으로 판단하고, 베이지안 분류기(Bayesian classifier)를 이용해 오분류 색상을 제외시킨다. 이렇게 얻어진 형태 분류 정보와 색상 분류 정보를 이용하여 인간과 가축을 분류할 수 있다.
S140 단계에서, 상기 영상 감시 시스템은, S130 단계를 통해 가축 또는 인간으로 분류된 상기 이동 객체를 각각 개별적으로 추적한다. 이 과정에서는, 가축 또는 인간으로 분류된 이동 객체에 대해 CAM(continuously adaptive meanshift) 쉬프트(shift)의 탐색 윈도우(window)를 이용하여 각각의 이동 객체를 개별적으로 추적하되, 칼만 필터(Kalman Filter)를 이용하여 이동 객체의 겹침을 판단할 수 있다.
또한, 이러한 판단 결과에 따라, 상기 영상 감시 시스템은, 이동 객체의 추적 과정에서 가축으로 분류된 이동 객체와 인간으로 분류된 이동 객체가 임계값 이내로 근접하는 경우, 근접한 이동 객체의 종을 고려하여 가축의 도난 또는 위험 상황의 발생을 판단할 수 있다. 만약 가축의 도난 또는 위험 상황이 발생한 것으로 판단된다면, 영상 감시 시스템은 상황에 따라 실시간으로 관리자 또는 경찰서에 알림을 전송하거나, 경보를 울리는 등의 자동화된 대응이 가능하다.
도 2는 본 발명의 일 실시예에 따른 도 1의 영상 감시 방법에서 이동 객체를 추출하는 과정(S110)을 보다 구체적으로 도시한 흐름도이다.
S111 단계에서, 영상 감시 시스템은, 카메라를 통해 촬영된 입력 영상으로부터 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 배경(background)을 모델링함으로써 전경(foreground)인 제 1 이동 객체를 추출한다. 또한, S112 단계에서, 영상 감시 시스템은, 상기 입력 영상으로부터 RGB 배경 모델링(background modeling)을 이용하여 움직임이 소정 기준 이하인 제 2 이동 객체를 추출한다.
이상의 과정에서는 입력되는 영상에 대해 배경(background)으로부터 전경(foreground)을 추출하기 위해 가우시안 혼합 모델을 이용하여 배경을 모델링한다. 이렇게 모델링된 결과 배경에서 분류된 전경은 이동 객체를 나타낸다. 그러나, 축사의 경우 조도의 변화가 심하여 이동 객체의 영역이 많이 소실되거나 추출되지 않는 경우가 존재하며, 특히 움직임이 적은 객체를 추출하지 못하는 경우가 종종 발생한다. 따라서, 이러한 객체를 추출하기 위해 본 발명의 실시예들은 다음의 수학식 1과 같이 RGB 배경 모델링을 수행한다.
Figure 112018040755149-pat00001
여기서,
Figure 112018040755149-pat00002
는 z번째 입력 영상의 해당 픽셀 위치를 나타내며, σ(x,y)와 λ(x,y)는 전체 입력 영상에 해당하는 픽셀에서의 표준편차와 중간 값을 나타낸다. 영상에서 현재 픽셀 값
Figure 112018040755149-pat00003
에서 중간 값 λ(x,y)의 차이 값이 σ(x,y)의 2배보다 작을 경우 배경 픽셀로 결정할 수 있다.
S113 단계에서, 영상 감시 시스템은, 앞서 추출된 상기 제 1 이동 객체와 상기 제 2 이동 객체의 합으로부터 전체 이동 객체를 획득한다. 이 과정에서는, 가우시안 혼합 모델의 결과(제 1 이동 객체)와 RGB 배경 모델링의 결과(제 2 이동 객체)에 대해 두 행렬의 원소끼리 덧셈 연산을 수행하여 최종적으로 이동 객체를 추출한다. 상기된 방법을 이용하여 움직이지 않는 다수의 가축 객체를 추출한 결과는 도 3과 같으며, 움직이는 다수의 인간과 가축 객체를 추출한 결과는 도 4와 같다.
도 3은 가우시안 혼합 모델과 RGB 배경 모델링을 이용하여 움직이지 않는 객체를 추출한 결과를 예시한 도면으로서, 도 3의 (a)는 움직이지 않는 객체에 대한 입력 영상을 나타내며, 도 3의 (b)는 입력 영상에서 가우시안 혼합 모델을 이용하여 이동 객체를 추출한 결과를 나타낸다. 그러나, 객체가 좀처럼 움직이지 않기 때문에 객체 추출이 잘 이루어지지 않은 결과를 나타낸다. 다음으로, 도 3의 (c)는 RGB 배경 모델링을 이용하여 추출되지 않은 이동 객체를 추출한 결과이며, 도 3의 (d)는 가우시안 혼합 모델과 RGB 배경 모델링 결과를 덧셈 연산하여 이동 객체를 추출한 결과이다.
도 4는 가우시안 혼합 모델과 RGB 배경 모델링을 이용하여 이동 객체를 추출한 결과를 예시한 도면으로서, 도 4의 (a)는 다수의 움직이는 인간과 가축에 대한 입력 영상을 나타내며, 도 4의 (b)는 가우시안 혼합 모델을 이용한 결과를 나타낸다. 그리고, 도 4의 (c)는 RGB 배경 모델링 이용 결과를 나타내며, 도 4의 (d)는 이동 객체를 추출한 결과를 나타낸다.
다시 도 2로 돌아와서, S114 단계에서, 영상 감시 시스템은, 모폴로지(morphology) 기법 중 침식(erosion) 및 팽창(dilation) 연산을 수행하여 이동 객체의 그림자 및 미세한 흔들림으로 인해 발생하는 잡음을 제거할 수 있다.
도 2의 일련의 과정이 수행된 다음, 추출된 이동 객체에 대해 라벨링 방법을 이용하여 다수의 객체를 인식하여 나타낸다. 또한, 불필요한 영역 제거를 위해 일정한 크기 이하의 라벨은 잡음으로 판단하여 제거한다. 잡음 제거 및 이동 객체 인식 결과는 도 5에 예시된 바와 같다.
도 5의 (a)는 모폴로지 방법을 이용하여 잡음을 제거한 결과를 나타내며, 도 5의 (b)는 라벨링 방법을 이용하여 이동 객체를 인식한 결과를 나타낸다.
이하에서는, 인식된 이동 객체를 분류하는 과정을 설명하도록 한다. 우선, 앞서 인식된 결과 영상에 대해 이동 객체를 인간과 가축으로 분류하기 위한 방법으로 고유한 성질을 이용한 형태적 특징 추출 방법을 기술한다.
도 6은 본 발명의 일 실시예에 따른 도 1의 영상 감시 방법에서 이동 객체로부터 가축과 인간을 분류하는 과정(S130)을 보다 구체적으로 도시한 흐름도이다.
S131 단계에서, 영상 인식 시스템은, 인식된 상기 이동 객체에 대해 골격화(skeletonization)를 수행하고, 골격화된 이동 객체에 대한 픽셀(pixel) 값의 변화로부터 코너(corner)를 판단하여 상기 이동 객체의 골격에 대한 특징점을 추출한다.
앞서 라벨링 방법을 이용하여 인식된 다수의 이동 객체를 분류하기 위해, 먼저 이동 객체들에 대한 각각의 특징 정보를 알아야 할 필요가 있다. 따라서 인식된 이동 객체를
Figure 112018040755149-pat00004
라고 정의한다.
다음, 배경을 제외한 이동 객체의 형태 정보를 추출하기 위해 MOi에 대해 형태학적인 요소가 유지되는 골격으로 축소하는 기법인 골격화를 수행한다. 도 7은 라벨링으로 인식된 이동 객체에 대해 골격화를 수행한 결과를 예시하였다.
그런 다음, 골격화된 이동 객체에 대해 특징정보를 얻기 위한 방법으로 특징점 추출 방법을 제안한다. 특징점을 추출하는 방법은 윈도우 안의 픽셀 값의 변화를 관찰하여 모서리(corner)를 판단하는 특징점 추출 방법(예를 들어, Shi-Tomasi corner)을 이용할 수 있으며, 다음의 수학식 2를 만족하는 점을 특징점으로 추출한다.
Figure 112018040755149-pat00005
여기서, λ1과 λ2는 윈도우 안의 픽셀 값의 변화량의 고유 값을 나타내며, 는 미리 정의한 임계값을 나타낸다. λ1과 λ2 중 최소 값이 임계 값 α보다 클 경우 모서리(corner)로 판단하여 특징점으로 추출한다. 본 발명의 실시예들에서는 추출된 특징점을
Figure 112018040755149-pat00006
라고 정의한다.
이제, 도 6의 S132 단계에서, 영상 인식 시스템은, S131 단계를 통해 추출된 상기 특징점에 대해 최외각에 존재하는 점이 나머지 점을 내부에 포함하도록 다각형을 생성하는 컨벡스 헐(convex hull)을 이용하여 이동 객체의 형태 정보와 크기로부터 상기 이동 객체가 가축인지 여부를 판단한다. 보다 구체적으로, 이 과정에서는, 추출된 상기 특징점으로부터 컨벡스 헐을 통해 생성된 다각형의 면적과 무게 중심을 산출하고, 산출된 상기 무게 중심을 이용하여 상기 다각형의 높이와 너비를 산출하며, 산출된 상기 다각형의 높이와 너비의 비율로부터 가축 고유의 형태적 특징을 갖는지를 검사함으로써, 상기 이동 객체가 가축인지 여부를 판단할 수 있다.
추출된 특징점 FPj(x,y)에 대해 최외각에 존재하는 점을 골라 나머지 모든 점을 내부에 포함하는 다각형을 만드는 컨벡스 헐 방법을 수행한다. 이동 객체에 대해 특징점 추출 및 컨벡스 헐을 수행한 결과는 도 8에 예시되었다. 도 8의 (a)는 골격화된 이동 객체에 대해 특징점을 추출한 결과를 나타내며, 도 8의 (b)는 추출된 특징점에 대해 컨벡스 헐을 적용한 결과를 나타낸다.
다음으로, 컨벡스 헐의 수행 결과로 얻어진 다각형에 대해 인간과 가축을 형태학적으로 판단하기 위한 방법으로 고유한 성질을 이용한 형태적 특징을 추출하는 방법을 제안한다. 형태적 특징 추출은 먼저, 객체를 이루는 다각형의 면적을 수학식 3과 같은 방법으로 추출한다.
Figure 112018040755149-pat00007
수학식 3에서 A는 면적을 n은 다각형을 이루는 점 개수를 나타낸다.
다음, 객체를 이루는 다각형에 대해 수학식 4와 같이 무게 중심을 추출한다.
Figure 112018040755149-pat00008
수학식 4에서 Cx는 무게중심의 x 좌표를 Cy는 무게중심의 y 좌표를 나타낸다. 즉, 무게중심은 (Cx,Cy)의 값을 가진다.
다음, 얻어진 무게중심을 이용하여 다각형의 높이와 너비를 추출한다. 다각형의 높이는 수학식 5와 같이 추출한다.
Figure 112018040755149-pat00009
수학식　5에서 H는 다각형의 높이를 나타내며, s는 Cy에 대해 덧셈과 뺄셈 연산을 할 경우 만나는 다각형의 직선까지의 거리를 나타낸다.
다음, 다각형의 너비는 수학식 6과 같이 추출한다.
Figure 112018040755149-pat00010
수학식 6에서 W는 다각형의 너비를 나타내며, s는 Cx에 대해 덧셈과 뺄셈 연산을 할 경우 만나는 다각형의 직선까지의 거리를 나타낸다.
도 9는 이동 객체를 이루는 다각형에 대해 무게중심, 높이 및 너비를 추출한 결과를 예시한 도면이다. 이렇게 얻어진 다각형에 대한 높이와 너비를 이용하여 인간과 가축에 대한 판단을 수행하며, 인간은 가축에 비해 너비보다 높이가 크다는 점과 가축은 인간에 비해 높이보다 너비가 크다는 고유한 형태적 특징을 이용하여 각각의 이동 객체를 판단한다. 또한, 판단 결과, 인간으로 판단되는 객체와 가축으로 판단되는 객체에 대해 평균적 크기를 추출한다. 평균적 크기를 추출하는 방법은 앞서 얻어진 다각형의 면적을 이용하며, 얻어진 면적에 대해 사용자가 정해준 임계값을 이용하여 수학식 7과 같이 판단한다.
Figure 112018040755149-pat00011
여기서, β는 사용자가 정해준 임계값을 나타내며, MOiA는 판단하고자 하는 객체의 면적을 나타낸다.
객체 분류를 위한 객체의 높이, 너비 판단 방법과 객체의 크기를 이용한 수학식 7의 판단 방법을 이용하여 이동 객체에 대해 인간과 가축으로 분류하며, 이러한 형태적 특징을 이용하여 이동 객체를 분류한 결과는 도 10에 예시되었다. 도 10을 참조하면, 빨간색의 라벨을 이용하여 인간을 나타냈으며, 초록색의 라벨을 이용하여 가축을 나타내었다.
한편, 이상에서 얻어진 형태학 특징 정보만을 이용하여 인간과 가축을 분류할 경우, 멀리 있는 객체 크기의 판별이 어렵다는 점과 인간과 가축의 크기가 비슷할 경우 분류가 어렵다는 문제점이 발생하였다. 이러한 문제점을 해결하기 위해 이동 객체의 색상 정보 추출 방법을 추가적으로 제안한다.
도 6의 S133 단계에서, 영상 인식 시스템은, S132 단계를 통해 가축으로 판단된 이동 객체에 대한 색상 유사도를 산출하여 상기 색상 유사도가 임계 범위 이내인 이동 객체를 가축으로 결정한다. 보다 구체적으로, 이 과정에서는, 가축으로 판단된 이동 객체를 구성하는 특징점 영역에 대해 관심 영역(region of interest, ROI)를 설정하고, 설정된 상기 관심 영역의 RGB 색상 공간의 이미지를 이용하여 HSV(hue-saturation-value) 색상 공간으로 변환하고, 상기 관심 영역에 대한 HSV 색상 값을 이용하여 상기 이동 객체를 구성하는 색상 유사도를 산출하며, 산출된 상기 색상 유사도가 임계 범위 이내인 이동 객체만을 가축으로 결정할 수 있다.
제안하는 방법은 먼저, 형태적 특징 분류 결과 가축이라고 판단된 이동 객체를 이루는 특징점 영역에 대해 관심 영역을 지정하고, 관심 영역의 RGB 색상 공간의 이미지를 이용하여 HSV 색상 공간으로 변환시킨다. 이렇게 얻어진 관심 영역에 대한 HSV 색상 값을 이용하여 다음의 수학식 8과 같이 이동 객체를 이루는 색상들의 유사도를 판단한다.
Figure 112018040755149-pat00012
여기서, FPj(x,y)HSV는 이동 객체를 이루는 특징점들의 HSV 색상 값을 나타내며, CPj(x,y)HSV는 이동 객체의 중심에 대한 HSV 색상 값을 나타낸다. 또한, γ는 사용자가 정해준 임계값을 나타낸다.
여기서, 형태적 특징 분류 결과 인간이 가축으로 잘못 분류되고, 인간 객체의 색상이 유사할 경우 가축 색상으로 판단되는 문제점이 간혹 발생할 수 있다. 이러한 문제점을 해결하기 위해 데이터 학습을 통하여 확률적으로 분류하는 방법인 베이지안 분류기를 이용하는 방법을 추가로 제안한다.
도 6의 S134 단계에서, 영상 인식 시스템은, 베이지안 분류기(Bayesian classifier)를 통해 오분류 색상을 제외시킴으로써 획득된 형태 분류 정보와 색상 분류 정보를 이용하여 상기 이동 객체로부터 가축과 인간을 재분류하는 과정을 더 수행함으로써 분류 성능을 향상시킬 수 있다. 베이지안 분류기를 이용하여 문제점을 해결하기 위한 조건은 수학식 9와 같다.
Figure 112018040755149-pat00013
여기서, 사전 확률은 인간이 침입하기 전에 얻어진 가축의 색상 정보 또는 많은 양의 색상 정보를 나타내며,
Figure 112018040755149-pat00014
는 사후 확률을 나타낸다. 따라서 이동 객체의 추출된 색상 값 B가 집단 A1, A2 중 어디에 속하는지 판단한다.
다음으로, 형태적 분류 방법과 색상 분류 방법을 이용하여 인간과 가축을 분류 조건은 수학식 10과 같다.
Figure 112018040755149-pat00015
여기서, Mc는 형태적 특징을 이용한 분류 결과를 나타내며, Cc는 색상을 이용한 분류 결과를 나타낸다. 그리고, true는 분류 결과 가축일 경우를 나타내며, false는 분류 결과 가축이 아닐 경우를 나타낸다. 또한, 분류 판별이 애매모호할 경우 다시 분류 판별을 한다.
이제, 분류된 이동 객체에 대해 추적 및 겹침 정도를 이용하여 가축 도난 유무를 판단하는 방법을 제안한다.
먼저, 분류된 이동 객체를 추적하기 위한 방법으로 CAM Shift 방법을 이용할 수 있다. CAM Shift는 색상을 이용하여 고속으로 추적하는 방법으로, 이를 위해 탐색 윈도우(window)를 설정해야 한다. 본 발명의 실시예들에서는 분류가 완료된 이동 객체의 라벨에 대해 CAM Shift의 탐색 윈도우를 설정하며, 탐색 윈도우를 설정하는 방법은 수학식 11과 같다.
Figure 112018040755149-pat00016
여기서, r은 라벨을 나타내며, c는 가축의 마릿수, h는 인간의 수를 나타낸다. 그리고 lwindow는 가축의 탐색 윈도우, llabeling은 가축의 라벨을 나타내며, hwindow는 인간의 탐색 윈도우, hlabeling은 인간의 라벨을 나타낸다.
다음으로, CAM Shift로 추적되는 이동 객체 영역이 가려졌을 경우 추적의 오류가 발생할 수 있다. 따라서, 본 발명은 CAM Shift로 추적되는 객체에 대해 칼만 필터(Kalman Filter)를 이용하며, 수학식 12 내지 수학식 14와 같이 모델링하여 추적을 수행한다.
먼저, 타원의 중심점에 추적 위치 (x, y)와 속도 (vx, vy)를 가지는 상태변수로 이루어진 상태 벡터를 X라고 할 때 시간 k에서의 상태 방정식은 수학식 12와 같다.
Figure 112018040755149-pat00017
여기서, Ak는 시간 k에서 이전 상태에 대한 상태 전이 행렬을 나타내며, wk는 프로세스 잡음을 나타낸다. 상태 전이 행렬 A는 다음의 수학식 13과 같이 나타낸다.
Figure 112018040755149-pat00018
다음으로, 분류된 이동 객체의 위치의 측정값을 zk라고 할 때, 측정 방정식을 수학식 14 및 수학식 15와 같이 나타낸다.
Figure 112018040755149-pat00019
Figure 112018040755149-pat00020
여기서, H는 측정 행렬을 나타내며, vk는 측정 잡음을 나타낸다. 도 11은 CAM Shift와 칼만 필터(Kalman Filter)를 이용하여 실시간 영상으로부터 객체를 추적한 결과를 예시한 도면이다.
도 11의 (a) 내지 (d)는 제안한 방법을 이용하여 객체를 추적한 결과를 나타내며, 인간이라고 분류된 객체에 대해 빨간색 타원을 형성하여 추적하고, 가축이라고 분류된 객체에 대해서는 초록색의 타원을 형성하여 추적한다.
한편, 이동 객체를 추적할 때에 같은 색상의 이동 객체의 겹침 또는 조도의 변화에 의하여 이동 객체가 여러 개로 분할되는 경우가 생긴다. 이러한 경우, 하나의 이동 객체에 대해 여러 개의 라벨이 생성되어 하나의 이동 객체를 다수의 객체로 판단하여 추적하는 상황이 발생한다.
따라서 본 발명의 실시예들에서는 이러한 문제점을 해결하고자 객체를 추적하기 위해 형성된 타원에 대해 중심점을 추출한다. 다음으로, 추출된 여러 개의 중심점에 대해 수학식 16을 이용하여 동일 객체간의 거리 값과 인간과 가축의 거리 값을 추출한다.
Figure 112018040755149-pat00021
여기서, (x1, y1), (x2, y2)는 얻고자 하는 거리의 두 점의 좌표를 나타낸다. 그리고 dlivestock는 가축과 가축의 거리 값, dhuman는 인간과 인간의 거리 값을 나타내며, dol는 인간과 가축의 거리 값을 나타낸다. 따라서 동일 객체들 간의 거리와 인간과 가축의 거리를 알 수 있다.
이제, 동일 객체에 대해 수학식 17과 같은 조건으로 하나의 객체를 다수의 객체로 판단하는 문제점을 해결한다.
Figure 112018040755149-pat00022
여기서, δ는 임계값을 나타내며, 임계값은 하나의 객체에 존재하는 거리 값이기 때문에 작은 값으로 설정한다. 그리고 동일 객체 거리 값이 임계값 이하일 경우 타원을 형성하는 라벨 중에 순번이 높은 라벨인 labeling(x,y)을 제거한다.
그런 다음, 가축 도난 위험을 판단하기 위해 인간과 가축의 겹침을 판단한다. 보통 가축은 인간을 피하는 경향을 보이며, 인간과 가축이 겹치는 경우는 흔치 않다. 따라서 본 발명의 실시예들에서는 앞서 얻어진 인간과 가축의 거리 값 dol을 이용하여 인간과 가축의 겹침을 수학식 18과 같은 방법으로 판단한다.
Figure 112018040755149-pat00023
여기서, ε는 사용자가 정해준 일정 거리의 임계값을 나타내며, 인간과 가축의 거리가 ε보다 작을 경우(거리가 가까울 경우) 위험하다는 판단을 한다. 또한, 위험하다고 판단된 객체에는 파란색 라벨링으로 나타내며, 위험 상황을 알린다. 도 12 및 도 13은 제안한 방법을 이용하여 측정한 동일 객체인 인간과 가축 간의 겹침에 대해 나타내는 결과를 보여준다.
도 12는 동일 객체 간의 겹침 판단을 예시한 도면으로서, 도 12의 (a)~(b)는 동일 객체 간의 겹침을 판단한 결과이며, 색상이 같은 객체가 겹쳤을 경우 하나의 객체에 두 개의 라벨이 생기는 문제점을 도 12의 (b)와 같이 해결한 결과를 나타낸다.
도 13은 인간과 가축의 겹침 판단을 예시한 도면으로서, 도 13의 (a)~(b)는 인간과 가축의 겹침을 판단한 결과이며, 도 13의 (a)는 인간과 가축이 근접해 있어 위험하다는 표시를 파란색 라벨링으로 나타낸 결과이다. 그리고, 도 13의 (b)는 인간과 가축이 멀어지면서 위험의 표시를 중지한 결과이다.
도 14는 본 발명의 일 실시예에 따른 농축산 도난을 감지하는 영상 감시 장치(100)를 도시한 블록도로서, 앞서 도 1을 통해 설명한 영상 감시 방법의 각 과정을 하드웨어(hardware) 구성의 관점에서 재구성한 것이다. 따라서, 여기서는 설명의 중복을 피하고자 각 구성의 개요만을 약술하도록 한다.
입력부(10)는, 카메라(200)를 통해 촬영된 영상을 입력받는 구성이다.
메모리(30)는, 입력된 영상 내에 포함된 가축 및 인간의 움직임을 감시하는 영상 감시 프로그램을 저장하는 구성으로, 영상 감시 시스템(100)은, 상기 영상 감시 프로그램을 구동하는 적어도 하나의 프로세서(20)를 포함한다. 이때, 상기 메모리(30)에 저장된 영상 감시 프로그램은, 입력 영상으로부터 이동 객체를 추출하고, 추출된 이동 객체의 영역으로부터 적어도 하나 이상의 가축을 포함하는 이동 객체를 인식하고, 인식된 상기 이동 객체가 갖는 형태적 특징인 골격 특징 정보 및 색상 정보를 이용하여 상기 이동 객체로부터 가축과 인간을 분류하며, 가축 또는 인간으로 분류된 상기 이동 객체를 각각 개별적으로 추적하는 명령어를 포함한다.
이동 객체를 추출함에 있어서, 상기 메모리(30)에 저장된 영상 감시 프로그램은, 카메라를 통해 촬영된 입력 영상으로부터 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 배경(background)을 모델링함으로써 전경(foreground)인 제 1 이동 객체를 추출하고, 상기 입력 영상으로부터 RGB 배경 모델링(background modeling)을 이용하여 움직임이 소정 기준 이하인 제 2 이동 객체를 추출하며, 상기 제 1 이동 객체와 상기 제 2 이동 객체의 합으로부터 전체 이동 객체를 획득하는 명령을 수행할 수 있다. 또한, 상기 메모리(30)에 저장된 영상 감시 프로그램은, 모폴로지(morphology) 기법 중 침식(erosion) 및 팽창(dilation) 연산을 수행하여 이동 객체의 그림자 및 흔들림으로 인해 발생하는 잡음을 제거하는 명령을 더 수행할 수 있다.
이동 객체를 인식함에 있어서, 상기 메모리(30)에 저장된 영상 감시 프로그램은, 추출된 상기 이동 객체의 영역에 대해 라벨링(labeling)을 수행하여 적어도 하나 이상의 가축을 포함하는 이동 객체를 인식하되, 미리 설정된 소정 크기 이하의 라벨(label)은 잡음으로 판단하여 제거하는 명령을 수행할 수 있다.
이동 객체로부터 가축과 인간을 분류함에 있어서, 상기 메모리(30)에 저장된 영상 감시 프로그램은, 인식된 상기 이동 객체에 대해 골격화(skeletonization)를 수행하고, 골격화된 이동 객체에 대한 픽셀(pixel) 값의 변화로부터 코너(corner)를 판단하여 상기 이동 객체의 골격에 대한 특징점을 추출하고, 추출된 상기 특징점에 대해 최외각에 존재하는 점이 나머지 점을 내부에 포함하도록 다각형을 생성하는 컨벡스 헐(convex hull)을 이용하여 이동 객체의 형태 정보와 크기로부터 상기 이동 객체가 가축인지 여부를 판단하며, 가축으로 판단된 이동 객체에 대한 색상 유사도를 산출하여 상기 색상 유사도가 임계 범위 이내인 이동 객체를 가축으로 결정하는 명령을 수행할 수 있다. 이때, 상기 메모리(30)에 저장된 영상 감시 프로그램은, 추출된 상기 특징점으로부터 컨벡스 헐을 통해 생성된 다각형의 면적과 무게 중심을 산출하고, 산출된 상기 무게 중심을 이용하여 상기 다각형의 높이와 너비를 산출하며, 산출된 상기 다각형의 높이와 너비의 비율로부터 가축 고유의 형태적 특징을 갖는지를 검사함으로써, 상기 이동 객체가 가축인지 여부를 판단할 수 있다.
또한, 상기 메모리(30)에 저장된 영상 감시 프로그램은, 가축으로 판단된 이동 객체를 구성하는 특징점 영역에 대해 관심 영역(region of interest, ROI)를 설정하고, 설정된 상기 관심 영역의 RGB 색상 공간의 이미지를 이용하여 HSV(hue-saturation-value) 색상 공간으로 변환하고, 상기 관심 영역에 대한 HSV 색상 값을 이용하여 상기 이동 객체를 구성하는 색상 유사도를 산출하며, 산출된 상기 색상 유사도가 임계 범위 이내인 이동 객체만을 가축으로 결정할 수 있다. 나아가, 상기 메모리(30)에 저장된 영상 감시 프로그램은, 베이지안 분류기(Bayesian classifier)를 통해 오분류 색상을 제외시킴으로써 획득된 형태 분류 정보와 색상 분류 정보를 이용하여 상기 이동 객체로부터 가축과 인간을 재분류하는 명령을 더 수행할 수 있다.
이동 객체를 각각 개별적으로 추적함에 있어서, 상기 메모리(30)에 저장된 영상 감시 프로그램은, 가축 또는 인간으로 분류된 이동 객체에 대해 CAM(continuously adaptive meanshift) 쉬프트(shift)의 탐색 윈도우(window)를 이용하여 각각의 이동 객체를 개별적으로 추적하되, 칼만 필터(Kalman Filter)를 이용하여 이동 객체의 겹침을 판단할 수 있다. 한편, 상기 메모리(30)에 저장된 영상 감시 프로그램은, 상기 이동 객체의 추적 과정에서 가축으로 분류된 이동 객체와 인간으로 분류된 이동 객체가 임계값 이내로 근접하는 경우, 근접한 이동 객체의 종을 고려하여 가축의 도난 또는 위험 상황의 발생을 판단하는 명령을 더 수행할 수 있다.
이상에서 제안하는 가축 도난 감지하는 영상 감시 시스템의 알고리즘은 도 15와 같다. 도 15는 크게 이동 객체 추출(S1410), 객체 인식 및 분류(S1420), 그리고 추적(S1430, S1440)으로 구성되며, 각각의 설명은 다음과 같다.
이동 객체 추출 과정(S1410)에서는, 입력 영상에 대해 움직이는 객체 및 움직이지 않는 객체를 추출하기 위해 가우시안 혼합 모벨과 RGB 기반의 배경 모델링 방법을 덧셈 연산하여 객체를 추출한다. 그런 다음, 발생하는 그림자 및 잡음을 제거하기 위해 모폴로지를 수행한다.
이동 객체 인식 및 분류 과정(S1420)에서는, 우선 추출된 객체를 인식하기 위한 방법으로 라벨링을 수행한다. 수행 결과 객체 영역이 인식되지 않은 경우, 다시 객체 추출 방법을 수행하고, 객체 영역이 인식된 경우 객체 분류 단계를 수행한다. 다음으로, 인식이 완료된 객체에 대해 골격화를 수행하여 형태학적인 정보를 추출한다. 이렇게 추출된 정보에 대해 특징점 추출 및 컨벡스 헐 방법을 이용하여 객체의 형태적 정보를 얻으며, 얻어진 정보를 통해 인간과 가축을 분류한다. 형태 정보 분류 결과, 가축이라고 판단된 객체에 대해 색상 유사도 판단 및 베이지안 분류기를 이용하여 형태 정보 분류 결과에서 잘못 분류된 정보를 판단한다. 결과적으로, 형태 정보와 색상 정보가 가축일 경우 가축으로 판단하며, 그 외의 경우는 인간으로 판단하여 분류한다.
이동 객체 추적 과정(S1430, S1440)에서는, 각각의 분류된 이동 객체를 추적하기 위해 인간과 가축에 대해 각각 CAM Shift와 칼만 필터(Kalman Filter)를 이용하여 추적하며, 동일 객체 간의 거리 값 판단과 인간과 가축 객체 간의 거리 값 판단을 이용하여 겹침을 판단한다. 만약, 인간과 가축 객체의 거리가 가까울 경우 겹침 판단으로 '위험 이벤트'를 발생시키며, 동일 객체 간의 겹침은 '안전 이벤트'를 발생시킨다.
본 발명의 실시예들을 통해 제안한 골격 특징 및 색상 유사도를 이용한 가축 도난 감지 시스템은 이동 객체를 추출, 인식, 분류 및 추적하여 축사에서 가축의 도난을 감지하고, 인간과 가축의 분류 및 추적 기술의 향상을 위한 방법을 제안하였다. 발명의 검증을 위해 본 발명의 일 실시예에 따른 영상 감시 알고리즘을 구현한 프로토타입(prototype)을 통해 축사에 설치된 3개의 카메라를 활용하여 다양한 상황에 대한 영상 감시 실험을 수행하였다.
도 16은 1~3번 카메라에 대해 인간의 침입은 존재하나 인간과 가축의 겹침 상황이 없어 위험하지 않다는 판단을 하여 위험 상태 상황판에 안전하다는 상황을 나타내었다. 또한, 인간이 침입할 경우 몇 명의 인간이 침입하였는지 감시 상태 상황판에 나타내었다.
도 17은 동일 객체가 겹침을 보이지만 동일한 객체 간의 겹침은 위험하지 않기 때문에 안전하다는 판단을 하여 상황판에 나타내었다.
도 18은 3번 카메라에 대해 인간과 가축의 겹침이 발생하여 위험 상황이 발생한 경우를 나타낸다. 위험 상황이 발생할 경우 위험 상태 상황판에 위험의 상태를 나타내고, 관리자에게 상황을 알리는 이벤트를 실행하도록 하였다.
마지막으로, 도 19는 3번 카메라에 대해 인간과 가축의 겹침 상황이 지속될 경우를 나타낸다. 이러한 경우 위험 상태 상황판에 위험 상태를 나타내고, 관리자뿐만 아니라 유관기관(예를 들어, 경찰서)에도 상황을 알리는 이벤트를 실행하도록 하였다.
본 발명의 실시예들에 따르면, 다수의 이동 객체를 인간과 가축으로 분류하고 이를 추적하여 가축 도난 위험 상황을 판단하는 시스템을 제안하였다. 제안한 영상 감시 방법은, 이동 객체를 추출하기 위해 가우시안 혼합 모델과 RGB 배경 모델링을 이용하였고 추출된 이동 객체에 대해 그림자 및 잡음을 모폴로지 방법을 이용하여 제거한 다음, 추출된 이동 객체를 라벨링 방법을 이용하여 인식하고, 인식된 이동 객체에 대해 골격에 대해 특징을 추출한 분류 방법으로 인간과 가축을 분류하는 방법을 제안하였다. 또한, 분류의 정확성을 높이기 위해 색상 유사도를 이용한 분류 방법을 수행하였으며, 분류가 완료된 이동 객체에 대해 CAM Shift와 칼만 필터를 이용하여 추적하는 방법을 제안하였다. 마지막으로, 여러 개의 카메라를 감시하며 이동 객체가 겹쳐졌을 경우 위험을 판단하여 상황을 알리는 알고리즘을 제안함으로써, 농촌 지역, 특히 축사와 같은 외부 환경에서 이동 객체를 정확히 추출하되, 이동 객체가 움직임을 보이지 않을 경우에도 배경이 아닌 객체로 인식할 수 있을 뿐만 아니라, 가축과 인간이 혼재되어 있는 상황에서 각각의 유형별로 고유한 형태학적 특징 및 색상 특징을 활용함으로써 높은 분류율을 달성함과 동시에, 이들의 움직임을 개별적으로 추적하여 상호 관계를 분석함으로써 위험 상황을 자동으로 판단하여 실시간으로 대응할 수 있다.
한편, 본 발명은 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 : 영상 감시 장치
200 : 카메라
10 : 입력부
20 : 프로세서
30 : 메모리

Claims (21)

  1. (a) 카메라를 통해 촬영된 입력 영상으로부터 이동 객체를 추출하는 단계;
    (b) 추출된 이동 객체의 영역으로부터 적어도 하나 이상의 가축을 포함하는 이동 객체를 인식하는 단계;
    (c) 인식된 상기 이동 객체가 갖는 형태적 특징인 골격 특징 정보 및 색상 정보를 이용하여 상기 이동 객체로부터 가축과 인간을 분류하는 단계; 및
    (d) 가축 또는 인간으로 분류된 상기 이동 객체를 각각 개별적으로 추적하는 단계를 포함하고,
    상기 (c) 단계는,
    (c1) 인식된 상기 이동 객체에 대해 형태학적인 요소가 유지되는 골격으로 축소하는 골격화(skeletonization)를 수행하고, 골격화된 이동 객체에 대한 픽셀(pixel) 값의 변화로부터 코너(corner)를 판단하여 상기 이동 객체의 골격에 대한 특징점을 추출하는 단계; 및
    (c2) 추출된 상기 특징점으로부터 최외각에 존재하는 점이 나머지 점을 내부에 포함하도록 다각형을 생성하는 컨벡스 헐(convex hull)을 통해 생성된 다각형의 면적과 무게 중심을 산출하고, 산출된 상기 무게 중심을 이용하여 상기 다각형의 높이와 너비를 산출하며, 산출된 상기 다각형의 높이와 너비의 비율로부터 인간과는 상이한 가축 고유의 형태적 특징을 갖는지를 검사함으로써, 이동 객체의 형태 정보와 크기로부터 상기 이동 객체가 가축인지 여부를 판단하는 단계를 포함하는 영상 감시 방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계는,
    (a1) 카메라를 통해 촬영된 입력 영상으로부터 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 배경(background)을 모델링함으로써 전경(foreground)인 제 1 이동 객체를 추출하는 단계;
    (a2) 상기 입력 영상으로부터 RGB 배경 모델링(background modeling)을 이용하여 움직임이 소정 기준 이하인 제 2 이동 객체를 추출하는 단계; 및
    (a3) 상기 제 1 이동 객체와 상기 제 2 이동 객체의 합으로부터 전체 이동 객체를 획득하는 단계를 포함하는 영상 감시 방법.
  3. 제 2 항에 있어서,
    상기 (a) 단계는,
    (a4) 모폴로지(morphology) 기법 중 침식(erosion) 및 팽창(dilation) 연산을 수행하여 이동 객체의 그림자 및 흔들림으로 인해 발생하는 잡음을 제거하는 단계를 더 포함하는 영상 감시 방법.
  4. 제 1 항에 있어서,
    상기 (b) 단계는,
    추출된 상기 이동 객체의 영역에 대해 라벨링(labeling)을 수행하여 적어도 하나 이상의 가축을 포함하는 이동 객체를 인식하되, 미리 설정된 소정 크기 이하의 라벨(label)은 잡음으로 판단하여 제거하는 것을 특징으로 하는 영상 감시 방법.
  5. 제 1 항에 있어서,
    상기 (c) 단계는,
    (c3) 가축으로 판단된 이동 객체에 대한 색상 유사도를 산출하여 상기 색상 유사도가 임계 범위 이내인 이동 객체를 가축으로 결정하는 단계를 더 포함하는 영상 감시 방법.
  6. 제 1 항에 있어서,
    상기 (c2) 단계는,
    상기 컨벡스 헐을 통해 생성된 다각형의 면적으로부터 인간 및 가축으로 판단되는 객체의 평균적 크기를 추출하고, 상기 평균적 크기를 기준으로 미리 설정된 임계 범위 내에 상기 이동 객체의 면적이 속하는지 여부를 판단함으로써, 상기 이동 객체를 인간 또는 가축으로 분류하는 것을 특징으로 하는 영상 감시 방법.
  7. 제 5 항에 있어서,
    상기 (c3) 단계는,
    가축으로 판단된 이동 객체를 구성하는 특징점 영역에 대해 관심 영역(region of interest, ROI)를 설정하고, 설정된 상기 관심 영역의 RGB 색상 공간의 이미지를 이용하여 HSV(hue-saturation-value) 색상 공간으로 변환하고, 상기 관심 영역에 대한 HSV 색상 값을 이용하여 상기 이동 객체를 구성하는 색상 유사도를 산출하며, 산출된 상기 색상 유사도가 임계 범위 이내인 이동 객체만을 가축으로 결정하는 것을 특징으로 하는 영상 감시 방법.
  8. 제 5 항에 있어서,
    상기 (c) 단계는,
    (c4) 베이지안 분류기(Bayesian classifier)를 통해 오분류 색상을 제외시킴으로써 획득된 형태 분류 정보와 색상 분류 정보를 이용하여 상기 이동 객체로부터 가축과 인간을 재분류하는 단계를 더 포함하는 영상 감시 방법.
  9. 제 1 항에 있어서,
    상기 (d) 단계는,
    가축 또는 인간으로 분류된 이동 객체에 대해 CAM(continuously adaptive meanshift) 쉬프트(shift)의 탐색 윈도우(window)를 이용하여 각각의 이동 객체를 개별적으로 추적하되, 칼만 필터(Kalman Filter)를 이용하여 이동 객체의 겹침을 판단하는 것을 특징으로 하는 영상 감시 방법.
  10. 제 1 항에 있어서,
    (e) 상기 이동 객체의 추적 과정에서 가축으로 분류된 이동 객체와 인간으로 분류된 이동 객체가 임계값 이내로 근접하는 경우, 근접한 이동 객체의 종을 고려하여 가축의 도난 또는 위험 상황의 발생을 판단하는 단계를 더 포함하는 영상 감시 방법.
  11. 제 1 항 내지 제 10 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  12. 카메라를 통해 촬영된 영상을 입력받는 입력부;
    입력된 영상 내에 포함된 가축 및 인간의 움직임을 감시하는 영상 감시 프로그램을 저장하는 메모리; 및
    상기 영상 감시 프로그램을 구동하는 적어도 하나의 프로세서를 포함하되,
    상기 메모리에 저장된 영상 감시 프로그램은,
    입력 영상으로부터 이동 객체를 추출하고, 추출된 이동 객체의 영역으로부터 적어도 하나 이상의 가축을 포함하는 이동 객체를 인식하고, 인식된 상기 이동 객체가 갖는 형태적 특징인 골격 특징 정보 및 색상 정보를 이용하여 상기 이동 객체로부터 가축과 인간을 분류하며, 가축 또는 인간으로 분류된 상기 이동 객체를 각각 개별적으로 추적하는 명령어를 포함하되,
    인식된 상기 이동 객체에 대해 형태학적인 요소가 유지되는 골격으로 축소하는 골격화(skeletonization)를 수행하고, 골격화된 이동 객체에 대한 픽셀(pixel) 값의 변화로부터 코너(corner)를 판단하여 상기 이동 객체의 골격에 대한 특징점을 추출하고,
    추출된 상기 특징점으로부터 최외각에 존재하는 점이 나머지 점을 내부에 포함하도록 다각형을 생성하는 컨벡스 헐(convex hull)을 통해 생성된 다각형의 면적과 무게 중심을 산출하고, 산출된 상기 무게 중심을 이용하여 상기 다각형의 높이와 너비를 산출하며, 산출된 상기 다각형의 높이와 너비의 비율로부터 인간과는 상이한 가축 고유의 형태적 특징을 갖는지를 검사함으로써, 이동 객체의 형태 정보와 크기로부터 상기 이동 객체가 가축인지 여부를 판단하는 명령을 수행하는 영상 감시 장치.
  13. 제 12 항에 있어서,
    상기 메모리에 저장된 영상 감시 프로그램은,
    카메라를 통해 촬영된 입력 영상으로부터 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 배경(background)을 모델링함으로써 전경(foreground)인 제 1 이동 객체를 추출하고,
    상기 입력 영상으로부터 RGB 배경 모델링(background modeling)을 이용하여 움직임이 소정 기준 이하인 제 2 이동 객체를 추출하며,
    상기 제 1 이동 객체와 상기 제 2 이동 객체의 합으로부터 전체 이동 객체를 획득하는 명령을 수행하는 영상 감시 장치.
  14. 제 13 항에 있어서,
    상기 메모리에 저장된 영상 감시 프로그램은,
    모폴로지(morphology) 기법 중 침식(erosion) 및 팽창(dilation) 연산을 수행하여 이동 객체의 그림자 및 흔들림으로 인해 발생하는 잡음을 제거하는 명령을 더 수행하는 영상 감시 장치.
  15. 제 12 항에 있어서,
    상기 메모리에 저장된 영상 감시 프로그램은,
    추출된 상기 이동 객체의 영역에 대해 라벨링(labeling)을 수행하여 적어도 하나 이상의 가축을 포함하는 이동 객체를 인식하되, 미리 설정된 소정 크기 이하의 라벨(label)은 잡음으로 판단하여 제거하는 명령을 수행하는 영상 감시 장치.
  16. 제 12 항에 있어서,
    상기 메모리에 저장된 영상 감시 프로그램은,
    가축으로 판단된 이동 객체에 대한 색상 유사도를 산출하여 상기 색상 유사도가 임계 범위 이내인 이동 객체를 가축으로 결정하는 명령을 더 수행하는 영상 감시 장치.
  17. 제 12 항에 있어서,
    상기 메모리에 저장된 영상 감시 프로그램은,
    상기 컨벡스 헐을 통해 생성된 다각형의 면적으로부터 인간 및 가축으로 판단되는 객체의 평균적 크기를 추출하고, 상기 평균적 크기를 기준으로 미리 설정된 임계 범위 내에 상기 이동 객체의 면적이 속하는지 여부를 판단함으로써, 상기 이동 객체를 인간 또는 가축으로 분류하는 것을 특징으로 하는 영상 감시 장치.
  18. 제 16 항에 있어서,
    상기 메모리에 저장된 영상 감시 프로그램은,
    가축으로 판단된 이동 객체를 구성하는 특징점 영역에 대해 관심 영역(region of interest, ROI)를 설정하고, 설정된 상기 관심 영역의 RGB 색상 공간의 이미지를 이용하여 HSV(hue-saturation-value) 색상 공간으로 변환하고, 상기 관심 영역에 대한 HSV 색상 값을 이용하여 상기 이동 객체를 구성하는 색상 유사도를 산출하며, 산출된 상기 색상 유사도가 임계 범위 이내인 이동 객체만을 가축으로 결정하는 것을 특징으로 하는 영상 감시 장치.
  19. 제 16 항에 있어서,
    상기 메모리에 저장된 영상 감시 프로그램은,
    베이지안 분류기(Bayesian classifier)를 통해 오분류 색상을 제외시킴으로써 획득된 형태 분류 정보와 색상 분류 정보를 이용하여 상기 이동 객체로부터 가축과 인간을 재분류하는 명령을 더 수행하는 영상 감시 장치.
  20. 제 12 항에 있어서,
    상기 메모리에 저장된 영상 감시 프로그램은,
    가축 또는 인간으로 분류된 이동 객체에 대해 CAM(continuously adaptive meanshift) 쉬프트(shift)의 탐색 윈도우(window)를 이용하여 각각의 이동 객체를 개별적으로 추적하되, 칼만 필터(Kalman Filter)를 이용하여 이동 객체의 겹침을 판단하는 것을 특징으로 하는 영상 감시 장치.
  21. 제 12 항에 있어서,
    상기 메모리에 저장된 영상 감시 프로그램은,
    상기 이동 객체의 추적 과정에서 가축으로 분류된 이동 객체와 인간으로 분류된 이동 객체가 임계값 이내로 근접하는 경우, 근접한 이동 객체의 종을 고려하여 가축의 도난 또는 위험 상황의 발생을 판단하는 명령을 더 수행하는 영상 감시 장치.
KR1020180047431A 2018-04-24 2018-04-24 농축산 도난을 감지하는 영상 감시 장치 및 그 방법 KR102019301B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180047431A KR102019301B1 (ko) 2018-04-24 2018-04-24 농축산 도난을 감지하는 영상 감시 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180047431A KR102019301B1 (ko) 2018-04-24 2018-04-24 농축산 도난을 감지하는 영상 감시 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102019301B1 true KR102019301B1 (ko) 2019-09-06

Family

ID=67949914

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180047431A KR102019301B1 (ko) 2018-04-24 2018-04-24 농축산 도난을 감지하는 영상 감시 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102019301B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114255577A (zh) * 2021-12-21 2022-03-29 深圳市玄羽科技有限公司 基于大数据物联网平台的监控方法
KR20220068711A (ko) * 2020-11-19 2022-05-26 인트플로우 주식회사 영상 기반 가축의 급이 행동 분석 장치 및 방법
WO2022203342A1 (ko) * 2021-03-22 2022-09-29 이충열 컴퓨팅 장치와 연동하는 촬영 장치로부터 획득되는 영상을 처리하는 방법 및 이를 이용한 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101191319B1 (ko) * 2011-07-11 2012-10-16 중앙대학교 산학협력단 객체의 움직임 정보에 기반한 회화적 렌더링 장치 및 방법
KR20140055172A (ko) * 2012-10-30 2014-05-09 삼성에스디에스 주식회사 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법
KR20160135004A (ko) * 2015-05-14 2016-11-24 군산대학교산학협력단 실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법
KR20160144149A (ko) * 2015-06-08 2016-12-16 군산대학교산학협력단 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
KR20170130706A (ko) * 2016-05-19 2017-11-29 고려대학교 세종산학협력단 축사 근접 개체 탐지 장치 및 방법
KR20180032400A (ko) * 2016-09-22 2018-03-30 한국전자통신연구원 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101191319B1 (ko) * 2011-07-11 2012-10-16 중앙대학교 산학협력단 객체의 움직임 정보에 기반한 회화적 렌더링 장치 및 방법
KR20140055172A (ko) * 2012-10-30 2014-05-09 삼성에스디에스 주식회사 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법
KR20160135004A (ko) * 2015-05-14 2016-11-24 군산대학교산학협력단 실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법
KR20160144149A (ko) * 2015-06-08 2016-12-16 군산대학교산학협력단 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
KR20170130706A (ko) * 2016-05-19 2017-11-29 고려대학교 세종산학협력단 축사 근접 개체 탐지 장치 및 방법
KR20180032400A (ko) * 2016-09-22 2018-03-30 한국전자통신연구원 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. W. Ibrahim, "A comprehensive review on intelligent surveillance systems," Communications in Science and Technology, vol. 1, no. 1, pp. 7-14, 2016.
V. Tsakanikas, and T. Dagiuklas, "Video surveillance systems-current status and future trends," Computers & Electrical Engineering, pp. 1-18, 2017.

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220068711A (ko) * 2020-11-19 2022-05-26 인트플로우 주식회사 영상 기반 가축의 급이 행동 분석 장치 및 방법
KR102522239B1 (ko) * 2020-11-19 2023-04-17 인트플로우 주식회사 영상 기반 가축의 급이 행동 분석 장치 및 방법
WO2022203342A1 (ko) * 2021-03-22 2022-09-29 이충열 컴퓨팅 장치와 연동하는 촬영 장치로부터 획득되는 영상을 처리하는 방법 및 이를 이용한 시스템
CN114255577A (zh) * 2021-12-21 2022-03-29 深圳市玄羽科技有限公司 基于大数据物联网平台的监控方法

Similar Documents

Publication Publication Date Title
US9299162B2 (en) Multi-mode video event indexing
US10248860B2 (en) System and method for object re-identification
Hashemzadeh et al. Fire detection for video surveillance applications using ICA K-medoids-based color model and efficient spatio-temporal visual features
KR101764845B1 (ko) 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
Vezzani et al. Probabilistic people tracking with appearance models and occlusion classification: The ad-hoc system
KR101868103B1 (ko) 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
KR102019301B1 (ko) 농축산 도난을 감지하는 영상 감시 장치 및 그 방법
Tang et al. Multiple-kernel adaptive segmentation and tracking (MAST) for robust object tracking
KR101406334B1 (ko) 신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법
Forczmański et al. Surveillance video stream analysis using adaptive background model and object recognition
Ghasemi et al. A real-time multiple vehicle classification and tracking system with occlusion handling
Arif et al. A Comprehensive Review of Vehicle Detection Techniques Under Varying Moving Cast Shadow Conditions Using Computer Vision and Deep Learning
KR101985869B1 (ko) 형태학적 특징 기반 모델을 이용한 농축산물 도난 감시 장치 및 방법
Sarker et al. Illegal trash thrower detection based on HOGSVM for a real-time monitoring system
Roy et al. Real-time record sensitive background classifier (RSBC)
Boufama et al. Tracking multiple people in the context of video surveillance
Li et al. Scene-independent feature-and classifier-based vehicle headlight and shadow removal in video sequences
Clapés et al. User identification and object recognition in clutter scenes based on RGB-Depth analysis
Ali Feature-based tracking of multiple people for intelligent video surveillance.
Singh et al. Unobtrusive silhouette extraction using multivariate analysis and shadow removal in RGB color model
Al Najjar et al. Robust object tracking using correspondence voting for smart surveillance visual sensing nodes
Wong et al. An improved recurrent motion image framework for outdoor objects recognition
Kotikalapudi Abnormal event detection in video
Al-Nawashi A new classification approach based on geometrical model for human detection in images
Bandarupalli Evaluation of video based pedestrian and vehicle detection algorithms

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant