KR101716365B1 - 실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법 - Google Patents

실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법 Download PDF

Info

Publication number
KR101716365B1
KR101716365B1 KR1020150067504A KR20150067504A KR101716365B1 KR 101716365 B1 KR101716365 B1 KR 101716365B1 KR 1020150067504 A KR1020150067504 A KR 1020150067504A KR 20150067504 A KR20150067504 A KR 20150067504A KR 101716365 B1 KR101716365 B1 KR 101716365B1
Authority
KR
South Korea
Prior art keywords
livestock
module
function
moving
theft
Prior art date
Application number
KR1020150067504A
Other languages
English (en)
Other versions
KR20160135004A (ko
Inventor
주영훈
김성관
Original Assignee
군산대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 군산대학교산학협력단 filed Critical 군산대학교산학협력단
Priority to KR1020150067504A priority Critical patent/KR101716365B1/ko
Publication of KR20160135004A publication Critical patent/KR20160135004A/ko
Application granted granted Critical
Publication of KR101716365B1 publication Critical patent/KR101716365B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B27/00—Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 축사, 돈사. 계사 등 모든 동물을 키우는 곳을 대상으로 모듈화 기반 지능형 영상 감지 시스템을 이용한 가축의 실시간 도난 감시 시스템에 관한 것으로서, 보다 상세하게는 가축을 기르는 장소의 실내외에 적당한 간격으로 유무선 인터넷이 가능한 네트워크 카메라(IP-CCTV)를 설치하고 실시간으로 입력되는 영상을 분석함으로서, 인간 중심의 이동 객체 감지 기술들이 아닌 농가의 주요 축산물인 소, 돼지, 닭 등의 가축의 도난을 실시간으로 감시하기 위한 모듈화 기반 지능형 영상 감시 시스템 및 방법의 발명에 관한 것이다.
본 발명은 IP-CCTV로부터 실시간으로 입력되는 영상을 분석함으로써 대/중/소규모 농가에서 키우는 가축의 도난을 실시간으로 감시하기 위한 지능형 축산물 감시 및 알람 장치에 있어서, 가축의 도난을 실시간 감시하는 영상을 생성하여 유/무선으로 송신하는 유/무선 IP-CCTV; 유/무선 IP-CCTV로부터 영상을 수신하는 유/무선 영상 수신 장치; 유/무선 영상 수신 장치로부터 영상을 전달받아 분석하는 모듈기반 지능형 영상 분석 장치; 모듈기반 지능형 영상 분석 장치로부터 분석한 영상으로 경보 상황을 판독하여 경보 신호를 침입 방지 1단계와 도난 방지 2단계로 나누어 발령하는 경보 발령 서비스 모듈; 모듈기반 지능형 영상 분석 장치에서 분석한 영상을 모니터링할 수 있는 모니터링 GUI; 모듈기반 지능형 영상 분석 장치에서 분석된 영상으로 침입 상황 또는 도난 상황을 판독하여 알람 신호를 발생시키는 임베디드 알람 장치; 임베디드 알람 장치로부터 알람 신호를 전달받는 관리자 단말기; 및 임베디드 알람 장치로부터 알람 신호를 전달받는 유관기관 단말기;로 구성되되, 상기 모듈기반 지능형 영상 분석 장치는, 지능형 관심영역(ROI, Region of Interest)설정을 위해 소벨 오퍼레이터(Sobel Operator)를 통한 입력 영상 에지 추출 기능과 횡방향 에지 그룹화 기능과 관심 영역 펜스 자동 설정 기능을 포함하는 축사 내 관심 영역 설정 모듈; Min-Max 배경 모델링과 GMM을 융합하여 이동 객체 탐지를 위한 배경 분리 알고리즘 기능과 움직임 영역 추출 기능과 움직임 영역 잡음 제어 기능과 이동 객체 추출 기능을 포함하는 축사 내 이동 객체 인식 모듈; HOG(Histogram of Oriented Gradient) 모델링 방법을 이용한 기하학 정보 추출 기능과 객체 분류 알고리즘 기능과 가축/사람 분류 기능을 포함하는 사람과 가축을 분류하기 위한 분류 모듈; 학습된 경로와 비교하는 가축의 이동 경로 학습 기능과 사람의 이동 경로 학습 기능을 포함하는 외부인 침입 상황 감지를 위한 침입 감지 모듈; 사람의 이동 경로 학습 기능을 통해 사람 이동 경로 학습 DB에 저장된 데이터로 사람의 침입을 식별하는 가축 도난 상황의 감지를 위한 도난 감지 모듈; 사람의 이동 경로를 저장하는 사람 이동 경로 학습 DB; 및 가축의 이동 경로를 저장하는 가축 이동 경로 학습 DB;를 포함한다.

Description

실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법{Module-based intelligent video surveillance system and antitheft method for real-time detection of livestock theft}
본 발명은 축사, 돈사. 계사 등 모든 동물을 키우는 곳을 대상으로 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 가축을 기르는 장소의 실내외에 적당한 간격으로 유/무선 인터넷이 가능한 네트워크 카메라(IP-CCTV)를 설치하고 실시간으로 입력되는 영상을 분석함으로써, 인간 중심의 이동 객체 감지 기술들이 아닌, 지능형 관심영역(ROI, Region of Interest)설정을 위해 소벨 오퍼레이터(Sobel Operator)를 통한 입력 영상 에지 추출 기능과 횡방향 에지 그룹화 기능과 관심 영역 펜스 자동 설정 기능과 Min-Max 배경 모델링과 GMM(Gaussian Mixture Model) 기법을 융합하여 이동 객체 탐지를 위한 배경 분리 알고리즘 기능과 움직임 영역 추출 기능과 움직임 영역 잡음 제어 기능과 이동 객체 추출 기능과 HOG(Histogram of Oriented Gradient) 모델링 방법을 이용하여 주요 축산물인 소, 돼지, 닭 등의 가축의 도난을 실시간으로 감시하기 위한 모듈화 기반 지능형 영상 감시 시스템 및 방법에 관한 것이다.
최근, 우리 사회에 도난, 강도 등 사람에 의한 물리적인 범죄와 산불, 방화, 홍수 등 재난과 재해 및 교통사고 등 주변에서 각종 사건/사고가 끊임없이 발생한다.
특히, 농촌지역은 도시지역에 비해 범죄에 대한 노출이 잦으며 범죄자의 검거율 또한 낮은 추세이다.
경찰청이 국회에 제출한 "2013 축산물 도난범죄 현황"자료에 따르면 5년(2009~2013)간 농축산물 도난 범죄는 모두 3898건이 발생하였고, 연도별로는 △2009년 742건 △2010년 524건 △2011년 1108건 △2012년 1043건 △2013년(~7월) 481건 등으로 해마다 늘어나는 추세이며, 검거건수와 검거율의 경우 도난 범죄 증가에도 불구하고 검거율은 떨어지고 있는 것으로 조사됐다. 아래 표 1과 같이 5년 간 평균 검거율은 44%였다.
Figure 112015046406000-pat00001
현재, 이러한 범죄를 예방하고 가축의 도난을 감시할 수 있도록 CCTV(Closed Circuit TV)와 같은 영상 기반의 감시 장치를 설치하여 축사의 실시간 상황을 감시 요원이 직접 감시하거나 영상 데이터를 DVR(Digital Video Recorder)를 통해 수집하고 있다.
그러나 현재 농촌의 CCTV 시스템은 감시 인력의 부족으로 대부분 도난이 발생한 후에 저장된 영상을 분석하여 수동으로 사건을 처리하는 문제점이 있다.
농촌 범죄에 대한 CCTV의 역할이 증가하고 있는 현 시점에서 주요 가축(특히 소)의 도난이 발생한 후에 DVR로부터 저장된 영상을 수동으로 분석하는 번거로움을 방지하기 위해 축사에 적당한 간격으로 IP-CCTV를 설치하고 입력된 영상을 자동으로 분석함으로써 무인으로 도난을 사전에 감지하여 경보 시스템을 동작하고 관계기관(경찰서 등)에 유/무선 인터넷을 통해 자동으로 도난 신호를 관계자에게 송신하는 실시간 지능형 감시 시스템의 개발 및 보급이 필요하다.
한편, 국내 관련기술 현황으로 (1) 가축 위치 확인 시스템 : RFID 태그를 이용하고, 축사의 출입구에 태그 판독기를 설치하고, 판독기에서 태그를 인식하여 소의 이동정보를 획득하며, 이동 정보를 이용하여 도난 여부를 판단하는 기술로 ㈜씨티앤디가 보유하고 있다.
(2) 축사 보안 장치 : 축사 내에 음향 센서를 설치하고, 센싱된 오디오 데이터의 특징 벡터를 추출하며, SVM(Support Vector Machine)을 통해 축사의 정상 상황 소리를 학습하고, SVM 데이터를 기초로 축사의 비정상 상황의 발생을 탐지하는 기술로 고려대학교가 보유하고 있다.
(3) RFID 기반 가축 그룹 관리 : RFID(Radio Frequency Identification) 태그를 이용하고, 복수의 가축을 복수의 그룹으로 분리하며, 그룹별 가축 집단 관리하고, 식별 정보를 주기적으로 갱신하여 가축의 이상 행동을 탐지하는 기술로 ㈜메타라이츠가 보유하고 있다.
(4) 가축 관리 시스템 : RTLS(Real Time Location System) 태그를 이용하고, 태그와 통신 가능한 유/무선 서버를 운용하며, 클라이언트를 통해 가축의 이동 정보를 획득하는 기술로 ㈜엘지이노텍이 보유하고 있다.
(5) 지능형 축산물 인식 시스템 : 색상 기반 움직임 영역 탐지, 객체 분석과, 객체 분류 후보 추출(사람, 축산물)하며, 행동 분류를 통한 사람 및 축산물 인식하는 기술로 군산대가 보유하고 있다.
또한 국외 관련기술 현황으로 (1) Mobile monitoring in the dairy cattle sector : 소에 무선 모바일 통신 센서(WAN: Wireless Area Network)를 부착하고, 소의 위치 정보를 WAN을 통해 무선으로 송신하며, 관리자는 모바일 장비를 이용하여 소의 위치 정보를 무선으로 수신하여 도난 여부를 감지하는 기술로 Well Cow가 보유하고 있다.
(2) IP-CCTV Surveillance of Livestock : 축사에 미리 설정한 감시구역에 IP-CCTV를 설치하고, 무선 통신 장비를 이용하여 감시구역의 영상을 무선 송신하며, 네트워크 접속 가능 장비를 이용하여 감시구역을 모니터링하는 방법으로, 무선 영상 전송만 가능하고 영상 분석에 대한 실시간 도난 감지 기능은 없는 기술로 DARD가 보유하고 있다.
(3) RFID based LITS system : LITS(Livestock Identification Trace system), 감시 가축에 RFID 태그를 장착하고, 축사 출입구에 RFID 스캐너를 장착하며, 소가 축사를 이탈하면 관리자에게 경보를 전송하는 기술로 Tinus Burger가 보유하고 있다.
(4) Farm security solutions : 축사의 출입구에만 CCTV를 설치하고, 출입구에 이동 물체가 감지되면 관리자에게 경보하며, NVR을 이용하여 이동 객체 탐지 영상을 저장하는 기술로 Moocall이 보유하고 있다.
또한, 도 1에 도시된 바와 같이 종래의 CCTV 기반 영상 감시 시스템은 크게 국가에서 관리하는 감시 시스템과 일반 주민이 관리하는 민간 감시 시스템이 있다. 대형 감시센터는 전문 요원이 CCTV를 직접 감시하고 분석하지만, 운영 가격이 매우 고가이며 도난 사건이 발생한 현장을 감시하지 못 한 경우에는 사후에 저장된 영상을 분석하여 사건을 해결한다. 또한, 농촌 주민이 직접 관리하는 민간 감시 시스템은 감시센터 보다 실시간 감시가 어려운 실정이며 도난 사건을 실시간으로 감시하기 위해서는 많은 운영 요원이 필요하나, 농촌의 현실은 인력이 턱없이 부족하다.
이러한 종래 발명들은 IP-CCTV를 설치 할 때나 IP-CCTV의 위치를 이동할 때마다 사용자가 매번 수동으로 관심 영역의 설정을 다시 해야 한다는 문제점과 특히 축사 내부의 복잡한 환경은 단순한 배경과 달리 작은 물체 또는 조명 변화로 인해 움직임들이 많이 생기면서 다수의 이미지 판독 에러가 발생할 가능성이 높다.
특히 아래 표 2에서와 같이 (미)Buyerbeware의 연구 결과에 의하면 종래의 CCTV 감사에 한계를 보여주고 있다.
Figure 112015046406000-pat00002
또한, 이미지 판독 에러를 방지하기 위한 이동 객체 감지 기술들은 약간의 환경 변화 즉, 배경의 흔들림, 조도 변화 등의 잡음에 민감하다는 단점을 가진다.
특히, 인간 중심의 이동 객체 감지 기술들은 동물 중심의 감지 기술에 적용하였을 경우 매우 심각한 이미지 판독 에러를 발생시킨다.
이미지 판독 에러를 방지하기 위한 이동 객체 분류 기술은 색상 정보를 주로 이용하며 색상 정보는 객체가 갖는 고유한 색상을 가장 잘 나타내기 때문에 객체의 분류를 위한 기본 데이터로 흔하게 사용된다. 하지만 색상 정보만을 이용하면 빛에 민감한 단점을 가지고 있어 추출 결과에 대한 오류가 크다.
또한 고가의 IP-CCTV 감시 시스템을 옵션없이 설치해야 해서 초기 설치비용이 증가하는 문제점이 있다.
한국공개특허 제2012-0026889호 한국등록특허 제1170819호 한국등록특허 제1194690호 한국등록특허 제1342158호 미국등록특허 제07259680호 미국공개특허 제2011-0298619호 한국공개특허 제2009-0049665호 한국공개특허 제2001-0067809호 한국공개특허 제1998-0068917호 한국등록특허 제0700877호 한국공개특허 제2009-0074387호 한국등록특허 제0908215호
[1]. Chensheng Wang, Fei Wang, "A Knowledge-based Strategy for Object Recognition and Reconstruction", 2009 ITCS, pp.387-391, July, 2009. [2]. Liang Lin, Tianfu Wu,Jake Porway, ZijianXu, "A stochastic graph grammar for compositional object representation and recognition", Pattern Recognition, Volume 42, Issue 7, pp. 1297-1307 ,July 2009 [3]. Chenyang Xu and Jerry L. Prince,"Gradient Vector Flow: A New External Force for Snakes",IEEE CVPR'97,pp 66-71,1997 [4] A. Burian and P. Kuosmanen, "Tuning the smoothness of the recursive median filter ," IEEE Transactions on Signal Processing, Vol. 50, No. 7, pp. 1631-1639, July 2002. [5] P. Kwan, K. Kameyama, and K. Toraichi, "Connecting image similarity retrieval with consistent labeling problem by introducing a match-all label," The 10th IEEE International Conference on Fuzzy Systems, Vol. 3, pp. 1384-1387, 2001. [6] Y. Ricquebourg and P. Bouthemy, "Real-time tracking of moving persons by exploiting spatio-temporal image slices," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 8, pp. 797-808, 2000. [7] W. N. M. Isa, "Analysis on spatial and temporal features of gait kinematics," Proceedings of the Fourth IEEE Workshop on Automatics Identification Advanced Technologies. pp. 130-133, 2005. [8] I. Haritaoglu, D. Harwood, and L. S. Davis, "W4: real-time surveillance of people and their activities," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.8, pp. 809-830, Aug. 2000. [9] M. H. Kim, Y. H. Joo, and J. B. Park, "Gesture extraction for ubiquitous robot-human interaction,"Journal of Control, Automation, and System Engineering, Vol. 11, No. 12, pp. 1062-1067, Dec. 2005. [10] L. Shao, T. Kadir, and M. Brady, "Geometric and photometric invariant distinctive regions detection," Information Sciences, Vol. 177, Issue 4, pp. 1088-1122, Feb. 2007. [11] R. M. Haralick, S. R. Stemberg, and X. Zhuang, "Image analysis using mathematical morphology," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. PAMI-9, No. 4, pp. 532-550. 1987. [12]. " 최근 국내외 친환경농산물의 생산실태 및 시장전망",한국농촌경제연구원, 2009.9 [13]. "한미 FTA의 추진배경 및 기대효과" 재정경제부, 2006. 7 [14]. 한종욱, 조현숙 "영상보안시스템 기술동향", 정보보호학회지,제19권 5호, 2009.10].
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명은 유/무선 인터넷이 가능한 IP-CCTV로부터 모듈 기반 지능형 영상 분석 장치로 영상을 입력 받아 새로운 객체 추출 알고리즘 등을 통해 이동 영역을 추출하고, 객체를 식별한 뒤 이동 물체를 추적하여 사람에 의한 가축의 도난을 실시간으로 감지하는 시스템 및 방법을 모듈화하여 제공하는 데 목적이 있다.
또한, 본 발명은 새로운 객체 추출 알고리즘 등을 통해 축사 내부의 특수한 환경에서 작은 물체 또는 조명 변화로 인해 움직임들이 많이 생기더라도 지능형 관심영역(ROI, Region of Interest) 설정을 위해 소벨 오퍼레이터(Sobel Operator)를 통한 입력 영상 에지 추출 기능과 횡방향 에지 그룹화 기능과 관심 영역 펜스 자동 설정 기능과 Min-Max 배경 모델링과 GMM(Gaussian Mixture Model)을 융합하여 이동 객체 탐지를 위한 배경 분리 알고리즘 기능과 움직임 영역 추출 기능과 움직임 영역 잡음 제어 기능과 이동 객체 추출 기능과 HOG(Histogram of Oriented Gradient) 모델링 방법으로 정확한 판독을 하여, 관리자 및 상시 대기 중인 경비원에게 이를 알리고 원격 모니터링 프로그램을 통해 상황을 실시간 전송할 수 있는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법을 제공하는 데 목적이 있다.
상기 과제를 해결하기 위하여 본 발명은 IP-CCTV로부터 실시간으로 입력되는 영상을 분석함으로써, 대/중/소규모 농가에서 키우는 가축의 도난을 실시간으로 방지하기 위한 모듈화 기반의 지능형 영상 감시 시스템에 있어서, 가축의 도난을 실시간 감시하는 영상을 생성하여 유/무선으로 송신하는 유/무선 IP-CCTV; 상기 유/무선 IP-CCTV로부터 영상을 수신하는 유/무선 영상 수신 장치; 상기 유/무선 영상 수신 장치로부터 영상을 전달받아 분석하는 모듈기반 지능형 영상 분석 장치; 상기 모듈기반 지능형 영상 분석 장치로부터 분석한 영상으로부터 도난 또는 이상 상황을 판독하여 경보 신호를 1차로 침입 방지와 2차로 도난 방지로 나누어 발령하는 경보 발령 서비스 모듈; 상기 모듈기반 지능형 영상 분석 장치에서 분석한 영상을 실시간으로 모니터링 할 수 있는 모니터링 GUI(Graphic User Interface); 상기 모듈기반 지능형 영상 분석 장치에서 분석된 영상으로 침입 상황 또는 도난 상황을 판독하여 알람 신호를 발생시키는 임베디드 알람 장치; 상기 임베디드 알람 장치로부터 알람 신호를 전달받는 관리자 단말기; 및 상기 임베디드 알람 장치로부터 알람 신호를 전달받는 유관기관 단말기;를 포함한다.
여기에서 상기 모듈기반 지능형 영상 분석 장치는, 지능형 관심영역 설정을 위해 소벨 오퍼레이터를 통한 입력 영상 에지 추출 기능과 횡방향 에지 그룹화 기능과 관심 영역 펜스 자동 설정 기능을 포함하는 축사 내 관심 영역 설정 모듈; Min-Max 배경 모델링과 GMM을 융합하여 이동 객체 탐지를 위한 배경 분리 알고리즘 기능과 움직임 영역 추출 기능과 움직임 영역 잡음 제어 기능과 이동 객체 추출 기능을 포함하는 축사 내 이동 객체 인식 모듈; HOG(Histogram of Oriented Gradient) 모델링 방법을 이용한 기하학 정보 추출 기능과 객체 분류 알고리즘 기능과 가축/사람 분류 기능을 포함하는 사람과 가축을 분류하기 위한 분류 모듈; 학습된 경로와 비교하는 가축의 이동 경로 학습 기능과 사람의 이동 경로 학습 기능을 포함하는 외부인 침입 상황 감지를 위한 침입 감지 모듈; 사람의 이동 경로 학습 기능을 통해 사람 이동 경로 학습 DB에 저장된 데이터로 사람의 침입을 식별하는 가축 도난 상황의 감지를 위한 도난 감지 모듈; 사람의 이동 경로를 저장하는 사람 이동 경로 학습 DB; 및 가축의 이동 경로를 저장하는 가축 이동 경로 학습 DB;를 포함한다.
또한, 본 발명의 축사 내 이동 객체 인식 모듈은 하기 수학식 1에서 연속된 영상
Figure 112015046406000-pat00003
의 각 픽셀 위치에서 최대 최소 조건을 만족하는 움직임 영역
Figure 112015046406000-pat00004
를 수학식 2를 이용해 얻고, 수학식 2에 의해 추출된 이동 객체의 움직임 영역은 민감도 파라메터 δ의 영향을 받는 것을 특징으로 한다.
[수학식 1]
Figure 112015046406000-pat00005
[수학식 2]
Figure 112015046406000-pat00006
본 발명은 사람과 가축을 분류하기 위한 분류 모듈로 이동 객체의 기하학 정보 특징을 추출하기 위해 HOG 방법을 이용하여 대상 영역을 일정 크기의 셀로 분할하고, 각 셀마다 에지 픽셀들의 방향에 대한 히스토그램을 구한 후 그 값들을 일렬로 연결한 벡터를 생성하는 것을 특징으로 한다.
상기 모듈기반 지능형 영상 분석 장치는 조명 변화에 둔한 HSI color model과 이를 정규화한 qualified HSI model을 이용하여 영상차를 적용한 뒤 움직임 영역을 추출한다.
또한, 본 발명의 상기 모듈기반 지능형 영상 분석 장치는, 팽창(Dilatation)과 침식(Erosion) 연산과정을 적용해 잡음을 최소화한 움직임 영역을 구하거나 공간상의 정보(Spatial Gradient)와 시간상의 정보(Temporal Gradient)를 이용하여 물체 추출한다.
상기 모듈기반 지능형 영상 분석 장치는, 움직임 영역이 추출되었을 때 각각의 움직임 물체의 추적을 위해서 움직임 물체에 대한 특징점을 추출하기 위해, KLT(Kanade-Lucas-Tomasi) 알고리즘과 움직임 물체의 옷의 색 특성 및 위치 정보를 이용하여 특징점을 추출한다.
상기 모듈기반 지능형 영상 분석 장치는, 구조 정보는 윤곽선 추출 알고리즘인 GVF( Gradient Vector Flow)와 같은 Active Contour 알고리즘을 사용한다.
본 발명은 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 방법에 있어서, 사람 침입을 감지하기 위해서 감시 영역에서 사람의 이동 경로를 학습하고 학습한 결과를 사람 이동 경로 학습 DB에 저장하는 단계; 가축의 도난을 인지하기 위해서 감시 영역에서 사람과 가축의 이동 경로를 학습하고 학습한 결과를 사람 이동 경로 학습 DB와 가축 이동 경로 학습 DB에 저장하는 단계; 축사 내부에 사람 침입 상황이 발생하는 단계; Min-Max 배경 모델링과 GMM을 융합하여 이동 객체 탐지를 위한 배경 분리 알고리즘 기능과 움직임 영역 추출 기능과 움직임 영역 잡음 제어 기능과 이동 객체 추출 기능과 HOG 방법을 이용하여 대상 영역을 일정 크기의 셀로 분할하고, 각 셀마다 에지 픽셀들의 방향에 대한 히스토그램을 구한 후 그 값들을 일렬로 연결한 벡터를 생성하여 침입자와 가축이 울타리를 이탈하는 가축의 도난 상황의 발생을 감지하는 단계; 사람 이동 경로 학습 DB를 기반으로 사람의 비정상 이동을 인식하여 침입 상황을 감지하는 단계; 외부인 침입 상황이 발생하면, Server의 제어부에서 축사 내부의 임베디드 알람 장치 및 사용자의 스마트 폰에 실시간으로 경보를 발생하는 단계; 사람과 가축의 이동 경로 학습 DB를 기반으로 사람과 가축의 비정상 이동을 인식하여 도난 상황을 인지하는 단계; 및 가축의 도난 상황이 발생하면, Server의 제어부에서 축사 내부의 임베디드 알람 장치 및 사용자의 스마트폰과 인터넷을 통해 유관기관에 실시간으로 경보를 발생하는 단계;를 포함한다.
본 발명의 상기 축사 내부에 사람 침입 상황이 발생하는 단계는 축사 내부에 사람이 진입하거나 축사의 외벽으로 진입 단계; 가축우리 내 사람의 출현 단계; 사람의 비정상 이동 경로 인식 단계; 사람의 정상 이동 경로를 이탈하여 가축의 우리로 진입 단계;로 구성되고, 침입자와 가축이 울타리를 이탈하는 가축의 도난 상황이 발생하는 단계는, 침입자와 가축이 울타리 이탈 단계; 사람의 이동 경로가 가축의 이동 경로와 유사한 단계; 가축이 정상 이동 경로를 이탈하는 단계; 감시 구역 내 침입자 없음 단계;로 구성된다.
본 발명에서 상기 사람 이동 경로 학습 DB와 가축 이동 경로 학습 DB에 저장하는 단계는 침입자와 가축의 이동 경로를 정상 이동 경로와 비정상 이동 경로로 분류하여 학습하고 학습 결과를 각각 DB에 저장하는 단계; 침입자를 감지하기 위해 사람의 이동경로 학습 DB를 기반으로 사람의 비정상 이동을 인식하여 침입 상황을 감지하는 단계; 및 침입자와 가축의 이동경로 학습 DB를 기반으로 사람과 가축의 비정상 이동을 인식하여 가축의 도난을 감지하는 단계;를 더 포함하되, 시간이 지날수록 학습 DB의 데이터가 늘어남에 따라 가축과 침입자의 정상/비정상 이동 인식 오류는 감소한다.
본 발명에서 가축의 도난 상황의 발생을 감지하는 단계는 축사 내 관심 영역 설정 모듈로 지능형 관심영역(ROI, Region of Interest) 설정을 위해 소벨 오퍼레이터(Sobel Operator)를 통한 입력 영상 에지 추출 기능과 횡방향 에지 그룹화 기능과 관심 영역 펜스 자동 설정하는 단계;를 포함한다.
또한, 본 발명에서 가축의 도난 상황의 발생을 감지하는 단계는 축사 내 이동 객체 인식 모듈로 Min-Max 배경 모델링과 GMM을 융합하여 이동 객체 탐지를 위한 배경 분리 알고리즘 기능과 움직임 영역 추출 기능과 움직임 영역 잡음 제어 기능과 이동 객체를 추출하는 단계;를 포함한다.
본 발명에서 가축의 도난 상황의 발생을 감지하는 단계는 분류 모듈로 HOG 모델링 방법을 이용한 기하학 정보 추출 기능과 객체 분류 알고리즘 기능과 가축/사람 분류하는 단계;를 포함한다.
본 발명에서 가축의 도난 상황의 발생을 감지하는 단계는 조명 변화에 둔한 HSI color model과 이를 정규화한 qualified HSI model을 이용하여 영상차를 적용한 뒤 움직임 영역을 추출하는 단계;를 포함한다.
본 발명에서 가축의 도난 상황의 발생을 감지하는 단계는 Dilatation(팽창)과 Erosion(침식) 연산작용을 적용해 잡음을 최소화한 움직임 영역을 구하는 단계(모폴로지);를 포함한다.
본 발명에서 가축의 도난 상황의 발생을 감지하는 단계는 공간상의 정보(Spatial Gradient)와 시간상의 정보(Temporal Gradient)를 이용한 물체 추출하는 단계;를 포함한다.
본 발명에서 가축의 도난 상황의 발생을 감지하는 단계는 움직임 영역이 추출되었을 때 각각의 움직임 물체의 추적을 위해서 움직임 물체에 대한 특징점을 추출하기 위해, KLT(Kanade-Lucas-Tomasi) 알고리즘과 움직임 물체의 옷색 특성 및 위치 정보를 이용하여 특징점을 추출하는 단계;를 포함한다.
본 발명에서 가축의 도난 상황의 발생을 감지하는 단계는 윤곽선 추출 알고리즘인 GVF(Gradient Vector Flow)와 같은 Active Contour 알고리즘을 사용하는 단계;를 포함한다.
상기와 같이 이루어지는 본 발명은 축사를 포함한 가축을 키우는 장소에 설치된 네트워크 카메라를 통해 입력되는 영상을 새로운 객체 추출 알고리즘인 지능형 관심영역(ROI) 설정을 위해 소벨 오퍼레이터를 통한 입력 영상 에지 추출 기능과 수평 Mask(행렬 형태의 화소 그룹)를 이용하여 횡방향 에지를 추출하고 관심 영역 펜스 자동 설정 기능을 통해 입력 영상을 분석하여 관심영역을 그룹화하여 설정함으로써, IP-CCTV의 위치를 이동하여도 관심 영역의 설정을 다시 할 필요가 없는 편리성이 있다.
또한, 본 발명은 네트워크 카메라를 통해 입력되는 영상을 새로운 객체 추출 알고리즘인 Min-Max 배경 모델링과 GMM을 융합하여 이동 객체 탐지를 위한 배경 분리 알고리즘 기능과 움직임 영역 추출 기능과 움직임 영역 잡음 제어 기능과 이동 객체 추출 기능과 HOG 모델링 방법으로 축사 내부의 특수한 환경에서 작은 물체 또는 조명 변화로 인해 움직임들이 많이 생기더라도 정확하면서 지능적으로 분석함으로써, 가축의 도난을 실시간으로 감시하여 감시 인력 및 시간을 줄이고 농가의 재산을 보호한다.
또한, 본 발명은 사람 이동경로를 학습하는 사람 이동경로 학습기 모듈과 사람 이동경로 중 정상 이동 경로를 학습하는 정상 이동 경로 학습 모듈과 비정상 이동 경로를 학습하는 비정상 이동 경로 학습 모듈과 가축 이동경로를 학습하는 가축 이동경로 학습기 모듈과 가축 이동경로 중 정상 이동 경로를 학습하는 정상 이동 경로 학습 모듈과 비정상 이동 경로를 학습하는 비정상 이동 경로 학습 모듈을 통해 축사를 포함한 가축을 키우는 장소에 설치된 네트워크 카메라를 통해 생성된 영상을 실시간으로 비교 및 학습, 감시하여 정확한 범인 감지로 농가가 키우는 가축의 도난을 미연에 예방함과 동시에 실시간 범인 검거율이 크게 향상된다.
또한, 본 발명은 모듈화 기술을 이용하여 고가의 IP-CCTV 감시 시스템을 사용자의 필요에 따라 옵션으로 모듈화하여 설치가 가능하게 함으로써, 설치비용을 줄일 수 있어 저소득층 농가들도 저비용으로 이용이 가능하다.
또한, 본 발명의 임베디드 알람 장치는 통신을 위한 Wifi 통신 모듈, 알람 경고를 빛의 신호로 발산하는 경광등, 전원 입력을 제어하는 전원 스위치, 알람 경고를 음성 신호로 발산하는 스피커, 전원을 제공하는 내장 배터리 등을 통해 축산물 뿐 만 아니라 전원 공급이 어려운 원격지 상가 내 물건의 도난 사건을 감시할 수 있고, 축산물에 피해를 입히는 야생동물의 접근을 방지할 수 있으며, 대규모 축산물 재배구역의 경우 접근 도로 및 차량, 침입자 등을 감시하는 대규모 시스템으로도 활용 가능하다.
도 1은 종래 발명에 따른 운영 및 감시인원 직접 감시 시스템을 보여주는 도면이다.
도 2는 본 발명에 따른 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템의 전체적인 구성을 보여주는 도면이다.
도 3은 도 2의 모듈기반 지능형 영상 분석 장치의 세부적인 구성을 보여주는 도면이다.
도 4는 본 발명의 일실시예에 따른 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템의 전체적인 구성을 보여주는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템의 세부적인 구성을 보여주는 도면이다.
도 6은 본 발명에 따라 에지 정보 분석에 따른 관심 영역 설정의 예시를 보여주는 도면이다.
도 7은 본 발명에 따라 에지 추출의 예시를 보여주는 도면이다.
도 8은 본 발명에 따라 객체 추출 알고리즘을 보여주는 도면이다.
도 9는 본 발명에 따라 HOG Feature Construction을 보여주는 도면이다.
도 10은 본 발명에 따라 사람 침입 상황과 가축의 도난 상황을 나누어 세부적인 내용을 보여주는 도면이다.
도 11은 본 발명에 따라 임베디드 알람 장치의 한 예를 보여주는 도면이다.
도 12는 본 발명에 따른 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템의 GUI 구성을 보여주는 도면이다.
도 13은 본 발명에 따른 가축 도난 감시를 위한 스마트폰용 GUI를 보여주는 도면이다.
본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다.
따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.
도 2는 본 발명에 따른 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템의 전체적인 구성을 보여주는 도면이고, 도 3은 도 2의 모듈기반 지능형 영상 분석 장치의 세부적인 구성을 보여주는 도면이다.
도 2에 도시된 바와 같이, 본 발명은 유/무선 IP-CCTV(12-1, 12-2, 12-3), 유/무선 영상 수신 장치(13), NVR(13-1), 모듈기반 지능형 영상 분석 장치(100), 경보 발령 서비스 모듈(160), 모니터링 GUI(200), 임베디드 알람 장치(14), 관리자 단말기(16) 및 경찰서/방범대/유관기관 단말기(18)로 구성된다.
상기 모듈기반 지능형 영상 분석 장치(100)는 도 3에 도시된 바와 같이, 축사 내 관심 영역 설정 모듈(110), 축사 내 이동 객체 인식 모듈(120), 사람과 가축을 분류하기 위한 분류 모듈(130), 외부인 침입 상황 감지를 위한 침입 감지 모듈(140), 가축 도난 상황의 감지를 위한 도난 감지 모듈(150), 사람 이동 경로 학습 DB(408), 가축 이동 경로 학습 DB(308) 등으로 구성된다.
도 2의 유/무선 IP-CCTV(12-1, 12-2, 12-3)는 가축의 도난을 실시간 감시하는 영상을 생성하여 유/무선으로 송신하여 설정된 지능형 관심영역에서 가축/사람 분류를 통해 이동 경로 학습 DB에 저장된 데이터와 비교하여 사람의 침입을 식별할 수 있도록 하는 장치로서, 축사 내부의 특수한 환경에서 작은 물체 또는 조명 변화로 인해 움직임들이 많이 생기더라도 정확한 판독을 위해 고해상도의 IP-CCTV를 사용한다.
상기 유/무선 영상 수신 장치(13)는 유/무선 IP-CCTV(12-1, 12-2, 12-3)로부터 가축의 도난을 실시간 감시하는 영상을 수신하여 모듈기반 지능형 영상 분석 장치(100)로 전송한다.
상기 모듈기반 지능형 영상 분석 장치(100)는 지능형 관심영역 설정을 위해 소벨 오퍼레이터를 통한 입력 영상 에지 추출 기능과 횡방향 에지 그룹화 기능과 관심 영역 펜스 자동 설정 기능과 Min-Max 배경 모델링과 GMM을 융합하여 이동 객체 탐지를 위한 배경 분리 알고리즘 기능과 움직임 영역 추출 기능과 움직임 영역 잡음 제어 기능과 이동 객체 추출 기능과 HOG 모델링 방법으로 분석하도록 한다.
도 2의 경보 발령 서비스 모듈(160)은 모듈기반 지능형 영상 분석 장치(100)로부터 분석한 영상으로 Min-Max 배경 모델링과 GMM을 융합하고, HOG 모델링 방법을 이용하여 경보 상황을 판독하여 경보 신호를 1차로 침입 방지와 2차로 도난 방지로 나누어 발령하는 모듈이다.
여기에서, 경보 발령 서비스 모듈(160)에 의해 외부인 침입 상황(1차 경보상황)이 발생하면, Server의 제어부에서 축사 내부의 임베디드 알람 장치 및 사용자의 스마트 폰에 실시간으로 경보를 발생한다. 또한, 가축의 도난 상황(2차 경보상황)이 발생하면 Server의 제어부에서 축사 내부의 임베디드 알람 장치 및 사용자의 스마트폰과 인터넷을 통해 유관기관(경찰서 등)에 실시간으로 경보를 발생하여 소의 도난을 예방한다.
도 2의 모니터링 GUI(200)는 모듈기반 지능형 영상 분석 장치(100)에서 분석한 영상을 모니터링할 수 있도록 IP-CCTV의 번호창, 지능형 관심영역 정보창, IP-CCTV의 감시 영상창, 모니터링 GUI 동작/정지 버튼, 감시 영상의 정보(압축방식, 전송 속도), 상황 전파 유관기관(경찰서, 방범대, 관련 상황실) 설정창, 감시 시스템 로고 창 등으로 나누어 표시되도록 제어하는 모듈이다.
도 2의 임베디드 알람 장치(14)는 모듈기반 지능형 영상 분석 장치(100)에서 분석된 영상으로 침입 상황 또는 도난 상황을 판독하여 알람 신호를 발생시키기 위해 통신 모듈(141), 경광등(142), 전원 입력을 제어하는 전원 스위치(143), 전원을 제공하는 내장 배터리(144), 알람 경고를 음성 신호로 발산하는 스피커(145) 등을 포함하는 장치이다.
도 2의 관리자 단말기(16)는 임베디드 알람 장치로부터 알람 신호를 전달받는 단말기로서, 하기 유관기관 단말기(18)로 상황 전파 및 메타정보(위치, 상황, 시간, 범죄자 정보)를 전송할 수도 있고 임베디드 알람 장치(14)의 통신 모듈(141)로 전송할 수도 있다.
도 2의 유관기관 단말기(18)는 임베디드 알람 장치로부터 알람 신호를 전달받는 단말기로서, 실시간 영상 감시를 통한 범인 감지로 농가가 키우는 가축의 도난을 예방하고 실시간 범인 검거율의 향상이 예상되고, 대규모 축산물 재배구역의 경우 접근 도로 및 차량, 침입자 등을 감시하는 대규모 시스템으로도 활용 가능하다.
도 3에 도시된 바와 같이, 유/무선 영상 수신 장치(13)로부터 영상을 전달받아 분석하는 모듈기반 지능형 영상 분석 장치(100)에서 축사 내 관심 영역 설정 모듈(110)은 지능형 관심영역 설정을 위해 소벨 오퍼레이터를 통한 입력 영상 에지 추출 기능과 횡방향 에지 그룹화 기능과 관심 영역 펜스 자동 설정 기능을 포함하는 모듈이다.
도 3에 도시된 바와 같이, 축사 내 이동 객체 인식 모듈(120)은 축사 내부에 설치된 모든 IP-CCTV(12-1, 12-2, 12-3)의 입력 영상에서 축사내의 배경을 제외하고 축사 내에서 이동하고 있는 모든 물체(사람, 소등)를 탐지할 수 있도록 Min-Max 배경 모델링과 GMM을 융합하여 이동 객체 탐지를 위한 배경 분리 알고리즘 기능과 움직임 영역 추출 기능과 움직임 영역 잡음 제어 기능과 이동 객체 추출 기능을 포함하는 모듈이다.
사람과 가축을 분류하기 위한 분류 모듈(130)은 축사 내부에 설치된 모든 IP-CCTV(12-1, 12-2, 12-3)의 입력된 영상에서 모든 이동 객체가 탐지되면 각 이동 객체의 종류에 따라 상황이 달리 발생하기 때문에 이동 객체가 가축인지 사람인지 분류하기 위해 HOG 모델링 방법을 이용한 기하학 정보 추출 기능과 객체 분류 알고리즘 기능과 가축/사람 분류 기능을 포함하는 모듈이다.
도 3(a)의 외부인 침입 상황 감지를 위한 침입 감지 모듈(140)은 학습된 경로와 비교하는 가축의 이동 경로 학습 기능과 사람의 이동 경로 학습 기능을 포함하는 모듈이다.
가축 도난 상황의 감지를 위한 도난 감지 모듈(150)은 사람의 이동 경로 학습 기능을 통해 사람 이동 경로 학습 DB에 저장된 데이터로 사람의 침입을 식별하고, 또한 가축의 이동 경로 학습 기능을 통해 가축 이동 경로 학습 DB에 저장된 데이터로 가축의 도난을 식별하는 모듈이다.
따라서 상술한 모듈들에 의해 입력된 영상은 도 3(b)의 S203 내지 S212 과정을 통해 관심 영역 자동설정, 이동 객체 추출 및 가축/침입자가 분류된다.
도 4에 도시된 바와 같이, 사람 이동 경로 학습 DB(408)은 사람의 이동 경로를 저장하는 DB로서, 사람 이동경로를 학습하는 사람 이동경로 학습기 모듈(402)과 사람 이동경로 중 정상 이동 경로를 학습하는 정상 이동 경로 학습 모듈(404)과 비정상 이동 경로를 학습하는 비정상 이동 경로 학습 모듈(406)에 연결되어 있어 생성되는 데이터를 저장하고 학습한다.
도 4의 가축 이동 경로 학습 DB(308)은 가축의 이동 경로를 저장하는 데이터베이스로서, 가축 이동경로를 학습하는 가축 이동경로 학습기 모듈(302)과 가축 이동경로 중 정상 이동 경로를 학습하는 정상 이동 경로 학습 모듈(304)과 비정상 이동 경로를 학습하는 비정상 이동 경로 학습 모듈(306)에 연결되어 있어 생성되는 데이터를 저장하고 학습한다.
아래 표 3은 본 발명에 따른 지능형 축산물 감시 및 알람 장치의 하드웨어 및 성능을 자세히 보여주고 있다.
IP-CCTV(12-1, 12-2, 12-3)는 축사 내부에 침입자 및 가축을 감시하기 위해 축사 내부에 가축들이 활동하는 영역의 영상을 획득할 수 있는 곳에 설치한다.
IoT(Internet of Things) 보드는 IP-CCTV(12-1, 12-2, 12-3)를 구매하지 않고 기존에 설치된 Analog-CCTV를 이용하는 축사에 본 발명 제품을 설치 할 경우 Analog-CCTV에 IoT 보드를 설치하여 IP-CCTV(12-1, 12-2, 12-3)와 같은 유/무선 네트워크 성능을 부여한다.
유/무선 영상 송/수신 장치는 축사 내에 설치된 다수의 IP-CCTV(12-1, 12-2, 12-3)에서 획득된 영상을 NVR과 Server에 유/무선으로 송/수신하기 위해 설치되며 관리자 및 유관기관에서 IP-CCTV(12-1, 12-2, 12-3)에 접속하기 위해 고정/유동 IP(Internet Protocol)를 지원한다.
NVR(13-1)은 유/무선 영상 송/수신 장치를 통해 획득된 다수의 실시간 영상을 저장하기 위해 다수의 연결 채널을 보유하고 획득된 영상 정보의 손실을 줄이기 위해 10fps(frame per second) 이상의 전송속도를 가진다. 또한, NVR은 평상시 영상을 저장하는 저장장치(HDD1)와 외부인 침입 및 가축의 도난 상황이 발생함에 따라 저장하는 지능형 영상 저장장치(HDD2)를 통해 개별 저장이 가능하다.
임베디드 알람 장치(14)는 Server(100, 160, 200)와 인터넷 통신을 위해 유/무선 통신 기능과 축사 내부의 경보를 발생하기 위해 사이렌/경광등이 장착되며 축사 내부에 설치된다.
따라서 본 발명은 다수의 IP-CCTV(12-1, 12-2, 12-3)에서 입력되는 영상을 실시간으로 분석하고 분석된 정보를 통해 임베디드 알람 장치(14)와 관리자의 스마트폰 및 유관기관(경찰서, 자율방범대, 상황실 등)에 인터넷 통신을 통해 경보 발생하여, 상술한 구성의 H/W를 축사 내부에 구축하여 가축의 도난 상황을 실시간으로 감지할 수 있다.
하드웨어 하드웨어 성능
IP-CCTV -고정/유동 IP지원 가능한 유/무선 네트워크 카메라
-해상도(740x480) 이상 지원
-전송속도 20fps 이상
-최저조도 0.0007Lux 이상
IoT(사물인터넷) 보드 -MCU 기능 탑재로 영상 관련 S/W 탑재 가능
-기 설치된 Analog-CCTV에 IP-CCTV와 같은 유/무선 네트워크 성능을 부여

유/무선 영상
수신 장치
 -유/무선 영상 수신 가능(Wireless Router)
-고정/유동 IP지원 가능
-다수 영상 송/수신 가능
NVR
(Network Video Recorder)		 -네트워크 카메라 연결(4채널/8채널)이상
-전송속도 최소 10fps 이상
-저장장치(HDD) 2개 이상
-VGA/HDMI 라이브 모니터 출력
임베디드
알람 장치		 -유/무선 통신 기능
-사이렌 및 경광등
Server
computer		 -서버로 사용 가능한 데스크탑 PC
-유/무선 인터넷 통신 기능
-CPU i3/ RAM 8GB/ VGA GTX 760 이상
도 4는 본 발명의 일실시예에 따른 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템의 세부적인 구성을 보여주는 도면이고, 도 5는 본 발명의 다른 실시예에 따른 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템의 세부적인 구성을 보여주는 도면이며, 도 6은 본 발명에 따른 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템의 인터페이스 구성을 보여주는 도면이다.
도 4에서 사람과 가축의 이동 경로 학습 과정은 사람과 가축의 이동 경로를 정상 이동 경로와 비정상 이동 경로로 분류하여 학습하고 학습 결과를 각각 이동경로 학습 DB(308, 408)에 저장한다.
먼저, 외부인의 침입을 감지하기 위해 사람의 이동경로 학습 DB(408)를 기반으로 사람의 비정상 이동을 인식하여 침입 상황을 감지한다.
계속하여, 사람과 가축의 이동경로 학습 DB(308, 408)를 기반으로 사람과 가축의 비정상 이동을 인식하여 가축의 도난을 감지한다.
따라서 시간이 지날수록 사람과 가축의 이동경로 학습 DB(308, 408)를 기반으로 학습 DB의 데이터량이 늘어남에 따라 가축과 사람의 정상/비정상 이동 인식 오류는 감소한다.
또한 도 4에서 보는 바와 같이 도난 상황 발생의 경우 사람/가축의 비정상 이동을 인식하고 상황 인지 알고리즘을 이용한 이동 경로 학습 기반 도난 인지 방법을 사용하고, 침입 상황 발생의 경우 사람의 비정상 이동을 인식하고 상황 인지 알고리즘을 이용한 이동 경로 학습 기반 침입 인지 방법을 사용한다.
즉, 본 발명에 따른 축사 내부에서 사람과 가축의 이동 경로 학습 과정은 1) 사람과 가축의 이동 경로를 정상 이동 경로와 비정상 이동 경로로 분류하여 학습하고 학습 결과를 각각 이동경로 학습 DB에 저장한다.
2) 그 다음, 침입자를 감지하기 위해 사람의 이동경로 학습 DB를 기반으로 사람의 비정상 이동을 인식하여 침입 상황을 감지한다.
3) 사람과 가축의 이동경로 학습 DB를 기반으로 사람과 가축의 비정상 이동을 인식하여 가축의 도난을 감지한다.
따라서 상술한 학습과정은 시간이 지날수록 이동경로 학습 DB의 데이터가 늘어나고, 그에 따라 가축과 사람의 정상/비정상 이동 인식 오류는 감소한다.
도 5에 도시된 바와 같이, 모듈기반 지능형 영상 분석 장치로부터 분석한 영상으로 경보 상황을 판독하여 경보 신호를 침입 방지 1단계와 도난 방지 2단계로 나누어 발령하는데, 침입 상황을 감지하고(S101), 침입 상황이 발생한 경우(S102), Min-Max 배경 모델링 등으로 이동 객체를 추출/분류 한 후(S103), 경보 상황 1단계인 경우(S104), 축사 알람 장치를 가동하고(S105), 관리자에 경보 발령한다(S106).
경보 상황 2단계인 경우(S107), 축사 알람 장치를 가동하고(S108), 관리자에 경보 발령하고(S109), 유관 기관에 경보를 발령한다(S110).
도 6은 대규모 축사를 예를 들어 지능형 관심영역 설정 방법을 나타내고, 도 7은 본 발명에 따라 에지 추출의 예시를 보여주는 도면이며, 도 8은 본 발명에 따라 객체 추출 알고리즘을 보여주는 도면이고, 도 9는 본 발명에 따라 HOG Feature Construction을 보여주는 도면이다.
지능형 관심영역(ROI, Region of Interest) 설정 방법; Sobel Operator
종래에 IP-CCTV를 설치 할 때나 IP-CCTV의 위치를 이동 할 때마다 사용자가 매번 관심 영역의 설정을 다시 해야 한다는 문제점이 있었다.
이를 해결하기 위해 본 발명에서는 지능형 관심영역 설정 방법을 제시한다.
본 발명에 따른 지능형 관심영역 설정 모듈은 입력 영상을 분석하여 관심영역을 설정함으로 IP-CCTV(12-1, 12-2, 12-3)의 위치를 이동하여도 관심 영역의 설정을 다시 할 필요가 없다.
도 6에 도시된 바와 같이, 일반적으로 축사는 유지 및 관리의 편리 차원에서 사각형 구조로 설계된다.
그러므로 축사 내 관심 영역 설정 모듈(110)은 입력영상에서 에지 영역을 추출하고 횡방향 정보를 가지는 에지를 선택하여 그룹화함으로써, 가축의 우리에 자동으로 관심 영역을 설정할 수 있다.
도 7에 도시된 바와 같이, 영상에서 횡방향 정보를 가지는 에지를 축사 내 관심 영역 설정 모듈(110)이 Sobel Operator를 통해 추출하는 과정을 나타낸다.
즉, 소벨(sobel), 프리윗, 로버츠, 츠레이첸, 스터캐스틱 등 다양한 에지 추출 마스크 중 소벨 마스크는 모든 방향의 에지를 추출할 수 있고, 특히 수평 Mask(행렬 형태의 화소 그룹)를 이용하여 횡방향 에지를 추출할 수 있고, 돌출한 화소값을 비교적 평균화하므로 잡음에 대체적으로 강하며, 수직 수평 방향 에지 보다 대각선 방향 에지에 더 민감하게 반응한다. 따라서 객체의 형태변화가 심하지 않고 내부 패턴이 단순하면서도 고유의 독특한 윤곽선 정보를 가지는 객체(사람, 소, 돼지, 닭 등)를 식별하는데 유리하다.
Min-Max 배경 모델링과 GMM을 융합; 이동 객체 탐지 방법
도 8에 도시된 바와 같이, 본 발명은 축사 내부에 설치된 모든 IP-CCTV(12-1, 12-2, 12-3)의 입력 영상에서 축사내의 배경을 제외하고 축사 내에서 이동하고 있는 모든 물체(사람, 소등)를 탐지할 수 있는 영상 처리 기술을 제공한다.
본 발명에 따른 축사 내 이동 객체 인식 모듈(120)을 통한 이동 객체 탐지 기술은 다양한 이동 객체들을 지속적인 감시하기 위해 영상의 배경을 제외한 움직임 영역을 추출하고 각각의 움직임 영역에 대한 객체의 정보를 통해 이동 객체를 탐지한다.
본 발명에서는 축사 내부의 특수한 환경에서 작은 물체 또는 조명 변화로 인해 움직임들이 많이 생기는 복잡한 환경은 단순한 배경과 달리 작은 물체 또는 조명 변화로 인해 움직임들이 많이 생겨 특별한 모델링이 필요하다. 이하 본 발명에 따른 지능형 축산물 감시 및 알람 장치에 적용될 수 있는 모델링에 대한 실시예를 자세히 설명한다.
예를 들어, 본 발명에서는 단순한 이동 객체 감지 기술을 사용해서 이를 추출하기는 매우 힘들기 때문에 축사 내 이동 객체 인식 모듈(120)을 통한 Min-Max 배경 모델링 방법이나 GMM 방법을 이용하는 방법을 사용한다.
하지만 상기 방법들은 약간의 환경 변화 즉, 배경의 흔들림, 조도 변화 등의 잡음에 민감하다는 단점을 가진다. 이와 같은 문제점을 해결하기 위해 본 발명에서는 기존의 이동 객체 감지 기술을 개선하는 Min-Max 배경 모델링과 GMM 융합 방법을 아래와 같이 설명한다.
도 8에 도시된 바와 같이 본 발명에 따른 Min-Max 배경 모델링과 GMM을 융합하고 배경모델링에 이용하는 색상정보를 개선하여 새로운 객체 추출 알고리즘을 개발한다.
Min-Max 배경 모델링과 GMM을 융합한 새로운 객체 추출 알고리즘은 배경모델링에 이용하는 RGB색상 모델에 사용자 파라미터를 도입하여 추출하는 이동 객체의 민감도를 설정하는 방법으로 수학식 1과 같다.
Figure 112015046406000-pat00007
Figure 112015046406000-pat00008
상기 축사 내 이동 객체 인식 모듈(120)의 Min-Max 배경 모델링 결과로부터, 연속된 영상
Figure 112015046406000-pat00009
의 각 픽셀 위치에서 최대 최소 조건을 만족하는 움직임 영역
Figure 112015046406000-pat00010
를 수학식 2를 이용해 얻는다.
수학식 2에 의해 추출된 이동 객체의 움직임 영역은 민감도 파라메터 δ의 영향을 받는다.
HOG(Histogram of Oriented Gradient); 이동 객체 분류 방법
IP-CCTV(12-1, 12-2, 12-3)의 입력된 영상에서 사람 및 소가 인식되면 종류에 따라 상황이 달리 발생하기 때문에 축사 내 인식된 이동 객체가 사람인지 소인지 분류하는 기술이 필요하다.
도 9에 도시된 바와 같이, 본 발명에 따라서 모듈기반 지능형 영상 분석 장치(100)는 축사 내부에 설치된 모든 IP-CCTV(12-1, 12-2, 12-3)의 입력된 영상에서 모든 이동 객체가 탐지되면 각 이동 객체의 종류에 따라 상황이 달리 발생하기 때문에 이동 객체가 가축인지 사람인지 분류한다.
종래의 이동 객체 분류 기술은 색상 정보를 주로 이용하며 색상 정보는 객체가 갖는 고유한 색상을 가장 잘 나타내기 때문에 객체의 분류를 위한 기본 데이터로 흔하게 사용된다. 하지만 색상 정보만을 이용하면 빛에 민감한 단점을 가지고 있어 추출 결과에 대한 오류가 크다.
따라서 본 발명에서는 사람과 가축을 분류하기 위한 분류 모듈(130)을 통한 이동 객체 분류 방법으로 모듈기반 지능형 영상 분석 장치(100)에서 이동 객체의 기하학 정보를 추출하고, 추출한 기하학 정보를 기반으로 이동 객체가 사람인지 가축인지를 분류한다.
기타
움직임 영역 추출 기법은 가축 주변의 움직임 영역을 추출하고 추출된 움직임 영역 중 물, 나무의 흔들림, 그림자 변화, 비 등과 같은 환경 요소를 제거하는 알고리즘이다.
왜냐하면 가축이 위치한 장소는 보통 자연물이 많기 때문에 물, 비, 바람에 의한 자연물의 흔들림 및 변화가 있으며 이러한 배경은 조명 변화로 인해 움직임들이 많이 생기기 때문이다.
따라서 본 발명은 조명 변화에 둔한 HSI color model과 이를 정규화한 qualified HSI model을 이용하여 영상차를 적용한 뒤 움직임 영역을 추출한다. 또한 HSI 칼라 모델은 색을 인식하는 속성인 색상(Hue), 채도(Saturation), 명도(Intensity)로 구성 되어 있어 밝기 성분을 별도로 분할하여 사용할 수 있기에 RGB 컬러 모델보다 조명에 덜 민감하게 사용할 수 있어 RGB컬러 모델을 HSI컬러 모델로 변환하여 사용한다.
HSI컬러 모델은 컬러 공간을 사용할 때, 어떤 컬러를 만들어 내기 위해서 몇 퍼센트의 파란색이나 녹색이 필요한지를 알 필요가 없다. 진한 빨간색을 분홍색으로 바꾸기 위해 단순히 채도만을 조절하기 때문이다. 어두운 것을 밝게 하려면 명도를 조절 하면 된다. HSI는 원통 모양의 좌표계로 모형화되어 있다.
구체적으로 살펴보면, 본 발명에 따른 사람과 가축을 분류하기 위한 분류 모듈(130)의 기하학 정보 기반 객체 분류 방법은 추출된 이동 객체의 기하학 정보 특징을 추출하기 위해 HOG 방법을 이용하여 대상 영역을 일정 크기의 셀로 분할하고, 각 셀마다 에지 픽셀들의 방향에 대한 히스토그램을 구한 후 그 값들을 일렬로 연결한 벡터를 생성한다.
즉, HOG는 객체의 윤곽선 정보를 이용하므로 객체의 형태변화가 심하지 않고 내부 패턴이 단순하면서도 고유의 독특한 윤곽선 정보를 가지는 객체(사람, 소, 돼지, 닭 등)를 식별하는데 유리하다.
또한 상기 모듈기반 지능형 영상 분석 장치는, 조명 변화에 둔한 HSI color model과 이를 정규화한 qualified HSI model을 이용하여 영상차를 적용한 뒤 움직임 영역을 추출한다.
또한, 상기 모듈기반 지능형 영상 분석 장치는, 팽창(Dilatation)과 침식(Erosion) 연산 작용을 적용해 잡음을 최소화한 움직임 영역을 구한다.
또한, 상기 모듈기반 지능형 영상 분석 장치는, 공간상의 정보(Spatial Gradient)와 시간상의 정보(Temporal Gradient)를 이용한 물체 추출한다.
또한, 상기 모듈기반 지능형 영상 분석 장치는, 움직임 영역이 추출되었을 때 각각의 움직임 물체의 추적을 위해서 움직임 물체에 대한 특징점을 추출하기 위해, KLT(Kanade-Lucas-Tomasi) 알고리즘과 움직임 물체의 옷색 특성 및 위치 정보를 이용하여 특징점을 추출한다.
또한 상기 모듈기반 지능형 영상 분석 장치는, 구조 정보는 윤곽선 추출 알고리즘인 GVF( Gradient Vector Flow)와 같은 Active Contour 알고리즘을 사용한다.
도 10은 본 발명에 따라 사람 침입 상황과 가축의 도난 상황을 나누어 세부적인 내용을 보여주는 도면이고, 도 11은 본 발명에 따라 임베디드 알람 장치의 한 예를 보여주는 도면이다.
도 10에 도시된 바와 같이, 축사를 포함한 가축을 대규모로 키우는 장소 내부에서 설치된 모든 IP-CCTV(12-1, 12-2, 12-3)의 입력된 영상에서는 탐지된 사람과 감시하고자 하는 가축은 지속적인 감시 대상이 되며 이들의 행동 또는 비정상 이동이 발생할 경우 각 상황에 따른 상황을 인지할 수 있는 기술이 필요하다.
본 발명에서는 외부인 침입 상황 감지를 위한 침입 감지 모듈(140)은 외부인이 축사에 침입하는 상황과 가축의 도난이 발생하는 상황을 인지한다. 먼저 외부인 침입 상황은 주로 사용자가 축사의 작업이 없거나 끝난 시간대인 주/야간 환경에서 외부인이 가축을 대규모로 키우는 장소 내부에 진입하는 상황이다.
예를 들어 외부인 침입 상황 감지를 위한 침입 감지 모듈(140)에서 인지하는 가축의 도난 상황은 축사내부에서 가축들의 이동 경로가 비정상적으로 나타내고 가축이 이동할 수 없는 영역에서 가축이 감지되면 가축의 도난 상황으로 인지한다. 또한, 가축 이외의 다른 이동 객체에 의해 가축이 이동되어도 도난 상황으로 감지한다.
구체적으로, 가축 도난 상황의 감지를 위한 도난 감지 모듈(150)이 인지하는 사람 침입 상황(1-1)을 자세히 살펴보면, 축사 내부에 사람 진입하거나(1-1-1), 축사의 외벽으로 사람 진입 단계, 가축우리 내 사람의 출현 단계, 사람의 비정상 이동 경로 인식 단계(1-1-2), 사람의 정상 이동 경로를 이탈하여 가축의 우리로 진입 단계(1-1-3) 및 축사 내의 관심영역에서 다수의 소들이 비정상 이동 경로 인식(1-1-4)로 구성되고, 가축의 도난 상황(1-2)의 경우, 축사 내부의 경보 발생 후에도 지속적인 침입자 감지 단계(1-2-1), 침입자와 가축이 울타리 이탈 단계, 사람의 이동 경로가 가축과 유사한 단계(1-2-2), 기타 상황의 경우(1-3)에는 가축이 정상 이동 경로를 이탈하는 단계, 감시 구역 내 침입자 없음 단계(1-3-1) 등으로 나뉜다.
따라서 본 발명에서는 외부인 침입을 감지하기 위해서는 감시 영역에서 사람의 이동 경로를 학습 하고 학습한 결과를 사람 이동경로 학습 DB에 저장한다. 그리고 사람 이동 경로 학습 DB를 기반으로 사람의 비정상 이동을 인식하여 침입 상황을 감지한다.
도 3의 외부인 침입 상황 감지를 위한 침입 감지 모듈(140)이 가축의 도난을 인지하기 위해서는 감시 영역에서 사람과 가축의 이동 경로를 학습하고 학습한 결과를 사람 이동 경로 학습 DB와 가축의 이동 경로 학습 DB에 저장한다.
그리고 외부인 침입 상황 감지를 위한 침입 감지 모듈(140)이 이동 경로 학습 DB를 기반으로 사람과 가축의 비정상 이동을 인식하여 도난 상황을 인지한다.
본 발명에서는 외부인의 침입 및 가축의 도난 상황이 발생할 경우 이러한 상황을 외부인 침입 상황 감지를 위한 침입 감지 모듈(140)과 가축 도난 상황의 감지를 위한 도난 감지 모듈(150)로 실시간으로 감지하여 예방하기 위해서 각 상황에 따라 경보 및 대응하기 위한 기술이 필요하다.
또한, 가축을 대규모로 키우는 장소 내에서 범죄자에게 경고하기 위한 직접적인 알람 장치가 필요하다.
도 5와 도 11에 도시된 바와 같이, 본 발명의 경보 대응 방법은 가축을 대규모로 키우는 장소 내의 취약 구역에서 외부인 침입 상황(1차 경보상황)이 발생했을 때 침입 구역에 설치된 임베디드 알람 장치(14)를 작동하고, 모듈기반 지능형 영상 분석 장치(100)에서 유/무선 인터넷 기능을 통해 운용자의 관리자 단말기(16)로 상황을 알린다.
그리고 도난 상황(2차 경보상황)이 발생 했을 때 먼저, 침입 구역에 설치된 임베디드 알람 장치(14)를 작동하고, 모듈기반 지능형 영상 분석 장치(100)에서 유/무선 인터넷 기능을 통해 운용자의 관리자 단말기(16)로 상황을 알리고, 인근 유관기관(경찰서, 관공서, 자율 방범대 등)에 유관기관 단말기(18)로 상황 전파 및 메타정보(범죄자 위치 및 외형 정보, 도난 상황, 소 도난 발생 시간, 범죄자의 도주 경로, 소의 이동 경로 등)를 전송한다.
도 2의 임베디드 알람 장치(14)는 축사 내의 취약 구역에 설치하여 외부인 침입 상황(경보 상황 1단계)이 발생했을 때 알람 정보 등을 발생 시킨다.
예를 들어, 임베디드 알람 장치(14)는 통신을 위한 Wifi 통신 모듈(141), 알람 경고를 빛의 신호로 발산하는 경광등(142), 전원 입력을 제어하는 전원 스위치(143), 알람 경고를 음성 신호로 발산하는 스피커(145), 전원을 제공하는 내장 배터리(144), 전원 표시 LED(145), 스피커(146, 147) 등을 포함하여 실시간 영상 감시를 통한 범인 감지로 농가가 키우는 가축의 도난을 예방하고 실시간 범인 검거율의 향상이 예상되고, 대규모 축산물 재배구역의 경우 접근 도로 및 차량, 침입자 등을 감시하는 대규모 시스템으로도 활용 가능하다.
도 12의 최종적인 지능형 영상 감시를 위한 지능형 영상 감시를 위한 모니터링 GUI는 ① IP-CCTV의 번호창, ② 지능형 관심영역 정보창, ③ IP-CCTV의 감시 영상창, ④ 모니터링 GUI 동작/정지 버튼, ⑤ 감시 영상의 정보(압축방식, 전송 속도), ⑥ 상황 전파 유관기관(경찰서, 방범대, 관련 상황실) 설정창, ⑦ 감시 시스템 로고 창 등으로 구성된다.
따라서 본 발명에 따른 모니터링 GUI(200)는 모듈기반 지능형 영상 분석 장치(100)로부터 분석되는 영상을 실시간으로 출력하여 지능형 영상 감시를 위한 모니터링이 가능하다.
도 13(a)는 본 발명에 따른 가축 도난 감시를 위한 스마트폰 모니터링 GUI를 보여주는 데, IP-CCTV 감시 영상 정보창(161), 관심영역 정보창(162), 유관기관 연락버튼(163), 어플리케이션 구동 및 메타정보의 상태 표시창(164), 관심 영역 표시/해제 설정 버튼(165), IP-CCTV 영상 설정 및 선택 버튼(166), 임베디드 알람 장치 ON/OFF 버튼(167), 다음 IP-CCTV 감시 영상확인창(168) 등으로 구성된다.
따라서 스마트폰 GUI를 통해 평상 시 축사 내부 및 소의 상태를 감시하기 위해 축사에 설치된 IP-CCTV(12-1, 12-2, 12-3)의 영상을 유/무선 영상 송/수신 장치에 접속하여 언제든지 감시가 가능하고, 외부인 침입 및 소의 도난 상황이 감지되면 관리자의 스마트 폰에 도 13(b)와 같이 경보를 발생하고 범죄자의 간략한 메타 정보를 표시한다.
이상에서 설명한 구성에 의하여 본 발명은 축사를 포함한 가축을 대규모로 키우는 장소에 설치된 네트워크 카메라를 통해 입력되는 영상을 새로운 객체 추출 알고리즘인 지능형 관심영역(ROI, Region of Interest)설정을 위해 소벨 오퍼레이터(Sobel Operator)를 통한 입력 영상 에지 추출 기능과 횡방향 에지 그룹화 기능과 관심 영역 펜스 자동 설정 기능과 Min-Max 배경 모델링과 GMM을 융합하여 이동 객체 탐지를 위한 배경 분리 알고리즘 기능과 움직임 영역 추출 기능과 움직임 영역 잡음 제어 기능과 이동 객체 추출 기능과 HOG(Histogram of Oriented Gradient) 모델링 방법으로 축사 내부의 특수한 환경에서 작은 물체 또는 조명 변화로 인해 움직임들이 많이 생기더라도 정확하면서 지능적으로 분석함으로써 가축의 도난을 감시하는 감시 시간을 줄이고 농가의 재산을 보호한다.
또한 본 발명은 사람 이동경로를 학습하는 사람 이동경로 학습기 모듈(402)과 사람 이동경로 중 정상 이동 경로를 학습하는 정상 이동 경로 학습 모듈(404)과 비정상 이동 경로를 학습하는 비정상 이동 경로 학습 모듈(406)과 가축 이동경로를 학습하는 가축 이동경로 학습기 모듈(302)과 가축 이동경로 중 정상 이동 경로를 학습하는 정상 이동 경로 학습 모듈(304)과 비정상 이동 경로를 학습하는 비정상 이동 경로 학습 모듈(306)을 통해 축사를 포함한 가축을 대규모로 키우는 장소에 설치된 네트워크 카메라에서 생성된 영상을 실시간으로 비교 및 학습, 감시하여 정확한 범인 감지로 농가가 키우는 가축의 도난을 예방하고 실시간 범인 검거율의 향상이 예상된다.
또한 본 발명은 모듈화 기술을 이용하여 고가의 IP-CCTV 감시 시스템을 사용자의 필요에 따라 옵션으로 모듈화하여 설치가 가능하게 함으로써 설치비용을 줄일 수 있어 저소득층 농가들도 이용 가능하다.
또한 본 발명은 임베디드 알람 장치(14)는 통신을 위한 Wifi 통신 모듈(141), 알람 경고를 빛의 신호로 발산하는 경광등(142), 전원 입력을 제어하는 전원 스위치(143), 알람 경고를 음성 신호로 발산하는 스피커(145), 전원을 제공하는 내장 배터리(144) 등을 통해 축산물 뿐 만 아니라 전원 공급이 어려운 원격지 상가 내 물건의 도난 사건을 감시할 수 있고, 축산물에 피해를 입히는 야생동물의 접근을 방지할 수 있으며, 대규모 축산물 재배구역의 경우 접근 도로 및 차량, 침입자 등을 감시하는 대규모 시스템으로도 활용 가능하다.
본 발명을 기술적 측면에서 보면, 움직임 영역 추출 및 추적 기술, 움직임 물체의 객체 분류 기술, 객체 추적 기술, 경보 상황 입력 인터페이스 기술, 범죄 상황 전송 및 경보 Agent 프로그램 기술, 경보 방송 모듈 개발 기술 등이 있으며,
경제/산업적 측면에서 보면 경제적 측면으로는 국내의 영상보안 관련 시스템의 지능화 및 첨단화, 농가의 삶의 질 향상 과 생산성 향상 기대, 기존에 설치된 CCTV 설치 농가의 업그레이드 가능, 해외에 의존하던 영상 감시 기술의 국내 기술화 등이 있고, 산업적 측면으로 보면 농축산물을 상대로 한 범죄율 감소 효과, 작물의 생육과 관련된 온/습도 등의 센서 네트워크가 추가될 경우 하나의 통합 시스템으로 개발 가능하다.
본 발명의 사업화 방안으로는 집과 멀리 떨어진 농축산물 재배지에 설치하거나 야생동물(멧돼지, 고라니) 피해 방지를 위한 시스템으로 활용 가능하고, 작물의 생육 시스템과 접목하여 통합 개발 시스템으로 확대 개발 가능하며, 대규모 농축산물 재배구역의 경우 접근 도로 및 차량, 침입자 등을 감시하는 대규모 시스템으로 개발 가능하며, 경보 Agent 프로그램을 CDMA 모듈과 연결하여 관리자에게 직접 경보를 알려주는 시스템으로 수정 개발할 수 있다.
12-1, 12-2, 12-3 : 유/무선 IP-CCTV
13 : 유/무선 영상 수신 장치
14 : 임베디드 알람 장치
16 : 관리자 단말기
18 : 유관기관 단말기
100 : 모듈기반 지능형 영상 분석 장치
110 : 축사 내 관심 영역 설정 모듈
120 : 축사 내 이동 객체 인식 모듈
130 : 사람과 가축을 분류하기 위한 분류 모듈
140 : 외부인 침입 상황 감지를 위한 침입 감지 모듈
150 : 가축 도난 상황의 감지를 위한 도난 감지 모듈
160 : 경보 발령 서비스 모듈
200 : 모니터링 GUI
308 : 가축 이동 경로 학습 DB
408 : 사람 이동 경로 학습 DB

Claims (20)

  1. IP-CCTV로부터 실시간으로 입력되는 영상을 분석함으로써 대규모, 중규모, 또는 소규모 농가에서 키우는 가축의 도난을 실시간으로 방지하기 위한 모듈화 기반의 지능형 영상 감시 시스템에 있어서,
    가축의 도난을 실시간 감시하는 영상을 생성하여 유/무선으로 송신하는 유/무선 IP-CCTV;
    상기 유/무선 IP-CCTV로부터 영상을 수신하는 유/무선 영상 수신 장치;
    상기 유/무선 영상 수신 장치로부터 영상을 전달받아 분석하는 모듈기반 지능형 영상 분석 장치;
    상기 모듈기반 지능형 영상 분석 장치로부터 분석한 영상으로부터 도난 또는 이상 상황을 판독하여 경보 신호를 1차로 침입 방지와 2차로 도난 방지로 나누어 발령하는 경보 발령 서비스 모듈;
    상기 모듈기반 지능형 영상 분석 장치에서 분석한 영상을 모니터링할 수 있는 모니터링 GUI;
    상기 모듈기반 지능형 영상 분석 장치에서 분석된 영상으로 침입 상황 또는 도난 상황을 판독하여 알람 신호를 발생시키는 임베디드 알람 장치;
    상기 임베디드 알람 장치로부터 알람 신호를 전달받는 관리자 단말기; 및
    상기 임베디드 알람 장치로부터 알람 신호를 전달받는 유관기관 단말기;를 포함하되,
    상기 모듈기반 지능형 영상 분석 장치는, 지능형 관심영역(ROI, Region of Interest)설정을 위해 소벨 오퍼레이터(Sobel Operator)를 통한 입력 영상 에지 추출 기능과 횡방향 에지 그룹화 기능과 관심 영역 펜스 자동 설정 기능을 포함하는 축사 내 관심 영역 설정 모듈;
    Min-Max 배경 모델링과 GMM을 융합하여 이동 객체 탐지를 위한 배경 분리 알고리즘 기능과 움직임 영역 추출 기능과 움직임 영역 잡음 제어 기능과 이동 객체 추출 기능을 포함하는 축사 내 이동 객체 인식 모듈;
    HOG(Histogram of Oriented Gradient) 모델링 방법을 이용한 기하학 정보 추출 기능과 객체 분류 알고리즘 기능과 가축/침입자 분류 기능을 포함하는 침입자와 가축을 분류하기 위한 분류 모듈;
    학습된 경로와 비교하는 가축의 이동 경로 학습 기능과 침입자의 이동 경로 학습 기능을 포함하는 외부인 침입 상황 감지를 위한 침입 감지 모듈;
    침입자의 이동 경로 학습 기능을 통해 사람 이동 경로 학습 DB에 저장된 데이터로 침입자의 침입을 식별하는 가축 도난 상황의 감지를 위한 도난 감지 모듈;
    침입자의 이동 경로를 저장하는 사람 이동 경로 학습 DB; 및 가축의 이동 경로를 저장하는 가축 이동 경로 학습 DB;를 포함하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 축사 내 이동 객체 인식 모듈은 하기 수학식 1에서 실시간 감시하는 영상
    Figure 112017000223368-pat00011
    의 각 픽셀 위치에서 최대/최소 조건을 만족하는 움직임 영역
    Figure 112017000223368-pat00012
    를 수학식 2를 이용해 얻고, 수학식 2에 의해 추출된 이동 객체의 움직임 영역은 민감도 파라메터 δ의 영향을 받는 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템.
    [수학식 1]
    Figure 112017000223368-pat00013

    [수학식 2]
    Figure 112017000223368-pat00014
  4. 제1항에 있어서,
    상기 침입자와 가축을 분류하기 위한 분류 모듈은 실시간 감시하는 이동 객체의 기하학 정보 특징을 추출하기 위해 HOG을 이용하여 대상 영역을 일정 크기의 셀로 분할하고, 각 셀마다 에지 픽셀들의 방향에 대한 히스토그램을 구한 후 그 값들을 일렬로 연결한 벡터를 생성하는 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템.
  5. 제1항에 있어서,
    상기 모듈기반 지능형 영상 분석 장치는 조명 변화에 둔한 HSI color model과 이를 정규화한 qualified HSI model을 이용하여 영상차를 적용한 뒤 움직임 영역을 추출하는 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템.
  6. 제1항에 있어서,
    상기 모듈기반 지능형 영상 분석 장치는 팽창(Dilatation)과 침식(Erosion)연산과정을 적용해 잡음을 최소화한 움직임 영역을 구하는 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템.
  7. 삭제
  8. 제1항에 있어서,
    상기 모듈기반 지능형 영상 분석 장치는 움직임 영역이 추출되었을 때 각각의 움직임 물체의 추적을 위해서 움직임 물체에 대한 특징점을 추출하기 위해 KLT(Kanade-Lucas-Tomasi) 알고리즘과 움직임 물체의 옷의 색 특성 및 위치 정보를 이용하여 특징점을 추출하는 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템.
  9. 제1항에 있어서,
    상기 모듈기반 지능형 영상 분석 장치는 구조 정보는 윤곽선 추출 알고리즘인 GVF와 같은 Active Contour 알고리즘을 사용하는 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 시스템.
  10. 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 방법에 있어서,
    침입자 침입을 감지하기 위해서 감시 영역에서 침입자의 이동 경로를 학습하고 학습한 결과를 사람 이동 경로 학습 DB에 저장하거나, 가축의 도난을 인지하기 위해서 감시 영역에서 침입자와 가축의 이동 경로를 학습하고 학습한 결과를 사람 이동 경로 학습 DB와 가축 이동 경로 학습 DB에 저장하는 단계;
    축사 내부에 사람 침입 상황이 발생하는 단계;
    Min-Max 배경 모델링과 GMM을 융합하여 이동 객체 탐지를 위한 배경 분리 알고리즘 기능과 움직임 영역 추출 기능과 움직임 영역 잡음 제어 기능과 이동 객체 추출 기능과 HOG(Histogram of Oriented Gradient)을 이용하여 대상 영역을 일정 크기의 셀로 분할하고, 각 셀마다 에지 픽셀들의 방향에 대한 히스토그램을 구한 후 그 값들을 일렬로 연결한 벡터를 생성하여 침입자와 가축이 울타리를 이탈하는 가축의 도난 상황의 발생을 감지하는 단계;
    사람 이동 경로 학습 DB를 기반으로 사람의 비정상 이동을 인식하여 침입 상황을 감지하는 단계; 외부인 침입 상황이 발생하면, Server의 제어부에서 축사 내부의 임베디드 알람 장치 및 사용자의 스마트 폰에 실시간으로 경보를 발생하는 단계;
    사람와 가축의 이동 경로 학습 DB를 기반으로 사람와 가축의 비정상 이동을 인식하여 도난 상황을 인지하는 단계; 및
    가축의 도난 상황이 발생하면, Server의 제어부에서 축사 내부의 임베디드 알람 장치 및 사용자의 스마트폰과 인터넷을 통해 유관기관에 실시간으로 경보를 발생하는 단계;를 포함하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 방법.
  11. 제10항에 있어서,
    상기 축사 내부에 사람 침입 상황이 발생하는 단계는,
    사람이 축사 내부에 진입하거나 축사의 외벽으로 진입하는 단계;
    가축우리 내 사람의 출현 단계;
    사람의 비정상 이동 경로 인식 단계;
    사람이 정상 이동 경로를 이탈하여 가축의 우리로 진입 단계;로 구성되고, 사람과 가축이 울타리를 이탈하는 가축의 도난 상황이 발생하는 단계는, 사람과 가축이 울타리 이탈 단계;
    사람의 이동 경로가 가축의 이동 경로와 유사한 단계;
    가축이 정상 이동 경로를 이탈하는 단계;
    감시 구역 내 침입자 없음 단계;로 구성되는 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 방법.
  12. 제10항에 있어서,
    사람 이동 경로 학습 DB와 가축 이동 경로 학습 DB에 저장하는 단계는,
    사람과 가축의 이동 경로를 정상 이동 경로와 비정상 이동 경로로 분류하여 학습하고 학습 결과를 각각 DB에 저장하는 단계;
    사람을 감지하기 위해 사람의 이동경로 학습 DB를 기반으로 사람의 비정상 이동을 인식하여 침입 상황을 감지하는 단계; 및
    사람과 가축의 이동경로 학습 DB를 기반으로 사람과 가축의 비정상 이동을 인식하여 가축의 도난을 감지하는 단계;를 포함하되, 시간이 지날수록 이동경로 학습 DB의 데이터가 늘어남에 따라 가축과 사람의 정상/비정상 이동 인식 오류는 감소하는 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 방법.
  13. 제10항에 있어서,
    가축의 도난 상황의 발생을 감지하는 단계는,
    축사 내 관심 영역 설정 모듈로 지능형 관심영역(ROI, Region of Interest)설정을 위해 소벨 오퍼레이터(Sobel Operator)를 통한 입력 영상 에지 추출 기능과 횡방향 에지 그룹화 기능과 관심 영역 펜스 자동 설정하는 단계;인 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 방법.
  14. 제10항에 있어서,
    가축의 도난 상황의 발생을 감지하는 단계는,
    축사 내 이동 객체 인식 모듈로 Min-Max 배경 모델링과 GMM을 융합하여 이동 객체 탐지를 위한 배경 분리 알고리즘 기능과 움직임 영역 추출 기능과 움직임 영역 잡음 제어 기능과 이동 객체를 추출하는 단계;인 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 방법.
  15. 제10항에 있어서,
    가축의 도난 상황의 발생을 감지하는 단계는,
    분류 모듈로 HOG 모델링 방법을 이용한 기하학 정보 추출 기능과 객체 분류 알고리즘 기능과 가축/침입자 분류하는 단계;인 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 방법.
  16. 제10항에 있어서,
    가축의 도난 상황의 발생을 감지하는 단계는,
    조명 변화에 둔한 HSI color model과 이를 정규화한 qualified HSI model을 이용하여 영상차를 적용한 뒤 움직임 영역을 추출하는 단계;인 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 방법.
  17. 제10항에 있어서,
    가축의 도난 상황의 발생을 감지하는 단계는,
    팽창(Dilatation)과 침식(Erosion) 연산작용을 적용해 잡음을 최소화한 움직임 영역을 구하는 단계;인 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 방법.
  18. 제10항에 있어서,
    가축의 도난 상황의 발생을 감지하는 단계는,
    공간상의 정보(Spatial Gradient)와 시간상의 정보(Temporal Gradient)를 이용한 물체 추출하는 단계;인 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 방법.
  19. 제10항에 있어서,
    가축의 도난 상황의 발생을 감지하는 단계는,
    움직임 영역이 추출되었을 때 각각의 움직임 물체의 추적을 위해서 움직임 물체에 대한 특징점을 추출하기 위해, KLT(Kanade-Lucas-Tomasi) 알고리즘과 움직임 물체의 옷의 색 특성 및 위치 정보를 이용하여 특징점을 추출하는 단계;인 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 방법.
  20. 제10항에 있어서,
    가축의 도난 상황의 발생을 감지하는 단계는,
    윤곽선 추출 알고리즘인 GVF와 같은 Active Contour 알고리즘을 사용하는 단계;인 것을 특징으로 하는 실시간 가축 도난 방지를 위한 모듈화 기반의 지능형 영상 감시 방법.
KR1020150067504A 2015-05-14 2015-05-14 실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법 KR101716365B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150067504A KR101716365B1 (ko) 2015-05-14 2015-05-14 실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150067504A KR101716365B1 (ko) 2015-05-14 2015-05-14 실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20160135004A KR20160135004A (ko) 2016-11-24
KR101716365B1 true KR101716365B1 (ko) 2017-03-15

Family

ID=57705496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150067504A KR101716365B1 (ko) 2015-05-14 2015-05-14 실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101716365B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045385A1 (ko) * 2017-08-29 2019-03-07 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
KR20200043010A (ko) 2018-10-17 2020-04-27 포인드 주식회사 카메라 입력 영상을 딥러닝 활용한 행동 감지 시스템 및 방법
KR20230094075A (ko) 2021-12-20 2023-06-27 경희대학교 산학협력단 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102591118B1 (ko) 2023-03-27 2023-10-19 주식회사 아라(Ara) 작업 로봇의 안전관리 방법
KR102646871B1 (ko) * 2023-01-31 2024-03-13 한국축산데이터 주식회사 축사 감시 카메라를 이용한 환경 변화 탐지 장치 및 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101884611B1 (ko) 2017-02-23 2018-08-02 이노뎁 주식회사 이동객체의 메타데이터 필터링을 이용한 cctv 영상의 관심객체 추출 방법
KR102040276B1 (ko) 2017-09-15 2019-11-04 서원대학교산학협력단 축산 지식 정보를 기반으로 하는 가축의 사양관리 시스템
CN108508782B (zh) * 2018-01-29 2019-12-03 江苏大学 基于arm的猪只行为跟踪识别监控装置及方法
KR101994037B1 (ko) * 2018-02-23 2019-06-27 우석대학교 산학협력단 과수원 도난방지 안전알림시스템
KR102019301B1 (ko) * 2018-04-24 2019-09-06 군산대학교 산학협력단 농축산 도난을 감지하는 영상 감시 장치 및 그 방법
KR102052110B1 (ko) * 2018-05-24 2019-12-04 군산대학교 산학협력단 딥 러닝에 기반하여 농축산 도난을 감지하는 영상 감시 장치 및 그 방법
KR101972743B1 (ko) * 2018-06-27 2019-04-25 (주)비전정보통신 셉티드 조명장치 기반 범죄행동인식을 이용한 상황 알림 서비스 제공 방법
CN110060441A (zh) * 2019-06-14 2019-07-26 三星电子（中国）研发中心 用于终端防盗的方法和装置
KR102300229B1 (ko) * 2019-07-22 2021-09-08 전주대학교 산학협력단 인공지능을 이용한 스마트 팜 원격 경보 시스템
KR102351274B1 (ko) * 2020-07-23 2022-01-17 최상범 경보기능을 가지는 자전거 자물쇠

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101454644B1 (ko) * 2013-04-30 2014-10-27 순천향대학교 산학협력단 보행자 추적기를 이용한 서성거림을 탐지하는 방법
KR101470316B1 (ko) 2014-08-11 2014-12-09 (주)엔토스정보통신 촬영 영역의 특성 설정에 따른 위험 감지 ｃｃｔｖ 시스템 및 그 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980068917A (ko) 1997-02-25 1998-10-26 박세진 원격통신에 의한 농장관리 시스템
KR100396820B1 (ko) 2001-03-29 2003-09-03 (주)오케이사이버 셋톱박스와 아이피 어드레스를 이용한 아파트 단지 내의정보 제공 방법
KR100700877B1 (ko) 2005-04-27 2007-03-29 에스케이 텔레콤주식회사 유비쿼터스 기반의 농장 관리 시스템 및 그 방법
KR100908215B1 (ko) 2007-11-14 2009-07-20 주식회사아리랑비앤에스 시디엠에이 망을 이용한 농축산물 시설관리 시스템 및 그방법
KR101002966B1 (ko) 2008-01-02 2010-12-21 (주)노매딕텍스 네트워크 클러스터링 장치를 기반으로 하는 농축산물 생육 감시관리 방법
KR20100050226A (ko) * 2008-11-05 2010-05-13 주식회사 지.아이.티 다중단계 감시영역 설정에 의한 영상검지시스템
KR20120026889A (ko) 2010-09-10 2012-03-20 엘지이노텍 주식회사 가축의 실시간 관리를 위한 ｒｔｌｓ 태그와 이를 이용한 가축 관리 시스템
KR101170819B1 (ko) 2011-03-03 2012-08-02 (주)사이 축산용 현장 소리 실시간 알림시스템
KR101194690B1 (ko) 2012-03-20 2012-10-29 주식회사 에스엠이씨 가축 위치 인식 장치 및 그 방법
KR101342158B1 (ko) 2012-08-23 2013-12-18 주식회사 에스티엠 가축개체정보 인식 및 관리가 용이한 축사 관리 시스템
KR20150031059A (ko) * 2013-09-13 2015-03-23 유하영 패턴 인식 기술에 의한 범죄 예방 폐쇄 회로 티비 장치 개선

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101454644B1 (ko) * 2013-04-30 2014-10-27 순천향대학교 산학협력단 보행자 추적기를 이용한 서성거림을 탐지하는 방법
KR101470316B1 (ko) 2014-08-11 2014-12-09 (주)엔토스정보통신 촬영 영역의 특성 설정에 따른 위험 감지 ｃｃｔｖ 시스템 및 그 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045385A1 (ko) * 2017-08-29 2019-03-07 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
US11354882B2 (en) 2017-08-29 2022-06-07 Kitten Planet Co., Ltd. Image alignment method and device therefor
KR20200043010A (ko) 2018-10-17 2020-04-27 포인드 주식회사 카메라 입력 영상을 딥러닝 활용한 행동 감지 시스템 및 방법
KR20230094075A (ko) 2021-12-20 2023-06-27 경희대학교 산학협력단 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102646871B1 (ko) * 2023-01-31 2024-03-13 한국축산데이터 주식회사 축사 감시 카메라를 이용한 환경 변화 탐지 장치 및 방법
KR102591118B1 (ko) 2023-03-27 2023-10-19 주식회사 아라(Ara) 작업 로봇의 안전관리 방법

Also Published As

Publication number Publication date
KR20160135004A (ko) 2016-11-24

Similar Documents

Publication Publication Date Title
KR101716365B1 (ko) 실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법
US10936655B2 (en) Security video searching systems and associated methods
US8614744B2 (en) Area monitoring using prototypical tracks
US9396400B1 (en) Computer-vision based security system using a depth camera
US10769913B2 (en) Cloud-based video surveillance management system
US9740921B2 (en) Image processing sensor systems
Cheong et al. Practical automated video analytics for crowd monitoring and counting
CN109757395A (zh) 一种宠物行为检测监控系统及方法
KR102397837B1 (ko) 엣지 컴퓨팅 기반 보안 감시 서비스 제공 장치, 시스템 및 그 동작 방법
US11308792B2 (en) Security systems integration
KR20220000226A (ko) 엣지 컴퓨팅 기반 지능형 보안 감시 서비스 제공 시스템
KR20220000216A (ko) 딥러닝 분산 처리 기반 지능형 보안 감시 서비스 제공 장치
Nishanthini et al. Smart Video Surveillance system and alert with image capturing using android smart phones
KR20220064213A (ko) 보안 감시 장치의 동작 프로그램
KR20220000209A (ko) 딥러닝 분산 처리 기반 지능형 보안 감시 장치의 동작 프로그램이 기록된 기록매체
KR20220000175A (ko) 엣지 컴퓨팅 기반 지능형 보안 감시 서비스 제공 장치의 동작방법
Liang et al. Real time intrusion detection system for outdoor environment
KR102397839B1 (ko) Ａｉ 영상 자율 센서의 영상 분석 기반 캡션 센서 장치 및 그 동작 방법
US20210295054A1 (en) Ground plane filtering of video events
Kalshetty et al. The various surveillance and detection techniques based on wireless sensor networks
KR20220000189A (ko) 엣지 컴퓨팅 기반 지능형 보안 감시 서비스 제공 장치
KR20220000202A (ko) 딥러닝 분산 처리 기반 지능형 보안 감시 장치의 동작방법
KR20220031258A (ko) 상담 이벤트에 대응되는 학습 데이터 기반 능동형 보안관제 서비스 제공 방법
KR20220000204A (ko) 딥러닝 분산 처리 기반 지능형 보안 감시 장치의 동작 프로그램
KR20220031276A (ko) 능동형 보안 관제 상담 서비스 제공 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200217

Year of fee payment: 4