KR101696801B1 - 사물 인터넷(IoT) 카메라 기반의 통합 영상 감시 시스템 - Google Patents

사물 인터넷(IoT) 카메라 기반의 통합 영상 감시 시스템 Download PDF

Info

Publication number
KR101696801B1
KR101696801B1 KR1020160137372A KR20160137372A KR101696801B1 KR 101696801 B1 KR101696801 B1 KR 101696801B1 KR 1020160137372 A KR1020160137372 A KR 1020160137372A KR 20160137372 A KR20160137372 A KR 20160137372A KR 101696801 B1 KR101696801 B1 KR 101696801B1
Authority
KR
South Korea
Prior art keywords
camera
unit
internet camera
object internet
information
Prior art date
Application number
KR1020160137372A
Other languages
English (en)
Inventor
이형각
김호군
Original Assignee
이형각
김호군
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이형각, 김호군 filed Critical 이형각
Priority to KR1020160137372A priority Critical patent/KR101696801B1/ko
Application granted granted Critical
Publication of KR101696801B1 publication Critical patent/KR101696801B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N5/232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 사물 인터넷 카메라 기반의 통합 영상 감시 시스템에 관한 것으로서, 통신을 지원하며 카메라에 의해 촬상된 영상을 분석하여 이벤트 발생을 검출할 수 있도록 된 다수의 사물 인터넷 카메라 유니트들과, 사물 인터넷 카메라 유니트들과 통신을 수행할 수 있게 통신망에 접속된 통합관리서버를 구비하고, 사물 인터넷 카메라 유니트는 주변 사물 인터넷 카메라 리스트 파일에 주변 사물 인터넷 카메라 유니트들에 대한 정보가 기록된 기억부와, 카메라에 의해 촬상된 영상으로부터 설정된 이벤트가 발생했는지를 검출하고, 검출된 이벤트 발생정보가 통합감시조건에 해당하면 상기 기억부에 등록된 주변 사물 인터넷 카메라 유니트들에게 이벤트 발생정보에 해당하는 객체의 추적을 요청하는 통합감시 요청메시지를 통신부를 통해 전송처리하는 단말 제어부를 구비한다. 이러한 사물 인터넷 카메라 기반의 통합 영상 감시 시스템에 의하면, 사물 인터넷 카메라 유니트 각각이 사고와 관련된 이벤트를 검출하고, 상호 네트워킹하면서 추적대상 객체를 추적할 수 있어 통합관리서버의 연산부담을 완화시키면서 감시 확장성이 용이한 장점을 제공한다.

Description

사물 인터넷(IoT) 카메라 기반의 통합 영상 감시 시스템{integrated image monitoring system based on IoT camera}
본 발명은 사물 인터넷 카메라 기반의 통합 영상 감시 시스템에 관한 것으로서, 상세하게는 도로상에 설치된 복수 개의 사물 인터넷 카메라 유니트들이 상호 네트워킹 하면서 도로상에서 발생하는 사고를 감시하고 추적할 수 있도록 된 사물 인터넷 카메라 기반의 통합 영상 감시 시스템에 관한 것이다.
감시 카메라 시스템은 하드웨어적인 측면에서 볼 때, 단순한 녹화 기능만을 제공하던 아날로그 폐쇄회로 TV(CCTV: Closed Circuit TV) 시스템에서 디지털화된 저장 매체를 이용한 DVR(Digital Video Recorder) 시스템, 네트워크 상에 비디오 서버를 두고 비디오를 저장 및 관리하는 네트워크 시스템, 인터넷 통신 기능과 비디오 압축 기술을 탑재한 IP(Internet Protocol) 카메라를 사용한 네트워크 시스템으로 개발이 진행되어 왔다. 추가적으로, 하드웨어의 성능향상과 사물인터넷(IoT;Internet of things) 기술의 발달로 IoT 기능이 탑재된 지능형 카메라 시스템으로 진화되고 있다.
기존의 감시 시스템은 광역 감시카메라와 다수의 PTZ 카메라를 상호 연동시켜 광역의 지역에 대한 감시를 수행하는 형태이거나 보안이 요구되는 시설에서의 특정 이벤트를 검출하여 경보를 발령하는 시스템의 형태로 개발이 되어 왔다.
이러한 종래의 감시 시스템은 등록특허 제10-1425505호, 등록특허 제10-1417930호 등 다양하게 게시되어 있다.
한편, 감시 카메라에서 취득된 영상이 서버에 전달되고 서버에서 영상에 대한 처리 및 분석을 수행하는 기존의 감시 시스템은 서버에 지나치게 연산처리 부하가 걸리는 문제점과 감시 시스템의 확장에 한계가 있다는 문제점이 있다.
본 발명은 상기와 같은 문제점을 개선하기 위하여 창안된 것으로서, 사물 인터넷 기반 카메라를 이용하여 서버의 연산처리부담을 완화시키고, 감시 확장성이 용이한 사물 인터넷 카메라 기반의 통합 영상 감시 시스템을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 사물 인터넷 카메라 기반의 통합 영상 감시 시스템은 통신을 지원하며 카메라에 의해 촬상된 영상을 분석하여 이벤트 발생을 검출할 수 있도록 된 다수의 사물 인터넷 카메라 유니트들과; 상기 사물 인터넷 카메라 유니트들과 통신을 수행할 수 있게 통신망에 접속된 통합관리서버;를 구비하고, 상기 사물 인터넷 카메라 유니트는 주변 사물 인터넷 카메라 리스트 파일에 주변 사물 인터넷 카메라 유니트들에 대한 정보가 기록된 기억부와; 카메라에 의해 촬상된 영상으로부터 설정된 이벤트가 발생했는지를 검출하고, 검출된 이벤트 발생정보가 통합감시조건에 해당하면 상기 기억부에 등록된 주변 사물 인터넷 카메라 유니트들에게 이벤트 발생정보에 해당하는 객체의 추적을 요청하는 통합감시 요청메시지를 통신부를 통해 전송처리하는 단말 제어부;를 구비하고, 상기 단말 제어부는 상기 카메라로부터 수신된 영상으로부터 폭력, 납치, 보행자 추돌사고, 뺑소니 사고 중 적어도 하나를 검출하는 이벤트 검출부와; 주변 사물 인터넷 카메라 유니트들의 배치변동상황에 대응하여 네트워크 설정 및 관리를 수행하고 상기 주변 사물 인터넷 카메라 리스트 파일을 갱신하는 네트워크 설정 관리부와; 상기 이벤트 검출부로부터 이벤트가 검출되면 검출된 이벤트에 대해 이벤트 고유식별정보를 부여하고, 발생일시, 발생 위치, 이벤트 영상정보를 포함한 이벤트 발생정보를 상기 기억부에 저장처리하고, 상기 이벤트 발생정보가 통합감시조건에 해당하면 상기 기억부에 등록된 주변 사물 인터넷 카메라 유니트들에게 이벤트 발생정보에 해당하는 객체의 추적을 요청하는 통합감시 요청메시지를 통신부를 통해 전송처리하는 연계 감시부와; 주변 사물 인터넷 카메라 유니트로부터 상기 통신부를 통해 통합감시 요청메시지가 수신되면, 수신된 통합감시 요청메시지에 포함된 정보를 이용하여 객체 추적을 수행하는 객체 추적부;를 구비한다.
바람직하게는 상기 네트워크 설정관리부는 입력부를 통해 신규 설정모드로 설정되면, 상기 입력부를 통해 입력된 자체 카메라의 위치값과, 멀티캐스트 그룹 ID 입력정보를 상기 기억부에 저장하고, 저장된 멀티캐스트 그룹 ID 입력정보를 이용하여 네트워크 설정 요청 메시지를 주변 사물인터넷 카메라 유니트에 전송하고, 주변 사물인터넷 카메라유니트로부터 수신된 거리정보를 이용하여 주변 사물인터넷 카메라유니트에 대해 거리가 가까운 주변 사물인터넷 카메라유니트부터 시작하여 거리가 제일 먼 주변 사물인터넷 카메라유니트까지 순차적으로 도로상의 도로 이동 경로를 확인하여 도로 이동 경로에 타 주변 사물인터넷 카메라유니트가 존재하고 있으면 해당 주변 사물인터넷 카메라유니트 정보는 삭제하고, 도로이동 경로에 타 주변 사물인터넷 카메라 유니트가 존재하지 않으면 직접연결조건에 해당하는 것으로 판단하여 상기 주변 사물인터넷 카메라 리스트 파일에 해당 주변 사물인터넷 카메라 유니트의 정보를 등록하고, 상기 주변 사물인터넷 카메라 리스트 파일에는 등록된 주변 사물 인터넷 카메라의 IP주소, 총 도로 이동 경로 갯수, 각 도로 이동 경로별 이동 거리 및 소요시간 정보가 기록되게 처리하고, 상기 주변 사물인터넷 카메라 리스트 파일에 등록된 주변 사물인터넷 카메라에 네트워크 정보 갱신 요청 메시지를 유니캐스트로 전송한다.
본 발명에 따른 사물 인터넷 카메라 기반의 통합 영상 감시 시스템에 의하면, 사물 인터넷 카메라 유니트 각각이 사고와 관련된 이벤트를 검출하고, 상호 네트워킹하면서 추적대상 객체를 추적할 수 있어 통합관리서버의 연산부담을 완화시키면서 감시 확장성이 용이한 장점을 제공한다.
도 1은 본 발명에 따른 사물 인터넷 카메라 기반의 통합 영상 감시 시스템을 나타내 보인 도면이고,
도 2는 도 1의 사물 인터넷 카메라 유니트의 상세 블록도이고,
도 3은 도 2의 네트워크 설정 관리부의 신규설정시의 처리과정을 나타내 보인 플로우도이고,
도 4는 도 2의 네트워크 설정 관리부의 신규설정시의 주변 사물 인터넷 카메라 유니트 정보의 등록과정을 설명하기 위한 도면이고,
도 5는 도 2의 네트워크 설정 관리부의 응답이 없는 주변 사물 인터넷 카메라 유니트의 처리과정을 설명하기 위한 도면이고,
도 6은 도 2의 네트워크 설정 관리부의 응답이 없는 주변 사물 인터넷 카메라 유니트의 처리과정을 설명하기 위한 벡터 계산과정을 설명하기 위한 도면이고,
도 7은 도 1의 사물 인터넷 카메라 유니트의 제어과정을 나타내 보인 플로우도이고,
도 8은 도 2의 단말제어부의 객체 추적과정을 설명하기 위한 도면이고,
도 9는 도 2의 이벤트 검출부의 상세 블록도이고,
도 10는 도 9의 이벤트 검출부의 보행자 추돌 검출과정을 나타내 보인 플로우도이고,
도 11은 도 10의 보행자 추돌여부검출 과정을 상세하게 나타내 보인 플로우도이고,
도 12는 도 1의 카메라에 의해 촬상된 영상화면들로부터 보행자의 머리 및 자동차의 추적 과정을 설명하기 위한 영상화면들이고,
도 13은 도 1의 카메라에 의해 촬상된 영상화면들로부터 보행자의 머리 부분 추적을 통해서 보행자 움직임 벡터와 움직임 벡터의 각도를 산출하는 과정의 예를 나타내 보인 도면이다.
이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 실시예에 따른 사물 인터넷 카메라 기반의 통합 영상 감시 시스템을 더욱 상세하게 설명한다.
도 1은 본 발명에 따른 사물 인터넷 카메라 기반의 통합 영상 감시 시스템을 나타내 보인 도면이고, 도 2는 도 1의 사물 인터넷 카메라 유니트의 상세 블록도이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 사물 인터넷 카메라 기반의 통합 영상 감시 시스템(100)은 다수의 사물 인터넷(IoT) 카메라 유니트(110)과, 통합관리서버(170)를 구비한다.
사물 인터넷 카메라 유니트(110)는 통신을 지원하며, 감시대상 영역을 촬상하고, 촬상된 영상을 분석하여 이벤트 발생을 검출할 수 있도록 되어 있다.
사물 인터넷 카메라 유니트(110)는 도로 예를 들면 교차로 영역을 감시대상영역으로 촬상할 수 있도록 설치될 수 있다.
사물 인터넷 카메라 유니트(110)는 카메라(112), 입력부(121), 단말 제어부(130), 기억부(141) 및 통신부(143)를 구비한다.
카메라(112)는 팬(Pan), 틸트(Tilt), 줌(Zoom) 기능을 지원하는 PTZ 카메라가 적용되는 것이 바람직하다.
입력부(121)는 설정에 필요한 정보를 단말제어부(130)의 지원하에 입력할 수 있도록 되어 있다.
기억부(141)는 단말 제어부(130)에 제어되며, 주변 사물인터넷 카메라 리스트 파일(142)에는 주변 사물 인터넷 카메라 유니트들에 대한 고유식별정보, 아이피(IP) 주소, 거리, 차량을 기준으로 한 이동시간 등이 기록되어 있다.
또한, 기억부(141)에는 이벤트 발생여부를 판단하기 위한 비교패턴 이미지가 기록되어 있을 수 있다.
단말 제어부(130)는 카메라(112)의 구동을 제어하고, 카메라(112)에서 수신된 영상으로부터 이벤트가 발생했는지를 검출하고, 통신부(143)를 통해 수신된 메시지를 처리한다.
단말 제어부(130)는 카메라(112)에 의해 촬상된 영상으로부터 설정된 이벤트가 발생했는지를 검출하고, 검출된 이벤트 발생정보가 통합감시조건에 해당하면 기억부(141)에 등록된 주변 사물 인터넷 카메라 유니트들에게 이벤트 발생정보에 해당하는 객체의 추적을 요청하는 통합감시 요청메시지를 통신부(143)를 통해 전송처리한다.
단말 제어부(130)는 네트워크 설정관리부(131), 이벤트 검출부(133), 연계 감시부(135) 및 객체 추적부(137)를 구비한다.
네트워크 설정관리부(131)는 주변 사물 인터넷 카메라 유니트들의 배치변동상황에 대응하여 네트워크 설정 및 관리를 수행하고, 상세한 설명은 후술한다.
이벤트 검출부(133)는 카메라(112)로부터 수신된 영상으로부터 폭력, 납치, 보행자 추돌사고, 뺑소니 사고 중 적어도 하나를 검출하도록 되어 있다.
이벤트 검출부(133)의 이벤트 검출방식은 기억부(141)에 기록된 비교이미지와의 일치여부를 통해 검출하는 방식 또는 영상의 움직임 객체들에 대한 객체 종류인식 및 움직임 추적을 통해 검출하는 방식 등 적적한 이벤트 추출방식을 적용하면되고 상세한 설명은 후술한다.
연계 감시부(135)는 이벤트 검출부(133)로부터 이벤트가 검출되면 검출된 이벤트에 대해 이벤트 고유식별정보를 부여하고, 발생일시, 발생 위치(경도, 위도, 주소 등) 이벤트 영상정보를 포함한 이벤트 발생정보를 기억부(141)에 저장처리하고, 이벤트 발생정보를 통합관리서버(170)에 통신망(150)을 통해 전송처리한다.
또한, 연계감시부(135)는 이벤트 발생정보가 통합감시조건에 해당하면 기억부(141)에 등록된 주변 사물 인터넷 카메라 유니트들에게 이벤트 발생정보에 해당하는 객체의 추적을 요청하는 통합감시 요청메시지를 통신부(143)를 통해 전송처리한다.
연계 감시부(135)에서 전송하는 통합요청메시지에는 이벤트 발생 객체를 영상처리에 의해 추적할 수 있도록 객체의 형상에 대한 객체 특징정보와, 카메라 위치, 이벤트 발생일시가 포함된다.
객체의 형상에 대한 객체 특징정보는 객체의 컬러, 형상, 또는 SIFT(Scale Invariant Feature Transform) 특징 등이 적용될 수 있다.
한편, 연계 감시부(135)에 설정된 통합감시 조건은 다양하게 설정될 수 있고, 일 예로서, 연계 감시부(135)에는 검출된 이벤트 발생정보의 움직임 객체가 설정된 기준시간 이내에 사고지역을 이탈하면 통합감시조건에 해당하는 것으로 판단하도록 설정될 수 있다.
객체 추적부(137)는 주변 사물 인터넷 카메라 유니트로부터 통신부(143)를 통해 통합감시 요청메시지가 수신되면, 수신된 통합감시 요청메시지에 포함된 정보를 이용하여 객체 추적을 수행한다.
통합관리서버(170)는 사물 인터넷 카메라 유니트(110)들과 통신을 수행할 수 있게 통신망(150)에 접속되어 수신된 이벤트 발생정보를 기록처리하고, 관리자에게 열람가능하게 제공한다.
또한, 통합관리서버(170)는 통합감시 대상으로 요청된 객체에 대한 추적이 종료되는 경우 모는 사물 인터넷 카메라 유니트(110)에 추적이 종료됐음을 알리는 신호를 전송한다.
이하에서는 이러한 사물 인터넷 카메라 유니트(110)가 신규로 설치되는 경우 의 네트워크 설정관리부(131)의 처리과정을 도 3을 참조하여 설명한다. 참고로 도 3에서는 자체 카메라를 설명의 이해를 돕기 위해 신규카메라로 표기하고, 주변 사물인터넷 카메라 유니트를 이미 설치되어 있던 카메라로 표기하였다.
먼저, 입력부(121)를 통해 신규 설정모드로 설정되면, 입력부(121)를 통해 입력된 자신의 카메라(신규카메라)의 경도 및 위도를 포함하는 위치값과, 멀티캐스트 그룹 ID 입력정보를 기억부(141)에 저장처리한다(단계 210).
다음은 저장된 멀티캐스트 그룹 ID 입력정보를 이용하여 네트워크 설정 요청 메시지를 주변 사물인터넷 카메라 유니트에 전송한다(단계 220).
이 경우 이미 설치되어 있던 주변 사물인터넷 카메라 유니트들은 수신된 네트워크 설정 메시지에 포함된 신규 카메라의 위치정보를 이용하여 거리를 계산하고 계산된 거리정보를 네트워크 설정 요청 메시지를 송신한 카메라 유니트에 전송한다(단계 230).
다음은 주변 사물인터넷 카메라유니트로부터 거리정보를 수신하고(단계 240), 수신된 거리정보를 이용하여 주변 사물인터넷 카메라유니트에 대해 거리가 가까운 주변 사물인터넷 카메라유니트부터 시작하여 거리가 제일 먼 주변 사물인터넷 카메라유니트까지 순차적으로 도로상의 도로 이동 경로를 확인하여 도로 이동 경로에 타 주변 사물인터넷 카메라유니트가 존재하고 있으면 해당 주변 사물인터넷 카메라유니트 정보는 삭제하고, 도로이동 경로에 타 주변 사물인터넷 카메라 유니트가 존재하지 않으면 직접연결조건에 해당하는 것으로 판단하여 주변 사물인터넷 카메라 리스트 파일에 해당 주변 사물인터넷 카메라 유니트의 정보를 등록한다(단계 260).
이러한 과정은 거리정보를 수신한 카메라들에 대해 모두 수행한다.
여기서, 주변 사물인터넷 카메라 리스트 파일에는 등록된 주변 사물 인터넷 카메라의 IP주소, 총 도로 이동 경로 갯수, 각 도로 이동 경로별 이동 거리 및 소요시간 정보가 기록되게 처리한다.
다음은 주변 사물인터넷 카메라 리스트 파일에 등록된 주변 사물인터넷 카메라에 네트워크 정보 갱신 요청 메시지를 유니캐스트로 전송한다(단계 280).
한편, 단계 280의 과정을 거쳐 네트워크 정보 갱신 요청 메시지를 수신한 주변 사물인터넷 카메라유니트는 자신의 기억부의 주변 사물인터넷 카메라 리스트 파일에 갱신요청된 주변 사물 인터넷 카메라유니트 정보를 추가하고(단계 310), 주변 사물 인터넷 카메라 리스트 파일에 이전에 등록되어 있는 주변 사물인터넷 카메라유니트 정보 중 신규로 추가한 주변사물 인터넷 카메라 유니트에 의해 직접연결되는 조건에 해당하지 않은 주변 사물인터넷 카메라유니트의 정보는 삭제 처리한다.
즉, 신규설치된 카메라가 주변 사물 인터넷 카메라 리스트 파일에 이전에 등록되어 있는 주변 사물인터넷 카메라유니트와의 경로상에 존재하는지를 판단하고(단계 320), 존재하는 것을 판단되면 직접연결조건에 해당하지 않는 것으로 처리하여 해당 주변 사물인터넷 카메라유니트의 정보는 삭제 처리한다(단계 330).
이러한 과정을 도 4를 참조하여 더욱 상세하게 설명한다.
도 4는 앞서 설명된 신규 카메라를 카메라1로 기재하고, 카메라1을 추가하기 전에 3대의 카메라가 설치되어 있는 상황을 예시한다.
앞서 설명된 바와 같이 각 카메라와 카메라1과의 거리를 계산한 결과 카메라2, 카메라3, 카메라N의 순서로 소팅이 된다고 하면, 먼저 카메라1에서 카메라2로의 이동 경로를 확인한다. 도 4에 나타난것과 같이 카메라2로의 이동 경로는 2개가 존재하며, 두 개의 경로상에는 다른 카메라가 존재하지 않는다. 그러므로 2개의 경로정보를 파일에 저장한다.
이는 차량이 2개의 경로를 통해서 이동할 수 있음을 의미한다. 이제 카메라1과 카메라3으로의 경로를 확인한다. 이동 경로는 도 4에 화살표로 나타낸것과 같이 하나의 경로만이 존재하며 해당 경로상에는 다른 카메라가 존재하지 않는다. 그러므로 아래의 표 1과 같이 카메라3의 정보를 저장한다. 마지막으로 카메라1에서 카메라N으로의 경로를 확인한다. 이 경우 여러 경로가 존재할 수 있으나 중간에 다른 카메라를 경유하지 않는 경로는 도 4에 표시된 경로 하나임을 의미한다.
이와 같은 과정을 통해서 카메라 신규 설치에 따른 신규 카메라와 기존의 카메라와의 연결관계를 자동으로 설정하여 처리한다.
아래의 표 1은 이러한 과정을 거친 후에 생성된 “주변 IoT 카메라 리스트”파일의 예이다.
No IP Address 위치(위도, 경도) 총 경로 갯수 경로 번호 거리(km) 시간(분) 기타
1 211.51.221.204 (35.221856, 126.846009) 0 본카메라
2 211.51.223.127 (35.217841, 126.848734) 2 1 0.506 1 카메라2
2 1.15 2
3 210.89.224.233 (35.221910, 126.852864) 1 1 0.76 1 카메라3
N 210.89.224.235 (35.217726, 126.852864) 1 1 1.26 2 카메라N
표 1의 파일의 첫 번째 줄은 현재 카메라의 정보(카메라1 정보)를 의미하며, 나머지 줄은 네트워크 상에 존재하는 직접 연결된(중간에 다른 카메라가 없는 것을 의미함) 카메라의 IP주소, 위치, 카메라1에서 해당 카메라로의 경로 개수, 경로상의 이동 거리 및 소요 시간 정보를 의미한다. 이 파일에서는 카메라1에 카메라2, 카메라3, 카메라N, 총 3대의 카메라가 주변에 존재하고 있으며 카메라1을 통과한 객체가 카메라2, 카메라3, 혹은 카메라N에 나타나게 됨을 의미한다.
카메라1의 “주변 IoT 카메라 리스트”파일 생성이 종료되면, 신규 설치된 카메라1과 직접 연결되어 있는 카메라2, 카메라3, 카메라N, 즉 카메라1에 생성된 “주변 IoT 카메라 리스트”파일에 등록된 주변 카메라에 저장되어 있는 네트워크 정보 파일도 갱신이 필요하다. 이를 위해, 카메라1의 파일에 등록된 모든 카메라에 신규 설치된 IoT 카메라 정보를 추가하도록 네트워크 갱신 요청 메시지를 전달한다.
또한, 카메라 네트워크 갱신 요청 메시지를 전달받은 카메라2, 카메라3, 카메라N은, 각각 자체에 저장중인 “주변 IoT 카메라 리스트”파일에 추가 설치된 카메라 정보를 등록하고, 이미 파일에 등록되어 있던 카메라와의 경로를 다시 확인한다. 이는 추가로 등록된 신규 카메라가 기존에 등록된 카메라와의 경로상에 존재하는 경우를 찾아내기 위함이다. 신규 추가된 카메라가 기존에 직접 연결되어 있던 카메라와의 경로상에 위치하게 되면 기존 카메라와의 직접 연결 관계를 해제해 주어야 한다. 이를 통해서 네트워크 정보가 갱신 완료 되게 된다.
한편, 네트워크 설정관리부(131)는 주변 사물인터넷 카메라 리스트 파일에 등록된 주변 사물인터넷 카메라 유니트에 동작 확인 메시지를 주기적으로 전송하고, 동작확인 메시지에 대해 설정된 대기시간 동안 응답신호가 수신되지 않으면, 응답신호가 수신되지 않은 주변 사물인터넷 카메라 유니트는 고장으로 판단하고, 네트워킹 정보를 갱신하는 과정을 수행한다.
네트워크 설정관리부(131)는 응답신호가 수신되지 않은 주변 사물인터넷 카메라 유니트가 검출되면, 멀티캐스팅으로 자체 카메라에 대한 경도, 위도를 포함한 카메라 네트워크 정보 갱신 요청 메시지를 주변 사물 인터넷 카메라유니트에 전송하고, 응답이 온 사물인터넷 카메라유니트 중에서 주변 사물인터넷 카메라 리스트 파일에 등록되어 있지 않으면서 자신과의 거리가 설정된 기준 범위 이내 이면서 자신과 응답신호가 수신되지 않은 주변 사물인터넷 카메라유니트를 이은 선분인 제1벡터와 자신과 응답이 온 주변 사물인터넷 카메라유니트를 이은 선분인 제2벡터가 이루는 내각의 각도(θ)의 절대값이 90도 이내인 조건을 모두 만족하는 주변 사물인터넷 카메라유니트를 선택한다.
이후, 선택된 주변 사물인터넷 카메라유니트들에 대한 도로 이동 경로 상에 응답이 없는 주변 사물인터넷 카메라유니트를 포함하고 있으며, 다른 주변 사물인터넷 카메라유니트가 도로 이동 경로상에 없으면 자신과 해당 주변 사물인터넷 카메라유니트가 직접 연결된 것으로 판정하고 해당 주변 사물인터넷 카메라 유니트를 주변 사물인터넷 카메라 리스트 파일에 추가하고, 응답이 없는 주변 사물인터넷 카메라유니트 정보를 주변 사물인터넷 카메라 리스트 파일에서 삭제처리한다.
그리고 나서, 주변 사물인터넷 카메라 리스트 파일의 갱신이 종료되면, 신규로 등록된 주변 사물인터넷 카메라유니트에 네트워크 갱신 메시지를 유니캐스트로 전송한다.
이러한 과정을 도 5를 참조하여 설명한다.
도 5에서는 카메라1이 카메라2, 카메라3, 카메라N 등 직접 연결된 카메라로 동작 확인 메시지를 전송한 경우를 예시한다. 카메라1은 카메라2가 설정된 대기시간동안 응답이 없으면, 카메라2가 동작하지 않음을 판단하여, 멀티 캐스팅으로 카메라1의 경도, 위도를 포함한 카메라 네트워크 정보 갱신 요청 메시지를 주변 IoT 카메라에 전송한다.
그런데, 카메라2가 동작하지 않을 때, 네트워크 상의 모든 카메라가 아닌 카메라2 주변의 카메라만 네트워크 정보를 갱신하면 된다.
도 5의 경우에 카메라4, 카메라7의 경우에는 네트워크 정보 갱신의 필요가 없다. 이를 위해 본 발명에서는 네트워크 정보 갱신을 위해 필요한 카메라를 효과적으로 선택하기 위한 방안으로서, 먼저, 주변 IoT 카메라에서는 해당 멀티 캐스트 패킷을 수신하고, 패킷을 수신한 카메라의 경도, 위도 정보와 카메라1의 경도, 위도 정보를 이용하여 두 카메라 간의 거리를 계산하고, 계산된 거리값과 함께 패킷을 수신한 카메라의 경도, 위도 값을 카메라 네트워크 갱신 요청 메시지를 전송한 카메라1에 다시 전송한다.
따라서, 카메라1은 응답이 온 모든 IoT 카메라 중에서, 카메라1의 “주변 IoT 카메라 리스트”파일에 등록되어 있지 않고, 카메라1과의 거리가 일정 범위 이내 이면서, 도 6에서와 같이 카메라1과 응답이 없는 카메라를 이은 선분(혹은 벡터
Figure 112016102295808-pat00001
)과, 카메라1과 응답이 온 카메라와 이은 선분(혹은 벡터
Figure 112016102295808-pat00002
)이 이루는 각도 θ의 절대값이 90도 이내인 조건을 모두 만족하는 카메라를 선택한다.
이 경우 도 5의 예에서는 카메라5, 카메라6 만이 선택되는 카메라이고 나머지 카메라는 선택할 필요가 없는 카메라이다. 카메라1과 응답이 없는 카메라의 경위도 좌표를 이용하여 벡터
Figure 112016102295808-pat00003
를 계산하고, 카메라1과 응답이 온 카메라의 경위도 좌표를 이용하여 벡터
Figure 112016102295808-pat00004
를 계산하며, 두 벡터가 이루는 각도를 계산하여 사용한다. 각도는 벡터의 내적을 이용해서 구한다.
선택된 카메라와 카메라1과의 경로를 계산하고, 해당 경로가 응답이 없는 카메라를 포함하고 있으며, 다른 카메라가 경로상에 없으면 카메라1과 선택된 카메라가 직접 연결된 것으로 판정하고 카메라1의 “주변 IoT 카메라 리스트”파일에 선택된 카메라 정보를 추가하고, 응답이 없는 카메라2 정보를 “주변 IoT 카메라 리스트”파일에서 삭제하며, “주변 IoT 카메라 리스트”파일의 갱신이 종료되면, 이 리스트에 신규로 등록된 카메라에 카메라 네트워크 갱신 메시지를 전달하며, 카메라 네트워크 갱신 메시지를 전달받은 카메라는, 저장된 “주변 IoT 카메라 리스트”파일에 추가 설치된 카메라1 정보를 등록하고, 파일에서 응답없는 카메라2 정보를 삭제하여 카메라 네트워크 정보를 갱신하게 된다.
한편, 이벤트 발생시의 단말제어부(130)의 처리과정을 도 7을 통해 설명한다.
먼저, 통신부(143)를 통해 주변 사물 인터넷 카메라 유니트로부터 통합감시 요청이 있는지를 판단하고(단계 410), 통합감시 요청이 없다고 판단되면 PTZ카메라(112)로부터의 영상수신 및 수신된 영상으로부터 이벤트가 있는지를 검출하는 이벤트 검출모드를 수행한다(단계 420).
이후 이벤트가 검출됐는지를 판단하고(단계 422), 이벤트가 검출되면 검출된 이벤트 정보를 기억부(141)에 저장처리한다.
또한, 검출된 이벤트 정보에 대해 통합감시요청이 필요한 지를 판단하고(단계 426), 통합감시요청이 필요한 조건에 해당하면 이벤트정보를 포함한 통합감시요청메시지를 주변 사물 인터넷 카메라 유니트로 전송한다(단계 428).
한편, 단계 410에서 통합감시요청이 있는 것으로 판단되면, 추적객체 정보가 있는지를 판단한다(단계 440).
단계 440에서 추적객체 정보가 없다고 판단되면 추적객체정보를 요청하는 메시지를 통합감시 요청 메시지 송신 유니트로 송신처리한다(단계 450).
또한, 단계 440에서 추적객체 정보가 있는 것으로 판단되면, 추적 객체정보를 이용하여 자신의 PTZ카메라(112)에서 수신된 영상과 추적객체를 비교하여 객체를 추적하는 과정을 수행한다(단계 460).
이후 객체추적에 성공했는지를 판단하고(단계 470), 추적에 성공한 경우 객체 추적결과정보를 주변 유니트 및 통합관리서버(170)에 전송한다(단계 472).
이와는 다르게 단계 470에서 객체 추적에 성공하지 않은 것으로 판단된 경우 객체 추적요청을 해제하는 메시지가 수신됐는지를 판단한다(단계 480).
여기서 객체 추적요청 해제는 영상감시를 관리하는 관리자에 의해 통합관리서버(170)로부터 전송될 수 있다.
이와는 다르게, 단계 480에서 객체 추적요청 해제 메시지가 수신되지 않은 것으로 판단되면 단계 460으로 복귀한다.
한편, 도 8에서와 같이 제1사물 인터넷 카메라 유니트(110a)에서 가로등을 추돌한 후 사고영역을 이탈하는 차량(10)을 검출한 경우 제1사물 인터넷 카메라 유니트(110a)는 재물손괴 뺑소니 이벤트 발생정보를 기억부(141)에 저장처리하고, 통합감시조건에 해당하여 기억부(141)에 등록된 주변 사물 인터넷 카메라 유니트(110b)(110c)(110d)들에게 재물손괴 뺑소니 이벤트 발생정보 및 차량(10)의 특징 예를 들면, 차량이미지, 차량번호, 차량색상 정보와 해당 차량 객체의 추적을 요청하는 정보가 포함된 통합감시 요청메시지를 전송한다.
이때 제1사물 인터넷 카메라 유니트(110a)는 자신의 고유식별정보, 위치 및 사고 발생시간 정보도 함께 전송한다.
이 경우 주변 사물 인터넷 카메라 유니트(110b 내지 110d)는 수신된 통합감시 요청메시지로부터 파악된 추적대상 객체 정보와 제1사물 인터넷 카메라 유니트(110a)와의 가능한 경로 갯수 및 거리 및 예상 도착시간 정보를 이용하여 추적대상 객체인 차량(10)의 예상 도착시간에 맞춰 집중적인 감시를 수행할 수 있다.
한편, 이벤트 검출부(133)는 보행자 추돌을 검출하도록 구축될 수 있고 그 예를 도 9 내지 도 13을 참조하여 설명한다.
이벤트 검출부(133)는 카메라(110)에서 촬상된 영상으로부터 사람과 자동차에 대한 움직임 객체를 각각 추출하고, 사람 움직임에 대해서는 사람 움직임을 추적하면서 영상 프레임간의 사람 움직임 벡터(MVi)를 산출하고, 자동차의 움직임에 대해서는 자동차의 움직임을 추적하면서 영상 프레임간의 자동차 움직임 벡터(CMVi)를 산출하고, 산출된 사람 움직임 벡터(MVi)정보와 자동차움직임 벡터(CMVi) 정보를 이용하여 보행자 추돌을 검출하도록 구축되어 있다.
이러한 이벤트 검출부(133)는 영상취득부(133a), 객체 추출부(133b), 사람움직임 추적부(133c), 자동차 움직임 추적부(133d), 보행자 추돌판정부(133e)를 구비한다.
영상취득부(133a)는 카메라(112)에서 전송되는 영상을 저장처리한다.
객체 추출부(133b)는 영상취득부(133a)에 의해 취득된 영상에 대해 움직임 객체를 추출한다.
객체 추출부(133b)는 영상 취득부(133a)에 의해 취득된 영상에 대해 움직임 객체를 추출한다.
객체 추출부(133b)는 취득된 형상으로부터 움직임 없는 배경정보를 생성하고, 현재 영상프레임에서 배경영상의 차를 구해서 움직이는 객체를 추출하고, 추출된 움직임 객체가 사람인지 자동차 인지를 판별하여 처리한다.
또한, 객체 추출부(133b)는 움직임 객체가 사람으로 판별되면 사람의 두부영역과 몸통영역을 추출하여 제공할 수 있게 처리한다.
이러한 객체 추출부(133b)는 추출된 움직임 객체에 대해 Meanshift, Camshift, Scale Invariant Feature Transform(SIFT) 중 어느 하나를 이용하여 움직임 객체가 사람 또는 사람의 두부인지를 판별하고, 움직임 객체가 자동차인지를 Viola Jones, Support Vector Machine, Neural Network 기법 중 어느 하나를 이용하여 판별하도록 구축될 수 있다.
객체 추출부(133b)는 사람과 자동차를 인식하기 위해 예시된 영상처리기법 이외에 HOG(Histogram of Oriented Gradients) 알고리즘 등 공지된 다양한 기법을 적용할 수 있음은 물론이다.
사람움직임 추적부(133c)는 객체 추출부(133b)에 의해 추출된 사람의 두부에 대한 움직임을 추적하면서 영상 프레임간의 사람 움직임 벡터(MVi)를 산출한다.
자동차 움직임 추적부(133d)는 객체 추출부(133b)에 의해 추출된 자동차의 움직임을 추적하면서 영상 프레임간의 자동차 움직임 벡터(CMVi)를 산출한다.
보행자 추돌 판정부(133e)는 사람움직임 추적부(133c)에서 산출되는 사람 움직임 벡터(MVi)정보와 자동차 움직임 추적부(133d)에서 산출된 자동차 움직임 벡터 정보를 이용하여 보행자 추돌여부를 판단하고 이에 대한 상세한 설명은 후술한다.
보행자 추돌 판정부(133e)는 보행자 추돌로 판단된 경우 보행자 추돌 이벤트가 발생한 것으로 처리하고 기억부(141)에 관려정보를 저장처리한다.
이하에서는 이러한 보행자 추돌 검출 과정을 도 10을 참조하여 설명한다.
먼저, 감시 카메라(110)로부터 감시영상을 취득하고(단계 510), 취득된 감시영상으로부터 움직임 객체를 추출한다(단계 520).
다음은 추출된 움직임 객체가 사람인지 자동차 인지를 판별한다.
즉, 추출된 움직임 객체가 자동차 인지를 판단하고(단계 530), 자동차가 아니면 사람인지를 판단한다(단계 540).
단계 530에서 자동차로 판단되면, 자동차 움직임을 추적하고, 영상 프레임간의 자동차 움직임 벡터(CMVi)를 산출한다(단계 550).
또한, 단계 540에서 사람으로 판단되면, 사람 움직임을 추적하고, 영상 프레임간의 사람 움직임 벡터(MVi)를 산출한다(단계 560).
바람직하게는 단계 560에서는 사람의 두부 움직임을 추적한다.
이후, 사람 움직임 벡터(MVi)정보와 자동차 움직임 벡터 정보를 이용하여 보행자 추돌여부를 검출한다(단계 570).
다음으로 단계 570에서 검출된 결과가 보행자 추돌발생에 해당하는지를 판단한다(단계 580).
단계 580에서 보행자 추돌발생에 해당하면 앞서 설명된 이벤트 발생처리를 수행한다(단계 590).
이하에서는 보행자 추돌여부에 대한 판별과정을 도 11 내지 도 13을 함께 참조하면서 더욱 상세하게 설명한다.
먼저, 영상프레임상에서 사람영역이 자동차 영역과 중첩된 영역이 있는지를 판단한다(단계 571).
단계 571에서 사람영역은 두부영역을 기준으로 몸통영역을 추출하고, 사람의 몸통영역과 자동차 영역이 중첩되는 지를 판단한다.
단계 571에서 사람영역이 자동차 영역과 중첩된 것을 판단되면, 후술되는 보행자 추돌함수(fp(MVi,MVi-1))에 의해 산출된 제1값이 제1문턱값(THp) 보다 큰지를 판단한다(단계 572).
단계 572에서 보행자 추돌함수(fp(MVi,MVi-1))에 의해 산출된 제1값이 제1문턱값(THp) 보다 큰 것으로 판단되면, 후술되는 자동차 추돌함수(fc(CMVi,CMVi-1))에 의해 산출된 제2값이 제2문턱값(THc) 보다 큰지를 판단한다(단계 573).
단계 573에서 제2값이 제2문턱값(THc) 보다 큰 것을 판단되면, 보행자 추돌검출플래그를 "1"로 하여 보행자 추돌판정으로 기록처리한다.
이와는 다르게 단계 573에서 제2값이 제2문턱값(THc) 보다 크지 않은 것으로 판단되면 보행자 추돌검출플래그를 "0"로 하여 보행자 비추돌판정으로 기록처리한다.
이후는 앞서 설명된 단계 580을 수행하며, 단계 580에서는 보행자 추돌검출플래그 값을 판독하여 추돌발생여부를 판단한다.
이러한 보행자 추돌판별 과정에서 적용되는 보행자 추돌함수(fp(MVi,MVi-1))와 자동차 추돌함수(fc(CMVi,CMVi-1))를 더욱 상게하게 설명한다.
먼저, i번째 영상프레임에 대해서는 첨자i를 부여하고, i번째 영상 프레임에서 산출된 사람 두부의 움직임 벡터를 MV i 라고 하자. 이것은 영상화면내의 x 방향 움직임 벡터(MVx i )와 y 방향 움직임 벡터(MVy i )의 벡터합을 의미한다. 그리고, 이전 영상 프레임인 i-1번째 영상 프레임에서 산출된 사람 두부의 움직임 벡터를 MV i-1 라고 하자.
그러면, 현재 영상프레임과 이전 영상프레임간의 사람 움직임 벡터 정보로부터 아래의 수학식1로 표현된 보행자 추돌함수(fp(MVi,MVi-1))에 의해 제1값을 산출한다.
보행자 추돌 함수는 얼굴 모션 벡터 크기 값의 1차 미분과 얼굴 모션 벡터 방향 값의 1차 미분 값의 선형 결합으로 정의한다.
Figure 112016102295808-pat00005
여기서, θi는 i번째 영상프레임에서 사람 두부의 움직임 각도이고, θi -1은 i-1번째 영상프레임에서 사람 두부의 움직임 각도이다. 일 예로서, θ는 도 13에 예시된 바와 같이 움직임 벡터와 영상화면내의 x 방향과의 사이각을 적용한다.
또한, dMV i 는 i번째 영상프레임에서의 움직임 벡터의 1차 미분 값을 의미하며, dθ i 는 i번째 영상 프레임의 모션벡터 각도와 i-1번째 영상 프레임 모션벡터 각도의 차이값을 의미한다.
여기서, α와 상기 β는 0보다 크고 1보다 작게 설정된 비중반영계수로서 바람직하게는 움직임 벡터의 크기 변화와 각도 변화에 똑같은 비중을 부여하도록 각각 0.5로 설정된다.
한편, 자동차 움직임 벡터에 대해서 CMVi는 i번째 영상프레임에서 자동차 움직임 벡터의 크기이고, CMVi-1은 i-1번째 영상프레임에서 자동차 움직임 벡터의 크기로 표현한다.
이 경우, 차량추돌에 대해서는 현재 영상프레임과 이전 영상프레임간의 자동차 움직임 벡터 정보로부터 아래의 수학식2로 표현된 자동차 추돌함수(fc(CMVi,CMVi-1))에 의해 제2값을 산출한다.
Figure 112016102295808-pat00006
dCMVi는 i번째 영상 프레임에서 검출된 자동차에 대한 모션벡터의 1차 미분값을 의미한다.
여기서, 제2값(fc(CMVi,CMVi-1))이 제2문턱치(THc) 값 보다 크게 되면 보행자 추돌 혹은 긴급상황에서 급브레이크를 밟는 상황이 발생했음을 의미한다.
여기서, 최종 추돌조건은 사람영역과 자동차 영역이 중첩되는 조건을 만족하면서, 보행자 추돌함수(fp(MVi,MVi-1))에 의해 산출된 제1값이 제1문턱값(THp)보다 크고, 자동차 추돌함수(fc(CMVi,CMVi-1))에 의해 산출된 제2값이 제2문턱값(THc)보다 크면 추돌조건에 해당하는 것으로 판정한다.
여기서, 제1문턱값과 제2문턱값은 임의의 환경에 설치되는 감시카메라(110)에서 취득되는 영상의 특성을 고려하여 적절하게 설정되면 된다.
이하에서는 이러한 보행자 추돌 추출과정을 도 12 및 도 13의 실제 영상을 통해 확인해 본다.
도 12에 표시된 영상 화면들은 사람의 두부 즉, 얼굴영역을 추출하여 빨간색으로 마킹하여 추적 영역을 표시한 것이다.
또한, 도 13에는 도 12의 각 영상 프레임에서 추출한 얼굴영역을 이용하여 움직임 벡터를 구한 예가 나타나 있다.
이러한 보행자 추돌 검출 방식이 적용된 이벤트 검출부(133)에 의하면, 카메라(112)에 의해 촬상된 영상으로부터 보행자 추돌을 연산부담이 완화된 방식으로 자동으로 검출할 수 있고, 보행자 추돌검출시 경보 발령 및 신고를 통한 적절한 응급상황 대처가 가능하게 지원할 수 있는 장점을 제공한다.
이상에서 설명된 사물 인터넷 카메라 기반의 통합 영상 감시 시스템(100)에 의하면, 사물 인터넷 카메라 유니트 각각이 사고와 관련된 이벤트를 검출하고, 상호 네트워킹하면서 추적대상 객체를 추적할 수 있어 통합관리서버의 연산부담을 완화시키면서 감시 확장성이 용이한 장점을 제공한다.
110: 사물 인터넷 카메라 유니트 170: 통합관리서버

Claims (6)

  1. 통신을 지원하며 카메라에 의해 촬상된 영상을 분석하여 이벤트 발생을 검출할 수 있도록 된 다수의 사물 인터넷 카메라 유니트들과;
    상기 사물 인터넷 카메라 유니트들과 통신을 수행할 수 있게 통신망에 접속된 통합관리서버;를 구비하고,
    상기 사물 인터넷 카메라 유니트는
    주변 사물 인터넷 카메라 리스트 파일에 주변 사물 인터넷 카메라 유니트들에 대한 정보가 기록된 기억부와;
    카메라에 의해 촬상된 영상으로부터 설정된 이벤트가 발생했는지를 검출하고, 검출된 이벤트 발생정보가 통합감시조건에 해당하면 상기 기억부에 등록된 주변 사물 인터넷 카메라 유니트들에게 이벤트 발생정보에 해당하는 객체의 추적을 요청하는 통합감시 요청메시지를 통신부를 통해 전송처리하는 단말 제어부;를 구비하고,
    상기 단말 제어부는
    상기 카메라로부터 수신된 영상으로부터 폭력, 납치, 보행자 추돌사고, 뺑소니 사고 중 적어도 하나를 검출하는 이벤트 검출부와;
    주변 사물 인터넷 카메라 유니트들의 배치변동상황에 대응하여 네트워크 설정 및 관리를 수행하고 상기 주변 사물 인터넷 카메라 리스트 파일을 갱신하는 네트워크 설정 관리부와;
    상기 이벤트 검출부로부터 이벤트가 검출되면 검출된 이벤트에 대해 이벤트 고유식별정보를 부여하고, 발생일시, 발생 위치, 이벤트 영상정보를 포함한 이벤트 발생정보를 상기 기억부에 저장처리하고, 상기 이벤트 발생정보가 통합감시조건에 해당하면 상기 기억부에 등록된 주변 사물 인터넷 카메라 유니트들에게 이벤트 발생정보에 해당하는 객체의 추적을 요청하는 통합감시 요청메시지를 통신부를 통해 전송처리하는 연계 감시부와;
    주변 사물 인터넷 카메라 유니트로부터 상기 통신부를 통해 통합감시 요청메시지가 수신되면, 수신된 통합감시 요청메시지에 포함된 정보를 이용하여 객체 추적을 수행하는 객체 추적부;를 구비하는 것을 특징으로 하는 사물 인터넷 카메라 기반의 통합 영상 감시 시스템.
  2. 제1항에 있어서, 상기 네트워크 설정관리부는
    입력부를 통해 신규 설정모드로 설정되면, 상기 입력부를 통해 입력된 자체 카메라의 위치값과, 멀티캐스트 그룹 ID 입력정보를 상기 기억부에 저장하고, 저장된 멀티캐스트 그룹 ID 입력정보를 이용하여 네트워크 설정 요청 메시지를 주변 사물인터넷 카메라 유니트에 전송하고, 주변 사물인터넷 카메라유니트로부터 수신된 거리정보를 이용하여 주변 사물인터넷 카메라유니트에 대해 거리가 가까운 주변 사물인터넷 카메라유니트부터 시작하여 거리가 제일 먼 주변 사물인터넷 카메라유니트까지 순차적으로 도로상의 도로 이동 경로를 확인하여 도로 이동 경로에 타 주변 사물인터넷 카메라유니트가 존재하고 있으면 해당 주변 사물인터넷 카메라유니트 정보는 삭제하고, 도로이동 경로에 타 주변 사물인터넷 카메라 유니트가 존재하지 않으면 직접연결조건에 해당하는 것으로 판단하여 상기 주변 사물인터넷 카메라 리스트 파일에 해당 주변 사물인터넷 카메라 유니트의 정보를 등록하고, 상기 주변 사물인터넷 카메라 리스트 파일에는 등록된 주변 사물 인터넷 카메라의 IP주소, 총 도로 이동 경로 갯수, 각 도로 이동 경로별 이동 거리 및 소요시간 정보가 기록되게 처리하고, 상기 주변 사물인터넷 카메라 리스트 파일에 등록된 주변 사물인터넷 카메라에 네트워크 정보 갱신 요청 메시지를 유니캐스트로 전송하는 것을 특징으로 하는 사물 인터넷 카메라 기반의 통합 영상 감시 시스템.
  3. 제2항에 있어서, 상기 네트워크 설정관리부는
    주변 사물인터넷 카메라유니트로부터 유니캐스트로 네트워크 정보 갱신 요청 메시지를 수신하면, 상기 기억부의 상기 주변 사물인터넷 카메라 리스트 파일에 갱신요청된 주변 사물 인터넷 카메라유니트 정보를 추가하고, 상기 주변 사물 인터넷 카메라 리스트 파일에 이전에 등록되어 있는 주변 사물인터넷 카메라유니트 정보 중 신규로 추가한 주변사물 인터넷 카메라 유니트에 의해 직접연결되는 조건에 해당하지 않은 주변 사물인터넷 카메라유니트의 정보는 삭제 처리하는 것을 특징으로 하는 사물 인터넷 카메라 기반의 통합 영상 감시 시스템.
  4. 제3항에 있어서, 상기 네트워크 설정관리부는
    상기 주변 사물인터넷 카메라 리스트 파일에 등록된 주변 사물인터넷 카메라 유니트에 동작 확인 메시지를 주기적으로 전송하고, 동작확인 메시지에 대해 설정된 대기시간 동안 응답신호가 수신되지 않으면, 응답신호가 수신되지 않은 주변 사물인터넷 카메라 유니트는 고장으로 판단하고, 멀티캐스팅으로 자체 카메라에 대한 경도, 위도를 포함한 카메라 네트워크 정보 갱신 요청 메시지를 주변 사물 인터넷 카메라유니트에 전송하고, 응답이 온 사물인터넷 카메라유니트 중에서 상기 주변 사물인터넷 카메라 리스트 파일에 등록되어 있지 않으면서 자신과의 거리가 설정된 기준 범위 이내 이면서 자신과 응답신호가 수신되지 않은 주변 사물인터넷 카메라유니트를 이은 선분인 제1벡터와 자신과 응답이 온 주변 사물인터넷 카메라유니트를 이은 선분인 제2벡터가 이루는 내각의 각도(θ)의 절대값이 90도 이내인 조건을 모두 만족하는 주변 사물인터넷 카메라유니트를 선택하고, 선택된 주변 사물인터넷 카메라유니트들에 대한 도로 이동 경로 상에 응답이 없는 주변 사물인터넷 카메라유니트를 포함하고 있으며, 다른 주변 사물인터넷 카메라유니트가 도로 이동 경로상에 없으면 자신과 해당 주변 사물인터넷 카메라유니트가 직접 연결된 것으로 판정하고 해당 주변 사물인터넷 카메라 유니트를 상기 주변 사물인터넷 카메라 리스트 파일에 추가하고, 응답이 없는 주변 사물인터넷 카메라유니트 정보를 상기 주변 사물인터넷 카메라 리스트 파일에서 삭제처리하고, 상기 주변 사물인터넷 카메라 리스트 파일의 갱신이 종료되면, 신규로 등록된 주변 사물인터넷 카메라유니트에 네트워크 갱신 메시지를 유니캐스트로 전송하는 것을 특징으로 하는 사물 인터넷 카메라 기반의 통합 영상 감시 시스템.
  5. 제1항에 있어서, 상기 이벤트 검출부는
    상기 카메라에서 촬상된 영상으로부터 사람 움직임에 대해서는 사람 움직임을 추적하면서 영상 프레임간의 사람 움직임 벡터를 산출하고, 자동차의 움직임에 대해서는 자동차의 움직임을 추적하면서 영상 프레임간의 자동차 움직임 벡터를 산출하고, 산출된 사람 움직임 벡터정보와 자동차 움직임 벡터 정보를 이용하여 보행자 추돌을 검출하도록 되어 있고,
    상기 카메라에서 촬상된 영상프레임상에서 사람영역이 자동차영역과 중첩되는 영역이 있는지를 판단하고, 사람영역이 자동차영역과 중첩되는 영역이 있다고 판단되면, 보행자 추돌함수(fp(MVi,MVi-1))에 의해 산출된 제1값과, 자동차 추돌함수(fc(CMVi,CMVi-1))에 의해 산출된 제2값이 모두 추돌조건에 해당하면 보행자 추돌로 판단하고,
    Figure 112016102295808-pat00007
    ,
    Figure 112016102295808-pat00008

    이며, MVi는 i번째 영상프레임에서 사람 움직임 벡터이고, MVi -1은 i-1번째 영상프레임에서 사람 움직임 벡터이며, θi는 i번째 영상프레임에서 사람 움직임 각도이고, θi -1은 i-1번째 영상프레임에서 사람 움직임 각도이고, CMVi는 i번째 영상프레임에서 자동차 움직임 벡터의 크기이고, CMVi -1은 i-1번째 영상프레임에서 자동차 움직임 벡터의 크기이고, α와β는 0보다 크고 1보다 작게 설정된 비중반영계수인 것을 특징으로 하는 사물 인터넷 카메라 기반의 통합 영상 감시 시스템.
  6. 제5항에 있어서, 상기 연계감시부는 검출된 이벤트 발생정보의 객체가 설정된 기준시간 이내에 사고지역을 이탈하면 상기 통합감시조건에 해당하는 것으로 판단하도록 된 것을 특징으로 하는 사물 인터넷 카메라 기반의 통합 영상 감시 시스템.

KR1020160137372A 2016-10-21 2016-10-21 사물 인터넷(IoT) 카메라 기반의 통합 영상 감시 시스템 KR101696801B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160137372A KR101696801B1 (ko) 2016-10-21 2016-10-21 사물 인터넷(IoT) 카메라 기반의 통합 영상 감시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160137372A KR101696801B1 (ko) 2016-10-21 2016-10-21 사물 인터넷(IoT) 카메라 기반의 통합 영상 감시 시스템

Publications (1)

Publication Number Publication Date
KR101696801B1 true KR101696801B1 (ko) 2017-01-16

Family

ID=57993656

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160137372A KR101696801B1 (ko) 2016-10-21 2016-10-21 사물 인터넷(IoT) 카메라 기반의 통합 영상 감시 시스템

Country Status (1)

Country Link
KR (1) KR101696801B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101926435B1 (ko) * 2018-03-14 2018-12-07 주식회사 월드씨엔에스 시간압축방식을 이용한 객체 추적 시스템
KR101954719B1 (ko) * 2018-08-09 2019-03-06 주식회사 인텔리빅스 이벤트감지장치 및 그 장치의 구동방법
KR101954717B1 (ko) * 2018-10-22 2019-03-06 주식회사 인텔리빅스 고속분석 영상처리장치 및 그 장치의 구동방법
KR20190030450A (ko) 2017-09-14 2019-03-22 주식회사 네모엘텍 이동 설치가 가능한 iot 카메라
WO2019117658A1 (ko) * 2017-12-14 2019-06-20 엘지전자 주식회사 카메라 제어 장치 및 그것의 제어 방법
KR102006748B1 (ko) * 2019-02-19 2019-08-07 (주)씨프로 OneM2M과 CCTV망에서의 다중경로 인접 원격관리시스템
KR102033903B1 (ko) * 2018-06-25 2019-10-18 주식회사 인텔리빅스 안전관제시스템 및 그 시스템의 구동방법
KR20200040320A (ko) * 2018-10-01 2020-04-20 현대자동차주식회사 차량, 차량의 제어 방법 및 영상 탐색 장치
KR20200088236A (ko) * 2019-01-14 2020-07-22 성신여자대학교 연구 산학협력단 추적 가능한 비식별화 방법, 장치 및 시스템
KR102137798B1 (ko) * 2019-10-07 2020-07-27 주식회사 이화네트웍스 시멘틱 웹 기반 IoT 기기의 기본 분산 소셜 그룹을 형성하는 방법 및 이를 위한 IoT기기
CN113378621A (zh) * 2021-04-06 2021-09-10 张沈莘 一种轨道交通信息化前端监控系统、监控方法及存储介质
KR102310544B1 (ko) 2020-08-24 2021-10-08 주식회사 퀀텀커뮤니케이션 메시망을 이용한 환경감시 시스템
KR20230023931A (ko) * 2021-08-11 2023-02-20 최종운 스마트 펜스에 설치되는 아이오티 기기를 구비한 문화재 안전관리시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007208659A (ja) * 2006-02-01 2007-08-16 Canon Inc 連携カメラシステム
KR20110121885A (ko) * 2010-05-03 2011-11-09 연세대학교 산학협력단 교통사고 인식장치 및 그 방법
KR20120095579A (ko) * 2011-02-21 2012-08-29 주식회사 영국전자 고정카메라를 이용한 대상물 추적 시스템 및 방법
KR20130035630A (ko) * 2011-09-30 2013-04-09 주식회사코어벨 객체 추적을 통한 무단 침입 감시 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007208659A (ja) * 2006-02-01 2007-08-16 Canon Inc 連携カメラシステム
KR20110121885A (ko) * 2010-05-03 2011-11-09 연세대학교 산학협력단 교통사고 인식장치 및 그 방법
KR20120095579A (ko) * 2011-02-21 2012-08-29 주식회사 영국전자 고정카메라를 이용한 대상물 추적 시스템 및 방법
KR20130035630A (ko) * 2011-09-30 2013-04-09 주식회사코어벨 객체 추적을 통한 무단 침입 감시 방법 및 시스템

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030450A (ko) 2017-09-14 2019-03-22 주식회사 네모엘텍 이동 설치가 가능한 iot 카메라
WO2019117658A1 (ko) * 2017-12-14 2019-06-20 엘지전자 주식회사 카메라 제어 장치 및 그것의 제어 방법
KR101926435B1 (ko) * 2018-03-14 2018-12-07 주식회사 월드씨엔에스 시간압축방식을 이용한 객체 추적 시스템
KR102033903B1 (ko) * 2018-06-25 2019-10-18 주식회사 인텔리빅스 안전관제시스템 및 그 시스템의 구동방법
KR101954719B1 (ko) * 2018-08-09 2019-03-06 주식회사 인텔리빅스 이벤트감지장치 및 그 장치의 구동방법
KR102486161B1 (ko) * 2018-10-01 2023-01-10 현대자동차주식회사 차량, 차량의 제어 방법 및 영상 탐색 장치
KR20200040320A (ko) * 2018-10-01 2020-04-20 현대자동차주식회사 차량, 차량의 제어 방법 및 영상 탐색 장치
KR101954717B1 (ko) * 2018-10-22 2019-03-06 주식회사 인텔리빅스 고속분석 영상처리장치 및 그 장치의 구동방법
KR20200088236A (ko) * 2019-01-14 2020-07-22 성신여자대학교 연구 산학협력단 추적 가능한 비식별화 방법, 장치 및 시스템
KR102328199B1 (ko) * 2019-01-14 2021-11-18 성신여자대학교 연구 산학협력단 추적 가능한 비식별화 방법, 장치 및 시스템
KR102006748B1 (ko) * 2019-02-19 2019-08-07 (주)씨프로 OneM2M과 CCTV망에서의 다중경로 인접 원격관리시스템
KR102137798B1 (ko) * 2019-10-07 2020-07-27 주식회사 이화네트웍스 시멘틱 웹 기반 IoT 기기의 기본 분산 소셜 그룹을 형성하는 방법 및 이를 위한 IoT기기
KR102310544B1 (ko) 2020-08-24 2021-10-08 주식회사 퀀텀커뮤니케이션 메시망을 이용한 환경감시 시스템
CN113378621A (zh) * 2021-04-06 2021-09-10 张沈莘 一种轨道交通信息化前端监控系统、监控方法及存储介质
CN113378621B (zh) * 2021-04-06 2024-03-22 张沈莘 一种轨道交通信息化前端监控系统、监控方法及存储介质
KR20230023931A (ko) * 2021-08-11 2023-02-20 최종운 스마트 펜스에 설치되는 아이오티 기기를 구비한 문화재 안전관리시스템
KR102603112B1 (ko) * 2021-08-11 2023-11-15 최종운 스마트 펜스에 설치되는 아이오티 기기를 구비한 문화재 안전관리시스템

Similar Documents

Publication Publication Date Title
KR101696801B1 (ko) 사물 인터넷(IoT) 카메라 기반의 통합 영상 감시 시스템
US11228715B2 (en) Video surveillance system and video surveillance method
US9412026B2 (en) Intelligent video analysis system and method
JP3279479B2 (ja) 映像監視方法及び装置
JP7258596B2 (ja) 捜査支援システムおよび捜査支援方法
US20070070201A1 (en) Object tracking method and object tracking apparatus
KR101937272B1 (ko) 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법
KR101496390B1 (ko) 차량번호인식 시스템
KR101678004B1 (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
US20090315712A1 (en) Surveillance method and system using object based rule checking
KR20130088480A (ko) 차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법
JP2008040781A (ja) 被写体照合装置および被写体照合方法
WO2020050328A1 (ja) 移動体追跡システム、移動体追跡方法及びプログラム
KR101298684B1 (ko) 무 감지센서 기반의 차량 번호 인식 시스템 및 그 동작방법
JP6977328B2 (ja) 顔認証装置、人物追跡システム、人物追跡方法、および、人物追跡プログラム
JP7459916B2 (ja) 物体追跡方法、物体追跡装置、及びプログラム
JP2005086626A (ja) 広域監視装置
JP5693147B2 (ja) 撮影妨害検知方法、妨害検知装置及び監視カメラシステム
JP2023126352A (ja) プログラム、映像監視方法及び映像監視システム
KR101669885B1 (ko) 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치
US7738009B2 (en) Method for following at least one object in a scene
KR102557769B1 (ko) 디지털 트윈 가상 모델을 활용한 cctv 기반 사고 지점의 공간 좌표 인식 기술 시스템
KR101453386B1 (ko) 차량 지능형 검색 시스템 및 그 동작방법
KR101407394B1 (ko) 방치물 및 도난물 탐지 시스템
JP3758511B2 (ja) 物体検出装置及び物体検出プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant