KR101729906B1 - 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치 및 방법 - Google Patents

전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치 및 방법 Download PDF

Info

Publication number
KR101729906B1
KR101729906B1 KR1020150091217A KR20150091217A KR101729906B1 KR 101729906 B1 KR101729906 B1 KR 101729906B1 KR 1020150091217 A KR1020150091217 A KR 1020150091217A KR 20150091217 A KR20150091217 A KR 20150091217A KR 101729906 B1 KR101729906 B1 KR 101729906B1
Authority
KR
South Korea
Prior art keywords
image
smart
unit
specific object
statistical analysis
Prior art date
Application number
KR1020150091217A
Other languages
English (en)
Other versions
KR20170001872A (ko
Inventor
박구만
장지웅
김영애
정지상
박종화
왕기석
김경만
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020150091217A priority Critical patent/KR101729906B1/ko
Publication of KR20170001872A publication Critical patent/KR20170001872A/ko
Application granted granted Critical
Publication of KR101729906B1 publication Critical patent/KR101729906B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명에서는 종래의 CCTV 감시 시스템의 경우에, 고정반경의 지역 감시만을 수행하므로 다수의 카메라를 설치해야 하고, 감시 지역의 환경에 따라 사각지역이 발생되는 문제점과, CCTV 카메라들간의 연동과 동작 스케줄에 대한 연산량이 증가하여 카메라가 객체를 추적하는 동작이 지연되는 문제점과, 현장에서 발생한 상황 알람 정보에 따라 각각에 맞는 자동 경고 방송을 송출시키는 기능이 없어, 범죄행위를 사전에 예방시킬 수 없는 문제점을 개선하고자, 스마트 전방위카메라장치(100), 데이터통신인터페이스부(200), 스마트 영상·통계분석서버(300)로 구성됨으로서, 하나의 장소에 복수개의 CCTV가 설치되는 것을 대신하여 하나의 카메라로 객체를 360도의 도넛형 전방위 이미지로 생성시켜 실시간 감시할 수 있고, 원격지의 스마트 영상·통계분석서버를 통해 이상행동을 하는 특정객체를 실시간으로 끊김없이 연속적으로 탐지, 추적할 수 있으며, 특정객체의 이동궤적패턴을 실시간 누적시켜 이미지 컬러맵과 통계 그래프 중 어느 하나를 선택하여 통계분석보고서를 장소별, 시간대별로 표출시킬 수 있고, 현장에서 발생한 특정객체의 이벤트 상황에 따라 자동 경고 방송을 송출시키도록 제어할 수 있으며, 기존 시스템에 추가적으로 프로그램만 연동시킬 수 있어, 호환성이 우수하고, 이웃하는 또 다른 스마트 통계분석장치와 유비쿼터스센서네트워크망(USN)으로 연결되어, 실시간으로 특정객체의 위치를 추적시킬 수 있어, 기존에 비해 지능형 영상분석 기술기반의 전방위 보안효과를 80% 향상시킬 수 있는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치 및 방법을 제공하는데 그 목적이 있다.

Description

전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치 및 방법{STATISTICAL ANALYSIS APPARATUS AND METHOD USING PATTERN ANALYSIS IN OMNI-DIRECTIONAL CAMERA IMAGES}
본 발명에서는 하나의 장소에 복수개의 CCTV가 설치되는 것을 대신하여 하나의 카메라로 객체를 360도의 도넛형 전방위 이미지로 생성시켜 실시간 감시할 수 있고, 원격지의 스마트 영상·통계분석서버를 통해 이상행동을 하는 특정객체를 실시간으로 끊김없이 연속적으로 탐지, 추적할 수 있으며, 특정객체의 이동궤적패턴을 실시간 누적시켜 이미지 컬러맵과 통계 그래프 중 어느 하나를 선택하여 통계분석보고서를 장소별, 시간대별로 표출시킬 수 있는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치 및 방법에 관한 것이다.
최근 강력 범죄의 잦은 발생으로 사회적 불안감이 증가됨에 따라 개인이나 공공 안전에 대한 관심이 증가되고 있다.
이러한 이유로 범죄의 사전 예방과 사후분석 및 신속한 해결을 위한 영상 감시 시스템의 개발 및 활용에 대한 중요성이 증대되고 있다.
영상 감시 시스템에서 화질개선, 영상전송 및 저장 기술은 과거 시스템에 비해 많이 발전되었다.
또한, 인터넷과 연결되는 네트워크 카메라를 개발하여 원격으로 영상 감시를 수행할 수 있게 되었다.
이러한 시스템은 주변기술과 접목하여 응용범위가 광범위하게 넓어지고 있으며, 가격이 비교적 저렴해짐에 따라 효율적인 영상 감시 시스템의 폭넓은 보급이 가능해졌다.
CCTV(Closed Circuit Television)은 광역 카메라를 이용하여 공공장소나 우범지역, 출입통제구역과 같이 보안을 요구하는 장소에 설치하고, 화면 영상을 감시 인력이 직접 모니터링 하거나 저장 장치에 녹화 후 사후영상분석을 통해 대처하는 방식의 감시를 수행하게 된다.
하지만, 종래의 CCTV 감시 시스템은 고정반경의 지역 감시만을 수행하므로 광범위한 지역 감시를 위해서는 다수의 카메라를 설치해야 하며, 감시 지역의 환경에 따라 사각지역이 발생되는 문제점이 있었다.
또한 복수개의 CCTV 카메라가 설치되더라도, CCTV 카메라들간의 연동과 동작 스케줄에 대한 연산량이 증가하여 카메라가 객체를 추적하는 동작이 지연되는 문제점이 있었다.
그리고, 기존의 CCTV 카메라의 경우에 현장에서 발생한 상황 알람 정보에 따라 각각에 맞는 자동 경고 방송을 송출시키는 기능이 없어, 범죄행위를 사전에 예방시킬 수 없는 문제점이 있었다.
국내등록특허공보 제10-1360246호
상기의 문제점을 해결하고자, 본 발명에서는 하나의 장소에 복수개의 CCTV가 설치되는 것을 대신하여 하나의 카메라로 객체를 360도의 도넛형 전방위 이미지로 생성시켜 실시간 감시할 수 있고, 원격지의 스마트 영상·통계분석서버를 통해 이상행동을 하는 특정객체를 실시간으로 끊김없이 연속적으로 탐지, 추적할 수 있으며, 특정객체의 이동궤적패턴을 실시간 누적시켜 이미지 컬러맵과 통계 그래프 중 어느 하나를 선택하여 통계분석보고서를 장소별, 시간대별로 표출시킬 수 있는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치 및 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치는
식별ID가 설정되어, 특정장소에 위치되면서 하나의 카메라로 특정객체를 360도 전방위 촬영시킨 후, 촬영한 도넛형 전방위이미지를 데이터통신인터페이스부를 통해 원격지의 스마트 영상·통계분석서버쪽으로 송신시키고, 이에 따른 응답신호를 수신받아 특정객체의 이벤트 상황에 따른 경고 방송을 송출시키는 스마트 전방위카메라장치(100)와,
스마트 전방위카메라장치와 스마트 영상·통계분석서버 사이를 유무선통신라인으로 연결시켜, 양방향데이터통신망을 형성시키는 데이터통신인터페이스부(200)와,
데이터통신인터페이스부와 연결되어, 스마트 전방위카메라장치로부터 전송된 도넛형 전방위이미지를 수신받아 영상변환시켜 특정객체를 탐지한 후, 특정객체의 이동궤적패턴을 기준으로 특정객체의 위치를 추적시키고, 특정객체의 이동궤적패턴을 실시간 누적시켜 통계분석보고서를 장소별, 시간대별로 표출시키는 스마트 영상·통계분석서버(300)로 구성됨으로서 달성된다.
이상에서 설명한 바와 같이, 본 발명에서는
첫째, 하나의 장소에 복수개의 CCTV가 설치되는 것을 대신하여 하나의 카메라로 객체를 360도의 도넛형 전방위 이미지로 생성시켜 실시간 감시할 수 있어, 감시영역범위를 기존에 비해 70% 향상시킬 수 있고, 설치비용 또한 기존에 비해 80% 감소시킬 수 있다.
둘째, 이미지왜곡보정부를 통해 직사각형 파노라마 이미지변환부의 왜곡된 이미지를 보정하고, 화질을 개선시킬 수 있어, 양질의 이미지를 제공할 수 있다.
셋째, 특정객체를 탐지한 후, 특정객체의 이동궤적패턴을 기준으로 이상객체의 위치를 추적시키고, 현장에서 발생한 특정객체의 이벤트 상황에 따라 자동 경고 방송을 송출시키도록 제어할 수 있어, 기존에 비해 범죄사고율을 70% 감소시킬 수 있다.
넷째, 기존 시스템에 추가적으로 프로그램만 연동시킬 수 있어, 호환성이 우수하다.
다섯째, 특정객체의 이동궤적패턴을 실시간 누적시켜 이미지 컬러맵과 통계 그래프 중 어느 하나를 선택하여 통계분석보고서를 장소별, 시간대별로 표출시킬 수 있어, 기존에 비해 지능형 영상분석 기술기반의 전방위 보안효과를 80% 향상시킬 수 있다.
도 1은 본 발명에 따른 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치(1)의 구성요소를 도시한 구성도,
도 2는 본 발명에 따른 스마트 전방위카메라장치의 구성요소를 도시한 블럭도,
도 3은 본 발명에 따른 렌즈부, 파라볼릭(parabolic) 반사판로 이루어진 전방위카메라모듈의 외형모습을 도시한 사시도,
도 4는 본 발명에 따른 전방위카메라모듈의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 스마트 영상·통계분석서버의 구성요소를 도시한 블럭도,
도 6은 본 발명에 따른 직사각형 파노라마 이미지변환부의 구성요소를 도시한 블럭도,
도 7은 본 발명에 따른 4채널 이미지변환부의 구성을 도시한 구성도,
도 8은 본 발명에 따른 4채널 이미지변환부를 통해 도넛형 전방위 이미지를 좌표변환식을 사용하여 4채널로 이루어진 직사각형의 파노라마 이미지로 변환시키는 것을 도시한 일실시예도,
도 9는 본 발명에 따른 9-point 보간 알고리즘엔진부에서 좌표연산부를 통해 연산된 총 9개의 화소값들 중에서 가장 가까운 위치에 있는 화소값을 매핑시키는 것을 도시한 일실시예도,
도 10은 본 발명에 따른 스마트 제어부의 구성요소를 도시한 블럭도,
도 11은 본 발명에 따른 HOG형 객체탐지부를 통해 국소영역에 대한 밝기의 분포방향을 히스토그램으로 표현하여 특징벡터로 사용하여 형성시키는 것을 도시한 일실시예도,
도 12는 본 발명에 따른 객체이동궤적분석부가 가우시안 혼합모델(Gaussian Mixture Model)을 사용하여 실시간 입력영상에서 객체를 검출하여 모폴로지 연산을 사용하여 잡음을 제거한 전경 영상을 기준으로 고유 ID가 부여된 영상 결과화면을 도시한 일실시예도,
도 13은 본 발명에 따른 객체이동궤적분석부를 이동 궤적이 누적되는 것을 도시한 일실시예도,
도 14의 (a)는 본 발명에 따른 객체이동궤적분석부를 통해 각각의 픽셀의 누적치를 통해 산출된 이진 영상에서의 히트맵(10분 단위로 산출한) 결과를 도시한 일실시예도,
도 14의 (b)는 본 발명에 따른 객체이동궤적분석부를 통해 사용자에게 보여주기 위하여 배경이미지에 입혀서 표현한 히트맵 결과를 도시한 일실시예도,
도 15는 본 발명에 따른 객체이동궤적분석부를 통해 사용자에게 보여주기 위하여 분할 영상의 배경 이미지에 입혀서 표현한 영상분석 시작으로부터 30분후의 히트맵 결과를 도시한 일실시예도,
도 16은 본 발명에 따른 객체이동궤적분석부를 통해 영상 분석 시작을 기준으로 10분 단위로 산출한 그래프 결과값을 도시한 일실시예도,
도 17은 본 발명에 따른 통계분석제어부의 구성요소를 도시한 블럭도,
도 18은 본 발명에 따른 이동궤적누적형성부의 구성요소를 도시한 블럭도,
도 19는 본 발명에 따른 이동궤적누적형성부를 통해 특정객체의 이동궤적을 누적시키는 일실시예도,
도 20은 본 발명에 따른 이동궤적누적형성부의 제1 누적형성모드를 통해 픽셀을 누적시키는 것을 도시한 일실시예도,
도 21은 본 발명에 따른 이동궤적누적형성부의 제2 누적형성모드를 통해 픽셀을 누적시키는 것을 도시한 일실시예도,
도 22는 본 발명에 따른 이동궤적누적형성부의 제3 누적형성모드를 통해 픽셀을 누적시키는 것을 도시한 일실시예도,
도 23은 본 발명에 따른 이동궤적누적형성부의 제3 누적형성모드를 통해 실제로 픽셀단위로 어떠한 방법으로 누적되는지를 보여주는 일실시예도,
도 24는 본 발명에 따른 JET 스펙트럼 컬러분포부(344a-4)를 통해 JET 스펙트럼에서 각 RGB 채널이 할당되어 구성된 것을 도시한 일실시예도,
도 25는 본 발명에 따른 이미지컬러맵형표출부(344b)를 통해 이미지상에 컬러맵을 표출시키는 것을 도시한 일실시예도,
도 26은 본 발명에 따른 통계그래프형표출부를 통해 특정객체 이동궤적정보를 실시간 누적시켜 RGB 통계그래프로 형성된 제2 통계분석보고서를 도시한 일실시예도,
도 27은 본 발명에 따른 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석방법을 도시한 순서도.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 본 발명에 따른 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 스마트 전방위카메라장치(100), 데이터통신인터페이스부(200), 스마트 영상·통계분석서버(300)로 구성된다.
먼저, 본 발명에 따른 스마트 전방위카메라장치(100)에 관해 설명한다.
상기 스마트 전방위카메라장치(100)는 식별ID가 설정되어, 특정장소에 위치되면서 하나의 카메라로 특정객체를 360도 전방위 촬영시킨 후, 촬영한 도넛형 전방위이미지를 데이터통신인터페이스부를 통해 원격지의 스마트 영상·통계분석서버쪽으로 송신시키고, 이에 따른 응답신호를 수신받아 특정객체의 이벤트 상황에 따른 경고 방송을 송출시키는 역할을 한다.
이는 도 2에 도시한 바와 같이, 본체(110), 전방위카메라모듈(120), 스피커부(130), 도넛형 전방위 이미지송신부(140)로 구성된다.
첫째, 본 발명에 따른 본체(110)에 관해 설명한다.
상기 본체(110)는 길이방향의 돔 구조로 형성되어, 각 기기를 외압으로부터 보호하고 지지하는 역할을 한다.
둘째, 본 발명에 따른 전방위카메라모듈(120)에 관해 설명한다.
상기 전방위카메라모듈(120)은 본체의 헤드부 상에 위치되어, 도넛형 전방위 이미지로 생성시키는 역할을 한다.
이는 도 3 및 도 4에 도시한 바와 같이, 렌즈부(121), 파라볼릭(parabolic) 반사판(122), CCD센서부(123)로 구성된다.
상기 렌즈부(121)는 360도의 시야범위로부터 들어오는 빛을 파라볼릭 반사판으로 유입시키는 역할을 한다.
이는 도 3에 도시한 바와 같이, 길이방향의 돔 구조로 형성된 몸체의 내부공간 일측에 광각 촬영이 가능한 1개의 비구면 단일 광학렌즈로 구성된다.
상기 렌즈부(121)는 면의 라이우스와 코팅 지그를 고려하여 코팅설계를 하도록 구성된다.
상기 파라볼릭(parabolic) 반사판(122)은 렌즈부에서 유입된 빛을 CCD 센서부로 반사시키는 역할을 한다.
이는 표면상에 AR코팅이 형성된다.
여기서, AR코팅은 빛의 포화 현상을 막기 위해 적외선영역대를 제거해주어, 렌즈의 투과율을 높여주는 역할을 한다.
이는 빛의 간섭성을 이용하여 파장보다 작은 두께의 방막을 장착하여 원하는 파장영역에서 투과 특성을 향상시킨다.
상기 CCD센서부(123)는 파라볼릭 반사판에서 반사된 빛을 포커스시켜 도넛형 파노라마 이미지를 생성시키는 역할을 한다.
이는 빛을 전기적 신호로 바꿔주는 소자로서, 수광부에서 발생된 전하가 일렬로 연결된 MOS 캐패시터를 거쳐 순차적으로 이동하여 소스팔로워에서 전압으로 변화되기 때문에 고전압 전원을 사용한다.
그리고, 수광부에 별도의 칩이 포함되어 구성된다.
본 발명에 따른 CCD센서부는 과도한 광량의 입사로 백화현상이나 스미어(Smear)가 심하게 발생할 수 있다.
이를 방지하기 위해 650nm~1500nm 부근의 적외선을 차단하는 필터를 사용하게 된다.
적외선 차단 필터로서, IR 컷필터(Cut Filter)와 IR 흡수필터(Absorption Filter)가 구성된다.
상기 IR 컷필터는 광학코팅방식으로 이루어져 입사각도에 따라 파장 시프트(Shift)가 발생시켜 적외선을 차단시키는 역할을 한다.
상기 IR 흡수필터(Absorption Filter)는 적외선 파장을 흡수시키는 역할을 한다.
셋째, 본 발명에 따른 스피커부(130)에 관해 설명한다.
상기 스피커부(130)는 스마트 영상·통계분석서버의 제어신호에 따라 구동되면서, 특정객체의 이벤트 상황에 따른 경고 방송을 송출시키는 역할을 한다.
이는 특정객체의 이벤트 상황이, 도난 및 절도에 관한 이벤트일 경우에, "도둑이야~"는 음성멘트와 함께, 경고음을 주위에 송출시키는 제1 이벤트모드와, 특정객체이 이벤트 상황이, 외부인 침입에 관한 이벤트일 경우에, "외부인이 침입하였습니다~"는 음성멘트와 함께, 경고음을 주위에 송출시키는 제2 이벤트모드와, 특정객체의 이벤트 상황이, 성범죄에 관한 이벤트일 경우에, "치한이야~ 살려주세요~"라는 음성멘트와 함께, 경고음을 주위에 송출시키는 제3 이벤트모드 중 어느 하나가 선택되어 송출된다.
넷째, 본 발명에 따른 도넛형 전방위 이미지송신부(140)에 관해 설명한다.
상기 도넛형 전방위 이미지송신부(140)는 본체의 내부공간 일측에 위치되고, 데이터통신인터페이스부와 연결되어, 전방위카메라모듈에서 촬영한 도넛형 전방위 이미지를 송신시키는 역할을 한다.
다음으로, 본 발명에 따른 데이터통신인터페이스부(200)에 관해 설명한다.
상기 데이터통신인터페이스부(200)는 스마트 전방위카메라장치와 스마트 영상·통계분석서버 사이를 유무선통신라인으로 연결시켜, 양방향데이터통신망을 형성시키는 역할을 한다.
이는 WiFi통신인터페이스, RS 485 통신인터페이스, RS 232 통신인터페이스 중 어느 하나가 선택되어 구성된다.
다음으로, 본 발명에 따른 스마트 영상·통계분석서버(300)에 관해 설명한다.
상기 스마트 영상·통계분석서버(300)는 데이터통신인터페이스부와 연결되어, 스마트 전방위카메라장치로부터 전송된 도넛형 전방위이미지를 수신받아 영상변환시켜 특정객체를 탐지한 후, 특정객체의 이동궤적패턴을 기준으로 특정객체의 위치를 추적시키고, 특정객체의 이동궤적패턴을 실시간 누적시켜 통계분석보고서를 장소별, 시간대별로 표출시키는 역할을 한다.
이는 도 5에 도시한 바와 같이, 도넛형 전방위이미지수신부(310), 직사각형 파노라마 이미지변환부(320), 이미지왜곡보정부(330), 스마트 제어부(340)로 구성된다.
첫째, 본 발명에 따른 도넛형 전방위이미지수신부(310)에 관해 설명한다.
상기 도넛형 전방위이미지수신부(310)는 데이터통신인터페이스부와 연결되어, 스마트 전방위카메라장치로부터 전송된 도넛형 전방위이미지를 수신받는 역할을 한다.
둘째, 본 발명에 따른 직사각형 파노라마 이미지변환부(320)에 관해 설명한다.
상기 직사각형 파노라마 이미지변환부(320)는 도넛형 전방위이미지수신부에서 수신받은 도넛형 전방위 이미지를 파노라마 언롤링(panorama unrolling)시켜 직사각형의 파노라마 이미지로 변환시키는 역할을 한다.
이는 도 6에 도시한 바와 같이, 4채널 이미지변환부(321), 좌표연산부(322), 룩업테이블생성부(323)로 구성된다.
[4채널 이미지변환부(321)]
상기 4채널 이미지변환부(321)는 도넛형 전방위 이미지데이터를 좌표변환식을 사용하여 4채널로 이루어진 직사각형의 파노라마 이미지로 변환시키는 역할을 한다.
이는 도넛형 전방위 이미지의 각 픽셀들의 동선(concentric circle line)을 추적하여 도넛형 전방위 이미지와 직사각형의 파노라마 이미지 사이의 좌표 매핑관계를 형성시킨다.
즉, 도 7은 본 발명에 따른 4채널 이미지변환부의 구성을 도시한 구성도에 관한 것으로, 여기서, R은 내부 원의 반지름을 나타내고, 2R은 외부 원의 반지름을 갖는 도넛형 전방위 이미지를 나타낸다.
그리고, 내부 반지름 R과 외부 반지름 2R 사이의 영역이 실제 이미지 정보가 있는 부분을 나타낸다.
도 8에서 도시한 바와 같이, 도넛형 전방위 이미지는 좌표변환식을 사용하여 4채널로 이루어진 직사각형의 파노라마 이미지로 변환시킨다.
도넛형 전방위 이미지와 직사각형 파노라마 이미지 사이의 매핑 관계는 극좌표계에서 직각 좌표계로의 변환 관계가 존재한다.
두 이미지 사이의 좌표 변환 관계는 파라미터(ri, θi)와 (Ui, Vi)로 나타낼 수 있고, 다음의 수학식 1과 수학식 2로 나타낼 수 있다.
Figure 112015062151375-pat00001
Figure 112015062151375-pat00002
상기 수학식 1과 수학식 2를 사용하여 두 이미지의 좌표(Xi,Yi)와 (Ui,Vi) 사이의 변환 관계를 수학식 3과 수학식 4로 나타낼 수 있다.
Figure 112015062151375-pat00003
Figure 112015062151375-pat00004

Figure 112015062151375-pat00005
Figure 112015062151375-pat00006

[좌표연산부(322)]
상기 좌표연산부(322)는 도넛형 전방위 이미지데이터를 4개의 영역으로 나눈 후, 그 중 하나의 영역은 좌표 변환식을 이용하여 좌표를 연산시키고, 나머지 3개의 영역은 대칭 특성을 이용하여 동시에 3개의 좌표값을 연산시켜 룩업테이블생성부에 미리 저장시키는 역할을 한다.
이는 도넛형 전방위 이미지의 중심 좌표값을 결정하고, 도넛형 전방위 이미지를 4개의 대칭영역으로 나누고, 그에 대응되는 직사각형의 파노라마 이미지를 4개의 영역으로 나눈 후, 4개의 영역 중 하나의 영역을 계산 영역으로 결정하여 좌표값을 연산시키도록 구성된다.
이는 수학식 3과 수학식 4를 사용하여 좌표값을 구하게 되면 계산량이 많아지고 하드웨어 복잡도 또한 매우 커지게 된다.
이때, 본 발명에서는 다음과 같은 과정을 거쳐 하드웨어 복잡도를 줄이고, 계산량을 줄이면서, 실시간 구현시킨다.
첫번째, 도넛형 전방위 이미지의 중심 좌표 값을 결정하고, 직사각형 파노라마 이미지의 사이즈를 결정한다.
두번째, 도넛형 전방위 이미지를 4개의 대칭영역으로 나누고, 그에 대응하는 직사각형의 파노라마 이미지를 4개의 영역으로 나눈다.
세번째, 4개의 영역 중 하나의 영역을 계산 영역으로 결정하여 수학식 3과 수학식 4를 이용하여 좌표값을 연산시킨다.
여기서, 연산된 좌표값을 다시 사용하여 나머지 3개의 영역을 대칭 좌표법에 의해 연산시키고, 수학식 5와 같이 표현할 수가 있다.
Figure 112015062151375-pat00007
Figure 112015062151375-pat00008
Figure 112015062151375-pat00009

본 발명에 따른 좌표연산부를 통해 나머지 세 영역의 좌표값을 동시에 연산시킬 수 있고 계산식이 매우 간단하기 때문에 좌표 변환시, 빠르게 변환가능하고, 룩업테이블(look-up table)에 사용되는 메모리의 사이즈 또한 줄일 수가 있다.
[룩업테이블생성부(323)]
상기 룩업테이블생성부(323)는 도넛형 전방위 이미지데이터와 직사각형의 파노라마 이미지 사이의 좌표값을 미리 연산하여 룩업테이블화시켜 저장시킨 후, 현재 입력된 도넛형 전방위 이미지데이터값에 맞는 룩업테이블값을 불러오는 역할을 한다.
이는 수학식 3과 수학식 4에서 X에 관련된 값을 저장하는 LUT_X와 Y에 관련된 값을 저장하는 LUT_Y를 생성시킨다.
상기 룩업테이블생성부(322)는 직사각형 파노라마 이미지를 사용하고 좌표 변환시 발생하는 소수점 값을 저장하기 위해 12bits, 24bits, 48bit 중 어느 하나로 선택되어 구성된다.
그리고, 도넛형 전방위 이미지의 대칭 특성을 이용하여 직사각형 파노라마 이미지 사이즈의 1/4 만을 저장하도록 구성된다.
셋째, 본 발명에 따른 이미지왜곡보정부(330)에 관해 설명한다.
상기 이미지왜곡보정부(330)는 직사각형 파노라마 이미지변환부의 왜곡된 이미지를 보정하고, 화질을 개선시키는 역할을 한다.
이는 9개의 화소값을 기준으로, 9개의 화소값들 중에서 가장 가까운 위치에 있는 화소값으로 매핑시키는 9-point 보간 알고리즘엔진부가 포함되어 구성된다.
즉, 모든 보간된 화소 값들은 인접한 실제 화소 값들의 평균으로 연산시킬 수 있다.
일예로, 보간된 화소값(i, j+0.5)는 실제 화소값(i,j)와 (i,j+1)의 평균값으로 나타낼 수 있다.
화소값(i+0.5,j+0.5)는 실제 화소값(i,j),(i+1,j), (i,j+1), (i+1,j+1)의 평균값으로 나타낼 수 있다.
보간된 화소값은 다음의 수학식 6과 같이 표현된다.
Figure 112015062151375-pat00010
Figure 112015062151375-pat00011
Figure 112015062151375-pat00012
Figure 112015062151375-pat00013
Figure 112015062151375-pat00014

본 발명에 따른 좌표연산부(220)를 통해 연산된 좌표값들은 총 9개의 화소값들 중에서 가장 가까운 위치에 있는 화소값을 매핑된다.
도 9에서 빨간색 삼각형은 가장 가까운 위치에 있는 (i+0.5,j)의 값으로 매핑된다.
본 발명에 따른 9-point 보간 알고리즘엔진부는 오직 2개의 화소값 또는 4개의 화소값의 평균값으로 나타낼 수 있다.
이처럼, 9-point 보간 알고리즘엔진부는 변환된 직사각형의 파노라마 이미지의 심각한 화질 저하 없이 계산 복잡도를 줄일 수 있고, 실시간 저비용 하드웨어를 구현함에 있어서 매우 용이한 특성을 가진다.
넷째, 본 발명에 따른 스마트 제어부(340)에 관해 설명한다.
상기 스마트 제어부(340)는 이미지왜곡보정부를 통해 영상보정된 이미지 상에서 특정객체를 탐지한 후, 특정객체의 이동궤적패턴을 기준으로 특정객체의 위치를 추적시키고, 특정객체의 이동궤적패턴을 실시간 누적시켜 통계분석보고서를 장소별, 시간대별로 표출시키도록 제어하는 역할을 한다.
이는 도 10에 도시한 바와 같이, HOG형 객체탐지부(341), 객체이동궤적분석부(342), 스마트 객체추적제어부(343), 통계분석제어부(344), 경고방송송출제어부(345)로 구성된다.
[ HOG 형 객체탐지부(341)]
상기 HOG형 객체탐지부(341)는 HOG(Histogram of Gradient) 특징을 이용하여 영상내의 객체를 탐지하는 역할을 한다.
이는 도 11에 도시한 바와 같이, 국소영역에 대한 밝기의 분포방향을 히스토그램으로 표현하여 특징벡터로 사용하는 것으로, 물체의 모양을 표현하는데 적합한 특성을 가진다.
HOG(Histogram of Gradient) 특징을 구하기 위해서는 먼저 기울기 크기값과 방향성값을 연산할 필요가 있다.
각 화소의 밝기값을 f(i,j)라고 하면 기울기 크기 m(i,j) 및 방향 θ(i,j)은 다음의 수학식 7과 같이 표현된다.
Figure 112015062151375-pat00015
Figure 112015062151375-pat00016
Figure 112015062151375-pat00017
Figure 112015062151375-pat00018

기울기 크기 및 방향성 정보를 알고 있으면 이를 이용하여 8×8 화소영역으로 이루어진 셀(cell)영역의 밝기 변화에 대한 방향성 히스토그램을 연산할 수 있다.
m(i,j)를 연산하기 위해 소벨(Sobel)연산자를 사용하고, θ(i,j)은 기울기 크기의 방향성만을 고려하면 0°~180°를 20°간격으로 나누어 하나의 셀당 9개의 방향성 히스토그램 빈(Bin)을 갖도록 구성된다.
그리고 각 히스토그램 빈에 기울기 크기 값을 누적하여 분포도를 연산시킨다.
또한 한개의 블록(block)은 3×3개의 셀을 포함하고 있으며, 각 블록은 정규화하도록 구성된다.
하나의 셀에 9개의 방향성 히스토그램 빈이 존재하고 하나의 블록에는 9개의 셀이 존재하므로, 한 블록의 히스토그램 빈의 수는 81개이다. 그리고, 각 블록에 대한 특징값은 스캔방향에 대하여 한 셀씩 이동(Sliding) 하면서 연산된다.
각 블록에 대해 특징 p는 다음의 수학식 8을 이용하여 정규화된다.
Figure 112015062151375-pat00019
여기서, k는 블록내의 특징 갯수이고, ε은 분모가 0이 되었을 때 계산 불능을 방지하기 위한 값으로 1로 설정한다.
[객체이동궤적분석부(342)]
상기 객체이동궤적분석부(342)는 HOG형 객체탐지부에서 탐지한 객체 중 객체의 배경을 제거한 후, 객체 탐지의 결과인 이상행동, 사람, 차량에 관한 특정객체의 반복적인 이동궤적정보를 분석하는 역할을 한다.
상기 객체 중 이상행동, 사람, 차량에 관한 특정객체는 영상 안에서 화면에서 새로 나타나기도 하고 사라지기도 하며 수많은 위치 이동이 발생한다.
이에 본 발명에 따른 객체이동궤적분석부에서는 이상행동, 사람, 차량에 관한 특정객체에 대해 라벨링을 통해 고유 ID를 객체별로 할당해야 하며, 각 객체를 추적해야 한다.
고유의 ID를 보유한 특정객체들은 영상에서 사라지거나 추적에 실패할 경우 고유 ID를 잃게 된다.
이때, 본 발명에 따른 객체이동궤적분석부에서는 동일한 특정객체라도 중간에 추적이 실패하게 되면 새로운 특정객체로 인식이 되어 새로운 ID를 부여받게 된다.
도 12는 본 발명에 따른 객체이동궤적분석부가 가우시안 혼합모델(Gaussian Mixture Model)을 사용하여 실시간 입력영상에서 객체를 검출하여 모폴로지 연산을 사용하여 잡음을 제거한 전경 영상을 기준으로 고유 ID가 부여된 영상 결과화면을 도시한 일실시예도에 관한 것이다.
이어서, 특정객체의 이동궤적을 분석하기 위해서 사전에 특정객체가 위치하고 있는 공간을 설정한다.
특정객체의 위치는 영상에서 픽셀 위치를 의미한다.
본 발명에 따른 객체이동궤적분석부는 스마트 객체추적제어부를 통해 수행되는 특정객체의 위치, 크기, 형태 정보를 이용하여 추적을 수행하고, 추적이 실패할 때까지 궤적 정보를 저장한다.
도 13은 본 발명에 따른 객체이동궤적분석부를 통해 이동 궤적이 누적되는 것을 도시한 일실시예도에 관한 것으로, 출입문을 통해 들어온 객체 1번이 (a)에서 (b)번까지 이동하면서 전경을 지속적으로 누적을 시킨 결과로 (c)와 같이 누적됨을 보여준다.
연산된 각각의 프레임의 블롭(Blob) 중심 블록을 계속적으로 연결한 것이 이동 궤적이 되며, (c)와 같은 결과를 통해서도 전경부분의 중심을 연결함으로써 객체의 이동 궤적을 산출한다.
궤적은 물체의 중심 좌표들 간의 연결이기 때문에 직선 형태를 보인다.
따라서, 본 발명에서는 이를 곡선형태로 근사화하는 베지에 곡선방법을 적용하였다.
베지에 곡선은 n 개의 점으로부터 얻어지는 n-1 차 곡선으로 부드러운 곡선을 생성하는데 다음의 수학식 9와 같은 3차 베지에 곡선이 사용된다.
Figure 112015062151375-pat00020
Figure 112015062151375-pat00021
본 발명에 따른 객체이동궤적분석부(342)는 3차 베지에 곡선을 이용하여 직선형태의 궤적을 부드러운 형태의 궤적으로 만들어 특정객체에 대한 궤적 정보를 누적하고, 누적된 궤적을 컬러맵으로 표현함으로써 히트맵을 구성한다.
본 발명에서는 일예로, 최소 3Megapixel의 전방위 카메라모듈의 영상 크기와 영상 분석에 필요한 연산량을 감안하여 초당 1프레임의 이진 영상을 누적하고 최대 1시간을 기준으로 궤적의 누적치를 연산하였다.
일예로, 히트맵이 1초에 1번씩 지속적으로 누적된다고 하면 1시간 동안 최대 3600이 된다.
이를 컬러맵이 가지는 값인 360으로 나누게 되면 히트맵은 10단위로 컬러맵 값을 가지게 된다.
이를 적용하여 10분 단위로 산출한 히트맵은 도 14에서와 같다.
도 14의 (a)는 각각의 픽셀의 누적치를 통해 산출된 이진 영상에서의 히트맵 결과를 도시한 일실시예도에 관한 것이고, 도 14의 (b)는 사용자에게 보여주기 위하여 배경이미지에 입혀서 표현한 히트맵 결과를 도시한 일실시예도에 관한 것이다.
도 15는 사용자에게 보여주기 위하여 분할 영상의 배경 이미지에 입혀서 표현한 영상분석 시작으로부터 30분후의 히트맵 결과를 도시한 일실시예도에 관한 것이다.
이처럼, 본 발명에 따른 객체이동궤적분석부(420)를 통해 영상에서 색지도로 표현하게 되면, 어떤 위치에 이동궤적이 많았는지 표현이 가능하다.
하지만 영상에 색으로 표현해주는 히트맵으로는 카메라가 설치된 장소에 어떤 시간대에 특정객체가 많았는지는 파악하기가 어렵다.
그래서 색지도로 표현하기 어려운 정보에 대해서는 그래프로 표현해 줌으로써 어떤 시간대에 유동인구가 많았는지 분석자료에 대한 제공이 가능하다.
도 16은 본 발명에 따른 객체이동궤적분석부를 통해 영상 분석 시작을 기준으로 10분 단위로 산출한 그래프 결과값을 도시한 일실시예도에 관한 것으로, 그래프 또한 정수값들 간의 연결이기 때문에 직선 형태를 보인다.
따라서, 이를 곡선 형태로 근사화하는 베지에 곡선 방법을 적용하였다.
베지에 곡선을 적용한 그래프 산출 결과를 보면 분석 시작 후 10분 동안 유동인구가 가장 많았다는 것을 보여준다.
[스마트 객체추적제어부(343)]
상기 스마트 객체추적제어부(343)는 HOG형 객체탐지부에서 탐지한 탐지의 결과인 ROI(Region of Interest)와, 객체이동궤적분석부의 특정객체 이동궤적정보로 이루어진 하이브리드 방식으로 커널 기반(Kernel Based) 객체를 추적시키는 역할을 한다.
이는 특정객체를 추적함에 있어 특정객체의 추적형태에 따라 제약이 없고, 컬러정보를 사용함으로서 다른 추적방식에 비해 특정객체의 기울어짐이나 회전에 강한 특성을 가진다.
다음의 표1은 본 발명에 따른 스마트 객체추적제어부를 통한 객체 추적 결과 데이터 및 내용을 기재한 표이다.
구분 전체
프레임수		 정상
추적
프레임수		 추적
오류
프레임수		 추적
에러율		 객체수 객체추적 특정객체의 콘텐츠내용
1 2,456 1,724 20 3.38％ 3 도망치는 특정객체 및 배회특정객체
2 2,645 1,578 5 0.09％ 2 도망치는 특정객체 및 쓰레기투기특정객체
3 2,341 2,689 405 13.68％ 2 도망치는 특정객체
4 2,254 1,360 3 0.07％ 1 배회하는 특정객체
5 4,246 3,268 3 0.03％ 2 도망치는 특정객체
6 3,233 1,889 0 0.00% 1 배회하는 특정객체 및 쓰레기 투기특정객체
7 2,678 1,934 6 0.03% 3 쓰레기투기특정객체
8 2,045 1,105 120 0.54% 2 쓰레기투기특정객체
9 2,684 2,689 1523 6.46% 1 모든 상황의 통합 동영상
10 2.540 5,868 255 17.35% 2 정지후 추적하다 사라진 후부터 전부에러로 평가
11 1.396 2,110 855 10.62% 1 화면에서 사라진 후 정지객체로 오류인식
12 1,389 1,467 241 19.64% 2 객체의 크기가 최소크기 이하로 인하여 에러발생
[통계분석제어부(344)]
상기 통계분석제어부(344)는 스마트 객체추적제어부(153)를 통해 추적한 특정객체 이동궤적정보를 실시간 누적시켜 통계분석보고서를 장소별, 시간대별로 표출시키도록 제어하는 역할을 한다.
이는 도 17에 도시한 바와 같이, 이동궤적누적형성부(344a), 이미지컬러맵형표출부(344b), 통계그래프형표출부(344c)로 구성된다.
상기 이동궤적누적형성부(344a)는 스마트 객체추적제어부(153)를 통해 추적한 특정객체 이동궤적정보를 실시간 누적시키는 역할을 한다.
이는 영상분석을 위해 특정객체의 이동궤적을 알기 위해서 특정객체의 데이터를 누적시킨다.
이러한 특정객체의 이동궤적정보를 누적하기 위해서 전체 영상에서 객체가 지나간 부분 픽셀에 누적을 해야 시간단위 및 하루 단위의 누적데이터를 표출하도록 구성된다.
본 발명에 따른 이동궤적누적형성부는 도 18에 도시한 바와 같이, 매칭 블롭(Blob) 방법에 의한 블롭(Blob) 추적으로 블롭 전체 픽셀에 대하여 픽셀을 누적하는 제1 누적형성모드(344a-1)와, 검출된 모든 객체의 블롭 중점 부위에 일정한 블록을 부여하여 일정한 블록단위를 누적하는 제2 누적형성모드(344a-2)와, 검출된 객체의 블롭의 중심 픽셀만 누적하는 제3 누적형성모드(344a-3) 중 어느 하나가 선택되어 구성된다.
도 19는 본 발명에 따른 이동궤적누적형성부를 통해 특정객체의 이동궤적을 누적시키는 일실시예도에 관한 것이고, 첫번째 입력 영상과 두번째 입력 영상에서 특정객체가 움직인 이동 궤적에 대하여 도 20은 제1 누적형성모드를 통해 픽셀을 누적시키는 것을 도시한 일실시예도에 관한 것이며, 도 21은 제2 누적형성모드를 통해 픽셀을 누적시키는 것을 도시한 일실시예도에 관한 것이고, 도 22는 제3 누적형성모드를 통해 픽셀을 누적시키는 것을 도시한 일실시예도에 관한 것이다.
또한, 도 23은 본 발명에 따른 제3 누적형성모드를 통해 실제로 픽셀단위로 어떠한 방법으로 누적되는지를 보여주는 일실시예도에 관한 것으로, 이는 블록의 중심 부위의 일정한 블록이 시간이 지남에 따라 이동하여 블록이 있었던 픽셀에 1씩 누적시킨다.
최초에 각각의 픽셀에 0의 값으로 초기화하여 주고 블롭의 중심 블록이 지나간 픽셀에 1을 누적해 주는 방식으로 시간이 지남에 따라 해당 픽셀이 블롭의 중심블록이 많이 지나 갈수록 해당 픽셀의 누적치가 늘어나게 된다.
블롭 전체를 사용한다면 블롭이 지나간 전체 픽셀을 기준으로 1씩 누적시키고, 블롭의 중점 픽셀을 사용한 경우에는 중점 픽셀의 이동 궤적에 따라 지나간 픽셀에 1씩 누적치를 적용해 주도록 구성된다.
이러한 누적치는 이동 궤적의 통계분석으로 사용자에게 색지도로 표시해줄 경우에 각각의 픽셀의 누적치를 환산하여 컬러 맵으로 표현될 때 사용된다.
2차원 공간상에 이동궤적의 누적 데이터를 나타낼 때, 컬러 매핑을 이용하여 더 효과적인 데이터로 표현할 수 있다.
본 발명에 따른 이동궤적누적형성부(344a)는 컬러맵으로 주로 사용되는 JET 스펙트럼 컬러분포부(344a-4)가 포함되어 구성된다.
JET 스펙트럼 컬러분포부(344a-4)의 JET 스펙트럼에서 각 RGB 채널은 도 24에서 같이, 할당되어 구성된다.
즉, JET 스펙트럼 컬러분포부(344a-4)를 사용하여 이동 궤적이 많고 적음을 한눈에 알아보기 쉽게 표현하도록 구성된다.
특정객체의 이동궤적이 아예 없는 부분은 색으로 표현하지 않고, 특정객체의 이동궤적이 존재하지만 이동궤적이 가장 적은 부분에 대해서는 블루 채널만 127을 가지는 다크 블루로 표현하여 주고, 누적된 이동 궤적이 가장 많은 곳은 다크 레드로 표현하여 이동궤적을 한눈에 알아볼 수 있도록 구성된다.
상기 이미지컬러맵형표출부(344b)는 스마트 객체추적제어부(153)를 통해 추적한 특정객체 이동궤적정보를 실시간 누적시켜 이미지상에 컬러맵으로 형성된 제1 통계분석보고서를 장소별, 시간대별로 표출시키는 역할을 한다.
이는 누적 데이터베이스에서 각각의 픽셀의 누적치 값에 임의의 임계치를 적용하여 이 임계치에 미치지 못하는 값을 제외하고 제외된 픽셀은 아무런 처리도 하지 않고, 최소값을 갖는 픽셀은 다크 블루로 설정하고, 최대값을 갖는 픽셀은 다크 레드로 설정한 후, 최소값과 최대값의 차이를 일정한 범위로 나누어 설정하여 JET 스펙트럼 컬러분포부에 형성된 JET 스펙트럼의 컬러로 이미지 상에 컬러맵을 겹쳐서 표현되도록 구성된다.
본 발명에 따른 이미지컬러맵형표출부(344b)는 JET 스펙트럼 컬러분포부에 형성된 JET 스펙트럼의 최소값에서 최대값을 360으로 나누어 0부터 360의 값을 할당하도록 구성된다.
도 25는 본 발명에 따른 이미지컬러맵형표출부(344b)를 통해 이미지상에 컬러맵을 표출시키는 것을 도시한 일실시예도에 관한 것으로, 이는 20×20 픽셀을 가지는 이미지가 있다고 가정하고 각각의 픽셀의 누적치를 1~15로 간소화 하였다.
임계값을 5로 설정하여서 픽셀의 값이 5인 픽셀 누적치에는 아무 색도 부여하지 않고, 6~15 까지의 값을 가지는 픽셀에 대항 다크 레드부터 다크 블루까지의 색을 부여하여 각각의 픽셀에 컬러값을 입력하여 이미지상에 컬러맵을 표출시킨다.
상기 통계그래프형표출부(344c)는 스마트 객체추적제어부(153)를 통해 추적한 특정객체 이동궤적정보를 실시간 누적시켜 RGB 통계그래프로 형성된 제2 통계분석보고서를 장소별, 시간대별로 표출시키는 역할을 한다.
이는 시간단위로 산출된 RGB 통계그래프를 형성시켜 어떠한 시간대에 이동궤적이 많았는지를 표출시키도록 구성된다.
RGB 통계그래프 산출방식은 실시간으로 이동궤적분석을 통해 누적되는 데이터의 합을 구하여 그래프 상에 표시해 줌으로써 산출된다.
그리고, 해당 공간에 이동하는 특정객체가 하나도 없을 경우에는 그래프의 Y축의 값을 0으로 설정시키고, 이동하는 특정객체가 많을 경우에는 Y축의 값을 높게 설정시킨다.
이때, 데이터의 Y축 값을 영상 분석 서버의 시간을 기준으로 1시간 단위로 더해줌으로써 1시간 동안 누적된 누적치 값을 산출하여 그래프로 표현시킨다.
도 26은 본 발명에 따른 통계그래프형표출부를 통해 특정객체 이동궤적정보를 실시간 누적시켜 RGB 통계그래프로 형성된 제2 통계분석보고서를 도시한 일실시예도에 관한 것이다.
[경고방송송출제어부(345)]
상기 경고방송송출제어부(345)는 스마트 객체추적제어부에서 추적시킨 특정객체의 이벤트 상황에 따른 맞춤형 경고 방송신호를 현장의 스마트 전방위카메라장치쪽으로 송출시키도록 제어하는 역할을 한다.
여기서, 1:1 맞춤형 자동경고방송은 도망치는 특정객체인 경우에, "도둑 잡아라~"라는 경고방송을 송출시키고, 쓰레기 투기 특정객체인 경우에, "쓰레기를 무단투기하지 마세요~"라는 경고방송을 송출시키며, 배회하는 특정객체인 경우에, "이곳은 보안감시시스템이 동작되는 곳이오니, 다른 곳으로 이동해주십시요~"라는 경고방송을 송출시키도록 구성된다.
이하, 본 발명에 따른 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석방법의 구체적인 동작과정에 관해 설명한다.
먼저, 도 27에 도시한 바와 같이, 스마트 전방위카메라장치를 통해 하나의 카메라로 특정객체를 360도 전방위 촬영시킨다(S100).
다음으로, 스마트 전방위카메라장치에서 촬영한 도넛형 전방위이미지를 데이터통신인터페이스부를 통해 원격지의 스마트 영상·통계분석서버쪽으로 송신시킨다(S200).
다음으로, 스마트 영상·통계분석서버에서 스마트 전방위카메라장치로부터 전송된 도넛형 전방위이미지를 수신받아 영상변환시켜 특정객체를 탐지한 후, 특정객체의 이동궤적패턴을 기준으로 특정객체의 위치를 추적시킨다(S300).
다음으로, 스마트 영상·통계분석서버에서 특정객체의 이동궤적패턴을 기준으로 특정객체의 위치를 추적시키고, 특정객체의 이동궤적패턴을 실시간 누적시켜 통계분석보고서를 장소별, 시간대별로 표출시킨다(S400).
다음으로, 스마트 영상·통계분석서버의 경고방송송출제어부에서 특정객체의 이벤트 상황에 따른 맞춤형 경고 방송신호를 현장의 스마트 전방위카메라장치쪽으로 송출시킨다(S500).
끝으로, 스마트 전방위카메라장치에서 스마트 영상·통계분석서버의 경고방송송출제어부로부터 경고 방송신호를 수신받아 특정객체의 이벤트 상황에 따른 경고 방송을 송출시킨다(S600).
1: 스마트 통계분석장치 100 : 스마트 전방위카메라장치
110 : 본체 120 : 전방위카메라모듈
130 : 스피커부 140 : 도넛형 전방위 이미지송신부
200 : 데이터통신인터페이스부 300 : 스마트 영상·통계분석서버
310 : 도넛형 전방위이미지수신부 320 : 직사각형 파노라마 이미지변환부
330 : 이미지왜곡보정부 340 : 스마트 제어부

Claims (7)

  1. 식별ID가 설정되어, 특정장소에 위치되면서 하나의 카메라로 특정객체를 360도 전방위 촬영시킨 후, 촬영한 도넛형 전방위이미지를 데이터통신인터페이스부를 통해 원격지의 스마트 영상·통계분석서버쪽으로 송신시키고, 이에 따른 응답신호를 수신받아 특정객체의 이벤트 상황에 따른 경고 방송을 송출시키는 스마트 전방위카메라장치(100)와,
    스마트 전방위카메라장치와 스마트 영상·통계분석서버 사이를 유무선통신라인으로 연결시켜, 양방향데이터통신망을 형성시키는 데이터통신인터페이스부(200)와,
    데이터통신인터페이스부와 연결되어, 스마트 전방위카메라장치로부터 전송된 도넛형 전방위이미지를 수신받아 영상변환시켜 특정객체를 탐지한 후, 특정객체의 이동궤적패턴을 기준으로 특정객체의 위치를 추적시키고, 특정객체의 이동궤적패턴을 실시간 누적시켜 통계분석보고서를 장소별, 시간대별로 표출시키는 스마트 영상·통계분석서버(300)로 구성되고,
    상기 스마트 영상·통계분석서버(300)는
    데이터통신인터페이스부와 연결되어, 스마트 전방위카메라장치로부터 전송된 도넛형 전방위이미지를 수신받는 도넛형 전방위이미지수신부(310)와,
    도넛형 전방위이미지수신부에서 수신받은 도넛형 전방위 이미지를 파노라마 언롤링(panorama unrolling)시켜 직사각형의 파노라마 이미지로 변환시키는 직사각형 파노라마 이미지변환부(320)와,
    직사각형 파노라마 이미지변환부의 왜곡된 이미지를 보정하고, 화질을 개선시키는 이미지왜곡보정부(330)와,
    이미지왜곡보정부를 통해 영상보정된 이미지 상에서 특정객체를 탐지한 후, 특정객체의 이동궤적패턴을 기준으로 특정객체의 위치를 추적시키고, 특정객체의 이동궤적패턴을 실시간 누적시켜 통계분석보고서를 장소별, 시간대별로 표출시키도록 제어하는 스마트 제어부(340)로 구성되는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치에 있어서,
    상기 직사각형 파노라마 이미지변환부(320)는
    도넛형 전방위 이미지를 좌표변환식을 사용하여 4채널로 이루어진 직사각형의 파노라마 이미지로 변환시키는 4채널 이미지변환부(321)와,
    도넛형 전방위 이미지데이터를 4개의 영역으로 나눈 후, 그 중 하나의 영역은 좌표 변환식을 이용하여 좌표를 연산시키고, 나머지 3개의 영역은 대칭 특성을 이용하여 동시에 3개의 좌표값을 연산시켜 룩업테이블생성부에 미리 저장시키는 좌표연산부(322)와,
    도넛형 전방위 이미지데이터와 직사각형의 파노라마 이미지 사이의 좌표값을 미리 연산하여 룩업테이블화시켜 저장시킨 후, 현재 입력된 도넛형 전방위 이미지데이터값에 맞는 룩업테이블값을 불러오는 룩업테이블생성부(323)로 구성되는 것을 특징으로 하는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
KR1020150091217A 2015-06-26 2015-06-26 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치 및 방법 KR101729906B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150091217A KR101729906B1 (ko) 2015-06-26 2015-06-26 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150091217A KR101729906B1 (ko) 2015-06-26 2015-06-26 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170001872A KR20170001872A (ko) 2017-01-05
KR101729906B1 true KR101729906B1 (ko) 2017-05-04

Family

ID=57835549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150091217A KR101729906B1 (ko) 2015-06-26 2015-06-26 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치 및 방법

Country Status (1)

Country Link
KR (1) KR101729906B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769906B2 (en) 2017-08-31 2020-09-08 Hanwha Techwin Co., Ltd. Doorbell, security system including doorbell apparatus, and method of operating the same

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101884611B1 (ko) 2017-02-23 2018-08-02 이노뎁 주식회사 이동객체의 메타데이터 필터링을 이용한 cctv 영상의 관심객체 추출 방법
KR102030736B1 (ko) * 2017-11-24 2019-10-10 주식회사 리얼타임테크 다중 분산 영상 데이터 분석 장치
KR101881524B1 (ko) * 2018-04-23 2018-07-24 박영기 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 하이브리드식 원거리 지능형 영상감시장치 및 방법
KR101956008B1 (ko) 2018-06-07 2019-03-08 쿠도커뮤니케이션 주식회사 궤적서비스제공장치 및 그 장치의 데이터구축방법
KR101939096B1 (ko) 2018-06-07 2019-01-16 쿠도커뮤니케이션 주식회사 궤적서비스제공장치 및 그 장치의 구동방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101377029B1 (ko) * 2013-11-29 2014-03-20 주식회사 에보시스 지능형 하이브리드 감시제어모듈을 통한 단계별 자율 경보형 스마트 cctv 감시장치 및 감시방법
KR101442669B1 (ko) * 2013-03-22 2014-09-24 에프엔엔(주) 지능형 객체감지를 통한 범죄행위 판별방법 및 그 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360246B1 (ko) 2013-08-12 2014-02-11 김규미 다기능 방범카메라 통합방범 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101442669B1 (ko) * 2013-03-22 2014-09-24 에프엔엔(주) 지능형 객체감지를 통한 범죄행위 판별방법 및 그 장치
KR101377029B1 (ko) * 2013-11-29 2014-03-20 주식회사 에보시스 지능형 하이브리드 감시제어모듈을 통한 단계별 자율 경보형 스마트 cctv 감시장치 및 감시방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769906B2 (en) 2017-08-31 2020-09-08 Hanwha Techwin Co., Ltd. Doorbell, security system including doorbell apparatus, and method of operating the same

Also Published As

Publication number Publication date
KR20170001872A (ko) 2017-01-05

Similar Documents

Publication Publication Date Title
KR101729906B1 (ko) 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치 및 방법
KR101729907B1 (ko) 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법
CN114093142B (zh) 通过组合视觉传感和热传感的对象感知的温度异常监控和预警
AU2012255691B2 (en) Surveillance system
US7940299B2 (en) Method and apparatus for an omni-directional video surveillance system
US20080122922A1 (en) Wide field-of-view reflector and method of designing and making same
US7366359B1 (en) Image processing of regions in a wide angle video camera
US11790504B2 (en) Monitoring method and apparatus
US20050036036A1 (en) Camera control apparatus and method
CN1985266B (zh) 全景视觉系统和方法
KR100976441B1 (ko) 전방위 카메라를 이용한 주차면 관리시스템 및 그 관리방법
US20080129844A1 (en) Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
KR101502448B1 (ko) 좌우 360도 상하 360도의 화각을 가지는 영상감시 시스템 및 감시방법
CN101119482A (zh) 一种全景监控方法及设备
CN103929592A (zh) 全方位智能监控设备及方法
US10735659B2 (en) Rotation-adaptive video analytics camera and method
KR101982751B1 (ko) 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치
US11825241B2 (en) Camera and a method therein for facilitating installation of the camera
CN107404633A (zh) 视频监控系统及其视频压缩编码方法、联合告警追踪方法
EP3745718B1 (en) Method of controlling pan-tilt-zoom camera by using fisheye camera and monitoring system
Pawłowski et al. Visualization techniques to support CCTV operators of smart city services
TW202231068A (zh) 用於產生影像圖框之串流的方法及系統
JP2015211302A (ja) 撮像装置、撮像システム
Tamaki et al. An automatic compensation system for unclear area in 360-degree images using pan-tilt camera
KR20180017329A (ko) 촬상 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant