KR20170001869A - 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법 - Google Patents

전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법 Download PDF

Info

Publication number
KR20170001869A
KR20170001869A KR1020150091205A KR20150091205A KR20170001869A KR 20170001869 A KR20170001869 A KR 20170001869A KR 1020150091205 A KR1020150091205 A KR 1020150091205A KR 20150091205 A KR20150091205 A KR 20150091205A KR 20170001869 A KR20170001869 A KR 20170001869A
Authority
KR
South Korea
Prior art keywords
image
unit
security monitoring
omnidirectional
specific object
Prior art date
Application number
KR1020150091205A
Other languages
English (en)
Other versions
KR101729907B1 (ko
Inventor
박구만
장지웅
김영애
정지상
박종화
왕기석
김경만
Original Assignee
서울과학기술대학교 산학협력단
주식회사 에보시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단, 주식회사 에보시스 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020150091205A priority Critical patent/KR101729907B1/ko
Publication of KR20170001869A publication Critical patent/KR20170001869A/ko
Application granted granted Critical
Publication of KR101729907B1 publication Critical patent/KR101729907B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]

Abstract

본 발명에서는 종래의 CCTV 감시 시스템의 경우에, 고정반경의 지역 감시만을 수행하므로 다수의 카메라를 설치해야 하고, 감시 지역의 환경에 따라 사각지역이 발생되는 문제점과, CCTV 카메라들간의 연동과 동작 스케줄에 대한 연산량이 증가하여 카메라가 객체를 추적하는 동작이 지연되는 문제점과, 현장에서 발생한 상황 알람 정보에 따라 각각에 맞는 자동 경보 방송을 송출시키는 기능이 없어, 범죄행위를 사전에 예방시킬 수 없는 문제점을 개선하고자, 전방위카메라모듈(100), 직사각형 파노라마 이미지변환부(200), 이미지왜곡보정부(300), 스마트 보안감시 제어부(400)로 구성됨으로서, 하나의 장소에 복수개의 CCTV가 설치되는 것을 대신하여 하나의 카메라로 객체를 360도의 도넛형 전방위 이미지로 생성시켜 실시간 감시할 수 있고, 이미지왜곡보정부를 통해 직사각형 파노라마 이미지변환부의 왜곡된 이미지를 보정하고, 화질을 개선시킬 수 있으며, 특정객체를 탐지한 후, 특정객체의 이동궤적패턴을 기준으로 이상객체의 위치를 추적시키고, 현장에서 발생한 특정객체의 이벤트 상황에 따라 자동 경보 방송을 송출시키도록 제어할 수 있으며, 기존 시스템에 추가적으로 프로그램만 연동시킬 수 있어, 호환성이 우수하고, 이웃하는 또 다른 스마트 보안 감시 장치와 유비쿼터스센서네트워크망(USN)으로 연결되어, 실시간으로 특정객체의 위치를 추적시킬 수 있어, 기존에 비해 지능형 영상분석 기술기반의 전방위 보안효과를 80% 향상시킬 수 있는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법을 제공하는데 그 목적이 있다.

Description

전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법{SECURITY SURVEILLANCE APPARATUS AND METHOD USING PATTERN ANALYSIS IN OMNI-DIRECTIONAL CAMERA IMAGES}
본 발명에서는 하나의 장소에 복수개의 CCTV가 설치되는 것을 대신하여 하나의 카메라로 객체를 360도의 도넛형 전방위 이미지로 생성시켜 실시간 감시할 수 있고, 특정객체의 이동궤적패턴을 기준으로 이상객체의 위치를 추적시킬 수 있으며, 현장에서 발생한 특정객체의 이벤트 상황에 따라 자동 경보 방송을 송출시켜 범죄행위를 사전에 예방시킬 수 있는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법에 관한 것이다.
최근 강력 범죄의 잦은 발생으로 사회적 불안감이 증가됨에 따라 개인이나 공공 안전에 대한 관심이 증가되고 있다.
이러한 이유로 범죄의 사전 예방과 사후분석 및 신속한 해결을 위한 영상 감시 시스템의 개발 및 활용에 대한 중요성이 증대되고 있다.
영상 감시 시스템에서 화질개선, 영상전송 및 저장 기술은 과거 시스템에 비해 많이 발전되었다.
또한, 인터넷과 연결되는 네트워크 카메라를 개발하여 원격으로 영상 감시를 수행할 수 있게 되었다.
이러한 시스템은 주변기술과 접목하여 응용범위가 광범위하게 넓어지고 있으며, 가격이 비교적 저렴해짐에 따라 효율적인 영상 감시 시스템의 폭넓은 보급이 가능해졌다.
CCTV(Closed Circuit Television)은 광역 카메라를 이용하여 공공장소나 우범지역, 출입통제구역과 같이 보안을 요구하는 장소에 설치하고, 화면 영상을 감시 인력이 직접 모니터링 하거나 저장 장치에 녹화 후 사후영상분석을 통해 대처하는 방식의 감시를 수행하게 된다.
하지만, 종래의 CCTV 감시 시스템은 고정반경의 지역 감시만을 수행하므로 광범위한 지역 감시를 위해서는 다수의 카메라를 설치해야 하며, 감시 지역의 환경에 따라 사각지역이 발생되는 문제점이 있었다.
또한 복수개의 CCTV 카메라가 설치되더라도, CCTV 카메라들간의 연동과 동작 스케줄에 대한 연산량이 증가하여 카메라가 객체를 추적하는 동작이 지연되는 문제점이 있었다.
그리고, 기존의 CCTV 카메라의 경우에 현장에서 발생한 상황 알람 정보에 따라 각각에 맞는 자동 경보 방송을 송출시키는 기능이 없어, 범죄행위를 사전에 예방시킬 수 없는 문제점이 있었다.
국내등록특허공보 제10-1360246호
상기의 문제점을 해결하고자, 본 발명에서는 하나의 장소에 복수개의 CCTV가 설치되는 것을 대신하여 하나의 카메라로 객체를 360도의 도넛형 전방위 이미지로 생성시켜 실시간 감시할 수 있고, 이미지왜곡보정부를 통해 직사각형 파노라마 이미지변환부의 왜곡된 이미지를 보정하고, 화질을 개선시킬 수 있으며, 특정객체를 탐지한 후, 특정객체의 이동궤적패턴을 기준으로 이상객체의 위치를 추적시키고, 현장에서 발생한 특정객체의 이벤트 상황에 따라 자동 경보 방송을 송출시키도록 제어할 수 있는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치는
하나의 카메라로 객체를 360도의 도넛형 전방위 이미지로 생성시키는 전방위카메라모듈(100)과,
전방위카메라모듈에서 생성된 도넛형 전방위 이미지데이터를 전달받아, 파노라마 언롤링(panorama unrolling)시켜 직사각형의 파노라마 이미지로 변환시키는 직사각형 파노라마 이미지변환부(200)와,
직사각형 파노라마 이미지변환부의 왜곡된 이미지를 보정하고, 화질을 개선시키는 이미지왜곡보정부(300)와,
이미지왜곡보정부를 통해 영상보정된 이미지 상에서 특정객체를 탐지한 후, 특정객체의 이동궤적패턴을 기준으로 이상객체의 위치를 추적시키고, 현장에서 발생한 특정객체의 이벤트 상황에 따라 자동 경보 방송을 송출시키도록 제어하는 스마트 보안감시 제어부(400)로 구성됨으로서 달성된다.
이상에서 설명한 바와 같이, 본 발명에서는
첫째, 하나의 장소에 복수개의 CCTV가 설치되는 것을 대신하여 하나의 카메라로 객체를 360도의 도넛형 전방위 이미지로 생성시켜 실시간 감시할 수 있어, 감시영역범위를 기존에 비해 70% 향상시킬 수 있고, 설치비용 또한 기존에 비해 80% 감소시킬 수 있다.
둘째, 이미지왜곡보정부를 통해 직사각형 파노라마 이미지변환부의 왜곡된 이미지를 보정하고, 화질을 개선시킬 수 있어, 양질의 이미지를 제공할 수 있다.
셋째, 특정객체를 탐지한 후, 특정객체의 이동궤적패턴을 기준으로 이상객체의 위치를 추적시키고, 현장에서 발생한 특정객체의 이벤트 상황에 따라 자동 경보 방송을 송출시키도록 제어할 수 있어, 기존에 비해 범죄사고율을 70% 감소시킬 수 있다.
넷째, 기존 시스템에 추가적으로 프로그램만 연동시킬 수 있어, 호환성이 우수하다.
다섯째, 이웃하는 또 다른 스마트 보안 감시 장치와 유비쿼터스센서네트워크망(USN)으로 연결되어, 실시간으로 특정객체의 위치를 추적시킬 수 있어, 기존에 비해 지능형 영상분석 기술기반의 전방위 보안효과를 80% 향상시킬 수 있다.
도 1은 본 발명에 따른 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치의 구성요소를 도시한 구성도,
도 2는 본 발명에 따른 렌즈부, 파라볼릭(parabolic) 반사판으로 이루어진 전방위카메라모듈의 구성요소를 도시한 사시도,
도 3은 본 발명에 따른 전방위카메라모듈의 구성요소를 도시한 블럭도,
도 4는 본 발명에 따른 직사각형 파노라마 이미지변환부의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 4채널 이미지변환부의 구성을 도시한 구성도,
도 6은 본 발명에 따른 4채널 이미지변환부를 통해 도넛형 전방위 이미지를 좌표변환식을 사용하여 4채널로 이루어진 직사각형의 파노라마 이미지로 변환시키는 것을 도시한 일실시예도,
도 7은 본 발명에 따른 9-point 보간 알고리즘엔진부에서 좌표연산부를 통해 연산된 총 9개의 화소값들 중에서 가장 가까운 위치에 있는 화소값을 매핑시키는 것을 도시한 일실시예도,
도 8은 본 발명에 따른 스마트 보안감시 제어부의 구성요소를 도시한 블럭도,
도 9는 본 발명에 따른 객체이동궤적분석부가 가우시안 혼합모델(Gaussian Mixture Model)을 사용하여 실시간 입력영상에서 객체를 검출하여 모폴로지 연산을 사용하여 잡음을 제거한 전경 영상을 기준으로 고유 ID가 부여된 영상 결과화면을 도시한 일실시예도,
도 10은 본 발명에 따른 객체이동궤적분석부를 이동 궤적이 누적되는 것을 도시한 일실시예도,
도 11의 (a)는 본 발명에 따른 객체이동궤적분석부를 통해 각각의 픽셀의 누적치를 통해 산출된 이진 영상에서의 히트맵(10분 단위로 산출한) 결과를 도시한 일실시예도,
도 11의 (b)는 본 발명에 따른 객체이동궤적분석부를 통해 사용자에게 보여주기 위하여 배경이미지에 입혀서 표현한 히트맵 결과를 도시한 일실시예도,
도 12는 본 발명에 따른 객체이동궤적분석부를 통해 사용자에게 보여주기 위하여 분할 영상의 배경 이미지에 입혀서 표현한 영상분석 시작으로부터 30분후의 히트맵 결과를 도시한 일실시예도,
도 13은 본 발명에 따른 객체이동궤적분석부를 통해 영상 분석 시작을 기준으로 10분 단위로 산출한 그래프 결과값을 도시한 일실시예도,
도 14는 본 발명에 따른 HOG형 객체탐지부를 통해 국소영역에 대한 밝기의 분포방향을 히스토그램으로 표현하여 특징벡터로 사용하여 형성시키는 것을 도시한 일실시예도,
도 15는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 방법을 도시한 순서도.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 본 발명에 따른 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 전방위카메라모듈(100), 직사각형 파노라마 이미지변환부(200), 이미지왜곡보정부(300), 스마트 보안감시 제어부(400)로 구성된다.
먼저, 본 발명에 따른 전방위카메라모듈(100)에 관해 설명한다.
상기 전방위카메라모듈(100)은 하나의 카메라로 객체를 360도의 도넛형 전방위 이미지로 생성시키는 역할을 한다.
이는 도 3에 도시한 바와 같이, 렌즈부(110), 파라볼릭(parabolic) 반사판(120), CCD센서부(130), 스피커부(140)로 구성된다.
첫째, 본 발명에 따른 렌즈부(110)에 관해 설명한다.
상기 렌즈부(110)는 360도의 시야범위로부터 들어오는 빛을 파라볼릭 반사판으로 유입시키는 역할을 한다.
이는 도 2에 도시한 바와 같이, 길이방향의 돔 구조로 형성된 몸체의 내부공간 일측에 광각 촬영이 가능한 1개의 비구면 단일 광학렌즈로 구성된다.
상기 렌즈부(110)는 면의 라이우스와 코팅 지그를 고려하여 코팅설계를 하도록 구성된다.
둘째, 본 발명에 따른 파라볼릭(parabolic) 반사판(120)에 관해 설명한다.
상기 파라볼릭(parabolic) 반사판(120)은 렌즈부에서 유입된 빛을 CCD 센서부로 반사시키는 역할을 한다.
이는 표면상에 AR코팅이 형성된다.
여기서, AR코팅은 빛의 포화 현상을 막기 위해 적외선영역대를 제거해주어, 렌즈의 투과율을 높여주는 역할을 한다.
이는 빛의 간섭성을 이용하여 파장보다 작은 두께의 방막을 장착하여 원하는 파장영역에서 투과 특성을 향상시킨다.
셋째, 본 발명에 따른 CCD센서부(130)에 관해 설명한다.
상기 CCD센서부(130)는 파라볼릭 반사판에서 반사된 빛을 포커스시켜 도넛형 파노라마 이미지를 생성시키는 역할을 한다.
이는 빛을 전기적 신호로 바꿔주는 소자로서, 수광부에서 발생된 전하가 일렬로 연결된 MOS 캐패시터를 거쳐 순차적으로 이동하여 소스팔로워에서 전압으로 변화되기 때문에 고전압 전원을 사용한다.
그리고, 수광부에 별도의 칩이 포함되어 구성된다.
본 발명에 따른 CCD센서부는 과도한 광량의 입사로 백화현상이나 스미어(Smear)가 심하게 발생할 수 있다.
이를 방지하기 위해 650nm~1500nm 부근의 적외선을 차단하는 필터를 사용하게 된다.
적외선 차단 필터로서, IR 컷필터(Cut Filter)와 IR 흡수필터(Absorption Filter)가 구성된다.
상기 IR 컷필터는 광학코팅방식으로 이루어져 입사각도에 따라 파장 시프트(Shift)가 발생시켜 적외선을 차단시키는 역할을 한다.
상기 IR 흡수필터(Absorption Filter)는 적외선 파장을 흡수시키는 역할을 한다.
넷째, 본 발명에 따른 스피커부(140)에 관해 설명한다.
상기 스피커부(140)는 스마트 보안감시제어부의 제어신호에 따라 구동되어, 미리 설정된 특정객체의 이벤트 상황에 따라 자동 경보 방송을 송출시키는 역할을 한다.
이는 특정객체의 이벤트 상황이, 도난 및 절도에 관한 이벤트일 경우에, "도둑이야~"는 음성멘트와 함께, 경보음을 주위에 송출시키는 제1 이벤트모드와, 특정객체이 이벤트 상황이, 외부인 침입에 관한 이벤트일 경우에, "외부인이 침입하였습니다~"는 음성멘트와 함께, 경보음을 주위에 송출시키는 제2 이벤트모드와, 특정객체의 이벤트 상황이, 성범죄에 관한 이벤트일 경우에, "치한이야~ 살려주세요~"라는 음성멘트와 함께, 경보음을 주위에 송출시키는 제3 이벤트모드 중 어느 하나가 선택되어 송출된다.
다음으로, 본 발명에 따른 직사각형 파노라마 이미지변환부(200)에 관해 설명한다.
상기 직사각형 파노라마 이미지변환부(200)는 전방위카메라모듈에서 생성된 도넛형 전방위 이미지데이터를 전달받아, 파노라마 언롤링(panorama unrolling)시켜 직사각형의 파노라마 이미지로 변환시키는 역할을 한다.
이는 도 4에 도시한 바와 같이, 4채널 이미지변환부(210), 좌표연산부(220), 룩업테이블생성부(230)로 구성된다.
첫째, 본 발명에 따른 4채널 이미지변환부(210)에 관해 설명한다.
상기 4채널 이미지변환부(210)는 도넛형 전방위 이미지데이터를 좌표변환식을 사용하여 4채널로 이루어진 직사각형의 파노라마 이미지로 변환시키는 역할을 한다.
이는 도넛형 전방위 이미지의 각 픽셀들의 동선(concentric circle line)을 추적하여 도넛형 전방위 이미지와 직사각형의 파노라마 이미지 사이의 좌표 매핑관계를 형성시킨다.
즉, 도 5는 본 발명에 따른 4채널 이미지변환부의 구성을 도시한 구성도에 관한 것으로, 여기서, R은 내부 원의 반지름을 나타내고, 2R은 외부 원의 반지름을 갖는 도넛형 전방위 이미지를 나타낸다.
그리고, 내부 반지름 R과 외부 반지름 2R 사이의 영역이 실제 이미지 정보가 있는 부분을 나타낸다.
도 6에서 도시한 바와 같이, 도넛형 전방위 이미지는 좌표변환식을 사용하여 4채널로 이루어진 직사각형의 파노라마 이미지로 변환시킨다.
도넛형 전방위 이미지와 직사각형 파노라마 이미지 사이의 매핑 관계는 극좌표계에서 직각 좌표계로의 변환 관계가 존재한다.
두 이미지 사이의 좌표 변환 관계는 파라미터(ri, θi)와 (Ui, Vi)로 나타낼 수 있고, 다음의 수학식 1과 수학식 2로 나타낼 수 있다.
Figure pat00001
Figure pat00002
상기 수학식 1과 수학식 2를 사용하여 두 이미지의 좌표(Xi,Yi)와 (Ui,Vi) 사이의 변환 관계를 수학식 3과 수학식 4로 나타낼 수 있다.
Figure pat00003
Figure pat00004

Figure pat00005
Figure pat00006

둘째, 본 발명에 따른 좌표연산부(220)에 관해 설명한다.
상기 좌표연산부(220)는 도넛형 전방위 이미지데이터를 4개의 영역으로 나눈 후, 그 중 하나의 영역은 좌표 변환식을 이용하여 좌표를 연산시키고, 나머지 3개의 영역은 대칭 특성을 이용하여 동시에 3개의 좌표값을 연산시켜 룩업테이블생성부에 미리 저장시키는 역할을 한다.
이는 도넛형 전방위 이미지의 중심 좌표값을 결정하고, 도넛형 전방위 이미지를 4개의 대칭영역으로 나누고, 그에 대응되는 직사각형의 파노라마 이미지를 4개의 영역으로 나눈 후, 4개의 영역 중 하나의 영역을 계산 영역으로 결정하여 좌표값을 연산시키도록 구성된다.
이는 수학식 3과 수학식 4를 사용하여 좌표값을 구하게 되면 계산량이 많아지고 하드웨어 복잡도 또한 매우 커지게 된다.
이때, 본 발명에서는 다음과 같은 과정을 거쳐 하드웨어 복잡도를 줄이고, 계산량을 줄이면서, 실시간 구현시킨다.
첫번째, 도넛형 전방위 이미지의 중심 좌표 값을 결정하고, 직사각형 파노라마 이미지의 사이즈를 결정한다.
두번째, 도넛형 전방위 이미지를 4개의 대칭영역으로 나누고, 그에 대응하는 직사각형의 파노라마 이미지를 4개의 영역으로 나눈다.
세번째, 4개의 영역 중 하나의 영역을 계산 영역으로 결정하여 수학식 3과 수학식 4를 이용하여 좌표값을 연산시킨다.
여기서, 연산된 좌표값을 다시 사용하여 나머지 3개의 영역을 대칭 좌표법에 의해 연산시키고, 수학식 5와 같이 표현할 수가 있다.
Figure pat00007
Figure pat00008
Figure pat00009

본 발명에 따른 좌표연산부를 통해 나머지 세 영역의 좌표값을 동시에 연산시킬 수 있고 계산식이 매우 간단하기 때문에 좌표 변환시, 빠르게 변환가능하고, 룩업테이블(look-up table)에 사용되는 메모리의 사이즈 또한 줄일 수가 있다.
셋째, 본 발명에 따른 룩업테이블생성부(230)에 관해 설명한다.
상기 룩업테이블생성부(230)는 도넛형 전방위 이미지데이터와 직사각형의 파노라마 이미지 사이의 좌표값을 미리 연산하여 룩업테이블화시켜 저장시킨 후, 현재 입력된 도넛형 전방위 이미지데이터값에 맞는 룩업테이블값을 불러오는 역할을 한다.
이는 수학식 3과 수학식 4에서 X에 관련된 값을 저장하는 LUT_X와 Y에 관련된 값을 저장하는 LUT_Y를 생성시킨다.
상기 룩업테이블생성부(230)는 직사각형 파노라마 이미지를 사용하고 좌표 변환시 발생하는 소수점 값을 저장하기 위해 12bits, 24bits, 48bit 중 어느 하나로 선택되어 구성된다.
그리고, 도넛형 전방위 이미지의 대칭 특성을 이용하여 직사각형 파노라마 이미지 사이즈의 1/4 만을 저장하도록 구성된다.
다음으로, 본 발명에 따른 이미지왜곡보정부(300)에 관해 설명한다.
상기 이미지왜곡보정부(300)는 직사각형 파노라마 이미지변환부의 왜곡된 이미지를 보정하고, 화질을 개선시키는 역할을 한다.
이는 9개의 화소값을 기준으로, 9개의 화소값들 중에서 가장 가까운 위치에 있는 화소값으로 매핑시키는 9-point 보간 알고리즘엔진부가 포함되어 구성된다.
즉, 모든 보간된 화소 값들은 인접한 실제 화소 값들의 평균으로 연산시킬 수 있다.
일예로, 보간된 화소값(i, j+0.5)는 실제 화소값(i,j)와 (i,j+1)의 평균값으로 나타낼 수 있다.
화소값(i+0.5,j+0.5)는 실제 화소값(i,j),(i+1,j), (i,j+1), (i+1,j+1)의 평균값으로 나타낼 수 있다.
보간된 화소값은 다음의 수학식 6과 같이 표현된다.
Figure pat00010
Figure pat00011
Figure pat00012
Figure pat00013
Figure pat00014

본 발명에 따른 좌표연산부(220)를 통해 연산된 좌표값들은 총 9개의 화소값들 중에서 가장 가까운 위치에 있는 화소값을 매핑된다.
도 7에서 빨간색 삼각형은 가장 가까운 위치에 있는 (i+0.5,j)의 값으로 매핑된다.
본 발명에 따른 9-point 보간 알고리즘엔진부는 오직 2개의 화소값 또는 4개의 화소값의 평균값으로 나타낼 수 있다.
이처럼, 9-point 보간 알고리즘엔진부는 변환된 직사각형의 파노라마 이미지의 심각한 화질 저하 없이 계산 복잡도를 줄일 수 있고, 실시간 저비용 하드웨어를 구현함에 있어서 매우 용이한 특성을 가진다.
다음으로, 본 발명에 따른 스마트 보안감시 제어부(400)에 관해 설명한다.
상기 스마트 보안감시 제어부(400)는 이미지왜곡보정부를 통해 영상보정된 이미지 상에서 특정객체를 탐지한 후, 특정객체의 이동궤적패턴을 기준으로 이상객체의 위치를 추적시키고, 현장에서 발생한 특정객체의 이벤트 상황에 따라 자동 경보 방송을 송출시키도록 제어하는 역할을 한다.
이는 도 8에 도시한 바와 같이, HOG형 객체탐지부(410), 객체이동궤적분석부(420), 스마트 객체추적제어부(430), 경고방송송출제어부(440)로 구성된다.
첫째, 본 발명에 따른 HOG형 객체탐지부(410)에 관해 설명한다.
상기 HOG형 객체탐지부(410)는 HOG(Histogram of Gradient) 특징을 이용하여 영상내의 객체를 탐지하는 역할을 한다.
이는 도 14에 도시한 바와 같이, 국소영역에 대한 밝기의 분포방향을 히스토그램으로 표현하여 특징벡터로 사용하는 것으로, 물체의 모양을 표현하는데 적합한 특성을 가진다.
HOG(Histogram of Gradient) 특징을 구하기 위해서는 먼저 기울기 크기값과 방향성값을 연산할 필요가 있다.
각 화소의 밝기값을 f(i,j)라고 하면 기울기 크기 m(i,j) 및 방향 θ(i,j)은 다음의 수학식 7과 같이 표현된다.
Figure pat00015
Figure pat00016
Figure pat00017
Figure pat00018

기울기 크기 및 방향성 정보를 알고 있으면 이를 이용하여 8×8 화소영역으로 이루어진 셀(cell)영역의 밝기 변화에 대한 방향성 히스토그램을 연산할 수 있다.
m(i,j)를 연산하기 위해 소벨(Sobel)연산자를 사용하고, θ(i,j)은 기울기 크기의 방향성만을 고려하면 0°~180°를 20°간격으로 나누어 하나의 셀당 9개의 방향성 히스토그램 빈(Bin)을 갖도록 구성된다.
그리고 각 히스토그램 빈에 기울기 크기 값을 누적하여 분포도를 연산시킨다.
또한 한개의 블록(block)은 3×3개의 셀을 포함하고 있으며, 각 블록은 정규화하도록 구성된다.
하나의 셀에 9개의 방향성 히스토그램 빈이 존재하고 하나의 블록에는 9개의 셀이 존재하므로, 한 블록의 히스토그램 빈의 수는 81개이다. 그리고, 각 블록에 대한 특징값은 스캔방향에 대하여 한 셀씩 이동(Sliding) 하면서 연산된다.
각 블록에 대해 특징 p는 다음의 수학식 8을 이용하여 정규화된다.
Figure pat00019
여기서, k는 블록내의 특징 갯수이고, ε은 분모가 0이 되었을 때 계산 불능을 방지하기 위한 값으로 1로 설정한다.
둘째, 본 발명에 따른 객체이동궤적분석부(420)에 관해 설명한다.
상기 객체이동궤적분석부(420)는 HOG형 객체탐지부에서 탐지한 객체 중 객체의 배경을 제거한 후, 객체 탐지의 결과인 이상행동, 사람, 차량에 관한 특정객체의 반복적인 이동궤적정보를 분석하는 역할을 한다.
상기 객체 중 이상행동, 사람, 차량에 관한 특정객체는 영상 안에서 화면에서 새로 나타나기도 하고 사라지기도 하며 수많은 위치 이동이 발생한다.
이에 본 발명에 따른 객체이동궤적분석부에서는 이상행동, 사람, 차량에 관한 특정객체에 대해 라벨링을 통해 고유 ID를 객체별로 할당해야 하며, 각 객체를 추적해야 한다.
고유의 ID를 보유한 특정객체들은 영상에서 사라지거나 추적에 실패할 경우 고유 ID를 잃게 된다.
이때, 본 발명에 따른 객체이동궤적분석부에서는 동일한 특정객체라도 중간에 추적이 실패하게 되면 새로운 특정객체로 인식이 되어 새로운 ID를 부여받게 된다.
도 9는 본 발명에 따른 객체이동궤적분석부가 가우시안 혼합모델(Gaussian Mixture Model)을 사용하여 실시간 입력영상에서 객체를 검출하여 모폴로지 연산을 사용하여 잡음을 제거한 전경 영상을 기준으로 고유 ID가 부여된 영상 결과화면을 도시한 일실시예도에 관한 것이다.
이어서, 특정객체의 이동궤적을 분석하기 위해서 사전에 특정객체가 위치하고 있는 공간을 설정한다.
특정객체의 위치는 영상에서 픽셀 위치를 의미한다.
본 발명에 따른 객체이동궤적분석부는 스마트 객체추적제어부를 통해 수행되는 특정객체의 위치, 크기, 형태 정보를 이용하여 추적을 수행하고, 추적이 실패할 때까지 궤적 정보를 저장한다.
도 10은 본 발명에 따른 객체이동궤적분석부를 이동 궤적이 누적되는 것을 도시한 일실시예도에 관한 것으로, 출입문을 통해 들어온 객체 1번이 (a)에서 (b)번까지 이동하면서 전경을 지속적으로 누적을 시킨 결과로 (c)와 같이 누적됨을 보여준다.
연산된 각각의 프레임의 블롭(Blob) 중심 블록을 계속적으로 연결한 것이 이동 궤적이 되며, (c)와 같은 결과를 통해서도 전경부분의 중심을 연결함으로써 객체의 이동 궤적을 산출한다.
궤적은 물체의 중심 좌표들 간의 연결이기 때문에 직선 형태를 보인다.
따라서, 본 발명에서는 이를 곡선형태로 근사화하는 베지에 곡선방법을 적용하였다.
베지에 곡선은 n 개의 점으로부터 얻어지는 n-1 차 곡선으로 부드러운 곡선을 생성하는데 다음의 수학식 9와 같은 3차 베지에 곡선이 사용된다.
Figure pat00020
Figure pat00021
본 발명에 따른 객체이동궤적분석부(420)는 3차 베지에 곡선을 이용하여 직선형태의 궤적을 부드러운 형태의 궤적으로 만들어 특정객체에 대한 궤적 정보를 누적하고, 누적된 궤적을 컬러맵으로 표현시켜 히트맵을 구성한다.
본 발명에서는 일예로, 최소 3Megapixel의 전방위 카메라모듈의 영상 크기와 영상 분석에 필요한 연산량을 감안하여 초당 1프레임의 이진 영상을 누적하고 최대 1시간을 기준으로 궤적의 누적치를 연산하였다.
일예로, 히트맵이 1초에 1번씩 지속적으로 누적된다고 하면 1시간 동안 최대 3600이 된다.
이를 컬러맵이 가지는 값인 360으로 나누게 되면 히트맵은 10단위로 컬러맵 값을 가지게 된다.
이를 적용하여 10분 단위로 산출한 히트맵은 도 11에서와 같다.
도 11의 (a)는 각각의 픽셀의 누적치를 통해 산출된 이진 영상에서의 히트맵 결과를 도시한 일실시예도에 관한 것이고, 도 11의 (b)는 사용자에게 보여주기 위하여 배경이미지에 입혀서 표현한 히트맵 결과를 도시한 일실시예도에 관한 것이다.
도 12는 사용자에게 보여주기 위하여 분할 영상의 배경 이미지에 입혀서 표현한 영상분석 시작으로부터 30분후의 히트맵 결과를 도시한 일실시예도에 관한 것이다.
이처럼, 본 발명에 따른 객체이동궤적분석부(420)를 통해 영상에서 색지도로 표현하게 되면, 어떤 위치에 이동궤적이 많았는지 표현이 가능하다.
하지만 영상에 색으로 표현해주는 히트맵으로는 카메라가 설치된 장소에 어떤 시간대에 특정객체가 많았는지는 파악하기가 어렵다.
그래서 색지도로 표현하기 어려운 정보에 대해서는 그래프로 표현해 줌으로써 어떤 시간대에 유동인구가 많았는지 분석자료에 대한 제공이 가능하다.
도 13은 본 발명에 따른 객체이동궤적분석부를 통해 영상 분석 시작을 기준으로 10분 단위로 산출한 그래프 결과값을 도시한 일실시예도에 관한 것으로, 그래프 또한 정수값들 간의 연결이기 때문에 직선 형태를 보인다.
따라서, 이를 곡선 형태로 근사화하는 베지에 곡선 방법을 적용하였다.
베지에 곡선을 적용한 그래프 산출 결과를 보면 분석 시작 후 10분 동안 유동인구가 가장 많았다는 것을 보여준다.
셋째, 본 발명에 따른 스마트 객체추적제어부(430)에 관해 설명한다.
상기 스마트 객체추적제어부(430)는 HOG형 객체탐지부에서 탐지한 탐지의 결과인 ROI(Region of Interest)와, 객체이동궤적분석부의 특정객체 이동궤적정보로 이루어진 하이브리드 방식으로 커널 기반(Kernel Based) 객체를 추적시키는 역할을 한다.
이는 특정객체를 추적함에 있어 특정객체의 추적형태에 따라 제약이 없고, 컬러정보를 사용함으로서 다른 추적방식에 비해 특정객체의 기울어짐이나 회전에 강한 특성을 가진다.
다음의 표1은 본 발명에 따른 스마트 객체추적제어부를 통한 객체 추적 결과 데이터 및 내용을 기재한 표이다.
구분 전체
프레임수		 정상
추적
프레임수		 추적
오류
프레임수		 추적
에러율		 객체수 객체추적 특정객체의 콘텐츠내용
1 2,456 1,724 20 3.38％ 3 도망치는 특정객체 및 배회특정객체
2 2,645 1,578 5 0.09％ 2 도망치는 특정객체 및 쓰레기투기특정객체
3 2,341 2,689 405 13.68％ 2 도망치는 특정객체
4 2,254 1,360 3 0.07％ 1 배회하는 특정객체
5 4,246 3,268 3 0.03％ 2 도망치는 특정객체
6 3,233 1,889 0 0.00% 1 배회하는 특정객체 및 쓰레기 투기특정객체
7 2,678 1,934 6 0.03% 3 쓰레기투기특정객체
8 2,045 1,105 120 0.54% 2 쓰레기투기특정객체
9 2,684 2,689 1523 6.46% 1 모든 상황의 통합 동영상
10 2.540 5,868 255 17.35% 2 정지후 추적하다 사라진 후부터 전부에러로 평가
11 1.396 2,110 855 10.62% 1 화면에서 사라진 후 정지객체로 오류인식
12 1,389 1,467 241 19.64% 2 객체의 크기가 최소크기 이하로 인하여 에러발생
넷째, 본 발명에 따른 경고방송송출제어부(440)에 관해 설명한다.
상기 경고방송송출제어부(440)는 스마트 객체추적제어부에서 추적시킨 특정객체의 이벤트 상황에 따라 자동 경보 방송을 송출시키도록 제어하는 역할을 한다.
이는 객체추적제어부에서 객체추적한 특정객체의 콘텐츠내용에 따라 1:1 맞춤형 자동경보방송을 송출시키도록 구성된다.
여기서, 1:1 맞춤형 자동경보방송은 도망치는 특정객체인 경우에, "도둑 잡아라~"라는 경고방송을 송출시키고, 쓰레기 투기 특정객체인 경우에, "쓰레기를 무단투기하지 마세요~"라는 경고방송을 송출시키며, 배회하는 특정객체인 경우에, "이곳은 보안감시시스템이 동작되는 곳이오니, 다른 곳으로 이동해주십시요~"라는 경고방송을 송출시키도록 구성된다.
이하, 본 발명에 따른 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 방법의 구체적인 동작과정에 관해 설명한다.
먼저, 도 15에 도시한 바와 같이, 전방위카메라모듈에서 하나의 카메라로 객체를 360도의 도넛형 전방위 이미지로 생성시킨다(S100).
다음으로, 직사각형 파노라마 이미지변환부에서 전방위카메라모듈에서 생성된 도넛형 전방위 이미지데이터를 전달받아, 파노라마 언롤링(panorama unrolling)시켜 직사각형의 파노라마 이미지로 변환시킨다(S200).
다음으로, 이미지왜곡보정부에서 직사각형 파노라마 이미지변환부의 왜곡된 이미지를 보정한다(S300).
다음으로, 스마트 보안감시 제어부에서 이미지왜곡보정부를 통해 영상보정된 이미지 상에서 특정객체를 탐지한다(S400).
다음으로, 스마트 보안감시 제어부에서 특정객체의 이동궤적패턴을 기준으로 이상객체의 위치를 추적시킨다(S500).
끝으로, 스마트 보안감시 제어부에서 특정객체의 이벤트 상황에 따라 자동 경보 방송을 송출시킨다(S600).
1 : 스마트 보안 감시 장치 100 : 전방위카메라모듈
110 : 렌즈부 120 : 파라볼릭(parabolic) 반사판
130 : CCD센서부 140 : 스피커부
200 : 직사각형 파노라마 이미지변환부 300 : 이미지왜곡보정부
400 : 스마트 보안감시 제어부

Claims (7)

  1. 하나의 카메라로 객체를 360도의 도넛형 전방위 이미지로 생성시키는 전방위카메라모듈(100)과,
    전방위카메라모듈에서 생성된 도넛형 전방위 이미지데이터를 전달받아, 파노라마 언롤링(panorama unrolling)시켜 직사각형의 파노라마 이미지로 변환시키는 직사각형 파노라마 이미지변환부(200)와,
    직사각형 파노라마 이미지변환부의 왜곡된 이미지를 보정하고, 화질을 개선시키는 이미지왜곡보정부(300)와,
    이미지왜곡보정부를 통해 영상보정된 이미지 상에서 특정객체를 탐지한 후, 특정객체의 이동궤적패턴을 기준으로 이상객체의 위치를 추적시키고, 현장에서 발생한 특정객체의 이벤트 상황에 따라 자동 경보 방송을 송출시키도록 제어하는 스마트 보안감시 제어부(400)로 구성되는 것을 특징으로 하는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치.
  2. 제1항에 있어서, 상기 전방위카메라모듈(100)은
    360도의 시야범위로부터 들어오는 빛을 파라볼릭 반사판으로 유입시키는 렌즈부(110)와,
    렌즈부에서 유입된 빛을 CCD 센서부로 반사시키는 파라볼릭(parabolic) 반사판(120)과,
    파라볼릭 반사판에서 반사된 빛을 포커스시켜 도넛형 파노라마 이미지를 생성시키는 CCD센서부(130)와,
    스마트 보안감시제어부의 제어신호에 따라 구동되어, 미리 설정된 특정객체의 이벤트 상황에 따라 자동 경보 방송을 송출시키는 스피커부(140)로 구성되는 것을 특징으로 하는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치.
  3. 제1항에 있어서, 상기 직사각형 파노라마 이미지변환부(200)는
    도넛형 전방위 이미지데이터를 좌표변환식을 사용하여 4채널로 이루어진 직사각형의 파노라마 이미지로 변환시키는 4채널 이미지변환부(210)와,
    도넛형 전방위 이미지데이터를 4개의 영역으로 나눈 후, 그 중 하나의 영역은 좌표 변환식을 이용하여 좌표를 연산시키고, 나머지 3개의 영역은 대칭 특성을 이용하여 동시에 3개의 좌표값을 연산시켜 룩업테이블생성부에 미리 저장시키는 좌표연산부(220)와,
    도넛형 전방위 이미지데이터와 직사각형의 파노라마 이미지 사이의 좌표값을 미리 연산하여 룩업테이블화시켜 저장시킨 후, 현재 입력된 도넛형 전방위 이미지데이터값에 맞는 룩업테이블값을 불러오는 룩업테이블생성부(230)로 구성되는 것을 특징으로 하는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치.
  4. 제1항에 있어서, 상기 이미지왜곡보정부(300)는
    9개의 화소값을 기준으로, 9개의 화소값들 중에서 가장 가까운 위치에 있는 화소값으로 매핑시키는 9-point 보간 알고리즘엔진부가 포함되어 구성되는 것을 특징으로 하는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치.
  5. 제1항에 있어서, 상기 스마트 보안감시 제어부(400)는
    HOG(Histogram of Gradient) 특징을 이용하여 영상내의 객체를 탐지하는 HOG형 객체탐지부(410)와,
    HOG형 객체탐지부에서 탐지한 객체 중 객체의 배경을 제거한 후, 객체 탐지의 결과인 이상행동, 사람, 차량에 관한 특정객체의 반복적인 이동궤적정보를 분석하는 객체이동궤적분석부(420)와,
    HOG형 객체탐지부에서 탐지한 탐지의 결과인 ROI(Region of Interest)와, 객체이동궤적분석부의 특정객체 이동궤적정보로 이루어진 하이브리드 방식으로 커널 기반(Kernel Based) 객체를 추적시키는 스마트 객체추적제어부(430)와,
    스마트 객체추적제어부에서 추적시킨 특정객체의 이벤트 상황에 따라 자동 경보 방송을 송출시키도록 제어하는 경고방송송출제어부(440)로 구성되는 것을 특징으로 하는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치.
  6. 제5항에 있어서, 상기 객체이동궤적분석부(420)는
    3차 베지에 곡선을 이용하여 직선형태의 궤적을 부드러운 형태의 궤적으로 만들어 특정객체에 대한 궤적 정보를 누적하고, 누적된 궤적을 컬러맵으로 표현시켜 히트맵을 구성하는 것을 특징으로 하는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치.
  7. 전방위카메라모듈에서 하나의 카메라로 객체를 360도의 도넛형 전방위 이미지로 생성시키는 단계(S100)와,
    직사각형 파노라마 이미지변환부에서 전방위카메라모듈에서 생성된 도넛형 전방위 이미지데이터를 전달받아, 파노라마 언롤링(panorama unrolling)시켜 직사각형의 파노라마 이미지로 변환시키는 단계(S200)와,
    이미지왜곡보정부에서 직사각형 파노라마 이미지변환부의 왜곡된 이미지를 보정시키는 단계(S300)와,
    스마트 보안감시 제어부에서 이미지왜곡보정부를 통해 영상보정된 이미지 상에서 특정객체를 탐지하는 단계(S400)와,
    스마트 보안감시 제어부에서 특정객체의 이동궤적패턴을 기준으로 이상객체의 위치를 추적시키는 단계(S500)와,
    스마트 보안감시 제어부에서 특정객체의 이벤트 상황에 따라 자동 경보 방송을 송출시키는 단계(S600)로 이루어지는 것을 특징으로 하는 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 방법.
KR1020150091205A 2015-06-26 2015-06-26 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법 KR101729907B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150091205A KR101729907B1 (ko) 2015-06-26 2015-06-26 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150091205A KR101729907B1 (ko) 2015-06-26 2015-06-26 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170001869A true KR20170001869A (ko) 2017-01-05
KR101729907B1 KR101729907B1 (ko) 2017-05-04

Family

ID=57835640

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150091205A KR101729907B1 (ko) 2015-06-26 2015-06-26 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101729907B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101846006B1 (ko) * 2017-11-15 2018-04-05 주식회사 에스씨테크원 멀티 센서 ｃｃｔｖ 파노라마 영상에서 얼굴 감지 시스템 및 방법
KR101861245B1 (ko) * 2017-11-15 2018-05-25 (주)엠더블유스토리 멀티 센서 ｃｃｔｖ 파노라마 영상에서 움직임 검출 시스템 및 방법
KR20200005438A (ko) * 2018-07-06 2020-01-15 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
WO2020138736A1 (ko) * 2018-12-27 2020-07-02 주식회사 월드씨엔에스 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치
KR20210079103A (ko) 2019-12-19 2021-06-29 삼성전기주식회사 카메라 모듈

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360246B1 (ko) 2013-08-12 2014-02-11 김규미 다기능 방범카메라 통합방범 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101377029B1 (ko) * 2013-11-29 2014-03-20 주식회사 에보시스 지능형 하이브리드 감시제어모듈을 통한 단계별 자율 경보형 스마트 cctv 감시장치 및 감시방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360246B1 (ko) 2013-08-12 2014-02-11 김규미 다기능 방범카메라 통합방범 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101846006B1 (ko) * 2017-11-15 2018-04-05 주식회사 에스씨테크원 멀티 센서 ｃｃｔｖ 파노라마 영상에서 얼굴 감지 시스템 및 방법
KR101861245B1 (ko) * 2017-11-15 2018-05-25 (주)엠더블유스토리 멀티 센서 ｃｃｔｖ 파노라마 영상에서 움직임 검출 시스템 및 방법
KR20200005438A (ko) * 2018-07-06 2020-01-15 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
US10834375B2 (en) 2018-07-06 2020-11-10 Lg Electronics Inc. Method and apparatus for transmitting and receiving metadata for coordinate system of dynamic viewpoint
WO2020138736A1 (ko) * 2018-12-27 2020-07-02 주식회사 월드씨엔에스 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치
CN113179673A (zh) * 2018-12-27 2021-07-27 世界性创新电子合作企业 应用多摄像头移动路径追踪技术的影像监视装置
CN113179673B (zh) * 2018-12-27 2023-09-19 世界性创新电子合作企业 应用多摄像头移动路径追踪技术的影像监视装置
KR20210079103A (ko) 2019-12-19 2021-06-29 삼성전기주식회사 카메라 모듈

Also Published As

Publication number Publication date
KR101729907B1 (ko) 2017-05-04

Similar Documents

Publication Publication Date Title
KR101729906B1 (ko) 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치 및 방법
KR101729907B1 (ko) 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법
AU2012255691B2 (en) Surveillance system
AU701222B2 (en) Video surveillance system
US7940299B2 (en) Method and apparatus for an omni-directional video surveillance system
US8405732B2 (en) Automatically expanding the zoom capability of a wide-angle video camera
US7366359B1 (en) Image processing of regions in a wide angle video camera
US9842261B2 (en) Vehicle monitoring device and method of monitoring vehicle
CN114093142B (zh) 通过组合视觉传感和热传感的对象感知的温度异常监控和预警
KR100976441B1 (ko) 전방위 카메라를 이용한 주차면 관리시스템 및 그 관리방법
US20050036036A1 (en) Camera control apparatus and method
US9576335B2 (en) Method, device, and computer program for reducing the resolution of an input image
US9065996B2 (en) Surveillance system
KR101502448B1 (ko) 좌우 360도 상하 360도의 화각을 가지는 영상감시 시스템 및 감시방법
CN103929592A (zh) 全方位智能监控设备及方法
CN108495066B (zh) 广角镜头的畸变矫正方法、装置及系统
JP2015211302A (ja) 撮像装置、撮像システム
CN104199425A (zh) 一种智能农业监控预警系统及方法
CN116342642A (zh) 目标跟踪方法、装置、电子设备及可读存储介质
Tamaki et al. An automatic compensation system for unclear area in 360-degree images using pan-tilt camera
US11825241B2 (en) Camera and a method therein for facilitating installation of the camera
CN111953982B (zh) 编码失真的图像帧的方法、设备和介质
KR20180017329A (ko) 촬상 장치
JPH08305841A (ja) 歪曲収差画像補正表示装置
US20230412815A1 (en) Camera system and method for encoding two video image frames captured by a respective one of two image sensors

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant