KR101924336B1 - 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치 - Google Patents

영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치 Download PDF

Info

Publication number
KR101924336B1
KR101924336B1 KR1020120102965A KR20120102965A KR101924336B1 KR 101924336 B1 KR101924336 B1 KR 101924336B1 KR 1020120102965 A KR1020120102965 A KR 1020120102965A KR 20120102965 A KR20120102965 A KR 20120102965A KR 101924336 B1 KR101924336 B1 KR 101924336B1
Authority
KR
South Korea
Prior art keywords
unit
image
video surveillance
setting
interest
Prior art date
Application number
KR1020120102965A
Other languages
English (en)
Other versions
KR20140036637A (ko
Inventor
이광국
이희열
김기문
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020120102965A priority Critical patent/KR101924336B1/ko
Publication of KR20140036637A publication Critical patent/KR20140036637A/ko
Application granted granted Critical
Publication of KR101924336B1 publication Critical patent/KR101924336B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치를 개시한다.
영상을 획득하는 영상 획득부; 사용자의 조작에 의한 명령을 입력받는 인터페이스부; 상기 명령에 근거하여 획득된 상기 영상의 일측과 타측에 복수의 선분을 마크(Mark)하는 선분 지정부; 상기 복수의 선분에 대한 양끝단을 서로 연결한 외부 연결선을 생성하고, 상기 외부 연결선 내의 영역을 관심 영역(Region of Interest)으로 설정하는 관심 영역 설정부; 및 상기 명령에 근거하여 상기 관심 영역의 속성을 설정하고, 상기 관심 영역의 형태를 설정된 상기 속성에 따른 형태로 변경하는 속성 설정부 를 포함하는 것을 특징으로 하는 영상 감시 장치를 제공한다.

Description

영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치{Method for Setting Region for Video Surveillance, Apparatus Therefor}
본 실시예는 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치에 관한 것이다. 더욱 상세하게는 영상 감시를 위해 관리자가 지속적으로 영상을 모니터링할 필요없이 영상 감시 장치를 통해 획득된 영상의 다양한 관심 영역을 설정하고, 객체 이동방향을 설정하여 이동 객체를 검출할 수 있는 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아님을 밝혀둔다.
최근 들어, 범죄가 늘어남에 따라 범죄 예방 차원에서의 보안이 중요하게 인식되고 있다. 이러한 보안을 강화하기 위해 공공 장소(예컨대 건물, 도로)에 설치된 카메라(예컨대, CCTV: Closed-Circuit Television)를 포함하는 감시 시스템이 있다. 이러한 감시 시스템은 일반적으로 컴퓨터, 카메라, 데이터 전송 케이블 및 디스플레이로 구성된 영상 저장 장치(DVR: Digital Video Recorder)일 수 있다. 이때, 영상 저장 장치에 포함된 카메라는 특정한 장소를 촬영하도록 고정되어 장착되고, 촬영된 이미지 시퀀스(Image Sequence)들을 캡쳐(Capture)하여 전송하고 이를 디스플레이에 나타나도록 한다. 이러한 영상 저장 장치는 일반적으로 특정의 보안요원들에 의해 운용되는데, 이러한 보안 요원은 영상 저장 장치를 관리하고, 촬영된 영상을 저장 장치에 기록한다.
종래의 영상 저장 장치의 경우 촬영되는 영상을 지속적으로 모니터링하는데 많은 노동력을 필요로 하며, 설치된 카메라가 수백 대인 경우 모든 영상을 감시하는 것이 불가능하다. 따라서, 특정 영상 내의 이벤트를 감지하여 알람을 발생시키는 지능형 영상 감시 시스템이 필요한 실정이다.
본 실시예는 영상 감시를 위해 관리자가 지속적으로 영상을 모니터링할 필요없이 영상 감시 장치를 통해 획득된 영상의 다양한 관심 영역을 설정하고, 객체 이동방향을 설정하여 이동 객체를 검출할 수 있는 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치를 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 영상을 획득하는 영상 획득부; 사용자의 조작에 의한 명령을 입력받는 인터페이스부; 상기 명령에 근거하여 획득된 상기 영상의 일측과 타측에 복수의 선분을 마크(Mark)하는 선분 지정부; 상기 복수의 선분에 대한 양끝단을 서로 연결한 외부 연결선을 생성하고, 상기 외부 연결선 내의 영역을 관심 영역(Region of Interest)으로 설정하는 관심 영역 설정부; 및 상기 명령에 근거하여 상기 관심 영역의 속성을 설정하고, 상기 관심 영역의 형태를 설정된 상기 속성에 따른 형태로 변경하는 속성 설정부를 포함하는 것을 특징으로 하는 영상 감시 장치를 제공한다.
또한, 본 실시에의 다른 측면에 의하면, 영상 감시 장치가 영역을 설정하는 방법에 있어서, 사용자의 조작에 의한 명령을 입력받는 사용자 입력 과정; 상기 명령에 근거하여 획득된 상기 영상의 일측과 타측에 복수의 선분을 마크하는 선분 지정 과정; 상기 복수의 선분에 대한 양끝단을 서로 연결한 외부 연결선을 생성하고, 상기 외부 연결선 내의 영역을 관심 영역으로 설정하는 관심 영역 설정 과정; 및 상기 명령에 근거하여 상기 관심 영역의 속성을 설정하고, 상기 관심 영역의 형태를 설정된 상기 속성에 따른 형태로 변경하는 속성 설정 과정을 포함하는 것을 특징으로 하는 영상 감시를 위한 영역 설정 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 영상 감시를 위해 관리자가 지속적으로 영상을 모니터링할 필요없이 영상 감시 장치를 통해 획득된 영상의 다양한 관심 영역을 설정하고, 객체 이동방향을 설정하여 이동 객체를 검출할 수 있는 효과가 있다.
또한, 본 실시예에 의하면, 영상을 모니터링함으로써 이루어지는 영상 감시 분야 특히 CCTV 영상을 관리자가 지속적으로 모니터링을 필요로 하는 종래의 단순 영상 감시 시스템이 아닌 CCTV 영상을 알고리즘을 통해 분석하여 특정 이벤트(예컨대, 객체 검출 이벤트)를 자동으로 검출할 수 있는 효과가 있다. 또한, 본 실시예에 의하면, 지능형 영상 감시 시스템에서는 이벤트 검출 또는 인식 알고리즘의 정확도를 높일 수 있는 효과가 있다.
도 1은 본 실시예에 따른 영상 감시 장치를 개략적으로 나타낸 블럭 구성도,
도 2는 본 실시예에 따른 객체 검출부를 개략적으로 나타낸 블럭 구성도,
도 3은 본 실시예에 따른 영상 감시를 위한 영역 설정 방법을 설명하기 위한 순서도,
도 4는 본 실시예에 따른 객체 검출을 위해 프레임률에 따라 학습률을 가변하여 이동하는 객체 검출하는 방법을 설명하기 위한 순서도,
도 5는 본 실시예에 따른 객체 검출을 위해 프레임률에 따라 학습률을 가변하여 이동하는 객체를 검출하기 위한 배경영상을 생성하는 방법을 설명하기 위한 순서도,
도 6은 본 실시예에 따른 프레임률에 따라 가변하는 학습률의 설정값을 설명하기 위한 예시도,
도 7은 본 실시예에 따른 관심 영역의 양 끝단을 정의하는 선분을 나타낸 예시도,
도 8은 본 실시예에 따른 관심 영역의 중앙 연결선을 나타낸 예시도,
도 9는 본 실시예에 따른 중앙 연결선 상의 조정점을 나타낸 예시도,
도 10은 본 실시예에 따른 관심 영역이 원호 형태로 변경됨을 나타낸 예시도,
도 11은 본 실시예에 따른 관심 영역이 다각형 형태로 변경됨을 나타낸 예시도,
도 12는 본 실시예에 따른 객체 이동방향 설정을 나타낸 예시도,
도 13은 본 실시예에 따른 복수의 조정점을 통행 관심 영역 변경을 나타낸 예시도,
도 14는 본 실시예에 따른 관심 영역이 U-턴 차량을 감지에 적용됨을 나타낸 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 영상 감시 장치를 개략적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 영상 감시 장치(100)는 인터페이스부(112), 카메라(114), 표시부(116), 선분 지정부(122), 관심 영역 설정부(124), 연결선 생성부(126), 조정점 생성부(128), 속성 설정부(132), 이동방향 설정부(134), 객체 검출부(142), 객체 방향 검출부(144) 및 알림부(146)를 포함한다. 본 실시예에서는 영상 감시 장치(100)가 인터페이스부(112), 카메라(114), 표시부(116), 선분 지정부(122), 관심 영역 설정부(124), 연결선 생성부(126), 조정점 생성부(128), 속성 설정부(132), 이동방향 설정부(134), 객체 검출부(142), 객체 방향 검출부(144) 및 알림부(146)만을 포함하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 영상 감시 장치(100)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 실시예에 따른 영상 감시 장치(100)는 영상을 촬영 및 기록할 수 있는 장치를 말하며, 방범, 이상행동 감시 등과 같이 범죄를 예방하거나 교통 위법 여부를 감시하기 위한 영상을 촬영할 수 있는 CCTV용 카메라, 감시 카메라로 구현될 수 있다. 이러한, 영상 감시 장치(100)는 촬영된 영상에서 이동하는 객체를 검출하여 저장하며, 촬영된 영상을 복수 개의 프레임으로 구분한다.
인터페이스부(112)는 사용자의 조작 또는 입력에 의한 명령(Instruction)을 입력받는다. 여기서, 사용자 명령은 영상 감시 장치(100)를 제어하기 위한 설정 명령 등이 될 수 있다. 이러한, 인터페이스부(112)는 일종의 사용자 입력부로서 마우스, 키보드, 조이스틱, 터치스크린 등을 포함하는 형태로 구현될 수 있다. 카메라(114)는 일종의 촬상소자(예컨대, CMOS: Complementary Metal-Oxide Semiconductor 또는 CCD: Charge-Coupled Device)와 렌즈부를 탑재한 일종의 촬영부를 말한다. 이러한, 카메라(114)는 영상을 획득한다. 또한, 카메라(114)는 고정된 영역(소정의 장소)에 대해서 영상을 획득한다. 표시부(116)는 카메라(114)로부터 수신한 영상 또는 영상 감시 장치(100)의 각종 동작 상태 정보를 표시하는 화면 표시 수단이다. 또한, 카메라(114)는 획득한 영상을 유선 또는 무선의 통신 방식으로 선분 지정부(122)로 전송할 수 있다. 즉, 카메라(114)와 선분 지정부(122)는 유선 케이블을 통해 연결되거나, 카메라(114) 및 선분 지정부(122) 각각에 무선 통신 모듈이 탑재되어 상호 간에 무선 통신이 가능하며, 카메라(114)에서 획득한 영상을 선분 지정부(122)로 무선 통신 방식을 통해 전송할 수 있다. 이러한, 무선 통신 방식은 근거리 통신을 비롯한 다양한 통신 방식이 적용될 수 있을 것이다. 예컨대, 영상 감시 장치(100)는 카메라(114)를 통해 촬영된 영상을 실시간 스트림(Live Stream)으로 감시하는 것을 기본으로 동작하나, 카메라(114)를 통해 획득된 영상이 DVR/NVR에 녹화되는 경우에도, 관심 영역 설정 및 객체 검출이 가능하도록 동작할 수 있는데 이때, 카메라(114)와 선분 지정부(122) 간에 연결된 통신 방식을 이용한 데이터 통신이 이용될 수 있다. 또한, 표시부(116)는 영상 감시 장치(100)의 구동 시 저장부에 저장된 다양한 프로그램을 수행하는 중에 발생하는 메시지들을 표시한다.
선분 지정부(122)는 인터페이스부(112)를 통한 명령에 근거하여 획득된 영상의 일측과 타측에 복수의 선분(710, 712)을 마크(Mark)한다. 즉, 카메라(114)를 통해 획득된 영상이 표시부(116)를 통해 표시되면, 해당 영상 상에 인터페이스부(112)를 통한 명령에 대응하는 위치에 선분이 마크되는 것이다. 이때, 선분의 길이는 인터페이스부(112)를 통한 명령에 의해 결정된다. 한편, 선분 지정부(122)는 전술한 바와 같이 카메라(114)와 유선 또는 무선의 통신 방식으로 연결되며, 카메라(114)로부터 획득한 영상을 수신하기 위한 별도의 모듈인 영상 획득부를 구비할 수 있다. 여기서, 영상 획득부란 카메라(114)로부터 유선 또는 무선으로 획득한 영상을 수신하는 일종의 수신 모듈을 말한다. 관심 영역 설정부(124)는 선분 지정부(122)를 통해 마크된 복수의 선분(710, 712)에 대한 양끝단을 서로 연결한 외부 연결선(720, 722)을 생성하고, 외부 연결선(720, 722) 내의 영역을 관심 영역(Region of Interest)(730)으로 설정한다. 이러한 외부 연결선(720, 722)은 인터페이스부(112)를 통한 명령과 무관하게 획득된 영상에 복수의 선분(710, 712)이 마크되면 자동으로 이루어질 수 있다. 또한, 관심 영역 설정부(124)는 외부 연결선(720, 722)을 폐다각형(Closed Traverse) 형태로 연결하여 관심 영역(730)을 설정한다.
연결선 생성부(126)는 선분 지정부(122)를 통해 획득된 영상에 복수의 선분(710, 712)이 마크되면, 복수의 선분(710, 712)에 대한 중점을 서로 연결한 중앙 연결선(810)을 생성한다. 이러한 중앙 연결선(810)은 인터페이스부(112)를 통한 명령과 무관하게 획득된 영상에 복수의 선분(710, 712)이 마크되면 자동으로 이루어질 수 있다. 조정점 생성부(128)는 인터페이스부(112)를 통한 명령에 근거하여 중앙 연결선(810) 상의 임의의 지점에 조정점(910)을 생성하며, 인터페이스부(112)를 통한 추가적인 명령에 근거하여 조정점(910)이 이동되는 경우 조정점(910)을 경유하여 관심 영역(730)이 유지되도록 한다. 즉, 조정점 생성부(128)는 이동된 조정점(910)을 경유하는 형태로 관심 영역(730)이 폐다각형 형태를 유지하도록 제어하는 것이다. 또한, 조정점 생성부(128)는 인터페이스부(112)를 통한 명령에 근거하여 새로운 복수의 조정점(910)을 추가로 생성하며, 각각의 복수의 조정점(910)이 이동되는 경우 복수의 조정점(910)을 모두 경유하여 관심 영역(730)이 유지되도록 한다. 즉, 조정점 생성부(128)는 이동된 복수의 조정점(910)을 경유하는 형태로 관심 영역(730)이 폐다각형 형태를 유지하도록 제어하는 것이다.
속성 설정부(132)는 인터페이스부(112)를 통한 명령에 근거하여 관심 영역(730)의 속성을 설정하고, 관심 영역(730)의 형태를 설정된 속성에 따른 형태로 변경한다. 이러한, 속성은 직선 속성(
Figure 112012075167463-pat00001
), 직각으로 교차되는 직선 속성(
Figure 112012075167463-pat00002
), 곡선 속성(
Figure 112012075167463-pat00003
), 자유 곡선 속성(
Figure 112012075167463-pat00004
)을 포함한다. 이때, 속성 설정부(132)는 인터페이스부(112)를 통한 명령에 의해 곡선 속성, 자유 곡선 속성이 설정된 경우 관심 영역(730)을 원호 형태(
Figure 112012075167463-pat00005
)로 변경하며, 직선 속성, 직각으로 교차되는 직선 속성이 설정된 경우 관심 영역(730)을 다각형(Polygon) 형태로 변경한다. 이동방향 설정부(134)는 인터페이스부(112)를 통한 명령에 근거하여 객체에 대한 객체 이동방향(1210)을 설정한다. 여기서, 객체 이동방향(1210)은 동, 서, 남, 북 방향(예컨대, →, ↓, ↑, ←)뿐 아니라, 동북, 동남, 서북, 서남 방향과 같은 대각선 방향(예컨대, ↗, ↙, ↖, ↘)도 설정이 가능할 것이다.
객체 검출부(142)는 관심 영역(730)을 통과하는 객체를 검출한다. 이하 객체 검출부(142)의 동작에 대해 설명하도록 한다. 또한, 객체 검출부(142)는 영상 중 현재 프레임(Frame)(t)에 대한 프레임률을 확인하고, 프레임률이 기 설정된 프레임률과 상이한 경우, 프레임률에 따라 영상 민감도를 조절하기 위한 학습률을 설정하고, 이전 프레임(t-1)에 대한 배경영상, 현재 프레임(t) 및 학습률을 이용하여 현재 프레임에 대한 배경영상을 생성하고, 현재 프레임과 현재 프레임에 대한 배경영상을 비교하여 객체를 검출한다. 이러한 객체 검출부(142)에 대해서는 도 2를 통해 보다 구체적으로 설명하도록 한다. 객체 방향 검출부(144)는 영상의 현재 프레임의 객체와 이전 프레임의 객체를 비교하여 객체 이동방향(1210)을 검출한다. 즉, 객체 방향 검출부(144)는 객체 검출부(142)를 통해 검출된 객체를 이용하여 객체가 이동하는 방향을 검출할 수 있는 것이다. 알림부(146)는 객체 검출부(142)를 통해 검출된 객체와 객체 방향 검출부(144)를 통해 검출된 객체 이동방향(1210)을 표시부(116)를 통해 나타낸다. 이러한, 알림부(146)는 인터페이스부(112)를 통해 기 설정된 조건(알림 주기, 객체 검출 시에만 알림, 객체 이동방향까지 알림 등)에 따라 표시부(116)를 통한 알림 여부를 제어할 수 있을 것이다.
도 2는 본 실시예에 따른 객체 검출부를 개략적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 객체 검출부(142)는 영상 수신부(210), 영상 확인부(220), 학습률 설정부(230), 배경영상 생성부(240) 및 객체 인식부(250)를 포함한다. 본 실시예에서는 객체 검출부(142)가 영상 수신부(210), 영상 확인부(220), 학습률 설정부(230), 배경영상 생성부(240) 및 객체 인식부(250)만을 포함하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 객체 검출부(142)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.
객체 검출부(142)는 영상 수신부(210), 영상 확인부(220), 학습률 설정부(230), 배경영상 생성부(240) 및 객체 인식부(250)를 포함한다. 영상 수신부(210)는 카메라(114)로부터 촬영된 영상을 수신하여 영상 확인부(220)로 전송한다.
영상 확인부(220)는 카메라(114)로부터 수신된 촬영된 영상에 대한 프레임률을 확인하는 동작을 수행한다. 여기서, 영상 확인부(220)는 기 설정된 프레임률을 기준으로 촬영된 영상의 프레임률이 동일한지 여부를 확인한다. 예컨대, 영상 확인부(220)에 기 설정된 프레임률이 30 fps일 경우, 촬영된 영상에 대한 프레임률이 30 fps와 동일한지, 15 fps 또는 10 fps 와 같이 상이한지 여부를 확인한다. 여기서, 촬영된 영상의 프레임률은 기 설정된 프레임률과 동일한 것이 바람직하나, 객체 검출부(142)가 복수 개의 영상을 동시에 처리하거나 부가 기능(예를 들어, 쓰레기 투기, 물건 보관에 특화된 서비스 등)을 사용하여 처리량이 증가함으로써 프레임률이 변경될 수 있다. 여기서, 프레임률은 현재 프레임과 제 1 이전 프레임의 입력시간을 비교하여 산출될 수 있다.
학습률 설정부(230)는 촬영된 영상의 프레임률에 따라 학습률을 조정하여 설정한다. 이러한, 학습률 설정부(230)는 영상 확인부(220)에서 확인한 결과, 촬영된 영상이 기 설정된 프레임률과 상이한 프레임률인 경우, 촬영된 영상의 프레임률에 따라 학습률을 설정하고, 설정된 학습률을 이용하여 배경영상 생성부(240)에서 갱신된 배경영상을 생성할 수 있도록 한다. 여기서 학습률이란, 배경영상의 민감도를 조절하는 값으로서, 0에서 1 사이의 상수값(예컨대, 0.99, 0.998 등)으로 설정된다. 학습률에 따라 변경되는 배경영상의 민감도는 촬영된 영상의 움직이는 객체를 빠르게 배경영상으로 흡수할 수도 있고, 촬영된 영상의 움직이는 객체를 느리게 흡수할 수도 있는 기준을 의미하고, 배경영상의 민감도에 따라 배경영상에 포함되는 배경이 달라지므로 이동하는 객체를 검출하는 기준이 달라지는 것과 동일하다.
배경영상 생성부(240)는 학습률 설정부(230)에서 설정된 학습률을 이용하여 배경영상을 생성한다. 여기서, 배경영상은 움직이는 객체가 아닌 배경을 나타내는 영상을 의미한다. 또한, 배경영상은 영상에 대한 화소값, 회색도(Gray-Level)값, 경계값 중 적어도 하나 이상의 값을 이용하여 생성된 영상으로 구현될 수 있다. 배경영상 생성부(240)는 배경영상을 객체 인식부(250)에 전송하고, 현재 프레임과 비교하여 상이한 부분을 이동하는 객체로 검출할 수 있도록 한다. 또한, 배경영상 생성부(240)는 촬영된 영상의 프레임률이 변경되더라도 소정의 함수에 기초하여 기 설정된 결과값과 동일한 배경영상을 생성하기 위해 다음과 같은 과정을 수행한다.
이하, 가변적인 학습률 및 이에 따른 배경영상을 생성하기 위한 과정을 수학식으로 표현하면 다음과 같다. 먼저, 일반적으로 고정적인 학습률을 이용하여 생성된 시간 t에서의 배경영상 M(t)는 [수학식 1]과 같다.
Figure 112012075167463-pat00006
(M(t): 시간 t에서의 배경영상, α: 학습률, M(t-1): 시간 t-1에서의 배경영상, I(t): 시간 t에서 카메라(114)로부터 수신된 촬영된 영상의 화소값)
본 실시예에 따른 가변적인 학습률을 산출하기 위해 시간 t를 t+k로 변경하면 시간 t+k에서의 배경영상 M(t+k)는 수학식 2과 같다.
Figure 112012075167463-pat00007
(M(t+k): 시간 t+k에서의 배경영상, α: 학습률, M(t+k-1): 시간 t+k-1에서의 배경영상, I(t+k): 시간 t+k에서 카메라(114)로부터 수신된 촬영된 영상의 화소값)
한편, [수학식 2] 내지 [수학식 7]에서는 학습률에 따라 생성되는 배경영상만을 산출하기 위해 촬영된 영상의 화소값은 시간과 관계없이 동일한 것으로 가정한다. 즉, I(t+k)= I(t+k-1)= I(t+k-2)= ... = I(t)인 것으로 가정한다.
또한, [수학식 2]의 M(t+k-1)은 이전 프레임의 배경영상인 M(t+k-2)와 촬영된 영상 화소값인 I(t+k-2)에 의해 [수학식 3]과 같이 나타낼 수 있다.
Figure 112012075167463-pat00008
(M(t+k): 시간 t+k에서의 배경영상, α: 학습률, M(t+k-1): 시간 t+k-1에서의 배경영상, M(t+k-2): 시간 t+k-2에서의 배경영상, I(t+k-2): 시간 t+k-2에서 카메라(114)로부터 수신된 촬영된 영상의 화소값)
또한, [수학식 3]의 M(t+k-2)은 이전 프레임의 배경영상인 M(t+k-3)과 촬영된 영상 화소값인 I(t+k-3)에 의해 수학식 4와 같이 나타낼 수 있다.
Figure 112012075167463-pat00009
(M(t+k): 시간 t+k에서의 배경영상, α: 학습률, M(t+k-2): 시간 t+k-2에서의 배경영상, M(t+k-3): 시간 t+k-3에서의 배경영상, I(t+k-3): 시간 t+k-3에서 카메라(114)로부터 수신된 촬영된 영상의 화소값)
한편, [수학식 2] 내지 [수학식 4]를 반복하여 일반화하면, 가변적인 학습률을 이용하여 생성된 시간 t+k에서의 배경영상 M(t+k)는 [수학식 5]와 같다.
Figure 112012075167463-pat00010
(M(t+k): 시간 t+k에서의 배경영상, αk: 가변적인 학습률, M(t): 시간 t에서의 배경영상, I(t): 시간 t에서 카메라(114)로부터 수신된 촬영된 영상의 화소값)
즉, 객체 검출부(142)는 프레임률이 변경된 영상이 k 프레임마다 수신되는 경우, 학습률 α를 αk로 변경함으로써, 고정된 학습률 α를 이용하여 기 설정된 프레임률을 수신할 때와 동일한 결과를 산출할 수 있다.
한편, 기 설정된 프레임률이 T이고, 변경된 프레임률이 S이면, k값은 T/S를 가 되고, 이를 이용하여 생성되는 배경영상 M(t+k)은 [수학식 6]과 같다.
Figure 112012075167463-pat00011
(M(t+k): 시간 t+k에서의 배경영상, αk: 가변적인 학습률, M(t): 시간 t에서의 배경영상, I(t): 시간 t에서 카메라(114)로부터 수신된 촬영된 영상의 화소값, k: 기 설정된 프레임률(T) / 변경된 프레임률(S))
한편, [수학식 6]은 지수연산을 포함하고 있어, 많은 연산처리량을 갖는다. 그러므로, [수학식 6]의 αk를 근사화하기 위하여 {1-k×(1-α)}로 변환하여 수학식 7과 같이 나타낼 수 있다. 여기서, αk와 {1-k×(1-α)}가 근사한 값을 갖는 것에 대해서는 도 6에서 구체적으로 설명하도록 한다.
Figure 112012075167463-pat00012
(M(t+k): 시간 t+k에서의 배경영상, {1-k×(1-α)}: 가변적인 학습률, α: 고정적인 학습률, M(t): 시간 t에서의 배경영상, I(t): 시간 t에서 카메라(114)로부터 수신된 촬영된 영상의 화소값, k: 기 설정된 프레임률(T) / 변경된 프레임률(S))
객체 인식부(250)는 영상 수신부(210)에서 현재 프레임을 수신하면, 이를 배경영상 생성부(240)에서 생성된 배경영상과 비교하여 변화가 있는 부분을 이동하는 객체로 판단한다.
도 3은 본 실시예에 따른 영상 감시를 위한 영역 설정 방법을 설명하기 위한 순서도이다.
영상 감시 장치(100)는 구비된 카메라(114)를 이용하여 영상을 획득한다(S310). 즉, 단계 S310에서 영상 감시 장치(100)는 고정된 영역(소정의 장소)에 대해서 영상을 획득한다. 이때, 영상 감시 장치(100) 내의 카메라(114)는 유선 또는 무선으로 연결된 선분 지정부(122)로 획득된 영상을 전송할 수 있으며, 선분 지정부(122)는 탑재된 영상 획득부를 이용하여 획득된 영상을 수신할 수 있다. 영상 감시 장치(100)는 사용자의 조작 또는 입력에 의한 명령을 입력받는다(S320). 단계 S320에서 영상 감시 장치(100)는 구비된 인터페이스부(112)인 마우스, 키보드, 조이스틱, 터치스크린 등을 이용하여 영상 감시 장치(100)를 제어하기 위한 설정 명령 등을 입력받을 수 있다.
영상 감시 장치(100)는 구비된 카메라(114)를 통해 획득된 영상의 일측과 타측에 인터페이스부(112)를 통한 명령에 근거한 복수의 선분(710, 712)을 마크한다(S330). 단계 S330에서 영상 감시 장치(100)는 카메라(114)를 통해 획득된 영상이 표시부(116)를 통해 표시하고, 해당 영상 상에 인터페이스부(112)를 통한 명령에 대응하는 위치에 선분을 마크한다. 이때, 선분의 길이는 인터페이스부(112)를 통한 명령에 의해 결정된다.
영상 감시 장치(100)는 마크된 복수의 선분(710, 712)에 대한 양끝단을 서로 연결한 외부 연결선(720, 722)을 생성하고, 외부 연결선(720, 722) 내의 영역을 관심 영역(730)으로 설정한다(S340). 단계 S340에서 외부 연결선(720, 722)은 인터페이스부(112)를 통한 명령과 무관하게 획득된 영상에 복수의 선분(710, 712)이 마크되면 자동으로 이루어질 수 있다. 영상 감시 장치(100)는 획득된 영상에 복수의 선분(710, 712)이 마크되면, 복수의 선분(710, 712)에 대한 중점을 서로 연결한 중앙 연결선(810)을 생성한다(S350). 단계 S350에서 중앙 연결선(810)은 인터페이스부(112)를 통한 명령과 무관하게 획득된 영상에 복수의 선분(710, 712)이 마크되면 자동으로 이루어질 수 있다.
영상 감시 장치(100)는 중앙 연결선(810) 상의 임의의 지점에 조정점(910)을 생성하며, 인터페이스부(112)를 통한 추가적인 명령에 근거하여 조정점(910)이 이동되는 경우 조정점(910)을 경유하여 관심 영역(730)이 유지되도록 한다(S360). 이때, 중앙 연결선(810) 상의 임의의 지점은 인터페이스부(112)를 통한 명령에 대응하는 위치이다. 단계 S360에서 영상 감시 장치(100)는 이동된 조정점(910)을 경유하는 형태로 관심 영역(730)이 폐다각형 형태를 유지하도록 제어한다. 또한, 영상 감시 장치(100)는 인터페이스부(112)를 통한 명령에 근거하여 새로운 복수의 조정점(910)을 추가로 생성하며, 각각의 복수의 조정점(910)이 이동되는 경우 복수의 조정점(910)을 모두 경유하여 관심 영역(730)이 유지되도록 한다. 즉, 영상 감시 장치(100)는 이동된 복수의 조정점(910)을 경유하는 형태로 관심 영역(730)이 폐다각형 형태를 유지하도록 제어하는 것이다.
영상 감시 장치(100)는 관심 영역(730)의 속성을 설정하고, 관심 영역(730)의 형태를 설정된 속성에 따른 형태로 변경한다(S370). 이때, 속성은 인터페이스부(112)를 통한 명령에 대응하여 설정된다. 또한, 단계 S370에서 속성은 직선 속성(
Figure 112012075167463-pat00013
), 직각으로 교차되는 직선 속성(
Figure 112012075167463-pat00014
), 곡선 속성(
Figure 112012075167463-pat00015
), 자유 곡선 속성(
Figure 112012075167463-pat00016
)을 포함한다. 이때, 영상 감시 장치(100)는 인터페이스부(112)를 통한 명령에 의해 곡선 속성, 자유 곡선 속성이 설정된 경우 관심 영역(730)을 원호 형태(
Figure 112012075167463-pat00017
)로 변경하며, 직선 속성, 직각으로 교차되는 직선 속성이 설정된 경우 관심 영역(730)을 다각형 형태로 변경한다.
한편, 영상 감시 장치(100)는 객체에 대한 객체 이동방향(1210)을 설정한다. 이때, 객체 이동방향(1210)은 인터페이스부(112)를 통한 명령에 근거하여 설정될 수 있다. 여기서, 객체 이동방향(1210)은 동, 서, 남, 북 방향(예컨대, →,↓,↑,←)뿐 아니라, 동북, 동남, 서북, 서남 방향과 같은 대각선 방향(예컨대, ↗, ↙, ↖, ↘)도 설정이 가능할 것이다.
영상 감시 장치(100)는 관심 영역(730)을 통과하는 객체를 검출한다(S380). 단계 S370에서 영상 감시 장치(100)는 획득된 영상 중 현재 프레임(t)에 대한 프레임률을 확인하고, 프레임률이 기 설정된 프레임률과 상이한 경우, 프레임률에 따라 영상 민감도를 조절하기 위한 학습률을 설정하고, 이전 프레임(t-1)에 대한 배경영상, 현재 프레임(t) 및 학습률을 이용하여 현재 프레임에 대한 배경영상을 생성하고, 현재 프레임과 현재 프레임에 대한 배경영상을 비교하여 객체를 검출한다.
한편, 단계 S380 이후에 영상 감시 장치(100)는 영상의 현재 프레임의 객체와 이전 프레임의 객체를 비교하여 객체 이동방향(1210)을 검출할 수 있다. 즉, 객체 방향 검출부(144)는 객체 검출부(142)를 통해 검출된 객체를 이용하여 객체가 이동하는 방향을 검출할 수 있는 것이다. 또한, 영상 감시 장치(100)는 객체 검출부(142)를 통해 검출된 객체와 객체 방향 검출부(144)를 통해 검출된 객체 이동방향(1210)을 표시부(116)를 통해 나타낼 수 있다. 이때, 영상 감시 장치(100)는 기 설정된 조건(알림 주기, 객체 검출 시에만 알림, 객체 이동방향까지 알림 등)에 따라 표시부(116)를 통한 알림 여부를 제어할 수 있다.
도 3에서는 단계 S310 내지 단계 S380을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S310 내지 단계 S380 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 3에 기재된 본 실시예에 따른 영상 감시를 위한 영역 설정 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 감시를 위한 영역 설정 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
도 4는 본 실시예에 따른 객체 검출을 위해 프레임률에 따라 학습률을 가변하여 이동하는 객체 검출하는 방법을 설명하기 위한 순서도이다.
영상 감시 장치(100)에 구비된 객체 검출부(142)는 카메라(114)로부터 촬영된 현재 프레임을 수신한다(S410). 영상 감시 장치(100)에 구비된 객체 검출부(142)는 현재 프레임에 근거하여 가변된 학습률을 적용하여 갱신된 배경영상을 생성한다(S420). 여기서, 배경영상은 [수학식 6] 또는 [수학식 7]을 이용하여 생성된 배경영상을 의미한다.
영상 감시 장치(100)에 구비된 객체 검출부(142)는 단계 S410에서 생성된 배경영상과 카메라(114)에서 촬영된 현재 프레임을 비교하여 이동하는 객체를 검출한다(S430). 예컨대, 현재 프레임에는 가방이 존재하고, 단계 S410에서 생성된 배경영상은 가방이 존재하지 않을 경우, 현재 프레임과 배경영상을 비교하여 가방을 이동하는 객체로 판단하여 검출한다. 영상 감시 장치(100)에 구비된 객체 검출부(142)는 단계 S430에서 검출된 이동하는 객체에 대한 검출정보를 관리자가 모니터링할 수 있도록 표시부(116)에 전송한다(S440).
도 4에서는 단계 S410 내지 단계 S440을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 순서를 변경하여 실행하거나 단계 S410 내지 단계 S440 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
도 5는 본 실시예에 따른 객체 검출을 위해 프레임률에 따라 학습률을 가변하여 이동하는 객체를 검출하기 위한 배경영상을 생성하는 방법을 설명하기 위한 순서도이다.
영상 감시 장치(100)에 구비된 객체 검출부(142)는 카메라(114)에서 촬영된 영상을 수신한다(S510). 여기서, 촬영된 영상은 현재 프레임(t)을 포함한다. 영상 감시 장치(100)에 구비된 객체 검출부(142)는 현재 프레임(t)에 대한 프레임률을 확인하고, 현재 프레임(t)에 대한 프레임률과 기 설정된 프레임률을 비교한다(S530). 여기서, 영상 감시 장치(100)에 구비된 객체 검출부(142)는 복수 개의 영상을 동시에 처리하거나 부가 기능(예를 들어, 쓰레기 투기, 물건 보관에 특화된 서비스 등)을 사용하여 처리량이 증가함으로써, 카메라(114)에서 촬영된 영상의 프레임률이 감소될 수도 있다. 이러한, 프레임률의 변화를 확인하기 위해 단계 S530을 수행한다.
단계 S530을 확인한 결과, 영상 감시 장치(100)에 구비된 객체 검출부(142)는 현재 프레임(t)에 대한 프레임률이 기 설정된 프레임률과 상이한 것으로 확인된 경우, 현재 프레임(t)에 대한 프레임률에 근거하여 학습률을 설정한다(S540). 여기서, 학습률은 [수학식 6] 또는 [수학식 7]에 근거하여 학습률을 설정한다. 한편, 단계 S530을 확인한 결과, 영상 감시 장치(100)에 구비된 객체 검출부(142)는 현재 프레임(t)에 대한 프레임률이 기 설정된 프레임률과 동일한 것으로 확인된 경우, 기 설정된 학습률을 이용하여 배경영상을 생성한다(S550).
영상 감시 장치(100)에 구비된 객체 검출부(142)는 기 저장된 제 1 이전 프레임(t-1)에 대한 배경영상, 현재 프레임(t) 및 단계 S540에서 설정된 학습률을 이용하여 갱신된 배경영상을 생성한다(S560). 여기서, 배경영상은 [수학식 6]을 이용하여 생성된 배경영상인 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 연산처리량을 감소시키기 위해 [수학식 7]을 이용하여 생성된 배경영상일 수도 있다. 또한, 영상 감시 장치(100)에 구비된 객체 검출부(142)는 배경영상을 소정의 주기로 재귀적으로 동작하는 것이 바람직하다.
도 5에서는 단계 S510 내지 단계 S560을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5에 기재된 순서를 변경하여 실행하거나 단계 S510 내지 단계 S560 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.
도 6은 본 실시예에 따른 프레임률에 따라 가변하는 학습률의 설정값을 설명하기 위한 예시도이다.
본 실시예에 따른 객체 검출부(142)는 이동하는 객체를 검출하기 위해 배경영상을 생성한다. 여기서, 객체 검출부(142)는 [수학식 6]을 이용하여 배경영상을 생성하지만, [수학식 6]에 포함된 αk은 지수연산으로서 많은 연산처리량을 필요로 한다. 그대로 지수연산을 할 수도 있으나 계산량 및 계산시간을 줄이기 위해 [수학식 7]과 같이 αk을 {1-k×(1-α)}로 근사화하여 배경영상을 생성할 수도 있다.
도 6은 0.99 내지 0.999 사이의 값을 갖는 학습률(a)에 대하여 [수학식 6]의 학습률과 [수학식 7]의 학습률을 비교한 값을 나타낸 표이다. 여기서, 두 값에 대한 유사도는 [수학식 7]의 학습률/수학식 6의 학습률×100으로 계산하도록 하고, 소수점 두 번째 자리까지 표시하도록 한다.
도 6에 도시된 바와 같이, a가 0.998의 값을 가질 경우, k 값이 1 내지 5에서 {1-k×(1-α)}와 αk은 100% 일치하는 것을 확인할 수 있다. 또한, 0.99 이상의 값에서는 99% 이상으로 유사한 값을 가지므로, [수학식 6]의 지수연산을 포함하는 학습률 조정은 [수학식 7]의 곱셈연산을 이용하는 학습률 조정으로 대체하여 산출이 가능하다.
도 7은 본 실시예에 따른 관심 영역(730)의 양 끝단을 정의하는 선분을 나타낸 예시도이다.
영상 감시 장치(100)는 구비된 카메라(114)를 이용하여 도 7에 도시된 바와 같은 영상을 획득한다. 즉, 영상 감시 장치(100)는 도 7에 도시된 바와 같이 고정된 영역(소정의 장소)인 '교차로'에 대한 영상을 획득한다. 획득된 영상은 영상 감시 장치(100)에 구비된 표시부(116)를 통해 표시된다.
이후, 영상 감시 장치(100)가 획득된 영상인 '교차로' 영상에 관심 영역(730)을 지정하기 위해 획득된 영상(교차로 영상)의 일측과 타측에 인터페이스부(112)를 통한 명령에 근거한 복수의 선분(710, 712)을 마크한다. 즉, 영상 감시 장치(100)는 구비된 인터페이스부(112)는 사용자의 조작 또는 입력에 의해 선분을 마크하기 위한 명령을 입력받는다. 영상 감시 장치(100)는 구비된 인터페이스부(112)인 마우스, 키보드, 조이스틱, 터치스크린 등을 이용하여 선분을 마크하기 위한 명령을 입력받을 수 있다. 즉, 영상 감시 장치(100)는 카메라(114)를 통해 획득된 영상이 표시부(116)를 통해 표시되면, 해당 영상 상에 인터페이스부(112)를 통한 명령에 대응하는 위치에 선분이 마크한다. 이때, 선분의 길이는 인터페이스부(112)를 통한 명령에 의해 결정된다. 영상 감시 장치(100)는 마크된 복수의 선분(710, 712)에 대한 양끝단을 서로 연결한 외부 연결선(720, 722)을 생성하고, 외부 연결선(720, 722) 내의 영역을 관심 영역(730)으로 설정한다. 이때, 외부 연결선(720, 722)은 인터페이스부(112)를 통한 명령과 무관하게 획득된 영상에 복수의 선분(710, 712)이 마크되면 자동으로 이루어질 수 있다.
즉, 이러한 관심 영역(730)의 지정을 위하여 영상 감시 장치(100)는 도 7에 도시된 것과 같이 관심 영역(730)의 양 끝단을 정의하는 두 개의 선분(710, 712)('선분 A'(710)와 '선분 B'(712))을 지정한다. '선분 A'(710)와 '선분 B'(712)의 지정은 좌표의 입력이나 마우스 클릭과 같은 다양한 인터페이스를 통해 이루어질 수 있다. 영상 감시 장치(100)는 지정된 두 선분인 '선분 A'(710)와 '선분 B'(712)의 양 끝점을 연결하는 폐다각형이 초기 관심 영역(730)으로 지정된다.
도 8은 본 실시예에 따른 관심 영역의 중앙 연결선을 나타낸 예시도이다.
영상 감시 장치(100)는 획득된 영상에 복수의 선분(710, 712)이 마크되면, 복수의 선분(710, 712)에 대한 중점을 서로 연결한 중앙 연결선(810)을 생성한다. 중앙 연결선(810)은 인터페이스부(112)를 통한 명령과 무관하게 획득된 영상에 복수의 선분(710, 712)이 마크되면 자동으로 이루어질 수 있다. 즉, 도 8에 도시된 바와 같이, 영상 감시 장치(100)는 입력된 두 선분인 '선분 A'(710)와 '선분 B'(712)를 잇는 중앙 연결선(810) 'O'를 생성한다. 이때, '선분 O'(810)는 두 선분인 '선분 A'(710)와 '선분 B'(712)의 각각의 중점 OA, OB와 연결된다.
도 9는 본 실시예에 따른 중앙 연결선 상의 조정점을 나타낸 예시도이다.
영상 감시 장치(100)는 구비된 조정점 생성부(128)를 이용하여 중앙 연결선(810) 상의 임의의 지점에 조정점(910)을 생성하며, 인터페이스부(112)를 통한 추가적인 명령에 근거하여 조정점(910)이 이동되는 경우 조정점(910)을 경유하여 관심 영역(730)이 유지되도록 한다. 이때, 중앙 연결선(810) 상의 임의의 지점은 인터페이스부(112)를 통한 명령에 대응하는 위치이다.
즉, 도 9에 도시된 바와 같이 영상 감시 장치(100)는 '선분 O'(810)상의 임의의 점을 클릭하여 조정점(910)을 생성할 수 있으며, 생성된 조정점(910)의 위치를 이동하여 '선분 O'(810)의 모양을 변형시킬 수 있다. 이때, 영상 감시 장치(100)가 조정점(910)을 이동하여 '선분 O'(810)의 모양을 변경시킬 수 있다.
도 10은 본 실시예에 따른 관심 영역이 원호 형태로 변경됨을 나타낸 예시도이다.
도 10과 같이 영상 감시 장치(100)는 관심 영역(730)의 모양이 '선분 O'와 동일한 형태의 원호를 갖는 모양으로 변경된다. 이때, 관심 영역(730)의 속성을 필요에 따라 곡선 이외에 직선으로도 설정할 수 있으며 이에 따라 관심 영역(730)의 형태가 변경된다.
즉, 영상 감시 장치(100)는 관심 영역(730)의 속성을 설정하고, 관심 영역(730)의 형태를 설정된 속성에 따른 형태로 변경한다. 이때, 속성은 직선 속성(
Figure 112012075167463-pat00018
), 직각으로 교차되는 직선 속성(
Figure 112012075167463-pat00019
), 곡선 속성(
Figure 112012075167463-pat00020
), 자유 곡선 속성(
Figure 112012075167463-pat00021
)을 포함한다. 이때, 영상 감시 장치(100)는 인터페이스부(112)를 통한 명령에 의해 곡선 속성, 자유 곡선 속성이 설정된 경우 관심 영역(730)을 원호 형태(
Figure 112012075167463-pat00022
)로 변경한다.
도 11은 본 실시예에 따른 관심 영역이 다각형 형태로 변경됨을 나타낸 예시도이다.
도 11과 같이 관심 영역(730)의 모양이 원호가 아닌 다각형으로 변형될 수도 있다. 즉, 영상 감시 장치(100)는 관심 영역(730)의 속성을 설정하고, 관심 영역(730)의 형태를 설정된 속성에 따른 형태로 변경한다. 이때, 속성은 직선 속성(
Figure 112012075167463-pat00023
), 직각으로 교차되는 직선 속성(
Figure 112012075167463-pat00024
), 곡선 속성(
Figure 112012075167463-pat00025
), 자유 곡선 속성(
Figure 112012075167463-pat00026
)을 포함한다. 이때, 영상 감시 장치(100)는 인터페이스부(112)를 통한 명령에 의해 직선 속성, 직각으로 교차되는 직선 속성이 설정된 경우 관심 영역(730)을 다각형 형태로 변경한다.
도 12는 본 실시예에 따른 객체 이동방향 설정을 나타낸 예시도이다.
도 12에 도시된 바와 같이, 영상 감시 장치(100)는 설정된 관심 영역(730)에 대해 사용자의 필요에 따라 관찰하고자 하는 객체의 이동방향을 지정할 수 있다. 이때, 관심 영역(730) 내를 관통하는 중앙 연결선(810)은 관심 영역(730)을 지나는 객체의 이동경로를 말하며, 이러한 중앙 연결선(810) 상에 객체 이동방향(1210)을 지정하여 관찰하고자 하는 객체의 이동방향을 지정할 수 있다. 도 12에 도시된 바와 같이 관심 영역(730)은 화면의 하단에서 진입해서 좌회전하는 객체(차량)들을 검출하기 위하여 이용될 수 있다. 이러한 객체 이동방향(1210)은 영상 감시의 응용에 따라 설정되지 않을 수도 있고, 단방향 또는 양방향으로 설정될 수도 있다.
일반적으로 단순 다각형에 의해 관심 영역(730)을 지정하는 경우 단순 직선 이동경로가 아닌 다양한 이동경로를 따라 이동하는 객체를 지정하여 감시하기에 어려우나 본 실시예에서는 설정되는 관심 영역(730)은 단순히 관심 영역(730)을 직선으로 통과하는 객체가 아닌 특정 경로로 이동하는 객체를 대상으로 감시를 수행하기 용이하다. 즉, 도 12에 도시된 바와 같이 좌회전 차량(객체)을 검출할 수 있는 것이다. 영상 감시 장치(100)는 인터페이스부(112)를 통한 명령에 근거하여 객체에 대한 객체 이동방향(1210)을 설정한다. 여기서, 객체 이동방향(1210)은 동, 서, 남, 북 방향(예컨대, →, ↓, ↑, ←)뿐 아니라, 동북, 동남, 서북, 서남 방향과 같은 대각선 방향(예컨대, ↗, ↙, ↖, ↘)도 설정이 가능하다. 또한, 영상 감시 장치(100)는 관심 영역(730)을 통과하는 객체를 검출한다. 영상 감시 장치(100)는 획득된 영상 중 현재 프레임(t)에 대한 프레임률을 확인하고, 프레임률이 기 설정된 프레임률과 상이한 경우, 프레임률에 따라 영상 민감도를 조절하기 위한 학습률을 설정하고, 이전 프레임(t-1)에 대한 배경영상, 현재 프레임(t) 및 학습률을 이용하여 현재 프레임에 대한 배경영상을 생성하고, 현재 프레임과 현재 프레임에 대한 배경영상을 비교하여 객체를 검출한다. 이후, 영상 감시 장치(100)는 영상의 현재 프레임의 객체와 이전 프레임의 객체를 비교하여 객체 이동방향(1210)을 검출할 수 있다. 즉, 영상 감시 장치(100)는 검출된 객체를 이용하여 객체가 이동하는 방향을 검출할 수 있다.
도 13은 본 실시예에 따른 복수의 조정점을 통행 관심 영역 변경을 나타낸 예시도이다.
도 13에 나타난 것과 같이 하나 이상의 조정점(910)을 통한 영역의 모양 변경도 가능하다. 즉, 영상 감시 장치(100)는 이동된 조정점(910)을 경유하는 형태로 관심 영역(730)이 폐다각형 형태를 유지하도록 제어한다. 또한, 영상 감시 장치(100)는 인터페이스부(112)를 통한 명령에 근거하여 새로운 복수의 조정점(910)을 추가로 생성하며, 각각의 복수의 조정점(910)이 이동되는 경우 복수의 조정점(910)을 모두 경유하여 관심 영역(730)이 유지되도록 한다. 즉, 영상 감시 장치(100)는 이동된 복수의 조정점(910)을 경유하는 형태로 관심 영역(730)이 폐다각형 형태를 유지하도록 제어한다.
도 14는 본 실시예에 따른 관심 영역이 U-턴 차량을 감지에 적용됨을 나타낸 예시도이다.
도 14에 도시된 바와 같이 U-턴 차량의 검출 등 특정 이동경로를 가지는 객체를 검출하기 위해 이용될 수 있으며, 이 경우에 관심 영역(730)과 관심 이동경로가 직관적으로 설정될 수 있다. 영상 감시 장치(100)는 구비된 이동방향 설정부(134)를 이용하여 객체에 대한 객체 이동방향(1210)을 설정한다. 이때, 객체 이동방향(1210)은 인터페이스부(112)를 통한 명령에 근거하여 설정될 수 있다. 여기서, 객체 이동방향(1210)은 동, 서, 남, 북 방향(예컨대, →, ↓, ↑, ←)뿐 아니라, 동북, 동남, 서북, 서남 방향과 같은 대각선 방향(예컨대, ↗, ↙, ↖, ↘)도 설정이 가능하다. 이후, 영상 감시 장치(100)는 영상의 현재 프레임의 객체와 이전 프레임의 객체를 비교하여 객체 이동방향(1210)을 검출할 수 있다. 즉, 객체 방향 검출부(144)는 객체 검출부(142)를 통해 검출된 객체를 이용하여 객체가 이동하는 방향을 검출할 수 있다. 또한, 영상 감시 장치(100)는 구비된 알림부(146)를 이용하여 객체 검출부(142)를 통해 검출된 객체와 객체 방향 검출부(144)를 통해 검출된 객체 이동방향(1210)을 표시부(116)를 통해 나타낼 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 실시예는 다양한 영상 감시 분야에 적용되어, 영상 감시 장치를 통해 획득된 영상의 다양한 관심 영역을 설정하고, 객체 이동방향을 설정하여 이동 객체를 검출할 수 있는 효과를 발생하는 유용한 발명이다.
112: 인터페이스부 114: 카메라
116: 표시부 122: 선분 지정부
124: 관심 영역 설정부 126: 연결선 생성부
128: 조정점 생성부 132: 속성 설정부
134: 이동방향 설정부 142: 객체 검출부
144: 객체 방향 검출부 146: 알림부

Claims (12)

  1. 영상을 획득하는 영상 획득부;
    사용자의 조작에 의한 명령을 입력받는 인터페이스부;
    상기 명령에 근거하여 획득된 상기 영상의 일측과 타측에 복수의 선분을 마크(Mark)하는 선분 지정부;
    상기 복수의 선분에 대한 양끝단을 서로 연결한 외부 연결선을 생성하고, 상기 외부 연결선 내의 영역을 관심 영역(Region of Interest)으로 설정하는 관심 영역 설정부;
    상기 명령에 근거하여 상기 관심 영역의 속성을 설정하고, 상기 관심 영역의 형태를 설정된 상기 속성에 따른 형태로 변경하는 속성 설정부;
    상기 복수의 선분에 대한 중점을 서로 연결한 중앙 연결선을 생성하는 연결선 생성부; 및
    상기 명령에 근거하여 상기 중앙 연결선 상의 임의의 지점에 조정점을 생성하며, 상기 명령에 근거하여 상기 조정점이 이동되는 경우 상기 조정점을 경유하여 상기 관심 영역이 유지되도록 하는 조정점 생성부
    를 포함하는 것을 특징으로 하는 영상 감시 장치.
  2. 제 1 항에 있어서,
    상기 관심 영역을 통과하는 객체를 검출하는 객체 검출부; 및
    상기 객체에 대한 객체 이동방향을 설정하는 이동방향 설정부
    를 추가로 포함하는 것을 특징으로 하는 영상 감시 장치.
  3. 제 2 항에 있어서,
    상기 객체 검출부는 상기 영상 중 현재 프레임(Frame)(t)에 대한 프레임률을 확인하고, 상기 프레임률이 기 설정된 프레임률과 상이한 경우, 상기 프레임률에 따라 영상 민감도를 조절하기 위한 학습률을 설정하고, 이전 프레임(t-1)에 대한 배경영상, 상기 현재 프레임(t) 및 상기 학습률을 이용하여 상기 현재 프레임에 대한 배경영상을 생성하고, 상기 현재 프레임과 상기 현재 프레임에 대한 배경영상을 비교하여 상기 객체를 검출하는 것을 특징으로 하는 영상 감시 장치.
  4. 제 2 항에 있어서,
    상기 영상의 현재 프레임의 객체와 이전 프레임의 객체를 비교하여 상기 객체 이동방향을 검출하는 객체 방향 검출부; 및
    검출된 상기 객체와 상기 객체 이동방향을 표시부를 통해 나타내는 알림부
    를 추가로 포함하는 것을 특징으로 하는 영상 감시 장치.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 조정점 생성부는 상기 명령에 근거하여 새로운 복수의 조정점을 추가로 생성하며, 각각의 상기 복수의 조정점이 이동되는 경우 상기 복수의 조정점을 모두 경유하여 상기 관심 영역이 유지되도록 하는 것을 특징으로 하는 영상 감시 장치.
  7. 제 1 항에 있어서,
    상기 속성은 직선 속성(
    Figure 112012075167463-pat00027
    ), 직각으로 교차되는 직선 속성(
    Figure 112012075167463-pat00028
    ), 곡선 속성(
    Figure 112012075167463-pat00029
    ), 자유 곡선 속성(
    Figure 112012075167463-pat00030
    )을 포함하되, 상기 속성 설정부는 상기 명령에 의해 상기 곡선 속성, 상기 자유 곡선 속성이 설정된 경우 상기 관심 영역을 원호 형태(
    Figure 112012075167463-pat00031
    )로 변경하며, 상기 직선 속성, 상기 직각으로 교차되는 직선 속성이 설정된 경우 상기 관심 영역을 다각형(Polygon) 형태로 변경하는 것을 특징으로 하는 영상 감시 장치.
  8. 제 1 항에 있어서,
    상기 관심 영역 설정부는,
    상기 외부 연결선을 폐다각형(Closed Traverse) 형태로 연결하여 상기 관심 영역을 설정하는 것을 특징으로 하는 영상 감시 장치.
  9. 제 1 항에 있어서,
    상기 영상 획득부는,
    고정된 영역에 대해서 상기 영상을 획득하는 것을 특징으로 하는 영상 감시 장치.
  10. 영상 감시 장치가 영역을 설정하는 방법에 있어서,
    사용자의 조작에 의한 명령을 입력받는 사용자 입력 과정;
    상기 명령에 근거하여 획득된 상기 영상의 일측과 타측에 복수의 선분을 마크하는 선분 지정 과정;
    상기 복수의 선분에 대한 양끝단을 서로 연결한 외부 연결선을 생성하고, 상기 외부 연결선 내의 영역을 관심 영역으로 설정하는 관심 영역 설정 과정;
    상기 명령에 근거하여 상기 관심 영역의 속성을 설정하고, 상기 관심 영역의 형태를 설정된 상기 속성에 따른 형태로 변경하는 속성 설정 과정;
    상기 복수의 선분에 대한 중점을 서로 연결한 중앙 연결선을 생성하는 연결선 생성 과정; 및
    상기 명령에 근거하여 상기 중앙 연결선 상의 임의의 지점에 조정점을 생성하며, 상기 명령에 근거하여 상기 조정점이 이동되는 경우 상기 조정점을 경유하여 상기 관심 영역이 유지되도록 하는 조정점 생성 과정
    을 포함하는 것을 특징으로 하는 영상 감시를 위한 영역 설정 방법.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 관심 영역을 통과하는 객체를 검출하는 객체 검출 과정; 및
    상기 객체에 대한 객체 이동방향을 설정하는 이동방향 설정 과정
    을 추가로 포함하는 것을 특징으로 하는 영상 감시를 위한 영역 설정 방법.
KR1020120102965A 2012-09-17 2012-09-17 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치 KR101924336B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120102965A KR101924336B1 (ko) 2012-09-17 2012-09-17 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120102965A KR101924336B1 (ko) 2012-09-17 2012-09-17 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180144506A Division KR20180129712A (ko) 2018-11-21 2018-11-21 관심 영역 설정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140036637A KR20140036637A (ko) 2014-03-26
KR101924336B1 true KR101924336B1 (ko) 2018-12-03

Family

ID=50645837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120102965A KR101924336B1 (ko) 2012-09-17 2012-09-17 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치

Country Status (1)

Country Link
KR (1) KR101924336B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102203410B1 (ko) * 2014-10-20 2021-01-18 삼성에스디에스 주식회사 관심 영역 설정 방법 및 장치
CN111343483B (zh) * 2020-02-18 2022-07-19 北京奇艺世纪科技有限公司 媒体内容片段的提示方法和装置、存储介质、电子装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128727A (ja) * 2008-11-27 2010-06-10 Hitachi Kokusai Electric Inc 画像処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305875A (ja) * 1995-05-02 1996-11-22 Matsushita Electric Ind Co Ltd 座標情報操作装置
KR101051389B1 (ko) * 2009-08-31 2011-07-22 주식회사 이미지넥스트 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법
KR101970611B1 (ko) * 2012-08-14 2019-04-19 에스케이 텔레콤주식회사 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128727A (ja) * 2008-11-27 2010-06-10 Hitachi Kokusai Electric Inc 画像処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Lee. Effective Gaussian mixture learning for video background subtraction. IEEE Trans. on PAMI, Vol. 5, 2005년, pp. 827-832.*
이규원 & 김진웅. 배경 학습과 Bayes 결정을 이용한 이동 물체의 추적. 한국통신학회논문지, Vol. 24, No. 11, 1999년, pp. 2138-2146.*

Also Published As

Publication number Publication date
KR20140036637A (ko) 2014-03-26

Similar Documents

Publication Publication Date Title
CN112217998B (zh) 拍摄装置、信息处理装置及其控制方法、存储介质
US20190295393A1 (en) Image capturing apparatus with variable event detecting condition
US20100013917A1 (en) Method and system for performing surveillance
US20150016671A1 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP2006523043A (ja) 監視を行なう方法及びシステム
JP2016100696A (ja) 画像処理装置、画像処理方法、及び画像処理システム
US11037013B2 (en) Camera and image processing method of camera
KR102282470B1 (ko) 카메라 장치 및 이를 이용한 객체 추적 방법
CN105100596A (zh) 相机设备和使用相机设备跟踪对象的方法
JP2012185684A (ja) 対象物検出装置、対象物検出方法
KR102128319B1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
JP5693147B2 (ja) 撮影妨害検知方法、妨害検知装置及び監視カメラシステム
JP4610005B2 (ja) 画像処理による侵入物体検出装置および方法およびプログラム
KR101924336B1 (ko) 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치
KR20160093253A (ko) 영상 기반 이상 흐름 감지 방법 및 그 시스템
JP2006259847A (ja) 自動追尾装置及び自動追尾方法
JP4607394B2 (ja) 人物検出システム、及び人物検出プログラム
KR20080071770A (ko) 실시간 이상현상 감지 시스템 및 그 제어방법
KR102107137B1 (ko) 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치
JP6700706B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101970611B1 (ko) 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법
KR20180129712A (ko) 관심 영역 설정 방법 및 장치
CN105072402A (zh) 一种机器人巡视监测的方法
JP2005277726A (ja) 画像監視装置
JP2007336431A (ja) 映像監視装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant