KR101706217B1 - 지능형 보안 감시 장치 및 그 감시 방법 - Google Patents

지능형 보안 감시 장치 및 그 감시 방법 Download PDF

Info

Publication number
KR101706217B1
KR101706217B1 KR1020110104091A KR20110104091A KR101706217B1 KR 101706217 B1 KR101706217 B1 KR 101706217B1 KR 1020110104091 A KR1020110104091 A KR 1020110104091A KR 20110104091 A KR20110104091 A KR 20110104091A KR 101706217 B1 KR101706217 B1 KR 101706217B1
Authority
KR
South Korea
Prior art keywords
image
depth
unit
objects
texture
Prior art date
Application number
KR1020110104091A
Other languages
English (en)
Other versions
KR20120044245A (ko
Inventor
임정은
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to US13/282,839 priority Critical patent/US8983121B2/en
Publication of KR20120044245A publication Critical patent/KR20120044245A/ko
Application granted granted Critical
Publication of KR101706217B1 publication Critical patent/KR101706217B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 감시 장치 및 그 감시 방법에 대한 것이다. 본 발명은, 감시 영역을 촬영한 제1 영상으로부터 움직이는 물체들을 복수개 검출하는 물체 검출부 상기 제1 영상과, 상기 감시 영역을 상기 제1 영상의 촬영시점과 다른 시점에서 촬영한 제2 영상을 사용하여 상기 검출된 물체들의 깊이를 판단하는 깊이 판단부 및 상기 복수개의 검출된 물체들 중에서 깊이가 유사한 물체들을 하나의 물체로 설정하는 물체 병합부를 포함하는 감시 장치를 제공한다. 따라서, 감시 영역에 대한 감시 성능이 높아진다.

Description

지능형 보안 감시 장치 및 그 감시 방법{Intelligent security surveillance apparatus and method thereof}
본 발명은 감시 장치에 관한 것으로 특히, 지능형 보안 감시 장치 및 그 감시 방법에 관한 것이다.
최근 들어, 방범, 보안 등 다양한 목적으로 건물 내부나 외부, 길거리 등에 감시 카메라를 설치하는 경우가 증가하고 있다. 이러한 감시 카메라는 유선 또는 무선으로 네트워크를 통하여 서버에 연결될 수 있으며, 서버에서는 연결된 복수의 감시 카메라를 동시에 제어할 수도 있다.
이러한 감시 카메라와 서버로 이루어진 감시 시스템에서는 촬영한 영상을 사용하여 감시 영역에서 특정한 사건, 즉 이벤트가 발생하였는지를 판단할 수 있다. 촬영한 영상에 움직이는 물체가 검출된 경우, 검출한 물체가 미리 설정된 조건을 만족시키는 경우 이벤트가 발생한 것으로 판단하게 된다. 감시 시스템에서는 이러한 이벤트 발생을 정확하게 판단하여 감시 성능을 높이기 위하여 촬영한 영상을 효율적으로 처리하기 위한 감시 장치에 대한 연구가 활발하게 이루어지고 있다.
본 발명의 실시 예들이 해결하고자 하는 기술적 과제는 감시 영역에 대한 감시 성능을 높일 수 있는 감시 장치 및 그 감시 방법을 제공하는데 있다.
본 발명에 따른 실시 예들의 일 측면에 의하면, 감시 영역을 촬영한 제1 영상으로부터 움직이는 물체들을 복수개 검출하는 물체 검출부 상기 제1 영상과, 상기 감시 영역을 상기 제1 영상의 촬영시점과 다른 시점에서 촬영한 제2 영상을 사용하여 상기 검출된 물체들의 깊이를 판단하는 깊이 판단부 및 상기 복수개의 검출된 물체들 중에서 깊이가 유사한 물체들을 하나의 물체로 설정하는 물체 병합부를 구비하는 감시 장치를 제공한다.
본 실시 예의 다른 특징에 의하면, 상기 깊이 판단부는 상기 제1 영상과 상기 제2 영상 사이의 변이 벡터를 검출하여 상기 깊이를 판단할 수 있다.
본 실시 예의 또 다른 특징에 의하면, 상기 검출된 물체들 각각의 텍스처 정보를 검출하여 상기 검출된 물체들의 텍스처 유사성을 판단하는 텍스처 판단부를 더 구비할 수 있다.
본 실시 예의 또 다른 특징에 의하면, 상기 텍스처의 유사성은 상기 검출된 물체들의 윤곽선 영역 내의 전경 영역을 이용하여 판단할 수 있다.
본 실시 예의 또 다른 특징에 의하면, 상기 물체 병합부는 상기 검출된 물체들의 깊이와 텍스처 정보가 모두 유사할 때 상기 검출된 물체들을 하나로 병합한다.
본 실시 예의 또 다른 특징에 의하면, 상기 검출된 물체들이 특정 조건의 깊이를 갖는 경우에 알람을 발생하는 이벤트 검출부를 더 구비할 수 있다.
본 실시 예의 또 다른 특징에 의하면, 상기 특정 조건의 깊이는 사용자가 설정할 수 있다.
본 실시 예의 또 다른 특징에 의하면, 제1 영상 및 제2 영상을 촬영하는 촬영부를 더 포함할 수 있다.
본 실시 예의 또 다른 특징에 의하면, 외부로부터 제1 영상 및 제2 영상을 수신하는 통신부를 더 포함할 수 있다.
본 발명에 따른 실시 예들의 다른 측면에 의하면, 감시 영역을 촬영한 제1 영상으로부터 움직이는 물체를 복수개 검출하는 단계 상기 제1 영상과, 상기 감시 영역을 상기 제1 영상의 촬영시점과 다른 시점에서 촬영한 제2 영상을 사용하여 상기 검출된 물체들의 깊이를 판단하는 단계 및 상기 복수의 검출된 물체들 중에서 깊이가 유사한 물체들을 하나의 물체로 설정하여 병합하는 단계를 포함하는 감시 방법을 제공한다.
본 실시 예의 또 다른 특징에 의하면, 상기 검출된 물체들의 깊이가 유사할 경우, 상기 검출된 물체들의 텍스처 정보를 검출하여 상기 텍스처 정보들의 유사성을 판단하는 단계를 더 포함하고, 상기 검출된 물체들의 깊이와 텍스처 정보가 모두 유사할 경우에 이들을 하나로 병합한다.
본 발명의 실시 예들에 다른 감시 장치 및 그 감시 방법에 의하여 감시 영역에 대한 감시 성능을 높일 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 감시 장치가 구비된 감시 시스템의 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 감시 장치가 구비된 감시 시스템의 블록도이다.
도 3은 도 1 및 도 2의 영상 분석부를 상세히 도시한 블록도이다.
도 4는 도 3의 영상 분석부의 영상 분석 방법을 본 발명의 일 실시예에 따라 도시한 흐름도이다.
도 5는 도 4에 도시된 물체 검출 단계를 설명하기 위한 도면이다.
도 6은 도 4에 도시된 깊이 및 텍스쳐 판단 단계와 물체 병합 단계를 상세히 도시한 흐름도이다.
도 7은 도 6에 도시된 깊이 영상 생성 단계를 설명하기 위한 도면이다.
도 8은 도 4 및 도 6에 도시된 물체 병합 단계를 설명하기 위한 도면이다.
도 9 및 도 10은 도 4에 도시된 이벤트 검출 단계를 설명하기 위한 도면들이다.
이하, 본 발명에 따른 실시 예들을 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 수 있다. 또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 감시 장치가 구비된 감시 시스템의 블록도이다.
도 1을 참조하면, 감시 시스템은 촬영부(10), 인코더(20), 영상 분석부(30), 제1 통신부(40), 제어부(50), 네트워크(60), 서버(70)를 구비한다.
촬영부(10)는 영상을 촬영하여 영상 데이터(Dim)를 생성한다. 촬영부(10)는 미리 설정된 특정 영역, 예를 들어 감시 영역을 촬영할 수 있다. 또는 촬영부(10)는 외부로부터의 조작에 의하여 촬영하고자 하는 영역을 변경할 수도 있을 것이다.
촬영부(10)는 촬영하는 영역에 대하여 제1 시점에서 촬영한 제1 영상과 제1 시점과 상이한 시점(viewpoint)인 제2 시점에서 촬영한 제2 영상을 촬영하고, 촬영한 각각의 영상에 대하여 영상 데이터(Dim)를 생성할 수 있다. 이때 촬영부(10)는 하나의 장치에 복수의 렌즈 및 촬상소자를 구비하여 제1 영상과 제2 영상을 동시에 촬영할 수 있다. 예를 들어, 촬영부(10)는 다시점 카메라 스테레오 카메라, TOF 기반 3D 센서, 키넥트(MS사)등에서 획득될수 있다. 그러나 이에 한정되는 것은 아니며, 촬영부(10)는 각각 서로 다른 장소에 설치되어 동일한 영역을 촬영하는 복수의 장치를 포함하는 개념일 수도 있다.
인코더(20)는 촬영부(10)에서 촬영한 제1 영상 및 제2 영상에 대한 영상 데이터(Dim)를 수신하고, 수신한 영상 데이터(Dim)를 인코딩하여 압축한다. 인코더(20)는 스테레오 영상 혹은3차원 영상을 인코딩할 수 있는 3차원 다시점 동영상 코덱을 포함할 수 있다. 인코더(20)는 영상 데이터(Dim)를 인코딩하여 인코딩 데이터(Den)를 생성한다. 그리고 인코더(20)는 생성한 인코딩 데이터(Den)를 제1 통신부(40)로 전송한다.
영상 분석부(30)는 디지털 영상신호를 처리할 수 있는 장치로서, 촬영부(10)로부터 영상 데이터(Dim)를 수신하고, 수신한 영상 데이터(Dim)에 대하여 영상 분석을 수행한다. 영상 분석부(30)는 스테레오 영상 혹은 3차원 영상으로부터 영상을 분석하여 이벤트를 검출할 수 있는 지능형 영상 검색 엔진일 수 있다. 영상 분석부(30)는 영상 데이터(Dim)로부터 움직이는 물체를 복수개 검출하고, 상기 검출된 물체들의 깊이(depth) 정보와 텍스처(texture) 정보를 추출해낼 수 있다. 깊이는 영상 데이터(Dim)에서 검출한 물체와 영상을 촬영하는 장치 사이의 거리를 의미한다. 즉, 2차원 영상에서의 좌표가 같은 경우라도 실제 거리는 상이할 수 있으며, 영상 분석부(30)는 이러한 깊이에 대한 정보를 추출한다. 상기 텍스처 정보는 상기 검출된 물체들의 컬러, 밝기, 윤곽선 정보 등을 포함한다.
영상 분석부(30)는 영상 분석을 통하여 이벤트 발생 여부 등을 검출하고, 영상 분석 결과에 대한 정보를 포함하는 메타데이터(Dmeta)를 생성한다. 여기서 이벤트는 깊이 정보를 활용한 이벤트와 단순히 2차원 영상을 활용한 즉 제 1영상 또는 제 2 영상만을 활용한 이벤트 모두 포함된다. 영상 분석부(30)에 구비된 이벤트 검출부(도 3의 34)에서 특정 조건의 깊이를 갖는 물체에 대해서만 알람을 발생시킨다. 영상 분석부(30)는 사용자에 의해 설정된 특정 깊이의 물체 또는 상기 특정 깊이를 통과하는 물체를 검출하여 알람을 발생시킬 수 있다. 영상 분석부(30)는 또한 2차원 영상 내에서 화면 내의 특정 영역 및 사용자가 지정한 이벤트에 부합될 때 알람을 발생시킬 수 있다. 영상 분석부(30)는 생성한 메타데이터(Dmeta)를 제1 통신부(40)로 전송한다.
제1 통신부(40)는 인코더(20)로부터 수신한 인코딩 데이터(Den)를 비트스트림 형태로 네트워크(60)를 통하여 서버(70)로 전송한다. 제1 통신부(40)는 영상 분석부(30), 제어부(50)로부터 수신한 메타데이터(Dmeta)나 각종 제어신호 및 데이터를 네트워크(60)를 통하여 서버(70)로 전송한다. 또한 제1 통신부(40)는 네트워크(60)를 통하여 서버(70)로부터 전송된 각종 제어신호 및 데이터를 수신하여제어부(50)에 전송한다. 제1 통신부(40)는 유선 및/또는 무선으로 제어신호및 데이터들을 서버(70)로 전송할 수 있을 것이다.
제어부(50)는 제1 통신부(40)를 통하여 서버(70)로부터 수신한 제어신호에 따라서 혹은 미리 설정된 알고리즘에 따라서 촬영부(10), 인코더(20), 영상 분석부(30), 및 제1 통신부(40)의 동작을 제어한다.
본 실시 예에서, 촬영부(10), 인코더(20), 영상 분석부(30), 제1 통신부(40), 제어부(50)는 각각 별도로 설치된 장치일 수 있다. 예를 들어, 촬영부(10)가 하나의 감시 카메라이며, 나머지 부분은 별도로 구비된 영상 처리장치일 수 있다. 그러나 이에 한정되는 것은 아니며, 감시 카메라가 촬영부(10), 인코더(20), 영상 분석부(30), 제1 통신부(40), 및 제어부(50)를 모두 포함할 수도 있을 것이다. 또한 촬영부(10)가 감시카메라일 경우 상기 감시카메라와 인코더(20), 영상 분석부(30), 제1 통신부(40), 및 제어부(50)는 각각 다른 장치에 포함될 수 있다.
네트워크(60)는 통신 채널 및 영상 데이터 채널 등을 통하여 데이터나 제어신호를 송수신할 수 있는 수단이다. 네트워크(60)는 유선 또는 무선으로 데이터나 명령을 송수신할 수 있는 모든 수단이 될 수 있다. 예를 들어, 네트워크(60)는 케이블을 통하여 유선으로 촬영부(10) 등과 서버(60)를 연결할 수도 있으며, 무선 랜 등을 사용하여 무선으로 촬영부(10) 등과 서버(60)를 연결할 수도 있다.
서버(70)는 네트워크(60)를 통하여 수신한 인코딩 데이터(Den)를 디코딩하여 실시간으로 촬영한 영상을 디스플레이할 수 있다. 또한 서버(70)는 메타데이터(Dmeta)를 분석하여 감시 영역에서 발생한 이벤트를 관리자에게 알려줄 수 있다. 이러한 서버(70)는 서버 제어부(71), 제2 통신부(72), 디코더(73), 메모리(74), 조작부(75), 디스플레이부(76)를 포함할 수 있다.
서버 제어부(71)는 서버(70)에 구비된 각 부분의 동작을 제어한다. 또한 서버 제어부(71)는 조작부(75)로부터 조작신호를 수신하고, 수신한 조작신호에 기초하여 서버(70) 또는 촬영부(10) 등을 제어하기 위한 명령 신호를 생성한다.
서버 제어부(71)는 디코더(72)에 의하여 디코딩된 영상 데이터(Dim)에 대하여 각종 영상 신호 처리를 수행할 수 있다. 또한 서버 제어부(71)는 제1 통신부(40)에 의하여 전송된 영상 데이터(Dim)의 포맷을 디스플레이부(76)에서 재생할 수 있는 포맷으로 변환할 수 있다.
한편, 본 실시 예에 따른 서버 제어부(71)는 제2 통신부(72)를 통하여 수신한 메타데이터(Dmeta)로부터 영상 분석 결과를 검출한다. 이때, 서버 제어부(71)는 촬영한 영상에서 이벤트가 발생하였는지 여부를 파악할 수 있으며, 디스플레이부(76) 등을 사용한 알람을 통하여 이벤트의 발생을 관리자가 인식할 수 있도록 디스플레이부(76) 등을 제어한다.
제2 통신부(72)는 제1 통신부(40)에 의하여 전송되는 인코딩 데이터(Den)에 대한 비트스트림을 수신하고, 수신한 인코딩 데이터(Den)를 디코더(73)로 전송한다. 제2 통신부(72)는 디코딩이 필요없는 메타데이터(Dmeta)나 각종 데이터, 제어신호의 경우 직접 해당하는 부분, 예를 들어 서버 제어부(71) 등으로 전송한다. 또한 제2 통신부(72)는 서버 제어부(71)로부터 수신한 제어부(50)를 제어하기 위한 제어신호를 네트워크(60)를 통하여 제1 통신부(40)로 전송한다.
디코더(73)는 제2 통신부(72)로부터 인코딩 데이터(Den)를 수신하며, 수신한 인코딩 데이터(Den)를 디코딩한다. 디코더(73)는 디코딩 동작에 의하여 인코딩 데이터(Den)의 압축을 풀고, 원본 영상 데이터(Dim)를 복원한다.
메모리(74)는 서버(70)를 제어하기 위한 알고리즘이나 각종 설정 데이터가 저장될 수 있으며, 각종 데이터를 일시적으로 저장한다. 또한 메모리(74)는 수신한 영상 데이터(Dim)를 포함하는 영상 파일을 생성하여 저장할 수 있다.
조작부(75)는 서버(70) 또는 촬영부(10) 등의 동작을 제어하기 위한 각종 버튼이나 레버 등을 포함할 수 있다. 조작부(75)는 사용자의 조작에 기초하여 조작신호를 서버 제어부(71)에 전송한다.
디스플레이부(76)는 촬영부(10)에서 촬영된 영상, 예를 들어 제1 영상이나 제2 영상, 혹은 메모리(74)에 저장되었던 영상을 디스플레이할 수 있다. 또한 디스플레이부(76)는 촬영부(10)의 제어를 위한 각종 설정 화면, 이벤트 발생 알람 등이 디스플레이될 수 있다.
본 실시 예에서는 영상 데이터(Dim) 및 메타데이터(Dmeta)를 네트워크(60)를 통하여 서버(70)로 전송하는 방법에 대하여 설명하였으나 이에 한정되는 것은 아니다. 예를 들어, 영상 데이터(Dim) 및 메타데이터(Dmeta)를 저장매체에 저장한 후, 저장매체를 서버(70)와 연결하여 디스플레이부(76)에 촬영한 영상이나 이벤트 발생 알람 등을 디스플레이할 수 있다.
도 2는 본 발명의 다른 실시예에 따른 감시 장치가 구비된 감시 시스템의 블록도이다. 본 실시 예에 따른 감시 시스템은 도 1의 감시 시스템과 유사하므로 차이점에 대하여만 설명하도록 한다.
도 2를 참조하면, 서버(70)가 영상 분석부(30)를 포함하도록 구성된다.
촬영부(10)에서 촬영된 제1 영상 및 제2 영상에 대한 영상 데이터(Dim)는 인코더(20)에 의하여 인코딩 데이터(Den)로 인코딩된다. 인코딩 데이터(Den)는 제1 통신부(40)에 의하여 비트스트림 형태로 서버(70)로 전송된다.
서버(70)는 제2 통신부(72)를 통하여 수신한 인코딩 데이터(Den)를 디코더(73)로 전송하고, 디코더(73)는 디코딩 동작에 의하여 인코딩 데이터(Den)의 압축을 풀고, 원본 영상 데이터(Dim)를 복원한다. 그리고 디코더(73)는 복원된 영상 데이터(Dim)를 영상 분석부(30)에 전송한다. 물론 도시하지는 않았으나 복원된 영상 데이터(Dim)는 서버 제어부(71)로 전송되어 각종 영상 신호 처리가 수행될 수 있을 것이다.
영상 분석부(30)는 수신한 영상 데이터(Dim)를 사용하여 영상 분석을 수행한다. 영상 분석부(30)는 스테레오 카메라, TOF 기반 3D 센서, 키넥트(MS사), 프라임(사) 혹은 3차원 영상으로부터 영상을 분석하여 이벤트를 검출할 수 있는 지능형 영상 검색 엔진일 수 있다. 특히 본 실시 예에 따른 영상 분석부(30)는 영상 데이터(Dim)로부터 움직이는 물체들을 복수개 검출하고, 상기 검출된 물체들의 깊이 정보와 텍스처 정보를 추출해낼 수 있다. 영상 분석부(30)는 깊이 정보를 활용하거나 2차원 영상만을 이용하여 상기 이벤트를 검출할 수도 있다. 영상 분석부(30)는 영상 분석을 통하여 이벤트 발생 여부 등을 검출하고, 영상 분석 결과에 대한 정보를 포함하는 메타데이터(Dmeta)를 생성한다. 영상 분석부(30)는 생성한 메타데이터(Dmeta)를 서버 제어부(71) 등으로 전송한다.
이하, 영상 분석부(30)에 대하여 좀더 상세히 살펴보도록 한다.
도 3은 도 1 및 도 2의 영상 분석부(30)를 상세히 도시한 블록도이다.
도 3을 참조하면, 영상 분석부(30)는 물체 검출부(31), 깊이 판단부(32), 텍스처 판단부(35), 물체 병합부(33), 이벤트 검출부(34)를 포함한다.
물체 검출부(31)는 수신한 영상 데이터(Dim)를 사용하여 촬영한 영상에서 움직이는 물체들을 복수개 검출한다. 즉, 물체 검출부(31)는 촬영한 영상에서 전경(foreground) 픽셀과 배경(background) 픽셀을 구분한다. 물체 검출부(31)는 제1 영상 또는 제2 영상 중 기준 영상에 대하여 물체 검출 알고리즘을 적용한다. 여기서 기준 영상은 서버(70)의 디스플레이부(76)에서 디스플레이될 영상일 수 있으며, 설명의 편의를 위하여 제1 영상이 기준 영상인 경우로 가정하여 설명하도록 한다. 한편, 물체 검출 알고리즘으로는 예를 들어 혼합 가우시안 모델(Gaussian Mixture Model)을 사용할 수 있다. 그러나 이는 예시적인 것으로 다양한 물체 검출 알고리즘이 사용될 수 있을 것이다.
물체 검출부(31)는 검출한 물체들 각각에 대하여 아이디를 부여하여 넘버링을 할 수 있다. 또한 물체 검출부(31)는 검출한 물체를 둘러싸는 윤곽선 즉, 물체의 범위를 나타내는 윤곽선을 생성할 수 있다. 상기 윤곽선은 직사각형 형태 또는 타원형 등으로 형성할 수 있으나 이에 한정되는 것은 아니다.
깊이 판단부(32)는 제1 영상 및 제2 영상으로부터 변이 벡터를 검출하여 영상의 깊이 정보를 추출한다. 이때, 깊이 판단부(32)는 검출한 물체들의 깊이의 연속성(depth continuity)을 판단한다. 깊이 판단부(32)는 깊이 영상(depth map)에서 동일한 물체라고 판단할 수 있는 깊이를 갖는 영역별로 라벨링한다. 변이 벡터는 두 영상의 시점 차이로 인하여 나타나는 깊이에 대한 정보를 포함할 수 있다. 또한 깊이 판단부(32)는 물체 검출부(31)에서 검출된 물체들의 깊이를 판단한다. 하나의 2차원 영상에 대하여만 물체 검출을 수행하는 경우, 검출한 물체의 깊이 정보를 알 수 없다. 따라서 하나의 물체임에도 불구하고 복수의 물체로 인식하는 경우가 발생할 수 있다. 이는occlusion, 그림자, dynamic scene 등의 요인으로 인한 것이다. 따라서 하나의 2차원 영상으로부터 물체를 검출하고, 그 결과를 사용하여 이벤트 발생 여부를 판단하는 것은 감시 시스템의 신뢰성을 떨어트린다. 따라서 본 실시예에서는 깊이 판단부(32)에 의하여 깊이 정보를 추출하고, 깊이 정보를 포함하는 깊이 영상을 생성한다.
텍스처 판단부(35)는 물체 검출부(31)에서 검출된 물체들의 텍스처 정보를 추출하고, 이 텍스처 정보를 비교하여 상기 검출된 물체들 사이의 텍스처의 유사성을 판단한다. 텍스처의 유사성을 판단할 때 사용될 수 있는 텍스처 정보는 상기 검출된 물체들의 컬러, 밝기, 윤곽선 등을 포함한다.
텍스처의 유사성 판단은 다음과 같이 수행될 수 있다. 텍스처의 유사성은 윤곽선 영역 내의 전경 영역을 이용하여 판단할 수 있다. 여기서 텍스처의 유사성(texture similarity)을 판단하는 측도(measurement)로써 다양한 기술자(descriptor)들, 예컨대 호모지니어스 텍스처 기술자(Homogeneous Texture Descriptor;HTD), 에지 히스토그램 기술자(Edge Histogram Descriptor), 텍스처 브라우징 기술자(Texture Browsing Descriptor) 등을 이용할 수 있다.
상기 호모지니어스 텍스처 기술자는 멀티미디어 정보검색 표준인 MPEG7(Moving Picture Experts Group 7)에 포함되는 것으로 다음과 같이 표현된다.
HTD = [fDC, fsd, e1, e2,,e30, d1, d2,,d30]
첫번째와 두번째 성분들(fDC,fsd)은 영상의 픽셀 밝기의 평균과 표준편차를 계산함으로써 구해지며, 나머지 성분들은 주파수 도메인에서 영상을 가버(Gabor) 필터링하여 얻은 것으로 각 특징값 채널의 에너지 30개(e1, e2,,e30)와 에너지 편차(energy deviation) 30개(d1, d2,,d30)로 이루어진다.
이를 통한 텍스처의 유사성(d)은 다음 수학식 1에 의해 산출될 수 있다.
Figure 112011079725387-pat00001
여기서, w(k)는 특징값 벡터의 가중치이며, a(k)는 정규화 성분으로서 영상들의 각 특징값 벡터의 표준편차이다. 상기 텍스처의 유사성을 나타내는 값(d)이 기 설정된 값 이하이면 텍스처 판단부(35)는 검출된 물체들의 텍스처가 유사하다고 판단한다.
물체 병합부(33)는 깊이 판단부(32)에사 나온 깊이 정보를 이용하여 물체 검출부(31)에 의하여 검출한 물체들 중에서 동일한 물체라고 판단되는 물체들을 재탐색하고 라벨링을 한다. 물체 병합부(33)는 검출된 물체들에 대해 깊이의 연속성과 텍스처의 유사성을 판단한다.
먼저, 물체 검출부에서 판단된 각각의 라벨링된 물체들의 좌표를 기준으로 각각의 라벨링된 물체들이 이웃하는 라벨링된 물체들과의 깊이의 연속성이 있는지를 판단한다. 깊이의 연속성은 물체들의 깊이값의 차이가 일정 임계값(th) 이하이면 깊이의 연속성이 있다고 판단한다. 예들 들어 도면 5의 ID 1 ~ ID 3을 갖는 물체들의 깊이 정보는 유사하여 이를 하나의 물체로 재라벨링을 한다. 이와 같이 깊이의 연속성을 판단함으로써 동일 물체가 비스듬하게 위치할 때 깊이 정보가 다르기 때문에 병합을 못하는 경우를 방지할 수 있다. 예들 들어 도 5의 자동차가 비스듬하게 세워져 있는데 이런 경우는 깊이의 연속성을 이용하여 하나의 물체로 재라벨링된다. 그러나 단순히 깊이의 연속성을 이용하여 물체들을 재라벨링하면 동일한 깊이에 서로 다른 물체가 이웃하고 있을 경우에는 오류를 나타낼 수 있다. 본 발명에서는 이러한 오류를 방지하기 위하여 깊이의 연속성과 텍스처의 유사성을 판단한다. 여기에서 사용될 수 있는 텍스처 정보는 물체 검출부에서 라벨링된 물체들을 기준으로 물체들의 컬러, 밝기, 윤곽선 정보 등을 이용한다. 깊이의 연속성이 존재하더라도 텍스처 정보들이 유사하지 않으면 동일 물체로 판단하지 않는다. 물체 병합부(33)는 병합전 각각의 물체에 부여된 아이디의 순서, 좌표 등을 재설정할 수 있다. 또한 물체 병합부(33)는 병합된 물체들에 대하여 생성되었던 윤곽선을 모두 포함하는 새로운 윤곽선을 생성할 수 있다.
이벤트 검출부(34)는 검출한 물체의 위치가 미리 설정된 조건에 해당하는지를 판단한다. 여기서 미리 설정된 조건에는 영상에서의 위치에 대한 조건, 깊이에 대한 조건, 검출된 시각에 대한 조건 등 다양한 조건을 포함할 수 있다. 이벤트 발생 여부를 판단하는 조건에 깊이 조건이 포함되어 있으므로, 영상 내의 특정 위치에서 움직이는 물체가 검출되어도 물체의 실제 깊이가 미리 설정된 깊이 조건에 부합하는 경우에만 이벤트가 발생한 것으로 판단한다. 이벤트 검출부(34)는 이벤트 검출 여부를 나타내는 정보를 포함하는 메타데이터(Dmeta)를 생성할 수 있다.
이와 같은 영상 분석부(30)의 동작에 대하여 살펴보도록 한다.
도 4는 도 3의 영상 분석부(30)의 영상 분석 방법을 본 발명의 일 실시예에 따라 도시한 흐름도이다. 도 3을 참조하여 도 4에 도시된 영상 분석 방법을 설명하기로 한다.
도 4를 참조하면, 영상 분석 방법은 영상 수신 단계(S10), 물체 검출 단계(S20), 깊이 및 텍스처 판단 단계(S30), 물체 병합 단계(S40) 및 이벤트 검출 단계(S50)를 포함한다.
상기 영상 수신 단계(S10)에서 영상 분석부(30)는 영상 데이터(Dim)를 수신한다. 영상 데이터(Dim)는 촬영 시점이 서로 다른 제1 영상 및 제2 영상을 포함한다.
상기 물체 검출 단계(S20)에서 물체 검출부(31)는 영상 데이터(Dim)로부터 움직이는 물체들을 검출한다. 도 5를 참조하여, 물체 검출 단계(S20)에 대해 상세히 설명하기로 한다.
도 5는 스테레오 영상 중에서 제1 영상(1) 즉, 기준 영상을 도시하고 있다. 제1 영상(1)에서 자동차(80)가 감시 영역 내로 진입하여 움직이는 물체로써 검출되며, 나머지 영역은 배경으로 판단한다. 이때, 하나의 물체를 정확하게 하나로 인식하지 못하고 3개의 물체가 검출된 것으로 판단한다. 이는 하나의 2차원 영상만을 사용하여 물체를 검출하기 때문에 발생하는 문제이다. 한편, 3개의 물체들 각각은 ID:1 내지 ID:3으로 넘버링될 수 있으며, 각각의 물체를 둘러싸는 윤곽선들(90~92)이 생성될 수 있다.
상기 깊이 및 텍스처 판단 단계(S30)에서 깊이 판단부(32)는 상기 검출된 물체들의 깊이의 연속성을판단하고, 텍스처 판단부(35)는 상기 검출된 물체들의 텍스처의 유사성을 판단한다. 또한, 상기 물체 병합 단계(S40)에서 물체 병합부(33)는 깊이의 연속성과 텍스처의 유사성이 설정된 조건에 부합하면 상기 검출된 물체들을 하나로 병합한다. 도 6을 참조하여, 깊이 및 텍스처 판단 단계(S30)와 물체 병합 단계(S40)에 대해 상세히 설명하기로 한다.
도 6을 참조하면, 깊이 및 텍스처 판단 단계(S30)는 제1 내지 제3 단계들(S31-S33)을 포함하고, 물체 병합 단계(S40)는 제4 및 제5 단계들(S34,S35)을 포함한다.
제1 단계(S31)로써, 깊이 판단부(32)는 도 7에 도시된 바와 같이 제1 영상(1)과 제2 영상(2)을 이용하여 깊이 영상(3)을 생성한다. 도 3 및 도 4를 참조하여 도 7에 도시된 깊이 영상 생성 단계를 설명하기로 한다.
도 7을 참조하면, 스테레오 영상의 좌측의 제1 영상(1)과 우측의 제2 영상(2)으로부터 변이 벡터를 추출한다. 상기 변이 벡터의 추출은 제1 영상(1), 예컨대 기준 영상에 대하여 상기 기준 영상의 각 픽셀들이 비교 영상에서 원위치로부터 얼마나 이동하였는지를 판단하는 것에 의하여 이루어질 수 있다. 촬영부(10)로부터 가까운 거리에 위치한 물체의 경우 시점의 변화에 따라서 영상 내에서의 위치 변화가 크다. 따라서 이러한 경우 추출한 변이 벡터의 크기가 클 것이다. 반대로 촬영부(10)로부터 먼 거리에 위치한 물체의 경우 시점의 변화에 따라서 영상 내에서의 위치 변화가 작다. 따라서 이러한 경우 추출한 변이 벡터의 크기가 작을 것이다. 상기 변이 벡터를 추출한 후, 깊이 영상(3)을 생성한다. 깊이 영상(3)에서 자동차(80)가 하나의 물체로 인식되어 표시되며, 나머지 배경들도 깊이에 따라서 라벨링이 수행된다.
제2 단계(S32)로써, 깊이 판단부(32)는 물체 검출부(33)에서 획득한 라벨링된 물체들을 기준으로 이웃하는 물체들과의 깊이의 연속성을 판단한다. 즉, 깊이 판단부(32)는 물체 검출부(33)에서 획득한 라벨링된 물체들을 기준으로 이웃하는 물체들의 깊이값을 참고하여, 각각 라벨링된 물체들의 깊이값들의 차이가 일정 임계값보다 작으면 동일 물체로 판단하고, 상기 임계값보다 크면 다른 물체로 판단한다. 깊이 판단부(32)는 상기 검출된 물체들이 깊이의 연속성 조건에 해당하면, 즉, 상기 검출된 물체들이 동일 물체로 판단되면 제3 단계(S33)로 넘어가고, 그렇지 않으면 물체들이 검출된 상태 그대로 유지한다(S33-5).
제3 단계(S33))로써, 텍스처 판단부(35)는 물체 검출부(31)에서 검출한 물체들의 텍스처 유사성을 판단한다. 즉, 텍스처 판단부(35)는 상기 깊이 영상에서 상기 검출된 물체들의 텍스처 정보를 검출하고, 상기 텍스처 정보가 상호 유사한지를 판단한다. 텍스처 판단부(35)는 상기 텍스처 정보가 유사하다고 판단되면 상기 검출된 물체들의 윤곽선 좌표들을 재설정한다. 상기 검출된 물체들의 텍스처 정보가 유사하지 않으면 상기 물체들이 검출된 상태 그대로 유지한다(S33-5).
제4 단계(S34)로써, 물체 병합부(33)는 라벨링된 깊이 영상(3)과 기준 영상에서 검출한 물체들의 좌표를 비교한다. 즉, 물체 병합부(33)는 2개 이상의 검출된 물체들이 유사한 깊이를 가지고 있고, 또한 텍스처의 유사성을 가지고 있는 경우 상기 검출된 물체들을 하나의 물체로 설정하여 병합한다.
제5 단계(S35)로써, 상기 병합된 물체에 대하여는 그의 윤곽선 좌표를 재설정한다. 즉, 도 8에 도시된 바와 같이 기존에 형성된 윤곽선들(90~92)을 모두 포함하는 새로운 윤곽선(93)을 생성하고, 기존에 형성된 윤곽선들(90~92)을 상기 새로운 윤곽선(93)으로 대체한다.
도 8은 도 4 및 도 6에 도시된 물체 병합 단계(S40)를 설명하기 위한 도면이다. 도 8을 참조하면, 기준 영상에 대하여 3개의 물체들이 검출되고, 이들의 윤곽선들(90~92)이 형성되며, 상기 윤곽선들이 깊이 영상(3)에 표시되어 있다. 상기 검출된 3개의 물체들의 좌표들을 깊이 영상(3)과 비교할 때, 상기 검출된 3개의 물체들은 깊이 영상(3)에서 모두 유사한 깊이를 가지며, 텍스쳐 정보도 유사하다. 따라서 물체 병합부(33)는 깊이의유사성과 텍스처 정보의 유사성을 판단하여 모두 유사하면 상기 3개의 물체들을 하나의 물체로 설정하여 병합한다. 이때, 물체 병합부(33)는 기존에 부여된 아이디들(ID:1~ID:3)을 새로운 아이디(ID:1)로 재설정한다.
상기 이벤트 검출단계(S50)로써, 이벤트 검출부(34)는 상기 검출한 물체들로부터 이벤트가 발생하는지를 검출한다. 이벤트 검출 단계(S50)에 대해서는 도 9 및 도 10을 참조하여 상세히 설명하기로 한다.
도 9를 참조하면, 움직이는 2개의 물체들(81,82)로서 2마리의 나비들이 검출되었다. 이벤트 검출부는 물체들(81,82)에 아이디들(ID:1,ID:2)을 부여하고, 또한 물체들(81,82)에 윤곽선들(94,95)을 형성한다. 이때, 이벤트 검출부(34)는 이벤트 검출 조건으로써 이벤트 검출선(100)을 설정한다. 이벤트 검출선(100)에는 깊이 조건이 포함된다. 이때, 물체들(81,82)의 위치는 모두 이벤트 검출선(100)과 겹치지만 깊이가 많이 차이난다. 이와 같이, 이벤트 검출부(34)는 물체들(81,82)의 깊이가 설정되어 있는 깊이 조건과 일치하지 않으므로, 이벤트가 발생하지 않은 것으로 판단한다.
도 10을 참조하면, 움직이는 3개의 물체들(80~82)로서 2마리의 나비들과 자동차가 검출되었다. 이벤트 검출부는 물체들(80~82)에 아이디들(ID:1~ID:3)을 부여하며, 또한 물체들(80~82)에 윤곽선들(93~95)을 형성한다. 상기 3개의 물체들(80~82)의 위치는 모두 이벤트 검출선(100)과 겹치게 된다. 이때, 물체들(81,82)의 깊이가 설정되어 있는 깊이 조건과 일치하지 않으므로, 이벤트 검출부(34)는 물체들(81,82)에 대해서는 이벤트가 발생하지 않은 것으로 판단한다. 반면에, 물체(80)인 자동차의 경우, 이벤트 검출부(34)는 물체의 깊이가 설정되어 있는 조건과 일치한다고 판단하여 이벤트가 발생한 것으로 판단한다.
사용자가 이벤트 검출 시 깊이 정보에 대한 조건을 원하지 않을 경우에는 이벤트 검출 시 깊이 정보에 대한 조건을 제외할 수 있다. 예들 들어 도 10에서 사용자가 깊이 조건을 원하지 않거나, 제거하였을 경우 물체 80,81,82이 모두 해당 이벤트 조건과 만족한다고 판단한다.
본 발명의 실시 예들에서는 상기와 같이, 3차원 영상 또는 스테레오 영상으로부터 추출한 깊이 정보를 사용하여 영상을 분석함으로 인하여 물체의 검출을 정확하게 할 수 있으며, 이로 인하여 감시 영역에 대한 감시 성능의 신뢰성을 높일 수 있게 된다.
이상에서 언급된 본 실시 예 및 그 변형 예들에 따른 감시 방법을 영상 처리 장치에서 실행시키기 위한 알고리즘 등의 프로그램은 기록매체에 저장될 수 있다. 여기서 기록매체는 반도체 기록 매체(예를 들어, 플래시 메모리(Flash memory)) 등이 사용될 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (11)

  1. 감시 영역을 촬영한 제1 영상으로부터 움직이는 물체들을 복수개 검출하는 물체 검출부;
    상기 제1 영상과, 상기 감시 영역을 상기 제1 영상의 촬영시점과 다른 시점에서 촬영한 제2 영상 사이의 변이 벡터를 기초로 상기 검출된 물체들의 깊이 정보를 추출하고, 상기 검출된 물체들의 깊이 연속성을 판단하는 깊이 판단부;
    상기 검출된 물체들 각각의 텍스처 정보를 추출하고, 상기 검출된 물체들의 텍스처 유사성을 판단하는 텍스처 판단부; 및
    상기 복수개의 검출된 물체들 중에서 상기 깊이 연속성 및 상기 텍스처 유사성을 모두 만족하는 물체들을 하나의 물체로 설정하는 물체 병합부;를 구비하는 것을 특징으로 하는 감시 장치.
  2. 삭제
  3. 삭제
  4. 제3항에 있어서,
    상기 텍스처의 유사성은 상기 검출된 물체들의 윤곽선 영역 내의 전경 영역을 이용하여 판단하는 것을 특징으로 하는 감시 장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 감시 영역을 촬영한 제1 영상으로부터 움직이는 물체를 복수개 검출하는 단계;
    상기 제1 영상과, 상기 감시 영역을 상기 제1 영상의 촬영시점과 다른 시점에서 촬영한 제2 영상 사이의 변이 벡터를 기초로 상기 검출된 물체들의 깊이 정보를 추출하고, 상기 검출된 물체들의 깊이 연속성을 판단하는 단계;
    상기 검출된 물체들의 텍스처 정보를 추출하고, 상기 검출된 물체들의 텍스처 유사성을 판단하는 단계; 및
    상기 복수의 검출된 물체들 중에서 상기 깊이 연속성과 상기 텍스처 유사성을 모두 만족하는 물체들을 하나의 물체로 설정하여 병합하는 단계;를 포함하는 것을 특징으로 하는 감시 방법.
  11. 삭제
KR1020110104091A 2010-10-27 2011-10-12 지능형 보안 감시 장치 및 그 감시 방법 KR101706217B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/282,839 US8983121B2 (en) 2010-10-27 2011-10-27 Image processing apparatus and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100105380 2010-10-27
KR1020100105380 2010-10-27

Publications (2)

Publication Number Publication Date
KR20120044245A KR20120044245A (ko) 2012-05-07
KR101706217B1 true KR101706217B1 (ko) 2017-02-13

Family

ID=46264141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110104091A KR101706217B1 (ko) 2010-10-27 2011-10-12 지능형 보안 감시 장치 및 그 감시 방법

Country Status (1)

Country Link
KR (1) KR101706217B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101595882B1 (ko) * 2012-08-24 2016-02-22 한화테크윈 주식회사 영상 분석 장치 및 방법
KR102434574B1 (ko) 2017-08-14 2022-08-22 삼성전자주식회사 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060045798A (ko) * 2004-10-16 2006-05-17 한국전자통신연구원 다시점 동영상의 계층적 깊이 영상 부호화를 위한 방법 및장치
KR20100107209A (ko) * 2009-03-25 2010-10-05 엘지전자 주식회사 물체 분류 방법

Also Published As

Publication number Publication date
KR20120044245A (ko) 2012-05-07

Similar Documents

Publication Publication Date Title
US8983121B2 (en) Image processing apparatus and method thereof
US10573018B2 (en) Three dimensional scene reconstruction based on contextual analysis
EP3230950B1 (en) Method, apparatus and medium for synchronisation of colour and depth videos
JP4938861B2 (ja) 複雑適応２Ｄ−ｔｏ−３Ｄビデオシーケンス変換
US8331617B2 (en) Robot vision system and detection method
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
JP6184271B2 (ja) 撮像管理装置、撮像管理システムの制御方法およびプログラム
TW201820264A (zh) 在視訊序列中的動作辨識
JP2015536057A (ja) 画像処理装置、方法及びコンピュータプログラム
KR100745691B1 (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
JP5015126B2 (ja) 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体
WO2022250830A1 (en) 3d mesh generation on a server
JP2007266652A (ja) 移動物体検出装置、移動物体検出方法、移動物体検出プログラム、映像復号化装置、映像符号化装置、撮像装置及び映像管理システム
US9639944B2 (en) Method and apparatus for determining a depth of a target object
CN110853002A (zh) 一种基于双目视觉的变电站异物检测方法
WO2016139868A1 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
CN107480580B (zh) 图像识别方法和图像识别装置
KR101706217B1 (ko) 지능형 보안 감시 장치 및 그 감시 방법
JP2001266128A (ja) 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体
KR20140118083A (ko) 입체 영상 제작 시스템 및 깊이 정보 획득방법
KR101281003B1 (ko) 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법
KR101501531B1 (ko) 스테레오 비전 기반 보행자 검출 시스템 및 그 방법
KR101509105B1 (ko) 증강현실 제공 장치 및 그 방법
JP6038489B2 (ja) 画像処理装置
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant