KR101890166B1 - 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템 및 방법 - Google Patents

감시영상의 실시간 와핑을 이용한 3차원 감시 시스템 및 방법 Download PDF

Info

Publication number
KR101890166B1
KR101890166B1 KR1020160170535A KR20160170535A KR101890166B1 KR 101890166 B1 KR101890166 B1 KR 101890166B1 KR 1020160170535 A KR1020160170535 A KR 1020160170535A KR 20160170535 A KR20160170535 A KR 20160170535A KR 101890166 B1 KR101890166 B1 KR 101890166B1
Authority
KR
South Korea
Prior art keywords
image
surveillance
points
region
boundary
Prior art date
Application number
KR1020160170535A
Other languages
English (en)
Other versions
KR20180060868A (ko
KR101890166B9 (ko
Inventor
김계영
김설호
강은정
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Publication of KR20180060868A publication Critical patent/KR20180060868A/ko
Application granted granted Critical
Publication of KR101890166B1 publication Critical patent/KR101890166B1/ko
Publication of KR101890166B9 publication Critical patent/KR101890166B9/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

감시영상의 실시간 와핑을 이용한 3차원 감시 시스템 및 방법이 개시된다. 본 발명에 따른 감시영상의 실시간 와핑을 이용한 3차원 감시 방법은, 3D 가상공간에 실제 감시영역을 모델링하여 가상 객체를 생성하고, 상기 가상 객체에 텍스쳐 영상을 투영하는 단계, 상기 가상 객체에 투영된 텍스쳐 영상과, 감시 카메라에 의해 촬영된 감시영상에서 각각의 특징점을 복수 개 추출하고, 상기 텍스쳐 영상의 특징점에 대응되는 상기 감시영상의 특징점을 매칭하는 단계, 상기 가상 객체에 투영된 텍스쳐 영상을 깊이정보에 따라 복수의 영역으로 분할하고, 서로 다른 영역 간의 경계에 있는 경계점을 산출하는 단계, 상기 텍스쳐 영상의 특징점과 산출된 상기 경계점의 거리비에 따라 상기 감시영상의 경계점을 산출하고, 산출된 감시영상의 경계점을 기초로 상기 감시영상을 복수의 영역으로 분할하는 단계 및 상기 감시영상을 영역별로 와핑하고, 영역별로 와핑된 상기 감시영상을 상기 가상 객체에 실시간으로 투영하는 단계를 포함한다.

Description

감시영상의 실시간 와핑을 이용한 3차원 감시 시스템 및 방법 {THREE-DIMENSIONAL MONITORING SYSTEM AND METHOD USING REAL-TIME WARPING OF SURVEILANCE VIDEOS}
본 발명은 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 2차원 CCTV 영상을 3차원 가상공간에 실시간으로 와핑하여 투영함으로써, 감시구역을 입체적으로 모니터링 할 수 있는 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템 및 방법에 관한 것이다.
CCTV(Closed Circuit Television)은 폐쇄회로 텔레비전으로도 불리우며, 특정 건축물이나 시설물에서 보안이나 범죄예방 등을 위해 특정 수신자를 대상으로 유선 또는 무선 전송로를 이용해 화상을 전송하는 기술이다. 이러한 종래의 CCTV 통합관제 시스템은 다수의 CCTV 화면을 격자 형태로 배치하여 보여주기 때문에 감시자의 피로도가 높고, 감시영역 내 지형지물에 대한 사전정보가 없을 경우 긴급상황에 대한 판단력이 저하될 수 있다.
이에, 도 1의 (a)에 도시된 바와 같이, 최근에는 2차원의 CCTV 영상을 렌더링하여 3차원의 가상공간 안에 표현함으로써 상술한 문제점을 해결하려는 기술이 제안되고 있다. 하지만, 이러한 기술은 고정형 감시카메라가 바람에 의하여 흔들리거나, 팬-틸트-줌(Pan-Tilt-Zoom, PTZ) 기능을 포함한 이동형 감시카메라와 같이 영상촬영영역이 여러 원인에 의해 이동되었을 경우 도 1의 (b)에 도시된 바와 같이 가상 객체와 CCTV 영상의 위치가 어긋나는 문제가 발생한다.
한국공개특허 제10-2011-0088995호 한국등록특허 제10-1559739호
본 발명의 일측면은 감시카메라로부터 생성되는 감시영상을 감시영역을 기반으로 모델링된 3차원 가상공간의 지정된 위치에 투영되도록 감시영상을 실시간으로 와핑하는 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템 및 방법을 제공한다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템은, 3D 가상공간에 실제 감시영역을 모델링하여 가상 객체를 생성하고, 상기 가상 객체에 텍스쳐 영상을 투영하는 단계, 상기 가상 객체에 투영된 텍스쳐 영상과, 감시 카메라에 의해 촬영된 감시영상에서 각각의 특징점을 복수 개 추출하고, 상기 텍스쳐 영상의 특징점에 대응되는 상기 감시영상의 특징점을 매칭하는 단계, 상기 가상 객체에 투영된 텍스쳐 영상을 깊이정보에 따라 복수의 영역으로 분할하고, 서로 다른 영역 간의 경계에 있는 경계점을 산출하는 단계, 상기 텍스쳐 영상의 특징점과 산출된 상기 경계점의 거리비에 따라 상기 감시영상의 경계점을 산출하고, 산출된 감시영상의 경계점을 기초로 상기 감시영상을 복수의 영역으로 분할하는 단계 및 상기 감시영상을 영역별로 와핑하고, 영역별로 와핑된 상기 감시영상을 상기 가상 객체에 실시간으로 투영하는 단계를 포함한다.
상기 가상 객체에 텍스쳐 영상을 투영하는 단계는, 상기 가상 객체에 투영된 텍스쳐 영상 및 상기 가상 객체의 3차원 좌표정보를 함께 저장하는 단계를 포함하고, 상기 가상 객체에 투영된 텍스쳐 영상을 깊이정보에 따라 복수의 영역으로 분할하는 것은, 상기 3차원 좌표정보를 기초로 상기 텍스쳐 영상의 깊이정보를 분석하고, 기 설정된 깊이 구간에 따라 상기 텍스쳐 영상을 동일한 깊이 구간을 가지는 영역별로 분할하는 것을 특징으로 할 수 있다.
상기 서로 다른 영역 간의 경계에 있는 경계점을 산출하는 단계는, 상기 가상 객체에 투영된 텍스쳐 영상을 깊이정보에 따라 복수의 영역으로 분할하고, 분할된 각각의 영역에 분포된 복수의 특징점으로부터 영역별 대표 특징점을 추출하는 단계 및 상기 영역별 대표 특징점을 기초로 서로 다른 영역 간의 경계에 있는 경계점을 산출하는 단계를 포함할 수 있다.
상기 감시영상의 경계점을 산출하는 것은, 상기 텍스쳐 영상의 제1 영역의 제1 대표 특징점과 상기 경계점과의 거리인 제1 거리와, 상기 제1 영역의 제1 대표 특징점과 제2 대표 특징점과의 거리인 제2 거리를 측정하고, 상기 제1 거리와 상기 제2 거리의 비율에 따라 상기 감시영상의 경계점이 결정되는 것을 특징으로 할 수 있다.
상기 감시영상의 경계점을 산출하는 것은, 상기 제1 대표 특징점과 매칭된 상기 감시영상의 제1 특징점과 상기 제2 대표 특징점과 매칭된 상기 감시영상의 제2 특징점과의 거리인 제3 거리를 측정하고, 상기 제1 특징점과 상기 감시영상의 경계점과의 거리를 변수로 설정하고, 상기 제1 거리와 상기 제2 거리의 비율을 상기 변수와 상기 제3 거리의 비율과 비교하여 상기 변수에 대한 거리값을 계산하고, 계산된 상기 거리값을 이용하여 상기 감시영상의 경계점을 산출하는 것을 특징으로 할 수 있다.
상기 특징점을 매칭하는 단계는, 매칭된 상기 텍스쳐 영상의 특징점과 상기 감시영상의 특징점의 유사도에 따라 매칭값을 산출하는 단계를 포함하고, 상기 영역별 대표 특징점을 추출하는 것은, 분할된 각각의 영역에 분포된 복수의 특징점 각각의 매칭값을 기준으로 상기 영역별 대표 특징점을 추출할 수 있다.
상기 텍스쳐 영상 또는 상기 감시영상을 복수의 영역으로 분할하는 것은, 상기 텍스쳐 영상의 경계점들이 연결된 선분을 이용하여 상기 텍스쳐 영상을 복수의 영역으로 분할하고, 상기 감시영상의 경계점들이 연결된 선분을 이용하여 상기 감시영상을 복수의 영역으로 분할하는 것을 특징으로 할 수 있다.
상기 감시영상을 영역별로 와핑하는 것은, 상기 감시영상의 영역별로 와핑점을 적어도 세 개 설정하고, 상기 와핑점의 변환행렬을 연산하여 상기 감시영상을 영역별로 와핑하는 것을 특징으로 할 수 있다.
상기 와핑점은 상기 감시영상의 특징점 및 경계점으로부터 설정되고, 영역별로 설정된 적어도 세 개의 상기 와핑점이 모두 경계점인 경우, 상기 감시영상의 경계점을 더 산출하고, 산출된 새로운 경계점을 기초로 상기 감시영상의 분할 영역을 재설정할 수 있다.
본 발명의 일 실시예에 따른 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템은, 3D 가상공간에 실제 감시영역을 모델링하여 가상 객체를 생성하고, 상기 가상 객체에 텍스쳐 영상을 투영하는 가상공간 생성부, 상기 가상 객체에 투영된 텍스쳐 영상과, 감시 카메라에 의해 촬영된 감시영상에서 각각의 특징점을 복수 개 추출하고, 상기 텍스쳐 영상의 특징점에 대응되는 상기 감시영상의 특징점을 매칭하는 특징점 추출부, 상기 가상 객체에 투영된 텍스쳐 영상을 깊이정보에 따라 복수의 영역으로 분할하고, 분할된 각각의 영역에 분포된 복수의 특징점으로부터 영역별 대표 특징점을 추출하는 영역 분할부, 상기 영역별 대표 특징점을 기초로 서로 다른 영역 간의 경계에 있는 경계점을 산출하고, 상기 텍스쳐 영상의 상기 영역별 대표 특징점과 상기 경계의 거리비에 따라 상기 감시영상의 경계점을 산출하고, 산출된 감시영상의 경계점을 기초로 상기 감시영상을 복수의 영역으로 분할하는 경계점 산출부 및 상기 감시영상의 영역별로 와핑점을 설정하고, 상기 와핑점의 변환행렬을 연산하여 상기 감시영상을 영역별로 와핑하며, 영역별로 와핑된 상기 감시영상을 상기 가상 객체에 실시간으로 투영하는 와핑부를 포함한다.
상술한 본 발명의 일측면에 따르면, 3차원 공간에 모델링된 감시영역은 감시 카메라에 의해 촬영된 감시영상이 투영되며, 이때 투영되는 감시영상은 실시간 와핑(warping)과정 후에 지속적으로 3차원 가상공간에 투영되므로, 가상객체에 투영되는 감시영상이 왜곡되지 않으며, 감시 카메라가 이동여부와 관계없이 신뢰성 있는 감시영상을 제공할 수 있다.
도 1은 종래 기술에서 감시영상을 가상객체 투영하는 일 예를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템의 개략적인 구성을 나타내는 도면이다.
도 3은 도 1의 가상공간 생성부가 텍스쳐 영상을 가상 객체에 투영하는 일 예를 나타내는 도면이다.
도 4는 텍스쳐 영상과 감시영상의 일 예를 나타내는 도면이다.
도 5는 도 1의 특징점 추출부가 특징점을 매칭하는 일 예를 나타내는 도면이다.
도 6은 도 1의 영역 분할부가 텍스쳐 영상을 분할하여 영역별 대표 특징점을 추출하는 일 예를 나타내는 도면이다.
도 7은 도 1의 영역 분할부가 텍스쳐 영상의 경계점을 산출하는 일 예를 나타내는 도면이다.
도 8 내지 도 9는 도 1의 경계점 산출부가 감시영상을 분할하는 일 예를 나타내는 도면이다.
도 10 내지 도 12는 도 1의 와핑부의 구체적인 기능을 나타내는 실시예들을 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따른 감시영상의 실시간 와핑을 이용한 3차원 감시 방법의 개략적인 흐름을 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템(1)의 개략적인 구성을 도시한 블록도이다.
구체적으로, 본 실시예에 따른 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템(1)은, 가상공간 생성부(10), 특징점 추출부(20), 영역 분할부(30), 경계점 산출부(40) 및 와핑부(50)를 포함한다.
가상공간 생성부(10)는 관리자가 감시하고자 하는 구역을 3차원 가상 공간으로 모델링할 수 있다. 즉, 가상공간 생성부(10)는 감시영역의 지형 또는 지물을 3차원으로 모델링하고, 이를 3차원 가상공간 상에 구현할 수 있다. 이하에서는, 설명의 편의를 위해 특정 건물의 외부 주변을 감시영역으로 정의하기로 한다. 하지만, 감시영역은 이에 한정되지 않으며 감시영역은 관리자에 의해 다양한 장소 또는 구역으로 설정될 수 있음은 물론이다.
가상공간 생성부(10)는 감시영역에 포함된 실제 건물 및 주변 사물의 특징을 반영하여 도 3의 (a)에 도시된 바와 같이 3차원 공간 상에서 가상 객체를 생성할 수 있다.
이러한 가상공간 생성부(10)는 생성된 가상 객체에 실제 감시영역의 모습이 투영되도록 텍스쳐(texture) 영상을 수집할 수 있다. 텍스쳐 영상은 감시영역을 촬영하는 적어도 하나의 감시 카메라에 의해 생성될 수 있다. 텍스쳐 영상은 감시 카메라에 의해 촬영되는 감시영상의 기준이 되는 영상일 수 있다. 상술한 바와 같이, 감시 카메라는 감시영역을 촬영하면서 여러 가지 요인에 의해 최초 설정된 각도가 변경될 수 있다. 예를 들어, 고정형 감시카메라가 바람에 의하여 흔들리거나, 팬-틸트-줌(Pan-Tilt-Zoom, PTZ) 기능이 구비된 이동형 감시카메라는 특정 피사체를 추적하면서 촬영 각도가 변경될 수 있다. 이러한 경우, 상술한 도 1의 (b)에 도시된 바와 같이 가상 객체에 투영되는 감시영상의 위치가 초기 설정과 달라 어긋나는 문제가 발생한다.
따라서, 가상공간 생성부(10)는 감시 카메라의 촬영 각도가 변경되더라도 최초 설정된 위치에 투영되도록, 3차원 공간 상의 가상 객체에 텍스쳐 영상을 맵핑할 수 있다. 구체적으로, 가상공간 생성부(10)는 도 3의 (b)에 도시된 바와 같이 감시 카메라로부터 감시영역에 대한 텍스쳐 영상을 수신할 수 있다. 이후, 가상공간 생성부(10)는 도 3의 (c)에 도시된 바와 같이, 가상 객체인 3D 건물에 텍스쳐 영상을 투영할 수 있다. 이때, 가상공간 생성부(10)는 텍스쳐 영상과 맵핑된 가상 객체의 3차원 좌표정보를 함께 저장할 수 있다.
특징점 추출부(20)는 가상 객체에 투영된 텍스쳐 영상과 감시영상에서 각각의 특징점을 추출할 수 있다. 텍스쳐 영상은 감시영역의 모니터링이 수행되기 이전에 감시 카메라에 의해 초기에 촬영된 영상이며, 감시영상은 모니터링 과정에서 촬영되는 영상일 수 있다. 도 4에는 텍스쳐 영상과 감시영상이 도시되어 있다. 도 4의 (a)는 텍스쳐 영상의 일 예를 나타내는 것으로, 감시 카메라의 초기 설정값에 의해 촬영된 영상일 수 있다. 반면, 도 4의 (b)는 감시영상의 일 예를 나타내는 것으로, 감시영상은 감시 카메라가 여러 요인에 의해 촬영각도가 변경되어 초기 설정값과 다른 각도로 감시영역을 촬영한 영상일 수 있다.
특징점 추출부(20)는 투영된 텍스쳐 영상을 분석하여 복수의 특징점을 추출하고, 감시영상을 분석하여 복수의 특징점을 추출할 수 있다. 또한, 특징점 추출부(20)는 텍스쳐 영상의 특징점과 감시영상의 특징점을 매칭할 수 있다. 도 5는 텍스쳐 영상의 특징점과 감시영상의 특징점이 매칭된 일 예를 나타내는 도면이다. 특징점 추출부(20)는 추출된 특징점을 분석하여, 유사한 특징을 나타내는 특징점들을 매칭시킬 수 있다. 그리고, 특징점 추출부(20)는 매칭된 특징점들간의 매칭값을 산출할 수 있다. 특징점 추출 및 매칭 방법은 SIFT 기법, SURF 기법, ORB 기법, BRISK 기법 등 기 공지된 기술들을 이용하여 다양한 방법으로 수행될 수 있다. 따라서, 특징점을 추출하며 매칭하는 구체적인 내용은 생략하기로 한다.
영역 분할부(30)는 가상 객체에 투영된 텍스쳐 영상의 영역을 구분할 수 있다. 영역 분할부(30)는 깊이정보를 이용하여 유사한 깊이정보를 갖는 영역끼리 구분되도록 영역을 분할할 수 있다. 상술한 바와 같이, 가상공간 생성부(10)는 가상 객체에 텍스쳐 영상이 투영될 때 텍스쳐 영상과 맵핑된 가상 객체의 3차원 좌표정보가 함께 저장할 수 있다. 따라서, 영역 분할부(30)는 텍스쳐 영상에 저장된 깊이정보를 기 설정된 깊이 구간과 비교하여, 동일한 깊이 구간을 갖는 복수의 영역으로 분할할 수 있다. 도 6의 (a)는 영역 분할부(30)에서 텍스쳐 영상에 저장된 3차원 좌표정보를 이용하여 깊이정보에 따라 텍스쳐 영상을 복수의 영역으로 분할한 일 예가 도시된다. 도시된 바와 같이, 영역 분할부(30)는 텍스쳐 영상를 깊이정보에 따라 건물 외벽 영역(영역 1), 담장 영역(영역 2) 및 도로 영역(영역 3)으로 분할할 수 있다.
또한, 영역 분할부(30)는 분할된 각 영역별 대표 특징점을 추출할 수 있다. 도 6의 (b)를 함께 참조하면, 영역 분할부(30)는 텍스쳐 영상에 분포된 복수의 특징점들 중 분할된 영역별로 대표 특징점을 두 개 이상 추출할 수 있다. 대표 특징점은 특징점 추출부(20)에서 산출된 매칭값을 기초로 추출될 수 있다. 예를 들어, 영역 분할부(30)는 영역 1에 위치한 10개의 특징점들을 매칭값이 높은 순서대로 나열하고, 상위 n개의 특징점을 대표 특징점으로 선택할 수 있다. 도 6의 (b)를 다시 참조하면, 각 영역별로 두 개의 대표 특징점이 선택됨을 알 수 있다. 선택되는 특징점의 개수에 제한이 있는 것은 아니며, 두 개 이상으로 추출되기만 하면 그 개수에 제한을 두지 않는다.
경계점 산출부(40)는 텍스쳐 영상의 영역 별로 추출된 대표 특징점을 이용하여 영역 간의 경계에 있는 경계점의 위치를 산출할 수 있다. 도 7는 경계점의 위치를 산출하는 일 예가 도시되어 있다. 도 7에 도시된 바와 같이, 건물 외벽 영역(영역 1)의 대표 특징점인 P11, P12와, 담장 영역(영역 2)의 대표 특징점인 P21을 이용하여 영역 1과 영역 2의 경계에 있는 경계점(Q11, Q12)의 위치를 산출할 수 있다. 상술한 바와 같이, 텍스쳐 영상은 투영된 가상 객체의 3차원 좌표정보가 저장되어 있기 때문에, 각각의 특징점의 3차원 좌표 또한 알 수 있다. 경계점 산출부(40)는 동일한 방법을 통해 텍스쳐 영상 내의 모든 영역에서의 경계점 및 그 위치를 산출할 수 있다.
한편, 경계점 산출부(40)는 텍스쳐 영상의 대표 특징점과 산출된 경계점을 기초로 감시영상의 경계점 위치를 산출할 수 있다. 구체적으로, 경계점 산출부(40)는 텍스쳐 영상의 대표 특징점과 산출된 경계점 사이의 거리비를 이용하여 감시영상의 경계점을 산출할 수 있다. 감시영상은 텍스쳐 영상과는 달리 3차원 위치정보가 저장되어 있지 않으므로, 기준 영상인 텍스쳐 영상을 통해 간접적으로 경계점을 산출할 수 있다. 상술한 바와 같이, 특징점 추출부(20)는 텍스쳐 영상의 특징점과 감시영상의 특징점을 매칭시킬 수 있다. 다시 말해, 텍스쳐 영상의 특징점 Pnm(n: 텍스쳐 영상의 분할된 영역의 개수, m: 추출된 대표 특징점의 개수. 예를 들어, 추출된 대표 특징점이 2개인 경우, m=1 또는 2)은 감시영상의 특징점 P'nm과 매칭될 수 있다.
Figure 112016122767398-pat00001
수학식 1은 감시영상의 경계점 위치를 산출하는 일 예를 나타내는 수학식이다. 구체적으로, 수학식 1은 도 8에 도시된 감시영상의 경계점(Q'11, Q'12)를 산출하는 방법을 나타낸다. 산출된 Q'11은 수학식 1의 거리비에 의해 감시영상에서 영역을 분할하기 위한 경계점을 의미한다. 도 8에 도시된 바와 같이, 수학식 1에 의해 산출된 Q'11과 Q'12를 이은 선분으로 감시영상의 영역을 분할할 수 있다. 이와 유사한 방법으로, 경계점 산출부(40)는 텍스쳐 영상에서 산출된 모든 경계점에 대응되는 감시영상의 경계점을 산출하여 선분을 생성하고, 감시영상을 복수의 영역으로 분할할 수 있다. 도 9는 복수의 영역으로 분할된 감시영상의 일 예를 나타낸다. 도시된 바와 같이, 감시영역은 영역 1, 2, 3, 4의 네 개의 영역으로 분할될 수 있다.
와핑부(50)는 감시 카메라에 의해 촬영된 감시영상을 가상 객체에 와핑(warping)하여 투영하도록, 감시영상의 영역별로 와핑점을 설정할 수 있다. 와핑점은 특징점 추출부(20)에 의해 생성된 복수의 특징점들과, 경계점 산출부(40)에 의해 산출된 복수의 경계점들 중 하나일 수 있다. 도 10은 감시영상의 분할된 영역 내에서 설정된 와핑점들의 일 예를 나타내는 도면이다. 도시된 일 예에서, 도 9의 영역 1 내에서 와핑점은 4개로 설정되었으나, 설정되는 와핑점의 개수는 개수에 제한을 두지 않는다. 설정되는 와핑점이 많아질수록 감시영상의 와핑이 더욱 정확해지는 반면, 요구되는 연산량이 많아져서 영상 처리 속도가 감소할 수 있다. 또한, 설정되는 와핑점의 개수가 적어질수록 영상 처리 속도는 증가하지만, 전자에 비해 와핑의 정확도는 떨어질 수 있는 단점이 있다. 관리자는 사용 환경에 따라 선택되는 와핑점의 개수를 임의로 조절할 수 있음은 물론이다.
와핑부(50)는 선택된 와핑점들을 와핑 행렬로 나타내고, 변환 행렬을 계산하여 감시영상을 와핑시킬 수 있다. 이때, 와핑부(50)는 감시영상의 영역별로 변환 행렬을 계산할 수 있다. 상술한 예시를 참조하면, 감시영상은 세 개의 영역으로 분할되어 있으므로, 와핑부(50)는 세 번의 변환 행렬을 연산할 수 있다. 이에 따라, 감시영상 내에 분할된 각각의 영역은 서로 다른 정도로 와핑될 수 있다. 와핑 행렬을 계산하는 방법은 어파인(affine) 변환이나 투영 변환 등과 같이 기 공지된 변환 기법 중 어느 하나의 기법을 이용하여 와핑 행렬의 변환 행렬을 연산할 수 있다. 특히, 투영 변환을 이용하는 경우, 와핑부(50)는 와핑점을 영역별로 네 개씩 설정하고, 설정된 네 개의 와핑점을 기준으로 감시영상을 사다리꼴 형태로 변환할 수 있다.
도 11을 함께 참조하면, 이후, 가상공간 생성부(10)는 와핑부(50)가 분할된 감시영상의 모든 영역에서 와핑 행렬을 계산한 것으로 확인되면, 그 결과를 이용하여 실시간으로 감시영상을 가상 객체에 투영할 수 있다. 따라서, 본 실시예에 따른 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템(1)을 적용하면 감시 카메라의 촬영 각도가 이동되더라도, 감시영상을 실시간으로 와핑하여 가상 객체에 투영할 수 있다.
한편, 경계점 산출부(40)는 감시영상 와핑부(50)에 의해 선택된 와핑점이 모두 경계점인 것으로 확인되면, 상술한 수학식 1을 이용한 과정을 통하여 감시 영상의 새로운 경계점을 산출할 수 있다. 도 12의 (a)는 감시영상의 특정 영역(영역 2) 내에서 선택된 와핑점이 모두 경계점인 경우를 나타내는 도면이다. 경계점 산출부(40)는 산출된 새로운 경계점을 이용하여 기 분할된 영역을 다시 분할할 수 있다. 도 12의 (b)는 최초 산출된 경계점 외에 새롭게 산출된 경계점을 이용하여 분할 영역을 재설정하는 일 예를 나타내는 도면이다. 도시된 바와 같이, 붉은색 실선상의 두 개의 점들은 새롭게 산출된 경계점들을 나타낸다. 또한, 새롭게 산출된 경계점들이 연결된 선분인 붉은색 실선으로 인해 분할되는 영역이 재설정될 수 있다. 도 12의 (a)와 비교하면, 도 12의 (a)는 건물 외벽의 일부가 담장 영역과 동일한 영역인 영역 2로 설정되어 있지만, 도 12의 (b)는 영역 2가 영역 2-1과 영역 2-2로재설정된 영역에 의해 최초 선택된 네 개의 와핑점이 두 개의 영역으로 분할될 수 있다.
도 13을 참조하면, 본 발명의 일 실시예에 따른 감시영상의 실시간 와핑을 이용한 3차원 감시 방법의 개략적인 흐름이 도시된다.
먼저, 모니터링할 감시영역에 대한 텍스쳐 영상을 생성하여 3차원 가상 공간의 가상 객체에 투영할 수 있다(110). 이를 위해, 3차원 가상 공간에 실제 감시영역을 모델링하여 가상 객체를 구현하고, 실제 감시영역의 초기 촬영 영상인 텍스쳐 영상을 수신할 수 있다. 그리고, 텍스쳐 영상을 가상 객체에 투영하고, 가상 객체에 투영된 텍스쳐 영상 및 가상 객체의 3차원 좌표정보를 함께 저장할 수 있다.
다음으로, 가상 객체에 투영된 텍스쳐 영상과 감시영상을 매칭할 수 있다(120). 구체적으로, 텍스쳐 영상과 감시영상 각각에서 특징점들을 추출하고, 텍스쳐 영상의 특정 특징점에 대응되는 감시영상의 특징점과 매칭시킬 수 있다. 매칭된 특징점들은 유사도에 따라 매칭값이 산출될 수 있다.
가상 객체에 투영된 텍스쳐 영상을 깊이정보에 따라 복수의 영역으로 분할하고, 각 영역별로 대표 특징점을 추출할 수 있다(130). 텍스쳐 영상의 분할된 각각의 영역에 분포된 복수의 특징점 각각의 매칭값을 비교하여, 매칭값이 높은 순서대로 미리 설정된 개수만큼 대표 특징점을 추출할 수 있다.
추출된 영역별 대표 특징점을 기초로 텍스쳐 영상의 서로 다른 영역 간의 경계에 있는 경계점을 산출할 수 있다(140). 즉, 가상 객체에 투영된 텍스쳐 영상을 3차원 좌표의 깊이정보를 이용하여 깊이정보에 따라 복수의 영역으로 분할하고, 분할된 각각의 영역에 분포된 대표 특징점을 기초로 서로 다른 영역간의 경계선상에 위치하는 경계점의 위치를 산출할 수 있다.
텍스쳐 영상의 영역별 대표 특징점과 경계점을 기초로 감시영상의 경계점을 산출하고, 산출된 감시영상의 경계점을 기초로 감시영상을 복수의 영역으로 분할할 수 있다(150). 텍스쳐 영상의 대표 특징점과 경계점과의 거리비에 따라 감시영상의 경계점이 결정될 수 있다.
감시영상의 영역별로 와핑점을 설정하고, 와핑점의 변환행렬을 연산하여 감시영상을 영역별로 와핑할 수 있다(160). 즉, 감시영상을 영역별로 와핑할 수 있으며, 와핑점을 설정하는 과정에서 설정된 와핑점이 모두 경계점인 경우, 기 산출된 감시영상의 경계점 외에 새로운 경계점을 산출하는 과정을 더 수행하고, 새로운 경계점을 이용하여 감시영상의 분할 영역을 재설정할 수 있다. 이후, 분할 영역이 재설정된 감시영상의 영역별로 와핑점을 설정하는 과정을 다시 수행할 수 있다.
마지막으로, 영역별로 와핑된 감시영상을 가상 객체에 실시간으로 투영할 수 있다(170). 즉, 최초 가상 객체에 투영된 텍스쳐 영상을 영역별로 와핑된 감시 영상으로 갱신할 수 있으며, 상술한 단계들을 반복함으로써 가상 객체에 와핑된 감시영상을 실시간으로 투영할 수 있다.
상술한 단계들은 본 실시예에 따른 감시영상의 실시간 와핑을 이용한 3차원 감시 방법이 구현된 관리서버에서 수행될 수 있다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 가상공간 생성부
20: 특징점 추출부
30: 영역 분할부
40: 경계점 산출부
50: 와핑부

Claims (10)

  1. 3D 가상공간에 실제 감시영역을 모델링하여 가상 객체를 생성하고, 상기 가상 객체에 상기 실제 감시영역의 모니터링이 수행되기 이전에 감시 카메라의 초기 설정값에 의해 촬영된 텍스쳐 영상을 투영하는 단계;
    상기 가상 객체에 투영된 텍스쳐 영상에서 특징점을 복수 개 추출하고, 상기 가상 객체에 투영된 텍스쳐 영상을 깊이정보에 따라 복수의 영역으로 분할하여 서로 다른 영역 간의 경계에 있는 경계점을 산출하는 단계;
    상기 실제 감시영역의 모니터링 과정에서 상기 초기 설정값으로부터 촬영 각도가 변경된 상기 감시 카메라에 의해 촬영된 감시영상에서 특징점을 복수 개 추출하여, 상기 텍스쳐 영상의 특징점에 대응되는 상기 감시영상의 특징점을 매칭하는 단계;
    상기 텍스쳐 영상의 특징점과 산출된 상기 경계점의 거리비에 따라 깊이 정보가 미설정된 상기 감시영상의 서로 다른 두 개의 특징점을 연결하는 직선상에 위치하는 경계점을 산출하고, 산출된 감시영상의 경계점을 기초로 상기 감시영상을 복수의 영역으로 분할하는 단계; 및
    상기 감시영상의 특징점 및 경계점을 이용하여 상기 감시영상의 영역별로 와핑점을 설정하고, 상기 와핑점을 기초로 상기 감시영상을 영역별로 와핑하고, 영역별로 와핑된 상기 감시영상을 상기 가상 객체에 실시간으로 투영하는 단계를 포함하는, 감시영상의 실시간 와핑을 이용한 3차원 감시 방법.
  2. 제1항에 있어서,
    상기 가상 객체에 텍스쳐 영상을 투영하는 단계는,
    상기 가상 객체에 투영된 텍스쳐 영상 및 상기 가상 객체의 3차원 좌표정보를 함께 저장하는 단계를 포함하고,
    상기 가상 객체에 투영된 텍스쳐 영상을 깊이정보에 따라 복수의 영역으로 분할하는 것은,
    상기 3차원 좌표정보를 기초로 상기 텍스쳐 영상의 깊이정보를 분석하고, 기 설정된 깊이 구간에 따라 상기 텍스쳐 영상을 동일한 깊이 구간을 가지는 영역별로 분할하는 것을 특징으로 하는, 감시영상의 실시간 와핑을 이용한 3차원 감시 방법.
  3. 제1항에 있어서,
    상기 서로 다른 영역 간의 경계에 있는 경계점을 산출하는 단계는,
    상기 가상 객체에 투영된 텍스쳐 영상을 깊이정보에 따라 복수의 영역으로 분할하고, 분할된 각각의 영역에 분포된 복수의 특징점으로부터 영역별 대표 특징점을 추출하는 단계; 및
    상기 영역별 대표 특징점을 기초로 서로 다른 영역 간의 경계에 있는 경계점을 산출하는 단계를 포함하는, 감시영상의 실시간 와핑을 이용한 3차원 감시 방법.
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제3항에 있어서,
    상기 감시영상의 경계점을 산출하는 것은,
    상기 텍스쳐 영상의 제1 영역의 제1 대표 특징점과 상기 경계점과의 거리인 제1 거리와, 상기 제1 영역의 제1 대표 특징점과 제2 대표 특징점과의 거리인 제2 거리를 측정하고,
    상기 제1 거리와 상기 제2 거리의 비율에 따라 상기 감시영상의 경계점이 결정되는 것을 특징으로 하는, 감시영상의 실시간 와핑을 이용한 3차원 감시 방법.
  5. ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈
    제4항에 있어서,
    상기 감시영상의 경계점을 산출하는 것은,
    상기 제1 대표 특징점과 매칭된 상기 감시영상의 제1 특징점과 상기 제2 대표 특징점과 매칭된 상기 감시영상의 제2 특징점과의 거리인 제3 거리를 측정하고, 상기 제1 특징점과 상기 감시영상의 경계점과의 거리를 변수로 설정하고,
    상기 제1 거리와 상기 제2 거리의 비율을 상기 변수와 상기 제3 거리의 비율과 비교하여 상기 변수에 대한 거리값을 계산하고,
    계산된 상기 거리값을 이용하여 상기 감시영상의 경계점을 산출하는 것을 특징으로 하는, 감시영상의 실시간 와핑을 이용한 3차원 감시 방법.
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제3항에 있어서,
    상기 특징점을 매칭하는 단계는,
    매칭된 상기 텍스쳐 영상의 특징점과 상기 감시영상의 특징점의 유사도에 따라 매칭값을 산출하는 단계를 포함하고,
    상기 영역별 대표 특징점을 추출하는 것은,
    분할된 각각의 영역에 분포된 복수의 특징점 각각의 매칭값을 기준으로 상기 영역별 대표 특징점을 추출하는, 감시영상의 실시간 와핑을 이용한 3차원 감시 방법.
  7. 제1항에 있어서,
    상기 텍스쳐 영상 또는 상기 감시영상을 복수의 영역으로 분할하는 것은,
    상기 텍스쳐 영상의 경계점들이 연결된 선분을 이용하여 상기 텍스쳐 영상을 복수의 영역으로 분할하고,
    상기 감시영상의 경계점들이 연결된 선분을 이용하여 상기 감시영상을 복수의 영역으로 분할하는 것을 특징으로 하는, 감시영상의 실시간 와핑을 이용한 3차원 감시 방법.
  8. 제1항에 있어서,
    상기 감시영상을 영역별로 와핑하는 것은,
    상기 감시영상의 영역별로 와핑점을 적어도 세 개 설정하고, 상기 와핑점의 변환행렬을 연산하여 상기 감시영상을 영역별로 와핑하는 것을 특징으로 하는, 감시영상의 실시간 와핑을 이용한 3차원 감시 방법.
  9. ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈
    제8항에 있어서,
    상기 와핑점은 상기 감시영상의 특징점 및 경계점으로부터 설정되고,
    영역별로 설정된 적어도 세 개의 상기 와핑점이 모두 경계점인 경우, 상기 감시영상의 경계점을 더 산출하고, 산출된 새로운 경계점을 기초로 상기 감시영상의 분할 영역을 재설정하는, 감시영상의 실시간 와핑을 이용한 3차원 감시 방법.
  10. 3D 가상공간에 실제 감시영역을 모델링하여 가상 객체를 생성하고, 상기 가상 객체에 상기 실제 감시영역의 모니터링이 수행되기 이전에 감시 카메라의 초기 설정값에 의해 촬영된 텍스쳐 영상을 투영하는 가상공간 생성부;
    상기 가상 객체에 투영된 텍스쳐 영상과, 상기 실제 감시영역의 모니터링 과정에서 상기 초기 설정값으로부터 촬영 각도가 변경된 상기 감시 카메라에 의해 촬영된 감시영상에서 각각의 특징점을 복수 개 추출하고, 상기 텍스쳐 영상의 특징점에 대응되는 상기 감시영상의 특징점을 매칭하는 특징점 추출부;
    상기 가상 객체에 투영된 텍스쳐 영상을 깊이정보에 따라 복수의 영역으로 분할하고, 분할된 각각의 영역에 분포된 복수의 특징점으로부터 영역별 대표 특징점을 추출하는 영역 분할부;
    상기 영역별 대표 특징점을 기초로 서로 다른 영역 간의 경계에 있는 경계점을 산출하고, 상기 텍스쳐 영상의 상기 영역별 대표 특징점과 상기 경계의 거리비에 따라 깊이 정보가 미설정된 상기 감시영상의 서로 다른 두 개의 특징점을 연결하는 직선상에 위치하는 경계점을 산출하고, 산출된 감시영상의 경계점을 기초로 상기 감시영상을 복수의 영역으로 분할하는 경계점 산출부; 및
    상기 감시영상의 특징점 및 경계점을 이용하여 상기 감시영상의 영역별로 와핑점을 설정하고, 상기 와핑점의 변환행렬을 연산하여 상기 감시영상을 영역별로 와핑하며, 영역별로 와핑된 상기 감시영상을 상기 가상 객체에 실시간으로 투영하는 와핑부를 포함하되,
    상기 와핑부는, 상기 감시영상의 영역별로 와핑점을 적어도 세 개 설정하며,
    상기 경계점 산출부는, 영역별로 설정된 적어도 세 개의 상기 와핑점이 모두 경계점인 것으로 확인되면 상기 감시영상의 새로운 경계점을 산출하고, 산출된 새로운 경계점을 기초로 상기 감시영상의 분할 영역을 재설정하는, 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템.
KR1020160170535A 2016-11-28 2016-12-14 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템 및 방법 KR101890166B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160159392 2016-11-28
KR1020160159392 2016-11-28

Publications (3)

Publication Number Publication Date
KR20180060868A KR20180060868A (ko) 2018-06-07
KR101890166B1 true KR101890166B1 (ko) 2018-08-21
KR101890166B9 KR101890166B9 (ko) 2022-01-17

Family

ID=62621805

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160170535A KR101890166B1 (ko) 2016-11-28 2016-12-14 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101890166B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102154684B1 (ko) * 2019-09-24 2020-09-10 (주)코드쓰리 다중 프로젝터 출력 시스템 및 그 방법
WO2021172950A1 (en) * 2020-02-27 2021-09-02 Samsung Electronics Co., Ltd. Electronic device and method for depth map re-projection on electronic device
US11107290B1 (en) 2020-02-27 2021-08-31 Samsung Electronics Company, Ltd. Depth map re-projection on user electronic devices
KR102398066B1 (ko) * 2021-06-07 2022-05-13 주식회사 스탠스 디지털 트윈 기술을 이용한 시설물 감시 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101410273B1 (ko) 2012-09-11 2014-06-20 한국과학기술원 증강현실 응용을 위한 환경 모델링 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110088995A (ko) 2010-01-29 2011-08-04 주식회사 울프슨랩 3차원 모델 안에서 감시 카메라 영상을 시각화하기 위한 방법 및 시스템, 및 기록 매체
KR101135186B1 (ko) * 2010-03-03 2012-04-16 광주과학기술원 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101553273B1 (ko) * 2013-12-20 2015-09-15 배재대학교 산학협력단 증강현실 서비스를 제공하는 방법 및 장치
KR101559739B1 (ko) 2015-06-11 2015-10-15 주식회사 미래엔에스 가상 모델과 카메라 영상의 융합시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101410273B1 (ko) 2012-09-11 2014-06-20 한국과학기술원 증강현실 응용을 위한 환경 모델링 방법 및 장치

Also Published As

Publication number Publication date
KR20180060868A (ko) 2018-06-07
KR101890166B9 (ko) 2022-01-17

Similar Documents

Publication Publication Date Title
KR101890166B1 (ko) 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템 및 방법
US10893251B2 (en) Three-dimensional model generating device and three-dimensional model generating method
US8854469B2 (en) Method and apparatus for tracking persons and locations using multiple cameras
KR101507333B1 (ko) 경사면 상황 인식 방법, 이를 이용한 시스템 및 이를 수행하기 위한 기록매체
Shen et al. Deep learning‐based object identification with instance segmentation and pseudo‐LiDAR point cloud for work zone safety
Côté et al. Live mobile panoramic high accuracy augmented reality for engineering and construction
JP2019016161A (ja) 画像処理装置およびその制御方法
US20120027371A1 (en) Video summarization using video frames from different perspectives
KR101832274B1 (ko) 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
Gómez et al. Intelligent surveillance of indoor environments based on computer vision and 3D point cloud fusion
Kuang et al. A real-time smart assistant for video surveillance through handheld devices
WO2014194501A1 (en) Combining a digital image with a virtual entity
CN108288017A (zh) 获取对象密度的方法及装置
US10643078B2 (en) Automatic camera ground plane calibration method and system
US9426514B1 (en) Graphic reference matrix for virtual insertions
WO2020006551A1 (en) Computer vision systems and methods for modeling three dimensional structures using two-dimensional segments detected in digital aerial images
JP2007053621A (ja) 画像生成装置
CN112470189B (zh) 光场系统的遮挡消除
CN106780613B (zh) 多摄像头标定结果的可视化方法及其系统
RU2534827C2 (ru) Способ видеонаблюдения открытого пространства с контролем пожарной опасности
JP2009301242A (ja) 頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体
Ul Huda et al. Estimating the number of soccer players using simulation-based occlusion handling
Lin et al. Vanishing point-based image transforms for enhancement of probabilistic occupancy map-based people localization
CN114913470B (zh) 一种事件检测方法及装置
KR102473804B1 (ko) 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction