KR102473804B1

KR102473804B1 - 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법

Info

Publication number: KR102473804B1
Application number: KR1020200151421A
Authority: KR
Inventors: 김태우; 이성진
Original assignee: 이노뎁 주식회사
Priority date: 2020-10-16
Filing date: 2020-11-13
Publication date: 2022-12-05
Also published as: US20220256089A1; KR20220050722A; US11588975B2

Abstract

본 발명은 일반적으로 영상 관제에서 CCTV 카메라로 촬영하는 지점을 지도 상에 정확하게 매핑하는 기술에 관한 것이다. 본 발명은 CCTV 카메라(엣지 디바이스)가 촬영하는 캔버스 평면 영상의 픽셀 좌표와 3차원 물리 공간의 글로벌 좌표 간의 좌표계 변환을 통해 영상관제 시스템에서 카메라가 생성하는 CCTV 영상 내의 특정 지점을 지도 상의 실제 위치로 정확하게 매핑시켜주는 기술에 관한 것이다. 본 발명에 따르면 카메라 영상에서 긴급상황을 발견하였을 때에 해당 지점을 정확하게 특정할 수 있어 효과적인 대응이 가능하며, 이를 통해 영상 관제 효율을 개선할 수 있는 장점이 있다. 예를 들어, 국방경계 시스템에서 CCTV 영상 분석을 통해 적을 탐지한 경우에 적의 위치를 지도 상에 정확하게 표시하여 신속 대응할 수 있어 국방경계 시스템의 효율을 높일 수 있다.

Description

영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법 {method of mapping monitoring point in CCTV video for video surveillance system}

본 발명은 일반적으로 영상 관제에서 CCTV 카메라로 촬영하는 지점을 지도 상에 정확하게 매핑하는 기술에 관한 것이다.

특히, 본 발명은 CCTV 카메라(엣지 디바이스)가 촬영하는 캔버스 평면 영상의 픽셀 좌표와 3차원 물리 공간의 글로벌 좌표 간의 좌표계 변환을 통해 영상관제 시스템에서 카메라가 생성하는 CCTV 영상 내의 특정 지점을 지도 상의 실제 위치로 정확하게 매핑시켜주는 기술에 관한 것이다.

카메라 기반의 영상관제 시스템이 널리 사용되고 있는데, 경찰시스템이나 국방경계시스템에서도 CCTV 관제기술을 적극적으로 도입하고 있다. 예를 들어, 국방경계시스템의 경우, 인구 감소에 따른 군 병력 감소 문제에 대응하기 위하여 CCTV 카메라를 이용한 영상관제를 국방경계에 적용한다.

영상관제의 효과를 높이기 위해 GIS(Geographic Information System)을 영상관제 장치에 연동할 수 있는데, 이 경우에는 현재 관제하고 있는 카메라의 위치가 지도 상에 표시된다. 일반적으로 카메라에는 지자기 센서가 없기 때문에 카메라는 자신이 동서남북 어느 방향을 가리키고 있는지 스스로는 알 수 없고, 그에 따라 GIS 솔루션에는 카메라의 위치만 표기된다.

영상관제 시스템에서 CCTV 카메라 1대가 커버하는 영역은 일반적으로 대단히 넓기 때문에 긴급 상황이 발생하였을 때에 단순히 카메라의 위치만 아는 것만으로는 효과적으로 대응하기 곤란하다.

본 발명의 목적은 일반적으로 영상 관제에서 CCTV 카메라로 촬영하는 지점을 지도 상에 정확하게 매핑하는 기술을 제공하는 것이다.

특히, 본 발명의 목적은 CCTV 카메라(엣지 디바이스)가 촬영하는 캔버스 평면 영상의 픽셀 좌표와 3차원 물리 공간의 글로벌 좌표 간의 좌표계 변환을 통해 영상관제 시스템에서 카메라가 생성하는 CCTV 영상 내의 특정 지점을 지도 상의 실제 위치로 정확하게 매핑시켜주는 기술을 제공하는 것이다.

한편, 본 발명의 해결 과제는 이들 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다.

상기의 목적을 달성하기 위하여 본 발명에 따른 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법은, GIS 정보를 획득 가능한 특징점을 기준으로 카메라(100)의 PTZ 제어를 통해 특징점(FP, FP')의 GIS 정보와 화면중심 픽셀좌표를 매칭시켜 저장함으로써 카메라(100)의 방위 정보를 초기 설정하는 제 1 단계; 카메라 영상에서 표적(TP')을 식별하고 그 픽셀좌표(이하, '표적 픽셀좌표(TP')'라 함)를 획득하는 제 2 단계; 초기 설정된 카메라(100)의 방위 정보에 기초하여 표적(TP')이 식별된 카메라 영상과 관련하여 지도와 카메라 영상에서 시작점(SP, SP')을 식별하는 제 3 단계; 시작점(SP, SP')의 픽셀좌표(SP')와 GIS 정보(SP)를 기준점으로 삼고, 카메라 영상에서의 시작점의 픽셀좌표(SP')와 표적 픽셀좌표(TP') 간의 변위에 대응하는 지도 상의 시작점의 GIS 정보(SP)와 표적의 GIS 정보(TP) 간의 변위를 추정함으로써 표적에 대한 지도 상의 GIS 정보(TP)를 획득하는 제 4 단계;를 포함하여 구성된다.

이때, 제 1 단계에서 특징점(FP, FP')에 대한 PTZ 제어값을 획득하여 저장하고, 카메라(100)의 방위 정보는 특징점(FP, FP')에 대한 PTZ 제어값 중 틸트 각(Tilt angle)을

(이때, Distance 값은 카메라(100)의 설치 지점과 특징점 위치 간의 물리적 거리에 대응함)에 적용하여 획득된 카메라(100)의 높이(H) 값 및 카메라(100)의 설치 위치에 관한 GIS 정보의 결합으로 구성된 카메라(100)의 지오메트리 정보를 포함하여 구성될 수 있다.

본 발명에서 제 3 단계는, 표적(TP')이 식별된 카메라 영상의 PTZ 제어값을 획득하는 단계; 카메라(100)의 지오메트리 정보와, 특징점(FP, FP')에 대한 GIS 정보(FP), 화면중심 픽셀좌표(FP'), PTZ 제어값과, 표적(TP')이 식별된 카메라 영상의 PTZ 제어값에 기초하여 지도와 카메라 영상에서 시작점(SP, SP')을 선정하는 단계;를 포함하여 구성될 수 있다.

또한, 본 발명에서 제 1 단계는, 지도 상에서 특징점에 대한 선택 입력을 식별하는 단계; 그 선택 입력된 특징점의 GIS 정보를 지도 데이터로부터 획득하는 단계; 그 선택 입력된 특징점을 기준으로 하는 카메라(100)의 PTZ 제어를 식별하는 단계; 그 PTZ 제어 이후의 PTZ 제어값을 저장하는 단계; 그 선택 입력된 특징점의 GIS 정보와 화면중심 픽셀좌표를 특징점과 매칭시켜 저장하는 단계;를 포함하여 구성될 수 있다.

또한, 본 발명에서 제 4 단계는, 카메라 영상의 캔버스 평면에서 픽셀 위치를 시작점(SP')으로부터 표적 픽셀좌표(TP')를 가리키는 방향으로 픽셀위치를 단계별로 이동해가면서 그 지점에 대한 위도와 경도에 대응하는 Pixel Width와 Pixel Height에 대한 편미분 계수를 이용하여 그 단계별 픽셀위치 이동에 대응하는 GIS 정보의 델타 변위를 획득하는 과정을 반복적으로 수행한 후에, 픽셀 위치가 표적 픽셀좌표(TP')에 도달하면 그 반복 과정에서 획득한 GIS 정보의 델타 변위를 총합적으로 반영하여 표적의 GIS 정보(TP)를 획득하는 단계;를 포함하여 구성될 수 있다.

본 발명에서 픽셀 좌표의 델타 변위에 대응하는 GIS 정보의 델타 변위를 획득하는 과정은

(이때, 편미분 행렬은 GIS 정보의 위도 및 경도에 대한 Pixel Width 및 Pixel Height의 변화율을 나타내고, ΔW_error와 ΔH_error는 표적과 현재 지점의 가로 및 세로 픽셀 오차를 나타내고, Δ위도와 Δ경도는 표적 픽셀좌표(TP')에 도달하기 위해 변화시켜야 하는 GIS 정보의 델타 변위를 나타냄)에 의해 수행될 수 있다.

또한, 본 발명에서 제 4 단계는, 위도와 경도에 대응하는 Pixel Width와 Pixel Height에 대한 편미분 계수를 이용하여 시작점(SP, SP')을 기준점으로 하여 GIS 정보를 조금씩 바꿔가면서 그에 대응하는 픽셀좌표의 델타 변위를 획득하는 과정을 그 획득된 픽셀좌표의 델타 변위를 누적시켜 표적 픽셀좌표(TP')에 도달할 때까지 반복적으로 수행한 후에 그 반복 과정에서 획득한 GIS 정보의 델타 변위를 총합적으로 반영하여 표적의 GIS 정보(TP)를 획득하는 단계;를 포함하여 구성될 수 있다.

한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법을 실행시키기 위하여 매체에 저장된 것이다.

본 발명에 따르면 카메라 영상에서 긴급상황을 발견하였을 때에 해당 지점을 정확하게 특정할 수 있어 효과적인 대응이 가능하며, 이를 통해 영상 관제 효율을 개선할 수 있는 장점이 있다. 예를 들어, 국방경계 시스템에서 CCTV 영상 분석을 통해 적을 탐지한 경우에 적의 위치를 지도 상에 정확하게 표시하여 신속 대응할 수 있어 국방경계 시스템의 효율을 높일 수 있다.

[도 1]은 일반적인 CCTV 카메라 영상의 예를 나타내는 도면.
[도 2]는 카메라 파라미터와 관제영역 간의 기하학적 관계를 개념적으로 나타내는 도면.
[도 3]은 카메라의 캔버스 평면과 피사체의 상을 나타내는 도면.
[도 4]는 카메라 고유좌표계를 나타내는 도면.
[도 5]는 본 발명에 따른 관제 지점의 지도 매핑 기술을 처리하는 전체 시스템 구성을 나타내는 도면.
[도 6]은 본 발명에 따른 관제 지점의 지도 매핑 방법의 전체 프로세스를 나타내는 순서도.
[도 7]은 본 발명에서 특징점을 이용하여 카메라 방위 정보를 초기 설정하는 일 예를 나타내는 도면.
[도 8]은 본 발명에서 표적을 식별하는 일 예를 나타내는 도면.
[도 9]은 본 발명에서 특징점(FP)으로부터 표적(TP)의 GIS 정보를 구하는 과정을 개념적으로 나타내는 도면.
[도 10]은 본 발명에 따른 관제 지점의 지도 매핑 기술의 실제 테스트 결과를 나타내는 도면.

이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.

먼저, [도 1]을 참조하여 일반적인 CCTV 카메라 영상을 활용하는 과정의 한계에 대해 살펴본다. CCTV 카메라는 수 내지 수십 미터 높이의 폴대 위에서 지면을 내려보는 형태로 설치되므로 카메라 영상은 [도 1]과 같은 형태가 된다. 이와 같은 카메라 영상은 영상관제 시스템으로 전달되는데, 본 발명에서는 예컨대 관제요원이 모니터링 화면 상에서 표적(target)을 지정하면 영상관제 시스템과 연동하는 영상 분석 서버는 카메라 영상 내에서 그 표적이 위치하는 픽셀 좌표(pixel location in CCTV image)를 식별하여 제공한다.

일반적으로 영상관제 시스템은 자신이 관리하는 CCTV 카메라의 위치 정보를 가지고 있으므로 그 표적을 촬영하고 있는 카메라가 현실 세계에서 어디에 위치하는지 지도 상에 정확히 표시할 수 있다. 반면, 그 카메라가 실제 공간에서 어느 방향을 조향하고 있는지, 그 카메라 영상이 지도상 에서 정확히 어느 지점인지에 관해서는 영상관제 시스템은 알지 못한다. 카메라를 어느 방향으로 설치하느냐에 따라 Pan 0일 때의 지자기 방향이 정해지는데 보통 카메라에는 지자기 센서가 없기 때문에 이를 스스로 알 수가 없기 때문이다.

따라서, 영상관제 시스템에서 카메라 영상에 나타내는 특정 지점이 실제 물리적 공간에서 정확히 어디에 존재하는지 알아내고 지도 상에 그 위치를 정확히 표시하는 것은 대단히 어려운 과제이다.

다음으로, [도 2] 내지 [도 4]를 참조하여 본 발명에 양호하게 활용할 수 있는 카메라 좌표계 변환에 대해 기술한다.

먼저, [도 2]는 카메라 파라미터와 관제영역 간의 기하학적 관계를 개념적으로 나타내는 도면이다. 실제 물리적 공간은 3차원 공간인 반면 카메라 영상은 2차원 평면이므로 카메라가 영상을 생성하는 과정은 3차원 공간을 2차원 평면으로 변환하는 것이다. 이때, 3차원 공간에서 카메라가 놓여진 기하학적 촬영 환경(카메라의 지오메트리 정보)은 카메라 영상에 영향을 미친다. 추가로, 카메라 영상은 카메라의 광학 특성에 의해서도 영향을 받는다.

이처럼 카메라 영상에 영향을 주는 요인을 총칭하여 카메라 파라미터(camera parameters)라고 부르는데, 통상적으로 카메라 외부 파라미터와 카메라 내부 파라미터로 구분한다. 카메라 외부 파라미터로는 카메라 지리적 위치(위도, 경도), 카메라 설치 기둥의 높이(H, pole height), 카메라의 조향각(tilt angle, pan angle) 등이 있다. 카메라 내부 파라미터로는 이미지 해상도, 수직 시야각(vertical FOV, Field of View), 수평 시야각(horizontal FOV), 초점 거리(f, Focal Length), 현재의 PTZ 제어값(Pan Tilt Zoom) 등이 있다.

본 발명에 따른 관제 지점의 지도 매핑 방법을 수행하는 장치(예: 지도매핑 장치)는 이들 카메라 파라미터의 전부 혹은 일부를 미리 입수하거나 CCTV 카메라로부터 실시간으로 입수할 수 있다고 가정한다. 예를 들면, 카메라의 현재 PTZ 제어값은 카메라 장치로부터 획득 가능하다.

[도 3]은 카메라의 캔버스 평면(canvas plane)과 피사체의 상(P') 간의 관계를 개념적으로 나타내는 도면이다. [도 3]에서 피사체(P)는 3차원 물리 공간 상에 존재하는 실제 물체(physical object)를 나타내고, 상(P')은 그 피사체(P)를 CCTV 카메라가 촬영함에 따라 2차원 카메라 영상의 캔버스 평면 상에 프로젝션되어 나타나는 상(projected object)을 나타낸다. 피사체(P)로부터 온 빛이 카메라의 촬상소자(예: CCD)에 도달하여 상(P')이 생성되는데, 이때 카메라 상이 생성되는 평면을 캔버스 평면이라고 부른다.

카메라 영상을 수학적으로 다루기 위해 2가지의 좌표계를 정의한다. 첫번째는 '카메라 고유좌표계'인데, 카메라가 현재 놓여져 있는 상태(예: PTZ 상태)를 중심으로 카메라가 현재 바라보고 있는 공간을 표시하는 좌표 공간을 의미한다. 카메라 고유좌표계는 일반적으로 [도 4]와 같이 정의된다. 즉, 카메라 고유좌표계는 가로 오른쪽 방향이 +x 방향, 세로 윗방향이 +y 방향이라고 하고 xy 평면에 수직한 방향 중에서 카메라 정면 방향을 -z 방향이라고 정의한다. 본 명세서에서 고유좌표는 (x', y', z')로 표시한다.

두번째는 '글로벌 좌표계(절대좌표계)'인데, 해당 공간에 놓여진 모든 객체에 대해 공통으로 적용하는 좌표계이다. 본 명세서에서 글로벌 좌표는 (x, y, z)로 표시한다.

따라서, 3차원 공간에서 피사체(P)의 위치는 글로벌 좌표계로 표시할 수도 있고 카메라 고유좌표계로 표시할 수도 있다. 피사체(P)의 위치를 글로벌 좌표계로 표시한 좌표(글로벌 좌표)는 (x, y, z)라고 표기하고, 카메라 고유좌표계로 표시한 좌표(고유좌표)는 (x', y', z')라고 표기한다.

[도 3]에서 어떤 피사체(P)의 글로벌 좌표 (x, y, z)와 고유좌표 (x', y', z') 간의 좌표 변환은 [수학식 1] 및 [수학식 2]로 표시할 수 있다. 이때, 행렬 M은 카메라 고유좌표계의 방향 벡터를 이용한 프로젝션 행렬이다. 프로젝션 행렬 M의 첫번째 행에서 첫 세 개의 값(c00 ~ c02)은 카메라 고유좌표계의 x 방향 단위벡터를 글로벌 좌표로 표현한 벡터이다. 프로젝션 행렬 M의 두번째 행의 3개의 값(c10 ~ c12)과 세번째 행의 3개의 값(c20 ~ c22)은 각각 카메라 고유좌표계의 단위 y방향 벡터와 단위 z방향 벡터를 나타내고, 네번째 행의 3개의 값(c30 ~ c32)은 카메라의 글로벌 좌표를 나타낸다.

다음으로, 어떤 피사체(P)가 카메라에 촬영되었을 때에 그 카메라 영상 내에서 상(P')의 위치를 기술한다. 피사체(P)의 고유좌표 (x', y', z')에서 캔버스 평면(2차원)의 상(P')의 픽셀좌표 (P'raster.x', P'raster.y')로의 좌표 변환은 [수학식 3] 내지 [수학식 6]과 같다. 여기에서, Canvas Width와 Canvas Height는 촬상되는 영역의 가로, 세로를 나타내며 FOV_H와 FOV_V는 각각 카메라의 가로 세로 화각(Horizontal FOV, Vertical FOV)을 나타낸다.

정리하면, 피사체(P)의 글로벌 좌표 (x, y, z)로부터 [수학식 1] 및 [수학식 2]의 좌표 변환에 의해 고유좌표 (x', y', z')를 얻을 수 있고, 다시 [수학식 3] 내지 [수학식 6]의 좌표 변환에 의해 상(P')의 캔버스 평면 상의 2차원 픽셀좌표 (P'raster.x', P'raster.y')를 얻을 수 있다. [수학식 1] 내지 [수학식 6]의 좌표 변환식은 카메라 파라미터에 의해 결정되는데, 카메라 파라미터를 미리 입수하였거나 실시간으로 입수 가능하다고 가정하였다.

이러한 결과를 [도 1]에 대응시키면, CCTV 카메라의 위치(글로벌 좌표)를 알고 있는 상태에서 표적(target)의 3차원 위치(글로벌 좌표)가 주어지면 [수학식 1] 내지 [수학식 6]에 의해 그 표적에 대한 촬영 영상 내의 2차원 픽셀좌표를 구할 수 있다. 반면, 본 발명의 기술 과제는 이와는 정반대 과정이다. 즉, 설치 위치를 알고 있는 CCTV 카메라가 촬영한 영상 내에서 픽셀좌표가 지정되는 경우에 그에 대응하는 글로벌 좌표를 구하는 것이다.

[도 5]는 본 발명에 따른 관제 지점의 지도 매핑 기술을 처리하는 전체 시스템 구성을 나타내는 도면이고, [도 6]은 본 발명에 따른 관제 지점의 지도 매핑 방법의 전체 프로세스를 나타내는 순서도이다.

[도 5]를 참조하면, 본 발명에 따른 카메라 영상내 관제 지점의 지도 매핑 기술은 CCTV 카메라(100), 지도매핑 장치(200), 영상관제 장치(300), GIS 연동 장치(400)의 협조동작에 의해 수행될 수 있다. 이중에서 지도매핑 장치(200), 영상관제 장치(300), GIS 연동 장치(400)는 독립된 장치로서 구현되어야 하는 것은 아니고 이들 중 일부는 일체로 구현될 수도 있고 영상관제 시스템(1000)의 외부, 예컨대 영상 분석 서버(2000)에 구현될 수도 있다.

본 발명에서 CCTV 카메라(100)는 영상관제를 위하여 여러 지점에 분산 설치된 카메라 장치로서 각자 촬영 영상을 네트워크를 통해 지도매핑 장치(200)와 영상관제 장치(300)로 제공한다. 이때, CCTV 카메라(100)는 엣지 분석(edge analysis) 기능을 구비하여 자신이 생성하는 영상에서 움직이는 사람, 차량의 식별 등 기본적인 영상 분석을 수행하고 이 정보를 지도매핑 장치(200)와 영상관제 장치(300)로 제공하도록 구성되는 것이 바람직하다.

지도매핑 장치(200)는 본 발명에 따른 카메라 영상내 관제 지점의 지도 매핑 프로세스를 수행하는 장치이다. 이때, 지도 매핑 프로세스에 필요한 기초 정보는 영상관제 장치(300)로부터 제공받을 수 있다.

영상관제 장치(300)는 영상관제 시스템(1000)을 전반적으로 관리하는 장치로서, 예컨대 CCTV 카메라(100)에서 생성된 영상을 관제요원을 통해 실시간으로 모니터링하고 추후 확인을 위해 스토리지 장치에 영상을 저장한다. 또한, 영상관제 장치(300)는 카메라 영상을 영상 분석 서버(2000)로 전달하여 특정 목적에 따라 영상 분석이 이루어지도록 제어한다. 본 발명을 위해 영상관제 장치(300)는 지도매핑 장치(200)로 기초 정보를 제공하는데, 예컨대 CCTV 카메라(100) 각각에 대한 설치 위치 정보(위도, 경도)를 제공한다. 또한, 영상관제 장치(300)는 CCTV 카메라(100)에 대한 조작을 수행하는데, 예컨대 방위 정보 초기설정을 위해 CCTV 카메라(100)에 대한 PTZ 제어를 수행한다. 또한, 영상관제 장치(300)는 지도매핑 장치(200)와 협조 동작하여 카메라 영상의 영역을 지도에 표시하고, 추가로 카메라 영상을 모니터링하는 중에 예컨대 수상한 모습을 발견하면 그 지점을 특정하여 표적을 설정하고 해당 지점을 지도 상에 표시한다.

GIS 연동 장치(400)는 지도매핑 장치(200)와 영상관제 장치(300)가 지리정보 데이터베이스를 액세스할 수 있도록 해준다.

영상 분석 서버(2000)는 영상관제 시스템(1000)과 협조 동작하여 카메라 영상에 대한 분석을 수행하는 장치이다. 예를 들어, 카메라 영상을 분석하여 특이사항(예: 사물의 존재 여부, 수상한 상황의 발생 여부 등)이 존재하는지 여부를 식별하여 영상관제 시스템(1000)으로 제공한다. 또한, 카메라 영상 내에서 어느 지점을 지정하면 영상 분석 서버(2000)는 카메라 영상을 분석하여 그 지점의 픽셀좌표를 구하여 영상관제 시스템(1000)으로 제공한다.

이하에서는, [도 6]을 참조하여 본 발명에 따른 관제 지점의 지도 매핑 방법을 구체적으로 살펴본다.

단계 (S100) : 먼저, 지도매핑 장치(200)는 카메라(100)의 방위 정보를 초기 설정한다. 이때, 바람직하게는 관제요원의 조작에 대응하여 영상관제 장치(300)가 카메라(100)를 PTZ 제어하고 이 과정에서 지도매핑 장치(200)가 각종 정보를 수집하여 초기 설정을 달성한다.

[도 7]은 본 발명에서 특징점을 이용하여 카메라 방위 정보를 초기 설정하는 예를 나타내는 도면이다. 카메라(100)의 위치에 관한 GIS 정보(위도, 경도)는 지도매핑 장치(200)가 확보하고 있는 상태이다. 관제요원이 지도에서 하나의 특징점(예: 특정 건물의 끝점, 테니스장의 한 모서리)을 선택하고, 그 특징점이 카메라 영상의 중앙에 위치하도록 카메라(100)를 PTZ를 제어한다. 그리고 나서, 지도매핑 장치(200)는 이 상태에서의 PTZ 제어값을 저장하고, 특징점의 GIS 정보와 화면 중심의 픽셀좌표를 매칭시켜 저장한다. 지도 상에서 특징점이 선택된 것이기 때문에 그 지점의 GIS 정보는 지도 데이터로부터 획득 가능하고, 그 특징점이 화면 중심에 있다고 가정하고 픽셀좌표를 매칭시키는 것이다.

정리하면, 카메라 방위 정보의 초기 설정 과정을 통해 지도매핑 장치(200)는 어느 특징점(GIS 정보를 알고 있음)을 카메라 영상(캔버스 평면)의 중앙에 위치하였을 때의 PTZ 제어값을 획득하였다. 그리고, 이 상황에서 픽셀좌표와 GIS 정보(위도, 경도)와 PTZ 제어값을 매칭시켜 저장한다.

한편, 본 명세서에서 특징점은 FP(Feature Point)라고 표기한다. 이때, 지도 상에 나타낸 특징점은 FP라고 표시하고, 카메라 영상에 나타낸 특징점의 상은 FP' 이라고 표시한다. 이는 앞서 [도 3]에서 사용하였던 표기법과 일관성을 가지도록 하기 위해 선택한 것이다.

한편, 지도 상의 각 지점은 GIS 정보(위도, 경도)로 표현되어 있는데, 해당 지점에 대한 글로벌 좌표가 필요할 때가 있다. 예를 들어, [수학식 1]의 좌표 변환식에서는 지도 상의 특정 지점에 대한 글로벌 좌표를 요구한다. GIS 정보(위도, 경도)를 글로벌 좌표(예: 구글 맵의 World Coordinates)로 변환하는 것은 투영법을 통해 달성할 수 있는데, 기존에 여러가지 투영기법이 제시되어 있다. 예를 들어 메르카토르 투영법(Mercator projection)을 GIS 정보(위도, 경도)에 적용하면 글로벌 좌표를 얻을 수 있다.

단계 (S110) : 또한, 카메라(100)의 글로벌 좌표(3차원)를 획득한다. 전술한 바와 같이 카메라(100)의 설치 위치에 관한 GIS 정보(위도, 경도)는 미리 제공되었으므로 카메라(100)의 글로벌 좌표(3차원)의 마지막 정보인 높이(H; Pole Height)를 구하면 된다. 만일, 카메라(100)의 설치 높이에 관한 정보가 미리 제공된 경우에는 단계 (S110)은 생략될 수 있다.

카메라(100)의 높이(H) 값은 단계 (S100)에서 구한 카메라의 틸트 각(Tilt angle)을 [수학식 7]에 적용하여 구할 수 있다. [수학식 7]에서 Distance 값은 카메라(100)의 설치 지점(지표면)과 특징점 위치 간의 물리적 거리에 대응하며, 지도 데이터로부터 구할 수 있다.

카메라(100)의 GIS 정보(위도, 경도)와 높이(H) 정보를 결합함으로써 카메라(100)의 글로벌 좌표(3차원)가 획득되었다. 이를 다르게 표현하면 카메라(100)에 대한 지오메트리 정보를 획득한 것이다.

이로써, [도 3]을 참조하여 전술한 바와 같이, 표적(target)의 위치(글로벌 좌표)가 특정되면 [수학식 1] 내지 [수학식 6]에 의해 그 표적에 대한 촬영 영상 내의 픽셀좌표를 구할 수 있다. 이때, 표적(target)의 고도(높이)는 미리 확보된 값을 적용할 수도 있고 별도의 시스템(미도시)로부터 제공받을 수도 있으며, 다른 방안이 어려울 때에는 0 으로 설정할 수도 있다. 표적에 대한 GIS 정보(위도, 경도)로부터 그에 대응하는 픽셀좌표를 획득할 수 있다.

단계 (S120) : 다음으로, 지도매핑 장치(200)는 영상 관제를 시행하는 도중에 예컨대 영상관제 장치(300)를 통한 관제요원의 조작에 대응하여 또는 영상 분석 서버(2000)의 특이사항 검출 신호(예: 범죄위험 경보)에 대응하여 또는 통상의 영상분석 결과에 대응하여 카메라 영상에서 표적을 식별하고 그 픽셀좌표를 획득한다. 이때, 이를 편의상 '표적 픽셀좌표'라고 부른다.

[도 8]의 (a)는 본 발명에서 표적(target)을 식별하는 일 예로서 관제요원이 CCTV 카메라 영상에서 특징점 주변의 어느 한 지점을 표적으로 설정한 모습을 나타내었다. 앞서 특징점(FP, FP')에 대해 사용한 표기법과 일관성을 갖도록, 본 명세서에서는 카메라 영상에 나타낸 표적의 상은 TP' 이라고 표시하고 지도 상에 나타내는 표적은 TP라고 표시한다.

단계 (S120)에서는 카메라 영상 내에서 표적(TP')을 식별하였다. 이하의 과정은 이 표적(TP')을 지도 상에 표시하기 위해 표적 픽셀좌표에 대응하는 GIS 정보(위도, 경도)를 산출하는 과정이다.

단계 (S130) : 다음으로, 지도매핑 장치(200)는 표적(TP')이 식별된 카메라 영상에서 시작점(Starting Point)를 선정하고 지도와 카메라 영상에서 시작점의 좌표(SP, SP')를 식별한다. [도 8]의 (b)는 표적(TP')이 식별된 카메라 영상에서 시작점(SP')을 식별한 일 예를 도시한 것이다.

이때, 시작점(SP, SP')는 표적(TP')이 식별된 카메라 영상 내에서 적당히 선정될 수 있으며, 그 시작점의 좌표를 식별함에 있어서 단계 (S100)에서 초기 설정된 카메라(100)의 방위 정보가 활용된다. 앞서 단계 (S100)에서 특징점(FP, FP')에 대한 GIS 정보(FP) 및 화면중심 픽셀좌표(FP')과 이 결과를 얻을 때의 카메라(100)의 PTZ 제어값을 획득하여 저장해두었다. 그리고, 이에 기초하여 단계 (S110)에서 카메라(100)의 지오메트리 정보를 획득하였다.

먼저, 단계 (S120)에서 표적(TP')이 식별될 당시에 카메라 영상을 제공하고 있는 카메라(100)의 PTZ 제어값을 얻는다. 이 때의 PTZ 제어값('표적 PTZ 값')은 단계 (S100)에서 특징점(FP, FP')을 얻을 당시의 PTZ 제어값('초기 PTZ 값')과는 일반적으로 상이할 것이다. 카메라(100)는 동일한 카메라 장치이지만 PTZ 값이 상이하므로 시작점은 특징점과 상이할 것이다.

카메라(100)의 지오메트리 정보를 모두 알고 있는 상태에서, 초기 PTZ 값 조건에서의 GIS 정보(FP)와 화면중심 픽셀좌표(FP')의 매칭 관계로부터 표적 PTZ 값 조건에서의 시작점에 대한 GIS 정보(SP)와 픽셀좌표(SP')의 매칭 관계를 적어도 하나이상 도출할 수 있다. 이를 위한 가장 간단한 해결방안은 시작점의 픽셀좌표(SP')를 특징점의 픽셀좌표(FP')와 동일하게 설정하는 것이다. 시작점의 픽셀좌표(SP')를 특징점의 픽셀좌표(FP')와 동일하게 설정하면, 시작점의 GIS 정보(SP)는 카메라(100)의 지오메트리 정보와, GIS 정보(FP)와 화면중심 픽셀좌표(FP')의 매칭 관계, 초기 PTZ 값 및 표적 PTZ 값에 기초하여 추정할 수 있다.

단계 (S140) : 다음으로, 지도매핑 장치(200)는 앞서 단계 (S130)에서 획득하였던 시작점(SP, SP')의 픽셀좌표(SP')와 GIS 정보(SP)를 기준점(reference)으로 삼고, 캔버스 평면 상의 시작점(SP')과 표적(TP') 간의 변위(displacement)에 대응하는 지도 상의 시작점(SP)과 표적(TP) 간의 변위를 추정함으로써 표적에 대한 지도 상의 GIS 정보(TP)를 얻는다.

[도 9]은 본 발명에서 시작점(SP, SP')으로부터 표적의 GIS 정보(TP)를 구하는 과정을 개념적으로 나타내는 도면이다. 앞서 단계 (S130)에서 시작점(SP, SP')의 픽셀좌표(SP')와 GIS 정보(SP)를 획득하였고, 앞서 단계 (S120)에서 카메라 영상의 표적의 픽셀좌표(TP')를 식별하였다. 이 상태에서 단계 (S140)에서는 지도 상의 표적에 대한 GIS 정보(TP)를 구하고자 한다.

이 과정을 수행하기 위한 기본 전제로서, 지도 상의 위도와 경도에 대응하여 캔버스 평면 상의 Pixel Width와 Pixel Height에 대한 편미분 계수가 지도 데이터에 포함되어 있거나 적어도 지도 데이터로부터 획득 가능하다고 가정한다. 지도 서비스에는 평면 지도로 표시하는 것 뿐만 아니라 지형 지도로 표시하는 것도 포함된다는 사실을 감안하면 이러한 가정은 타당하다.

특정 지점에서 GIS 정보의 위도, 경도에 대한 Pixel Width, Pixel Height의 변화율은 [수학식 8]의 편미분 행렬로 표현할 수 있다. 편이상, 본 명세서에서는 이를 '지도 편미분 행렬'이라고 부른다. 일반적으로 지형은 불균일하므로(non-uniform) 지도 편미분 행렬의 값은 지도 상의 지점마다, 다른 표현으로는 캔버스 평면의 픽셀위치마다 상이하게 구해진다.

이 경우, 캔버스 평면과 지도 상의 변위 상관관계를 수학적으로 표현하면 [수학식 9] 및 [수학식 10]과 같다. 이들 수학식에서 ΔW_error와 ΔH_error는 캔버스 평면에서 현재 지점과 표적(TP') 간의 가로 및 세로 픽셀 오차를 나타낸다. 즉, 캔버스 평면에서 현재 지점으로부터 가로, 세로 방향으로 ΔW_error와 ΔH_error 만큼 더 이동해야 표적(TP')에 도달한다는 의미이다. 그리고, Δ위도와 Δ경도는 캔버스 평면 상에서 ΔW_error와 ΔH_error 만큼 이동할 때에 지도 상에서 위도 및 경도 방향으로 이동하게 되는 변위를 나타낸다.

먼저, 지도 편미분 행렬의 정의로부터 [수학식 9]를 얻을 수 있다.

그리고, [수학식 9]의 양단에 지도 편미분 행렬의 인버스(inverse)를 연산하면 [수학식 10]을 얻을 수 있다.

캔버스 평면의 특정 픽셀지점에서 ΔW_error와 ΔH_error 만큼 가로, 세로 방향으로 이동하였을 때에 지도 상에서의 위도, 경도 방향의 변위는 [수학식 10]으로부터 구할 수 있다. 이때, 지형은 불균일하므로 큰 값의 ΔW_error, ΔH_error를 한번에 적용하면(예: 각 100 픽셀) [수학식 10]의 결과와 실제와의 오차는 증가하는 속성이 있다.

단계 (S140)을 구현하는 제 1 실시예는, 지도 편미분 행렬을 이용하여 시작점(SP, SP')을 기준점(시작점)으로 하여 픽셀 좌표를 조금씩 이동해가며 GIS 정보의 델타 변위(delta displacement)을 구해가는 과정을 표적 픽셀좌표에 이를 때까지 반복 시행하는 방식이다.

이를 단계적으로 기술한다. 캔버스 평면의 현재 위치에서 표적의 픽셀좌표를 가리키는 방향으로 이동하기 위해 현재 지점의 GIS 위치(위도, 경도)에서 위도와 경도 변화에 대한 픽셀좌표의 변화율(지도 편미분 행렬)을 구하고 표적 픽셀좌표와 현재 픽셀좌표의 차이를 [수학식 10]에 대입하여 표적 픽셀좌표에 도달하기 위해 필요한 Δ위도, Δ경도를 얻는다. 여기에서 전술한 바와 같이 Δ위도, Δ경도를 한 번에 적용하면 오차가 크기 때문에 일정 비율, 예컨대 10%씩 반영하여 표적 픽셀좌표에 이를 때까지 반복 시행한다. 지형이 불균일하여 지도 편미분 행렬의 값이 각 지점마다 상이하지기 때문에 시작점(SP')으로부터 표적 픽셀좌표(TP')로 한번에 이동하지 못하고 이렇게 조금씩 이동하는 것이다. 픽셀 좌표가 표적 픽셀좌표에 도달하면 그 때까지의 GIS 정보의 델타 변위를 총합적으로 반영하여 표적의 GIS 정보(위도, 경도)(TP)를 얻는다.

간단하게 표현하면, 시작점의 픽셀좌표(SP')와 GIS 정보(위도, 경도)(SP)를 알고 있는 상태에서, 캔버스 평면에서 픽셀 위치를 시작점(SP')으로부터 표적(TP')을 향해 조금씩 이동해가면서 해당 지점의 지도 편미분 행렬을 구하고 그 픽셀 이동에 대응하는 GIS 정보의 델타 변위(Δ위도, Δ경도)를 [수학식 10]에 의해 구하는 과정을 반복적으로 수행한 후에, 픽셀 위치가 최종적으로 표적 픽셀좌표에 도달하면 그동안 구한 GIS 정보의 델타 변위(Δ위도, Δ경도)를 총합적으로 반영하여 표적의 GIS 정보(위도, 경도)(TP)를 얻는 것이다.

단계 (S140)을 구현하는 제 2 실시예로서, [수학식 9]를 이용하여 시작점(SP, SP')을 기준점(시작점)으로 하여 GIS 정보(위도, 경도)(SP)를 주변으로 조금씩 바꿔가면서 [수학식 1] 내지 [수학식 6]으로부터 그에 상응하는 픽셀좌표가 어떻게 변화하는지를 나타내는 델타 변위를 관찰하여 표적 픽셀좌표(TP')로의 이동 궤적을 찾아가는데, 이렇게 얻어진 픽셀좌표의 델타 변위를 누적시켜 표적 픽셀좌표(TP')에 이를 때까지 이 과정을 반복 시행한다.

[도 10]은 본 발명에 따른 관제 지점의 지도 매핑 기술의 실제 테스트 결과를 나타내는 도면이다. 테스트 장소는 대구 KCL(환경건설생활환경시험연구원)이고 건물 옥상에 PTZ 카메라를 설치하였다. 이 테스트에 사용된 카메라 파라미터를 정리하면 높이(H)는 47 m이고 수평 시야각(FOV_H)은 56.1 deg이고 수직 시야각(FOV_V)은 33.4 deg이며, 틸트 각(Tilt angle)은 19 deg이고, 이미지 해상도는 1920 * 1080 (FHD)이다. 카메라의 GIS 정보(GPS 좌표)와

[도 10]을 참조하면, 카메라의 GIS 정보(GPS 좌표)가 대구 KCL 건물이라고 미리 제공되었고, 축구장의 한 모퉁이(4번 지점)을 특징점으로 삼아 카메라(100)의 방위정보 초기설정에 사용하였다. 이렇게 한 상태에서 본 발명에 따른 지도 매핑 기술을 적용한 후에 카메라 영상의 전체 관제영역 및 축구장 영역의 픽셀좌표로부터 GIS 정보(위도, 경도)를 산출하여 지도 상에 표시하였다.

테스크 결과를 살펴보면, 전체 관제영역은 사다리꼴 모양으로 산출되었고 축구장 영역은 직사각형 모양으로 산출되었는데, 이는 CCTV 카메라의 관제 커버리지 형상 및 축구장 형상과 일치한다. 또한, 지도 매핑을 통해 산출된 축구장 영역의 GIS 정보와 실제 해당 축구장의 지리적 위치가 거의 일치하였다. 따라서, [도 10]의 테스트 결과로부터 본 발명에 따른 관제영역의 지도 매핑 기술의 유용성은 실질적으로 검증되었다.

한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

1000 : 영상관제 시스템
100 : CCTV 카메라
200 : 지도매핑 장치
300 : 영상관제 장치
400 : GIS 연동 장치
2000 : 영상 분석 서버

Claims

영상관제 시스템에서 지도매핑 장치가 카메라 영상 내의 관제 지점을 지도 상에 매핑하는 방법으로서,
GIS 정보를 획득 가능한 카메라 영상 내의 특징점에 대하여 카메라(100)의 PTZ 제어를 통해 상기 특징점을 카메라 영상 내에서 미리 설정된 위치로 이동시킨 후에 상기 특징점의 GIS 정보(FP) 및 카메라 영상의 화면중심 픽셀좌표(FP')를 매칭시켜 저장함으로써 카메라(100)의 방위 정보를 초기 설정하는 제 1 단계;
카메라 영상에서 표적(TP')을 식별하고 그 픽셀좌표(이하, '표적 픽셀좌표(TP')'라 함)를 획득하는 제 2 단계;
상기 초기 설정된 카메라(100)의 방위 정보에 기초하여 상기 표적(TP')이 식별된 카메라 영상과 관련하여 지도와 카메라 영상에서 시작점(SP, SP')을 식별하는 제 3 단계;
상기 시작점(SP, SP')의 픽셀좌표(SP')와 GIS 정보(SP)를 기준점으로 삼고, 카메라 영상에서의 상기 시작점의 픽셀좌표(SP')와 상기 표적 픽셀좌표(TP') 간의 변위에 대응하는 지도 상의 상기 시작점의 GIS 정보(SP)와 상기 표적의 GIS 정보(TP) 간의 변위를 추정함으로써 상기 표적에 대한 지도 상의 GIS 정보(TP)를 획득하는 제 4 단계;
를 포함하여 구성되고,
상기 제 4 단계는,
카메라 영상의 캔버스 평면에서 픽셀 위치를 상기 시작점(SP')으로부터 상기 표적 픽셀좌표(TP')를 가리키는 방향으로 픽셀위치를 단계별로 이동해가면서 그 지점에 대한 위도와 경도에 대응하는 Pixel Width와 Pixel Height에 대한 편미분 계수를 이용하여 그 단계별 픽셀위치 이동에 대응하는 GIS 정보의 델타 변위를 획득하는 과정을 반복적으로 수행한 후에, 픽셀 위치가 상기 표적 픽셀좌표(TP')에 도달하면 상기 반복 과정에서 획득한 GIS 정보의 델타 변위를 총합적으로 반영하여 상기 표적의 GIS 정보(TP)를 획득하는 단계;
를 포함하여 구성되는 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법.
청구항 1에 있어서,
상기 제 1 단계에서 상기 특징점(FP, FP')에 대한 PTZ 제어값을 획득하여 저장하고,
상기 제 1 단계에서 상기 카메라(100)의 방위 정보는 상기 특징점(FP, FP')에 대한 PTZ 제어값 중 틸트 각(Tilt angle)을

(이때, Distance 값은 상기 카메라(100)의 설치 지점과 상기 특징점 위치 간의 물리적 거리에 대응함)
에 적용하여 획득된 상기 카메라(100)의 높이(H) 값 및 상기 카메라(100)의 설치 위치에 관한 GIS 정보의 결합으로 구성된 상기 카메라(100)의 지오메트리 정보를 포함하여 구성되는 것을 특징으로 하는 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법.
청구항 2에 있어서,
상기 제 3 단계는,
상기 표적(TP')이 식별된 카메라 영상의 PTZ 제어값을 획득하는 단계;
상기 카메라(100)의 지오메트리 정보와, 상기 특징점(FP, FP')에 대한 GIS 정보(FP), 화면중심 픽셀좌표(FP'), PTZ 제어값과, 상기 표적(TP')이 식별된 카메라 영상의 PTZ 제어값에 기초하여 지도와 카메라 영상에서 시작점(SP, SP')을 선정하는 단계;
를 포함하여 구성되는 것을 특징으로 하는 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법.
청구항 1에 있어서,
상기 제 1 단계는,
지도 상에서 특징점에 대한 선택 입력을 식별하는 단계;
상기 선택 입력된 특징점의 GIS 정보를 지도 데이터로부터 획득하는 단계;
상기 선택 입력된 특징점을 기준으로 하는 카메라(100)의 PTZ 제어를 식별하는 단계;
상기 PTZ 제어 이후의 PTZ 제어값을 저장하는 단계;
상기 선택 입력된 특징점의 GIS 정보와 화면중심 픽셀좌표를 상기 특징점과 매칭시켜 저장하는 단계;
를 포함하여 구성되는 것을 특징으로 하는 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법.
삭제
청구항 1에 있어서,
상기 픽셀 좌표의 델타 변위에 대응하는 상기 GIS 정보의 델타 변위를 획득하는 과정은

(이때, 편미분 행렬은 GIS 정보의 위도 및 경도에 대한 Pixel Width 및 Pixel Height의 변화율을 나타내고, ΔW_error와 ΔH_error는 표적과 현재 지점의 가로 및 세로 픽셀 오차를 나타내고, Δ위도와 Δ경도는 표적 픽셀좌표(TP')에 도달하기 위해 변화시켜야 하는 GIS 정보의 델타 변위를 나타냄)
에 의해 수행되는 것을 특징으로 하는 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법.
영상관제 시스템에서 지도매핑 장치가 카메라 영상 내의 관제 지점을 지도 상에 매핑하는 방법으로서,
GIS 정보를 획득 가능한 카메라 영상 내의 특징점에 대하여 카메라(100)의 PTZ 제어를 통해 상기 특징점을 카메라 영상 내에서 미리 설정된 위치로 이동시킨 후에 상기 특징점의 GIS 정보(FP) 및 카메라 영상의 화면중심 픽셀좌표(FP')를 매칭시켜 저장함으로써 카메라(100)의 방위 정보를 초기 설정하는 제 1 단계;
카메라 영상에서 표적(TP')을 식별하고 그 픽셀좌표(이하, '표적 픽셀좌표(TP')'라 함)를 획득하는 제 2 단계;
상기 초기 설정된 카메라(100)의 방위 정보에 기초하여 상기 표적(TP')이 식별된 카메라 영상과 관련하여 지도와 카메라 영상에서 시작점(SP, SP')을 식별하는 제 3 단계;
상기 시작점(SP, SP')의 픽셀좌표(SP')와 GIS 정보(SP)를 기준점으로 삼고, 카메라 영상에서의 상기 시작점의 픽셀좌표(SP')와 상기 표적 픽셀좌표(TP') 간의 변위에 대응하는 지도 상의 상기 시작점의 GIS 정보(SP)와 상기 표적의 GIS 정보(TP) 간의 변위를 추정함으로써 상기 표적에 대한 지도 상의 GIS 정보(TP)를 획득하는 제 4 단계;
를 포함하여 구성되고,
상기 제 4 단계는,
위도와 경도에 대응하는 Pixel Width와 Pixel Height에 대한 편미분 계수를 이용하여 상기 시작점(SP, SP')을 기준점으로 하여 상기 GIS 정보를 조금씩 바꿔가면서 그에 대응하는 픽셀좌표의 델타 변위를 획득하는 과정을 상기 획득된 픽셀좌표의 델타 변위를 누적시켜 상기 표적 픽셀좌표(TP')에 도달할 때까지 반복적으로 수행한 후에 상기 반복 과정에서 획득한 GIS 정보의 델타 변위를 총합적으로 반영하여 상기 표적의 GIS 정보(TP)를 획득하는 단계;
를 포함하여 구성되는 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법.
하드웨어와 결합되어 청구항 1 내지 4, 6, 7 중 어느 하나의 항에 따른 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.