KR20220089567A

KR20220089567A - Cctv와 레이더 간의 3d 캘리브레이션 장치 및 이를 이용한 3d 캘리브레이션 방법

Info

Publication number: KR20220089567A
Application number: KR1020200180323A
Authority: KR
Inventors: 이창우
Original assignee: 주식회사 라이브시큐
Priority date: 2020-12-21
Filing date: 2020-12-21
Publication date: 2022-06-28
Also published as: KR102453090B1

Abstract

본 발명에 따른 CCTV와 레이더 간의 3D 캘리브레이션 장치는 감시지역 사진을 등록하여 감시화면을 생성하고, 상기 감시화면에 레이더의 타겟 오브젝트 감지 화면을 생성하는 감시화면 생성모듈, 상기 감시화면 상에 상기 레이더가 설치되어 있는 위치를 지정하고, 상기 레이더가 바라보는 중심선을 기준으로 최대 감시지역을 선택받거나 상기 레이더의 최대인식거리를 입력받아서 레이더 감시지역을 설정하는 레이더 설정모듈, 카메라의 PTZ 초기 각도를 설정하고, 상기 감시화면에 상기 카메라의 좌표를 설정하되, 상기 레이더 감시지역에 타겟 오브젝트를 표출하고 상기 카메라가 상기 레이더 감시지역에 표출된 상기 타겟 오브젝트를 자동 추적할 수 있도록 상기 카메라의 PTZ 좌표를 보정하는 캘리브레이션 모듈를 포함한다. 이를 통해서, 본 발명은 3차원 레이더에서 탐지된 타겟 오브젝트(Target Object)의 위치를 정확하게 확인하고, 실제 환경에서의 위치를 감시화면 상에 정확하게 표출할 수 있는 효과를 제공한다.

Description

CCTV와 레이더 간의 3D 캘리브레이션 장치 및 이를 이용한 3D 캘리브레이션 방법{DEVICE OF 3D CALIBRATION BETWEEN CCTV AND RADAR AND MTTHOD OF 3D CALIBRATION USING THE SAME}

본 발명은 CCTV와 레이더 간의 3D 캘리브레이션 장치 및 이를 이용한 3D 캘리브레이션 방법에 관한 것이다.

최근의 관제시스템은 탐지 범위 및 주변의 자연환경 등에 따른 여러 가지 제약을 개선하기 위해 CCTV 카메라를 이용한 영상분석을 통한 관제시스템이 빠르게 발전하고 있다. 그리고, CCTV 또는 팬틸트줌(pan-tilt-zoon, PTZ) 카메라와 같은 영상 감시 시스템은 현대 사회에서 범죄 예방, 교통 안전, 및 시설 보안 등을 위한 목적으로 널리 사용되고 있다.

또한, 최근에는 탐지성능을 향상시키거나 감시 영역을 확대하며, 감시 대상을 보다 정확하기 식별하고 추적하기 위해서 3D 레이더와 카메라를 함께 설치하고 이들 장치에서 취득된 정보들을 융합시켜 분석하고 있다. 예를 들어, 자율주행 차량, 교통감시시스템 등에서 차량의 사고 및 교통 상황 파악을 위하여 또는 문화재와 같은 주요시설 관리 및 안전구역 관리를 정확히 분석하기 위해서 레이더, 카메라 등의 센서들이 함께 사용되고 있다.

하지만, 이러한 기술은 레이더와 카메라의 설치 위치가 상이한 경우에 레이더의 좌표와 카메라의 좌표가 동일하지 않아서 감시 대상인 이동물체의 좌표를 정확히 확인하기 어려운 문제점이 있었다.

또한, 레이더와 카메라의 설치 높이가 상이한 경우에도 이동물체의 좌표를 정확히 확인하기 어려울 뿐만 아니라 이동물체를 정확히 추적하기가 어렵고, 이를 해결하기 위해서는 고가의 장비를 사용해야 하는 문제점이 있었다.

이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.

본 발명은 3차원 레이더에서 탐지된 타겟 오브젝트(Target Object)의 좌표 위치를 확인하여 감시화면 상에 정확하게 표출하고, PTZ 카메라를 통해서 자동 추적(Auto Tracking)할 수 있도록 PTZ 좌표를 정확하게 설정할 수 있는 CCTV와 레이더 간의 3D 캘리브레이션 장치를 제안하고자 한다.

본 발명의 CCTV와 3차원 레이더간의 3차원 캘리브레이션 장치는 감시지역 사진을 등록하여 감시화면을 생성하고, 상기 감시화면에 레이더의 타겟 오브젝트 감지 화면을 생성하는 감시화면 생성모듈, 상기 감시화면 상에 상기 레이더가 설치되어 있는 위치를 지정하고, 상기 레이더가 바라보는 중심선을 기준으로 최대 감시지역을 선택받거나 상기 레이더의 최대인식거리를 입력받아서 레이더 감시지역을 설정하는 레이더 설정모듈, 그리고 카메라의 PTZ 초기 각도를 설정하고, 상기 감시화면에 상기 카메라의 좌표를 설정하되, 상기 레이더 감시지역에 타겟 오브젝트를 표출하고 상기 카메라를 이용해 상기 레이더 감시지역에 표출된 상기 타겟 오브젝트를 자동 추적할 수 있도록 상기 카메라의 PTZ 좌표를 보정하는 캘리브레이션 모듈를 포함한다.

상기 캘리브레이션 모듈은, 상기 감시화면 상에 직각으로 설정된 제1 기준선과 레이더가 바라보는 상기 중심선인 제2 기준선 사이의 각도를 계산하여 상기 카메라의 좌표를 보정하는 좌표 보정부를 포함할 수 있다.

상기 좌표 보정부는, 상기 레이더가 바라보는 중심선을 기준으로 60분법으로 제1 보정 각도를 산출하며, 상기 산출된 제1 보정 각도를 기초로 상기 카메라의 PTZ 좌표를 보정할 수 있다.

상기 캘리브레이션 모듈은, 상기 레이더와 상기 카메라의 x축 수평 거리, 상기 레이더의 설치 높이, 및 상기 카메라의 설치 높이를 산출하여 상기 카메라의 PTZ 좌표를 재보정하는 좌표 재보정부를 포함할 수 있다.

상기 좌표 재보정부는, 상기 레이더와 상기 카메라의 x축 수평 거리에 따른 좌표값을 산출하고, 상기 x축 수평 거리에 따른 상기 좌표값을 기초로 제2 보정 각도를 산출하여 상기 카메라의 PTZ 좌표를 재보정할 수 있다.

상기 좌표 재보정부는, 상기 레이더와 상기 카메라의 설치 높이의 차이를 이용하여 제3 보정 각도를 산출하여 상기 카메라의 PTZ 좌표를 재보정할 수 있다.

본 발명의 CCTV와 3차원 레이더간의 3차원 캘리브레이션 방법은 3차원 캘리브레이션 장치가, 레이더의 좌표와 카메라의 PTZ 좌표를 캘리브레이션하는 방법에서, 감시화면 상에 레이더가 설치되어 있는 위치를 지정받고, 상기 감시화면 상에 상기 레이더의 레이더 감시지역을 설정하는 단계, 상기 감시화면 상에 카메라가 설치되어 있는 위치를 지정받고, 상기 감시화면에 카메라의 좌표를 설정하는 단계, 그리고 상기 레이더 감시지역에 타겟 오브젝트를 표출하고 상기 카메라가 상기 레이더 감시지역에 표출된 상기 타겟 오브젝트를 자동추적할 수 있도록 상기 카메라의 좌표를 보정하는 단계를 포함한다.

상기 카메라의 좌표를 보정하는 단계는, 상기 레이더가 바라보는 중심선을 기준으로 60분법으로 제1 보정 각도를 산출하며, 상기 산출된 제1 보정 각도를 기초로 상기 카메라의 좌표를 보정할 수 있다.

상기 레이더와 상기 카메라의 x축 수평 거리에 따른 좌표값을 산출하고, 상기 x축 수평 거리에 따른 상기 좌표값을 기초로 제2 보정 각도를 산출하여 상기 카메라의 PTZ 좌표를 재보정하는 단계를 더 포함할 수 있다.

상기 레이더와 상기 카메라의 설치 높이의 차이를 이용하여 제3 보정 각도를 산출하여 상기 카메라의 좌표를 재보정하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 감시지역 사진을 등록하여 감시화면을 생성하고, 상기 감시화면 상에 레이더 감시지역을 설정하며, 카메라의 PTZ 초기 각도를 설정한 후 상기 카메라의 PTZ 좌표를 보정함으로써, 실제 환경에서의 좌표 위치를 정확하게 확인하고, 이를 통해서 카메라가 상기 레이더 감시지역에 표출된 이동물체인 타겟 오브젝트(Target Object)를 보다 정확하게 자동 추적(Auto Tracking)할 수 있는 환경을 제공한다.

또한, 본 발명은 상기 레이더가 바라보는 중심선을 기준으로 60분법으로 제1 보정 각도를 산출하며, 상기 산출된 제1 보정 각도를 기초로 상기 카메라의 PTZ 좌표를 보정한 후, 상기 레이더와 상기 카메라의 x축 수평 거리, 상기 레이더의 설치 높이, 및 상기 카메라의 설치 높이를 산출하여 상기 카메라의 PTZ 좌표를 재보정함으로써, 카메라의 PTZ 좌표를 보다 정확히 실제 환경에 맞게 설정할 수 있는 환경을 제공한다.

또한, 본 발명은 상기 레이더와 상기 카메라의 x축 수평 거리를 산출하고, 상기 x축 수평 거리에 따른 제2 보정 각도를 산출하여 상기 카메라의 PTZ 좌표를 재보정하고, 상기 레이더와 상기 카메라의 설치 높이의 차이를 이용하여 제3 보정 각도를 산출하여 상기 카메라의 PTZ 좌표를 재보정함으로써, 이동물체의 탐지율 및 인식율을 향상시키며 보다 정확하게 이동물체를 자동 추적할 수 있는 환경을 제공한다.

도 1은 본 발명의 한 실시예에 따른 CCTV와 레이더 간의 3D 캘리브레이션 장치의 구성을 간략히 도시한 도면이다.
도 2는 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치가 감시지역 사진을 등록하여 감시화면을 생성하고, 감시화면 상에 레이더 감시지역을 설정하는 예를 나타내는 도면이다.
도 3은 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치가 레이더와 연동된 카메라의 PTZ 좌표 설정을 위해서 감시화면 상에 직각으로 설정된 제1 기준선과 레이더가 바라보는 상기 중심선인 제2 기준선 사이의 각도를 계산하는 예를 나타내는 도면이다.
도 4는 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치가 레이더와 연동된 카메라의 PTZ 좌표 설정을 위해서 레이더가 바라보는 중심선을 기준으로 60분법으로 제1 보정 각도를 산출하는 예를 나타내는 도면이다.
도 5는 카메라의 PTZ 좌표 재보정에 필요한 정보 중에서 레이더와 카메라의 x축 수평 거리, 및 레이더와 카메라의 설치 높이의 차이 등을 나타내는 도면이다.
도 6은 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치가 레이더와 카메라 사이의 거리에 따라 카메라의 PTZ 좌표의 재보정하도록 x축 수평 거리에 따른 제2 보정 각도를 환산하는 예를 나타내는 도면이다.
도 7은 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치가 레이더와 상기 카메라의 설치 높이의 차이를 이용하여 카메라의 PTZ 좌표의 재보정하도록 제3 보정 각도를 산출하는 예를 나타내는 도면이다.
도 8은 본 발명의 한 실시예에 따라 3차원 레이더의 타겟 오브젝트를 실제환경에서의 좌표위치를 확인하도록 레이더의 좌표와 카메라의 PTZ 좌표를 캘리브레이션하는 과정을 간략히 도시한 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이제 도 1 내지 도 8을 참고하여 본 발명의 한 실시예에 따른 CCTV와 레이더 간의 3D 캘리브레이션 장치 및 이를 이용한 3D 캘리브레이션 방법에 대하여 상세하게 설명한다.

도 1은 본 발명의 한 실시예에 따른 CCTV와 레이더 간의 3D 캘리브레이션 장치의 구성을 간략히 도시한 도면이다. 이때, 3D 캘리브레이션 장치(100)는 본 발명의 실시예에 따른 설명을 위해 필요한 개략적인 구성만을 도시할 뿐 이러한 구성에 국한되는 것은 아니다.

우선, 본 발명의 한 실시예에 따른 CCTV와 레이더 간의 3D 캘리브레이션 장치(100)는 3D 레이더의 감시지역에 표출된 이동물체인 타겟 오브젝트(Target Object)에 대한 좌표 위치를 정확하게 확인하고, PTZ 카메라가 상기 이동물체를 보다 정확하게 자동 추적(Auto Tracking)할 수 있는 환경을 제공한다.

이를 위해서, 본 발명의 한 실시예에 따른 CCTV와 레이더 간의 3D 캘리브레이션 장치(100)는 감시지역의 사진을 등록하여 감시화면을 생성하고, 상기 감시지역에 설치된 3D 레이더의 위치와 최대 인식거리를 통해서 레이더가 감지할 수 있는 레이더 감지범위를 지정할 수 있다.

또한, 본 발명의 한 실시예에 따른 CCTV와 레이더 간의 3D 캘리브레이션 장치(100)는 타겟 오브젝트를 상기 감시화면에 표출하고 상기 감시지역에 설치된 PTZ 카메라가 타겟 오브젝트를 자동 추적할 수 있도록 상기 PTZ 카메라의 PTZ 좌표를 설정하고, 실제 환경에 맞게 보정하거나 재보정할 수 있다.

도 1을 참조하면, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 제어 모듈(110), 감시화면 생성 모듈(120), 레이더 설정 모듈(130), 그리고 캘리브레이션 모듈(140)을 포함한다.

상기 제어 모듈(110)은 감시지역 사진을 등록하여 감시화면을 생성하고, 상기 감시화면에 3D 레이더의 타겟 오브젝트 감지 화면을 생성하도록 상기 각부의 동작을 제어할 수 있다. 그리고, 상기 제어 모듈(110)은 상기 감시화면 상에 상기 3D 레이더가 설치되어 있는 위치를 지정받고, 상기 3D 레이더가 바라보는 중심선을 기준으로 최대 감시지역을 선택받거나 상기 3D 레이더의 최대인식거리를 입력받아서 레이더 감시지역을 설정하도록 상기 각부의 동작을 제어할 수 있다.

또한, 상기 제어 모듈(110)은 PTZ 카메라의 PTZ 초기 각도를 설정하고, 상기 감시화면에 상기 PTZ 카메라의 좌표를 설정하되, 상기 레이더 감시지역에 타겟 오브젝트를 표출하고 상기 PTZ 카메라가 상기 레이더 감시지역에 표출된 상기 타겟 오브젝트를 자동 추적할 수 있도록 상기 PTZ 카메라의 PTZ 좌표를 보정하도록 상기 각부의 동작을 제어할 수 있다.

상기 감시화면 생성 모듈(120)은 감시지역 사진을 등록하여 감시화면을 생성할 수 있다. 그리고, 상기 감시화면 생성 모듈(120)은 상기 감시화면의 좌측 하단에 상기 레이더의 타겟 오브젝트 감지 화면을 생성할 수 있다.

그리고, 상기 감시화면 생성 모듈(120)은 본 발명의 한 실시예에 따라 이미지 등록부(122), 그리고 감시화면 생성부(124)를 포함한다.

상기 이미지 등록부(122)는 사용자로부터 감시지역의 사진을 선택받고, 사용자가 선택한 감시지역 사진을 등록한다. 예를 들어, 상기 이미지 등록부(122)는 사용자로부터 감시지역의 항공 사진을 선택받고, 선택된 항공 사진을 감시지역 사진으로 등록할 수 있다.

상기 감시화면 생성부(124)는 상기 이미지 등록부(122)에 등록된 감시지역 사진을 감시화면으로 설정하며, 상기 감시화면의 좌측 하단에 3D 레이더에서 탐지된 타겟 오브젝트를 표시하는 타겟 오브젝트 감지 화면을 생성할 수 있다.

그리고, 상기 레이더 설정 모듈(130)은 상기 감시지역 사진 또는 상기 감시화면 상에 3D 레이더가 설치되어 있는 위치를 지정받는다. 그리고, 상기 레이더 설정 모듈(130)은 상기 3D 레이더가 바라보는 중심선을 기준으로 최대 감시지역을 선택받거나 상기 3D 레이더의 최대인식거리를 입력받아서 레이더 감시지역을 설정하며, 상기 감사화면에 상기 레이더의 감시지역을 레이더 표출 영역으로 생성할 수 있다.

그리고, 상기 레이더 설정 모듈(130)은 본 발명의 한 실시예에 따라 레이더 위치 지정부(132), 그리고 레이더 감시지역 설정부(134)를 포함한다.

상기 레이더 위치 지정부(132)는 사용자로부터 직접 3D 레이더가 설치된 위치를 선택받아 상기 감시지역 사진 또는 상기 감시화면 상에 매칭시켜 상기 3D 레이더가 설치되어 있는 위치를 지정할 수 있다.

또한, 상기 레이더 위치 지정부(132)는 상기 3D 레이더가 실제로 설치된 위치의 좌표정보를 수신하고, 수신된 상기 3D 레이더의 좌표 정보를 상기 감시지역 사진 또는 상기 감시화면 상에 매칭시켜 3D 레이더가 설치되어 있는 위치를 지정할 수 있다.

상기 레이더 감시지역 설정부(134)는 상기 감시화면 상에서 감시지역에 설치된 3D 레이더에 대한 각종 정보를 이용하여 3D 레이더가 감시해야 할 지역의 최대 거리에 해당하는 위치를 지정하고, 이를 통해서 상기 감시지역 사진 또는 상기 감시화면 상에 레이더 감시지역을 설정할 수 있다.

또한, 상기 레이더 감시지역 설정부(134)는 실제 설치된 3D 레이더가 바라보는 중심선을 상기 감사화면 상에 설정하고, 상기 중심선을 기준으로 최대 감시지역을 선택받거나 상기 3D 레이더의 최대인식거리를 입력받아서 레이더 감시지역을 설정할 수 있다.

도 2는 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치가 감시지역 사진을 등록하여 감시화면을 생성하고, 감시화면 상에 레이더 감시지역을 설정하는 예를 나타내는 도면이다.

도 2를 참조하면, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 감시지역 사진을 등록 받아서 감시화면(10)을 생성하고, 감시화면(10)의 좌측하단에 방사형의 타겟 오브젝트 감지 화면(20)을 생성할 수 있다.

그리고, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 상기 감시화면(10) 상에 3D 레이더가 설치된 위치(210)를 지정하고, 상기 3D 레이더가 바라보는 중심선을 기준으로 최대 감시지역을 선택받거나 상기 3D 레이더의 최대인식거리를 입력받아서 감시화면(10)에 방사형의 레이더 감시지역(230)을 설정할 수 있다.

여기서, 상기 레이더 감시지역(230)은 상기 감시지역에 설치된 3D 레이더가 타겟 오브젝트를 인식할 수 있는 영역을 포함한다. 그리고, 상기 레이더 감시지역(230)은 상기 최대 감시지역의 끝점(220)이 위치한 상기 레이더가 바라보는 중심선을 기준으로 좌우로 50■이고, 최대각이 100■일 수 있다.

상기 캘리브레이션 모듈(140)은 상기 감시지역에 설치된 PTZ 카메라의 PTZ 초기 각도를 설정하고, 상기 감시화면에 상기 PTZ 카메라의 좌표를 설정한다. 그리고, 상기 캘리브레이션 모듈(140)은 상기 레이더 감시지역에 타겟 오브젝트를 표출하고 상기 PTZ 카메라가 상기 레이더 감시지역에 표출된 상기 타겟 오브젝트를 자동추적할 수 있도록 상기 PTZ 카메라의 PTZ 좌표를 보정할 수 있다.

도 3은 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치가 레이더와 연동된 PTZ 카메라의 PTZ 좌표 설정을 위해서 감시화면 상에 직각으로 설정된 제1 기준선과 3D 레이더가 바라보는 상기 중심선인 제2 기준선 사이의 각도를 계산하는 예를 나타내는 도면이다.

도 3을 참조하면, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 상기 감시화면(10)에 레이더 감시지역(230)을 설정한 후, 상기 감시화면(10) 상에 직각으로 설정된 제1 기준선(240)에서 실제 3D 레이더가 바라보고 있는 제2 기준선(250)과의 각도를 계산한다. 그리고, 본 발명은 이를 이용하여 PTZ 카메라의 PTZ 좌표를 설정하고, 3D 레이더와 PTZ 카메라의 실제 설치환경에 맞게 각도를 보정할 수 있다.

그리고, 상기 캘리브레이션 모듈(140)은 본 발명의 한 실시예에 따라 좌표 설정부(142), 좌표 보정부(144), 그리고 좌표 재보정부(146)를 포함한다.

상기 좌표 설정부(142)는 PTZ 카메라의 PTZ 초기 각도를 설정하고, 상기 설정된 PTZ 초기 각도를 상기 감시화면에 매칭시켜서 상기 PTZ 카메라의 좌표를 설정할 수 있다.

그리고, 상기 좌표 보정부(144)는 상기 감시화면 상에 직각으로 설정된 제1 기준선(240)과 3D 레이더가 실제로 설치되어 바라보는 중심선인 제2 기준선(250) 사이의 각도를 계산하여 상기 PTZ 카메라의 좌표를 보정할 수 있다.

상기 좌표 보정부(144)는 상기 3D 레이더가 바라보는 중심선을 기준으로 60분법으로 제1 보정 각도(260)를 산출하며, 상기 산출된 제1 보정 각도(260)를 기초로 상기 PTZ 카메라의 PTZ 좌표를 보정할 수 있다.

도 4는 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치가 레이더와 연동된 카메라의 PTZ 좌표 설정을 위해서 레이더가 바라보는 중심선을 기준으로 60분법으로 제1 보정 각도를 산출하는 예를 나타내는 도면이다.

도 4를 참조하면, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 실제 설치된 3D 레이더의 중심선인 제2 기준선(250)의 끝점(220)을 기준으로 60분법으로 산출된 각도인 제1 보정 각도(260)를 계산할 수 있다.

여기서, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 아래의 수학식 1을 통해서 제1 보정 각도(θ)를 계산하고, 이를 이용하여 3D 레이더와 연동된 PTZ 카메라의 PTZ 좌표의 설정 및 보정에 사용할 수 있다.

그리고, 좌표 재보정부(146)는 상기 3D 레이더와 상기 PTZ 카메라의 x축 수평 거리(crw), 상기 3D 레이더의 설치 높이(rh), 및 상기 PTZ 카메라의 설치 높이(ch) 등의 데이터를 이용하여 상기 감사화면 상의 보정 각도를 산출하고, 이때 산출된 보정 각도를 이용하여 상기 PTZ 카메라의 PTZ 좌표를 재보정할 수 있다.

도 5는 카메라의 PTZ 좌표 재보정에 필요한 정보 중에서 3D 레이더와 PTZ 카메라의 x축 수평 거리, 및 3D 레이더와 PTZ 카메라의 설치 높이의 차이 등을 나타내는 도면이다.

도 5를 참조하면, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 PTZ 카메라의 PTZ 좌표 보정에 필요한 정보를 획득하고, 이를 이용하여 PTZ 카메라의 PTZ 좌표를 재보정한다. 또한, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 레이더와 카메라의 x축 거리(crw), 레이더와 카메라의 x축 거리 만큼에 대한 보정 각도(cθ), 레이더 설치 높이(rh), 카메라 설치 높이(ch) 등을 이용하여 보정 각도를 산출하고, 산출된 보정 각도를 이용하여 감시화면 상에서 PTZ 좌표를 재보정할 수 있다.

예를 들어, 상기 좌표 재보정부(146)는 상기 3D 레이더와 상기 PTZ 카메라의 x축 수평 거리(crw)에 대한 픽셀로 변환된 좌표값을 산출하고, 상기 x축 수평 거리에 따른 좌표값을 기초로 제2 보정 각도를 산출하여 상기 PTZ 카메라의 PTZ 좌표를 재보정할 수 있다. 상기 좌표 재보정부(146)는 상기 3D 레이더와 상기 PTZ 카메라의 실제 거리값을 이용하여 상기 감시화면 상에서의 상기 PTZ 카메라의 좌표값을 산출하고, 이를 이용하여 상기 제2 보정 각도를 산출할 수 있다.

도 6은 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치가 레이더와 카메라 사이의 거리에 따라 카메라의 PTZ 좌표의 재보정하도록 x축 수평 거리에 따른 제2 보정 각도를 환산하는 예를 나타내는 도면이다.

도 6을 참조하면, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 3D 레이더와 PTZ 카메라 사이의 거리에 따른 PTZ 카메라의 PTZ 좌표에 대한 제2 보정 각도(360)를 환산한다.

예를 들어, 상기 좌표 보정부(144)는 실제 설치된 3D 레이더가 바라보는 중심선인 제1 기준선(240)에 대한 제1 보정 각도(260)를 기준으로 PTZ 카메라의 PTZ 좌표를 보정하기 때문에, 도 5와 같이 3D 레이더(200)와 PTZ 카메라(300)가 이격되어 설치가 될 경우에는 PTZ 카메라(300)의 PTZ 좌표가 틀어질 수 있다.

따라서, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 3D 레이더(200)와 PTZ 카메라(300)의 x축 수평 거리(crw)에 따른 상기 감시화면 상에서의 상기 PTZ 카메라의 좌표값을 계산하고, 실제 설치된 PTZ 카메라(300)가 바라보는 PTZ 카메라의 기준선(340) 상의 끝점(320)을 대상으로 각도를 재보정해야 한다.

본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 PTZ 카메라와 3D 레이더가 x축으로 일정거리 떨어져있을 경우에 아래의 수학식 2를 통해서 PTZ 카메라의 제2 보정 각도(cθ)(360)를 계산하고, 이를 이용하여 상기 PTZ 카메라의 PTZ 좌표를 재보정할 수 있다.

여기서, cθ는 PTZ 카메라의 PTZ 재보정 각도이며, crw는 3D 레이더와 PTZ 카메라의 실제 거리값이 반영되어 레이더와 카메라의 위치가 pixel로 변환된 x축 및 y축의 좌표값이다.

그리고, 상기 좌표 재보정부(146)는 상기 3D 레이더와 상기 PTZ 카메라의 설치 높이의 차이(crh)를 이용하여 제3 보정 각도를 산출하고, 이를 이용하여 상기 PTZ 카메라의 PTZ 좌표를 재보정할 수 있다.

도 7은 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치가 레이더와 상기 카메라의 설치 높이의 차이를 이용하여 카메라의 PTZ 좌표의 재보정하도록 제3 보정 각도를 산출하는 예를 나타내는 도면이다.

도 7을 참조하면, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 상기 PTZ 카메라(300)를 기준으로 상기 3D 레이더(200)의 최대인식거리 또는 최대감시거리까지의 가상선(370)을 생성한다.

그리고, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 상기 가상선(370)과 상기 3D 레이더(200)의 중심선(270)이 교차하는 지점(372)과, 상기 3D 레이더와 PTZ 카메라 사이의 수평거리(crw) 및, 상기 3D 레이더와 상기 PTZ 카메라의 설치 높이의 차이(crh)를 이용하여 제3 보정 각도(380)를 산출하고, 이를 이용하여 상기 PTZ 카메라의 PTZ 좌표를 재보정할 수 있다.

여기서, 상기 제3 보정 각도(380)는 3D 레이더(200)와 PTZ 카메라(300)의 설치 높이 차(crh)를 반영한 각도 값이며, PTZ 카메라(300)를 기준으로 3D 레이더의 감시 최대 거리까지의 가상선(370)을 만들어 상기 3D 레이더(200)의 중심선(270)과 만나는 지점(372)을 기준으로 60분법으로 산출된 각도일 수 있다.

예를 들어, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 PTZ 카메라와 3D 레이더의 설치 높이가 다를 경우에 아래의 수학식 3을 통해서 PTZ 카메라와 3D 레이더의 설치 높이 차이를 반영한 제3 보정 각도(θ)(380)를 산출하고, 이를 이용하여 PTZ 카메라의 PTZ 좌표를 재보정할 수 있다.

여기서, θ는 PTZ 카메라의 PTZ 재보정 각도이며, crw는 3D 레이더와 PTZ 카메라의 설치높이 차이가 반영되어 3D 레이더와 PTZ 카메라의 설치위치가 pixel로 변환된 x축 및 y축의 좌표값이다.

도 8은 본 발명의 한 실시예에 따라 3차원 레이더의 타겟 오브젝트를 실제환경에서의 좌표위치를 확인하도록 레이더의 좌표와 카메라의 PTZ 좌표를 캘리브레이션하는 과정을 간략히 도시한 흐름도이다. 이때, 이하의 흐름도는 도 1 내지 도 7의 구성과 연계하여 동일한 도면부호를 사용하여 설명한다.

도 8을 참조하면, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 감시지역 사진을 등록하여 감시화면을 생성할 수 있다(S102). 예를 들어, 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 사용자로부터 감시지역 사진을 업로드받아서 감시화면(10)을 생성하고, 감시화면(10)의 좌측하단에 방사형의 타겟 오브젝트 감지 화면(20)을 생성할 수 있다.

그리고, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 상기 감시화면 상에 상기 3D 레이더가 설치되어 있는 위치를 지정한다(S104). 예를 들어, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 사용자로부터 직접 3D 레이더가 설치된 위치를 선택받아서 3D 레이더가 설치된 위치를 저정하거나, 3D 레이더가 실제로 설치된 위치의 좌표정보를 수신하고 수신된 좌표정보를 상기 감시화면 상에 매칭시켜 레이더가 설치되어 있는 위치를 지정할 수도 있다.

또한, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 상기 3D 레이더가 바라보는 중심선을 기준으로 최대 감시지역을 선택받거나 상기 3D 레이더의 최대인식거리를 입력받아서 레이더 감시지역을 설정할 수 있다(S106).

그리고, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 PTZ 카메라의 PTZ 초기 각도를 설정하고, 상기 PTZ 초기 각도를 상기 감시화면에 매칭시켜서 상기 PTZ 카메라의 좌표를 설정할 수 있다(S108).

그리고, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 상기 감시화면 상에 직각으로 설정된 제1 기준선(240)과 3D 레이더가 실제로 설치되어 바라보는 중심선인 제2 기준선(250) 사이의 각도를 계산하여 상기 PTZ 카메라의 좌표를 보정할 수 있다(S110).

예를 들어, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 상기 3D 레이더가 바라보는 중심선을 기준으로 60분법으로 제1 보정 각도(260)를 산출하며, 상기 산출된 제1 보정 각도(260)를 기초로 상기 PTZ 카메라의 PTZ 좌표를 보정할 수 있다.

또한, 그리고, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 상기 3D 레이더와 상기 PTZ 카메라의 x축 수평 거리(crw), 상기 레이더의 설치 높이(rh), 및 상기 카메라의 설치 높이(ch) 등에 따른 좌표값 또는 보정 각도를 산출하고, 이때 산출된 좌표값 및 보정 각도를 이용하여 상기 PTZ 카메라의 PTZ 좌표를 재보정할 수 있다(S112).

예를 들어, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 상기 3D 레이더와 상기 PTZ 카메라의 x축 수평 거리(crw)에 따른 감시화면 상의 카메라 좌표값을 산출하고, 상기 x축 수평 거리에 따른 카메라 좌표값을 기초로 제2 보정 각도를 산출하여 상기 PTZ 카메라의 PTZ 좌표를 재보정할 수 있다.

또한, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치(100)는 상기 3D 레이더와 상기 PTZ 카메라의 설치 높이의 차이(crh)를 이용하여 제3 보정 각도를 산출하고, 이를 이용해 상기 PTZ 카메라의 PTZ 좌표를 재보정할 수도 있다.

이와 같이, 본 발명의 한 실시예에 따른 3D 캘리브레이션 장치 및 이를 이용한 3D 캘리브레이션 방법은 감시지역 사진을 등록하여 감시화면을 생성하고, 상기 감시화면 상에 레이더 감시지역을 설정하며, 카메라의 PTZ 초기 각도를 설정한 후 상기 카메라의 PTZ 좌표를 보정함으로써, 실제 환경에서의 좌표 위치를 정확하게 확인하고, 이를 통해서 카메라가 상기 레이더 감시지역에 표출된 이동물체인 타겟 오브젝트(Target Object)를 보다 정확하게 자동 추적(Auto Tracking)할 수 있는 환경을 제공한다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다. 이러한 기록 매체는 서버뿐만 아니라 사용자 단말에서도 실행될 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

감시지역 사진을 등록하여 감시화면을 생성하고, 상기 감시화면에 레이더의 타겟 오브젝트 감지 화면을 생성하는 감시화면 생성모듈,
상기 감시화면 상에 상기 레이더가 설치되어 있는 위치를 지정하고, 상기 레이더가 바라보는 중심선을 기준으로 최대 감시지역을 선택받거나 상기 레이더의 최대인식거리를 입력받아서 레이더 감시지역을 설정하는 레이더 설정모듈, 그리고
카메라의 PTZ 초기 각도를 설정하고, 상기 감시화면에 상기 카메라의 좌표를 설정하되, 상기 레이더 감시지역에 타겟 오브젝트를 표출하고 상기 카메라를 이용해 상기 레이더 감시지역에 표출된 상기 타겟 오브젝트를 자동 추적할 수 있도록 상기 카메라의 PTZ 좌표를 보정하는 캘리브레이션 모듈
를 포함하는 CCTV와 3차원 레이더간의 3차원 캘리브레이션 장치.
제1항에서,
상기 캘리브레이션 모듈은,
상기 감시화면 상에 직각으로 설정된 제1 기준선과 레이더가 바라보는 상기 중심선인 제2 기준선 사이의 각도를 계산하여 상기 카메라의 좌표를 보정하는 좌표 보정부
를 포함하는 CCTV와 3차원 레이더간의 3차원 캘리브레이션 장치.
제2항에서,
상기 좌표 보정부는,
상기 레이더가 바라보는 중심선을 기준으로 60분법으로 제1 보정 각도를 산출하며, 상기 산출된 제1 보정 각도를 기초로 상기 카메라의 PTZ 좌표를 보정하는 것을 특징으로 하는 CCTV와 3차원 레이더간의 3차원 캘리브레이션 장치.
제3항에서,
상기 캘리브레이션 모듈은,
상기 레이더와 상기 카메라의 x축 수평 거리, 상기 레이더의 설치 높이, 및 상기 카메라의 설치 높이를 산출하여 상기 카메라의 PTZ 좌표를 재보정하는 좌표 재보정부
를 포함하는 하는 CCTV와 3차원 레이더간의 3차원 캘리브레이션 장치.
제4항에서,
상기 좌표 재보정부는,
상기 레이더와 상기 카메라의 x축 수평 거리에 따른 좌표값을 산출하고, 상기 x축 수평 거리에 따른 상기 좌표값을 기초로 제2 보정 각도를 산출하여 상기 카메라의 PTZ 좌표를 재보정하는 것을 특징으로 하는 CCTV와 3차원 레이더간의 3차원 캘리브레이션 장치.
제4항에서,
상기 좌표 재보정부는,
상기 레이더와 상기 카메라의 설치 높이의 차이를 이용하여 제3 보정 각도를 산출하여 상기 카메라의 PTZ 좌표를 재보정하는 것을 특징으로 하는 CCTV와 3차원 레이더간의 3차원 캘리브레이션 장치.
3차원 캘리브레이션 장치가, 레이더의 좌표와 카메라의 PTZ 좌표를 캘리브레이션하는 방법에서,
감시화면 상에 레이더가 설치되어 있는 위치를 지정받고, 상기 감시화면 상에 상기 레이더의 레이더 감시지역을 설정하는 단계,
상기 감시화면 상에 카메라가 설치되어 있는 위치를 지정받고, 상기 감시화면에 카메라의 좌표를 설정하는 단계, 그리고
상기 레이더 감시지역에 타겟 오브젝트를 표출하고 상기 카메라가 상기 레이더 감시지역에 표출된 상기 타겟 오브젝트를 자동추적할 수 있도록 상기 카메라의 좌표를 보정하는 단계
를 포함하는 CCTV와 3차원 레이더간의 3차원 캘리브레이션 방법.
제7항에서,
상기 카메라의 좌표를 보정하는 단계는,
상기 레이더가 바라보는 중심선을 기준으로 60분법으로 제1 보정 각도를 산출하며, 상기 산출된 제1 보정 각도를 기초로 상기 카메라의 좌표를 보정하는 것을 특징으로 하는 CCTV와 3차원 레이더간의 3차원 캘리브레이션 방법.
제7항에서,
상기 레이더와 상기 카메라의 x축 수평 거리에 따른 좌표값을 산출하고, 상기 x축 수평 거리에 따른 상기 좌표값을 기초로 제2 보정 각도를 산출하여 상기 카메라의 PTZ 좌표를 재보정하는 단계
를 더 포함하는 것을 특징으로 하는 CCTV와 3차원 레이더간의 3차원 캘리브레이션 방법.
제7항에서,
상기 레이더와 상기 카메라의 설치 높이의 차이를 이용하여 제3 보정 각도를 산출하여 상기 카메라의 좌표를 재보정하는 단계
를 더 포함하는 것을 특징으로 하는 CCTV와 3차원 레이더간의 3차원 캘리브레이션 방법.